Dirección Nacional de Censos y Encuestas Lima, Agosto de 2013

Transcripción

1 Dirección Nacional de Censos y Encuestas Lima, Agosto de

2 PROCESAMIENTO Es el conjunto de tareas orientadas a realizar la transferencia de los datos obtenidos en campo a través de cédulas impresas a medios magnéticos que permiten procesar la información y obtener una base de datos con el máximo de calidad y exento de errores. Comprende la obtención de la base de datos como fiel reflejo de la información de las cédulas censales con la aplicación de reglas de consistencia y calidad así como ponerla a disposición de los usuarios a través de la tecnología informática y de comunicaciones. 9.1 Objetivos Realizar las actividades de procesamiento de los datos obtenidos de la ejecución del IV Censo Nacional Agropecuario, que permitan proporcionar a los usuarios finales información de calidad para el análisis y formulación de planes y programas. Esta información se proporcionará en los productos finales: cuadros estadísticos, base de datos, directorio de productores agropecuarios y marco de unidades agropecuarias. Realizar el control de calidad de los datos de la cédula censal, y corregir los errores que pudieran derivarse del reconocimiento de caracteres y/o del trabajo de campo. Realizar la consistencia de la estructura de los datos de la cédula censal para asegurar la correcta conformación de las unidades agropecuarias. Realizar la codificación de las respuestas a las preguntas abierta con el fin de asignar códigos numéricos a los datos literales para facilitar el análisis de estas preguntas. Realizar la consistencia de los datos de la cédula censal para asegurar la corrección lógica por pregunta y entre preguntas. Elaborar los cuadros estadísticos que permitan el análisis básico de los datos obtenidos. 9.2 Organización funcional La administración de las actividades informáticas del Procesamiento es de competencia de la Oficina Técnica de Informática (OFICINA TÉCNICA DE INFORMÁTICA). Para el desarrollo, ejecución y/o supervisión de las diferentes actividades de Procesamiento de Datos, el equipo conformado por la Dirección técnica de OFICINA TÉCNICA DE INFORMÁTICA, los Coordinadores de la Plataforma Informática, Administrador de Recursos, por el equipo de Desarrollo de Sistemas, el equipo de Base de Datos, el equipo de Administración de Servicios Informáticos y el equipo de Producción de Datos, como se presenta en organigrama funcional siguiente: CENSO NACIONAL AGROPECUARIO ORGANIGRAMA FUNCIONAL PARA EL PROCESAMIENTO DE DATOS DIRECCIÓN TÉCNICA OTIN COORD. PLATAFORMA INFORMÁTICA ADMINISTRACIÓN DE RECURSOS DESARROLLO DE SISTEMAS BASE DE DATOS ADM. DE SERVICIOS INFORMÁTICOS CONTROL DE CALIDAD DE DATOS

3 Dirección Técnica OFICINA TÉCNICA DE INFORMÁTICA, se encargó de planificar, dirigir, coordinar y supervisar las actividades del procesamiento de datos. Coordinación de la Plataforma Informática, se encargó de la coordinación informática del proyecto. Administrador de Recursos, se encargó de elaborar el presupuesto, preparar la documentación administrativa, emitir informes de evaluación de la ejecución presupuestal, asistir a La Dirección Técnica OFICINA TÉCNICA DE INFORMÁTICA en actividades administrativas. Equipo de Desarrollo de Sistemas, se encargó del análisis, diseño, construcción e implementación de los sistemas de información requeridos para el procesamiento de la información censal y generación de los productos de difusión, teniendo en cuenta la innovación de metodologías y tecnología informática, así mismo debe considerar que dichos sistemas deben ser de uso institucional en otros proyectos similares. Así mismo tendrán bajo su responsabilidad el aseguramiento de la calidad del software a utilizarse. Equipo de Base de Datos, se encargó del diseño de las bases y de la administración de las bases de datos, para alojar la información de todo el censo así como información para la difusión de los resultados. Equipo de Administración de Servicios Informáticos, se encargó de la implementación de las tecnologías de redes, administración de red, comunicaciones, seguridad y así mismo de brindar el soporte técnico. Equipo de Control de Calidad de Datos, se encargó de la ejecución de los procesos automatizados para el control de calidad de la información censal. Para ello, es responsables de la ejecución y/o supervisión de: recepción del material censal para su procesamiento, control de calidad de los datos, proceso de consistencia e imputación, tabulación. 9.3 Tareas Realizadas Para la ejecución de las tareas se establecieron las estrategias siguientes: Integración de todos los procesos del censo. Aplicación de la tecnología ICR como método de captura de datos mediante la tercerización. Desarrollo de sistemas de información transversales a todas los procesos del censo. Cambio de plataforma de desarrollo de sistemas haciendo uso de software libre. Los siguientes diagramas de procesos muestran las tareas ejecutadas en el procesamiento, los cuales se describen a continuación Recepción, Inventario y Control de Documentos La recepción del material censal fue en las instalaciones de la empresa proveedora. El personal del área de recepción registró cada caja en el Sistema de Registro y Control de Documentos utilizando el lector de código de barras del PDA asignado. La recepción del material censal se realizó a nivel de caja, área de trabajo y tipo de documentos (cédulas censales y material cartográfico). Inventario del Material Censal. El inventario del material censal fue realizado por el personal de UDRA del INEI, en las instalaciones de la empresa proveedora. En el ambiente de trabajo establecido para tal fin se organizaron 12 mesas de 6 inventariadores y un supervisora. El supervisor recibía del área de recepción, las bolsas de material censal por cada área de trabajo inventariado. El supervisor registra la recepción del material en el Sistema de Registro y Control de Documentos, y distribuye a cada inventariador el material censal que corresponde 3

4 de acuerdo a su carga de trabajo. El inventariador recepciona las bolsas de cédulas censales; realiza el conteo de cédulas principales y adicionales, y lo registra en el Sistema de Registro y Control de Documentos utilizando el PDA asignado para tal fin. El supervisor valida el inventario realizado por el inventariador y genera la hoja de control que contiene la identificación de la SEA (o lote de trabajo) en código de barras que se utiliza en el proceso de escaneo. Las bolsas con material censal, organizadas en lotes de trabajo y debidamente identificadas con la hoja de control, son registradas en el Sistema de Registro y Control de Documentos para el envío físico a la empresa proveedora. Para fines de monitoreo, los datos del inventario realizado se transfieren desde las instalaciones de la empresa proveedora a la sede central del INEI, utilizando procedimientos automáticos de transferencia de datos. De esta forma, los datos del inventario están disponibles para su análisis en el Sistema de Monitoreo y Seguimiento de Procesos. Gráfico del Flujo de Procesos Recepción, Inventario y Control de Documentos Captura de Datos Control de Calidad de la Lectura y Reconocimien to Control de Calidad Muestral Consistencia básica Recepción Escaneo Cobertura Control de Calidad Muestral Cobertura por distrito Inventario Imágenes Estructura No OK? Estructura por distrito Lotess Reconocimiento Datos Validación Exportación Validación de datos numéricos Validación de datos textos No Ok? Si Validación (Empresa ) Si Si Exportación (Empresa ) Cambio s? No Exportación Consistencia básica Datos Proceso de Codificación

5 Codificación Consistencia e Imputación Conversión Recodificación Tabulación Codificación automática Datos Conversión de superficie a Ha. Recodificación y/o construcción de Variables Generación de Cuadros Estadísticos No 100% Si Consistencia e Imputación Codificación asistida Datos Datos Datos Cuadros Estadístic os Datos Codificados Captura de Datos La captura de datos fue realizada por la empresa proveedora en sus instalaciones, y consistió en obtener los datos de la cédula censal escaneada mediante el reconocimiento óptico de caracteres. La empresa proveedora realiza la recepción física de los lotes de trabajo con las cédulas censales inventariadas. La empresa revisa el material físico y firma la constancia de recepción donde se registran los lotes recepcionados, y el número de cédulas censales principales y adicionales. Escaneo de Cédulas. Las cédulas censales recepcionadas pasan a la línea de escaneo para lo cual previamente cada lote es sublotizado en grupos menores a 100 cédulas por motivos de manejo y seguimiento. Aquí se crea la relación de equivalencia entre los lotes del INEI y los lotes de la Empresa proveedora. Además se acondiciona la cédula censal para que el escaneado se haga en tamaño A3. Se utilizan 4 equipos escáner para el escaneado de cédulas. Reconocimiento ICR. Cada cédula escaneada pasó por el proceso de reconocimiento inteligente de caracteres resultado del cual se crea la base de datos de la cédula censal. Luego pasa por la verificación de reconocimiento, donde los datos reconocidos pasan por un conjunto de reglas de validación como rangos de valores, tipos de datos y relaciones entre variables para determinar la validez de los caracteres reconocidos. Validación. Los datos observados en el proceso de verificación pasan al proceso de validación. Este proceso es ejecutado por los operadores de validación utilizando el Sistema de Validación que presenta la cédula escaneada y los datos reconocidos campo a campo. El operador determina la validez de lo reconocido o corrige de acuerdo a lo que observa en la cédula censal escaneada. Cada lote de trabajo validado pasa por el proceso de control de calidad muestral, donde los lotes que pasaron el proceso de validación pasan por un control de calidad utilizando una muestra del 8% sobre el lote. Es decir, si el lote tiene 100 cédulas, se obtiene una muestra de 8 cédulas, las cuales se revisan al 100%. Si el número de diferencias sobrepasa el umbral especificado, el lote de trabajo completo regresa al proceso de Validación para su 5

6 corrección. Los lotes que pasan el control de calidad pasan a estar disponibles para el proceso de exportación. Exportación. La exportación de datos es realizada por el personal de la Empresa proveedora en sus instalaciones. Consiste en generar el archivo de datos de acuerdo a las especificaciones proporcionadas por el INEI, necesarias para el procesamiento de datos Control de Calidad de la Lectura y Reconocimiento El control de calidad de la lectura y reconocimiento es realizado por los operadores de procesos de OFICINA TÉCNICA DE INFORMÁTICA del INEI en las instalaciones de la empresa proveedora. El operador de procesos recibe de la empresa proveedora, en un recurso de red determinado, los archivos de datos correspondientes a los lotes escaneados y validados. El operador de procesos aplica sobre estos archivos el control de calidad; para lo cual utiliza la aplicación desarrollada en CSPro que aplica un conjunto de reglas de validación sobre el archivo de datos de las cédulas escaneadas. La aplicación identifica los datos que no cumplen con las reglas de validación y genera un archivo con los errores encontrados. Este archivo es enviado a la Empresa proveedora para que revise, valide y corrija los errores encontrados. Los archivos de datos corregidos vuelven a pasar por este proceso hasta que no se detecten más errores. Las reglas de validación que se aplican a los datos de los archivos entregados se agrupan en el siguiente conjunto de reglas: Cobertura. Las reglas de validación de cobertura comparan el número de cédulas censales del archivo de datos contra el número de cédulas censales registrado en el inventario. Esta comparación incluye las cédulas principales y adicionales. También valida la cobertura geográfica de la cédula censal con respecto al marco maestro de SEAs. Estructura Las reglas de validación de estructura valida la identificación de cada unidad agropecuaria, el número y orden de las parcelas; además de las cédulas repetidas y las omitidas. También se verifican los rangos de valores por cada variable, y las omisiones encontradas. Validación de Datos Números. Las reglas de validación de datos numéricos verifican las sumas de la superficie desagregada de los cultivos de una parcela con el total de la parcela; la suma de superficies de las parcelas con el total de la unidad agropecuaria. Validación de Datos de Texto Las reglas de validación de datos de texto validan que los textos reconocidos existan en las tablas maestras correspondiente a la pregunta Control de Calidad Muestral Control de Calidad Muestral. Realizado por el personal de Censos del INEI en las instalaciones de la Empresa proveedora. Esta actividad es realizada por 16 analistas y un supervisor en el área asignada para tal fin, utilizando la aplicación de control de calidad desarrollada por la Empresa proveedora. A cada analista se le asigna automáticamente la muestra de cédulas censales por cada lote de trabajo (estos lotes corresponden a los lotes de la Empresa proveedora; es decir, son los lotes divididos para fines de escaneo). En el caso normal la muestra corresponde al 2% de cédulas censales que contiene el lote de trabajo. Sin embargo, cuando la línea de producción de escaneo proporcionaba pocos lotes de trabajo, la muestra seleccionada era mayor a pedido del supervisor. Si el analista encuentra más de 4 diferencias entre los datos reconocidos en el escaneo y los datos de la cédula censal, rechaza el lote de trabajo y devuelve el lote al proceso de

7 validación de la Empresa proveedora. Los lotes de trabajo aceptados están disponibles para la exportación de datos. Exportación de Datos. Realizado por el personal de OFICINA TÉCNICA DE INFORMÁTICA del INEI en las instalaciones de la empresa proveedora. Los archivos de datos de los lotes de trabajo aceptados por el control de calidad muestral se transfieren desde las instalaciones de la Empresa proveedora a la sede central del INEI utilizando procedimientos automáticos de transferencia de datos. Los archivos de datos transferidos se cargan a la base de datos correspondiente Consistencia Básica Cobertura. El proceso de Cobertura es realizado por el personal de Consistencia del INEI. El supervisor de cobertura asigna a los analistas de cobertura la carga de trabajo, correspondiente al día, en el Sistema de Cobertura. El analista de cobertura realiza la corrección de los datos correspondiente a la cobertura geográfica, detectados automáticamente por el Sistema en la aplicación de las reglas de cobertura definidas previamente. El supervisor verifica los lotes de trabajo finalizados por los analistas y realiza la aceptación de los lotes de trabajo. Estos lotes están disponibles para continuar con el proceso de estructura. Estructura. El proceso de Estructura es realizado por el personal de la OFICINA TÉCNICA DE INFORMÁTICA del INEI. El operador de procesos utiliza la aplicación de estructura desarrollada en CSPro que realiza la composición de la unidad agropecuaria a partir de las cédulas censales que la componen; además de reenumerar las parcelas y el orden de los cultivos, Consistencia Básica. La consistencia básica es realizada por el personal de Consistencia y OFICINA TÉCNICA DE INFORMÁTICA en conjunto. El analista de consistencia define un conjunto de reglas de flujo, valores por defecto, etc. que se aplican a la base de datos. El programador de OFICINA TÉCNICA DE INFORMÁTICA implementa e incorpora estas reglas en la aplicación de consistencia básica. Los operadores de proceso ejecutan la aplicación de consistencia básica, y el analista de consistencia verifica el resultado obtenido Codificación El proceso de codificación es realizado por los analistas de codificación de Censos y los operadores de procesos de OFICINA TÉCNICA DE INFORMÁTICA del INEI utilizando el Sistema de Codificación Automática y Asistida. Previamente los textos de las preguntas a codificar se copian desde la base de datos inicial a la base de datos del Sistema de Codificación. 7

8 Codificación Automática por igualdad Codificación Automática por Semejanza Comparar tablas auxiliares (*) en data: Palabra vs palabra y que cumpla con: - Igual texto(sonido) (**) - Igual orden - Igual posición Comparar tablas auxiliares (*) en data: Palabra vs palabra y que cumpla con: - Similar texto(completa u ocurrencia) - Igual orden - Diferente posición Comparar tablas auxiliares (*) en data: Palabra vs palabra y que cumpla con: - Similar texto(completa u ocurrencia) - Diferenteorden - Diferente posición Comparar tablas auxiliares (*) en data: Cadena de alias vs cadena de palabras y que cumpla con: - Similar texto(completa u ocurrencia) - Diferenteorden - Diferente posición Codificación Automática. El operador de procesos realiza la codificación de los textos por pregunta y por distrito de acuerdo a un orden de prioridad definido según las necesidades de procesamiento. En la codificación automática el Sistema compara los textos con las palabras registradas en las tablas maestras y auxiliares. En la comparación por igualdad los criterios utilizados son: igualdad de texto, igualdad de orden, igualdad de posición de las palabras del texto a codificar. En la comparación por semejanza los criterios utilizados son: texto similar, orden igual, posición diferente; texto similar, orden diferente, posición diferente, en palabra principal o alias. En esta etapa se espera que la mayor parte de los textos sean codificados. Los textos no codificados pasan a la etapa de codificación asistida. Codificación Asistida El supervisor asigna a cada analista la carga de trabajo correspondiente en el Sistema de Codificación. El analista realiza la codificación asistida mediante frecuencia y uno a uno. En esta etapa todos los textos son codificados. Finalizada la codificación de las preguntas en todos los distritos, los códigos se incorporan a la base de datos principal con el objetivo de que todos los textos estén acompañados de sus códigos para facilitar el análisis posterior de estas preguntas Consistencia e Imputación La consistencia e imputación es realizada por el personal de Consistencia y OFICINA TÉCNICA DE INFORMÁTICA en conjunto. El analista de consistencia define un conjunto de reglas de consistencia e imputación que se aplican a la base de datos. El programador de OFICINA TÉCNICA DE INFORMÁTICA implementa e incorpora estas reglas en la aplicación de consistencia e imputación. Los operadores de proceso ejecutan la aplicación de consistencia e imputación, y el analista de consistencia verifica el resultado obtenido. Para facilitar el trabajo de los operadores de procesos se implementó la aplicación de procesos para procesamiento de datos que consolida en una sola aplicación todos los procesos

9 involucrados en el procesamiento de datos. Las opciones disponibles se muestran en el siguiente listado: 1. Cargar Datos de Cobertura 2. Exportar Datos de Estructura 3. Realizar Estructura de Datos 4. Cargar Datos a Estructura 5. Resumen de Registros Cargados en Estructura 6. Exportar Datos de Asignación 7. Realizar Asignación de Datos 8. Cargar de Datos a Asignación 9. Resumen de Registros Cargados en Asignación 10. Realizar Imputación de Datos 11. Cargar Datos a Imputación 12. Resumen de Registros Cargados en Imputación 13. Convertir Datos de Superficie 14. Cargar Datos de Conversión 15. Resumen de Registros Cargados Convertidos 16. Reformatear Datos de conversión 17. Generar Ordenamiento de Datos convertidos Recodificación de Variables Recodificación y/o Construcción de Variables. Con el objetivo de facilitar a los usuarios el análisis de los resultados, se procede a la recodificación y construcción de nuevas variables, con respecto a las variables de la cédula censal. Por ejemplo, se crea la variable WSUP01 Superficie total de las parcelas que conduce o trabaja en el distrito (has) donde cada unidad agropecuaria es clasificada en alguno de los 23 rangos de superficie, según su superficie total en hectáreas. La siguiente tabla muestra las nuevas variables construidas en base a las variables de la cédula censal. Variable WREGION WPISO WREDHI WCUENCA WSUP01 WSUP02 WSUP02A WSUP03 Descripción Código de la Región Natural Piso Altitudinal Región Hidrográfica Cuenca Superficie total de las parcelas o chacras que conduce o trabaja en el distrito (has) 23 rangos Superficie total de las parcelas o chacras que conduce o trabaja en el distrito (has) 6 rangos Superficie total de las parcelas o chacras que conduce o trabaja en el distrito (has) 8 rangos Superficie agrícola o Superficie de tierras de cultivo (has) 9

10 Variable WSUP03A WSUP03B WSUP04 WSUP05 WSUP06 WSUP07 WSUP08 WSUP09 WSUP10 WSUP11 WSUP12 WSUP13 WSUP14 WSUP15 WSUP16 WSUP17 WSUP18 WP109 WP111 WP112 WP113 WP114 WP115 WALTITUD Descripción Superficie agrícola o Superficie de tierras de cultivo (has) bajo riego Superficie agrícola o Superficie de tierras de cultivo (has) bajo secano Superficie no agrícola (has) Otra clase de tierras (has) Tierras de labranza (has) Tierras con cultivos transitorios (has) Tierras en barbecho (has) Tierras en descanso (has) Tierras con cultivos permanentes (has) Pastos cultivados (has) Cultivos forestales (has) Tierras con cultivos asociados (has) Tierras con pastos naturales (has) Pastos manejados (has) Pastos no manejados (has) Tierras con montes y bosques (has) Superficie cultivada (has) Tamaño del hogar Sexo del Productor Edad del Productor Tiene DNI el Productor Nivel educativo del Productor Idioma o Lengua que aprendió hablar el Productor Altitud em msnm WSUP08A Superficie sin cultivo y va a ser sembrada hasta Julio 2013 WSUP08B Superficie sin cultivo y NO va a ser sembrada hasta Julio 2013 WSUP19 Superficie sembrada de cultivos transitorios

11 9.3.9 Tabulación Generación de Cuadros Estadísticos. La generación de cuadros estadísticos es realizada por el personal de OFICINA TÉCNICA DE INFORMÁTICA. Los 154 cuadros generados están basados en el Plan de Tabulados definido previamente. Se utiliza el software IMPS. La relación de los 154 cuadros estadísticos generados se muestra en el Anexo Generación de Productos A partir de la base de datos de los resultados definitivos del IV Censo Nacional Agropecuario se generan los siguientes productos: Sistema de consulta de Cuadros Estadísticos Microdatos en Base de datos Redatam Microdatos en Base de datos SPSS Directorio de Productores Agropecuarios Marco de unidades agropecuarias 9.4 Personal Participante En el procesamiento de datos de la cédula censal realizado por OFICINA TÉCNICA DE INFORMÁTICA, participaron las siguientes personas según su especialidad: Nombre Jimmy Velásquez Dávila José Carlos Gallardo Freddy Huali Veliz Luis Soldevilla Curipaco Elmer Pérez Espinoza Leoncio Torrejón Herrera Jannet Martinez Padilla Isabel Aponte Ochante José Llanos Solórzano Gonzalo Anchante Hurtado Cargo Administrador de Base de Datos Administrador de Base de Datos Analista Programador Analista Programador Analista Programador Analista Programador Analista Programador Analista Programador Analista Programador Programador Web Martha Rodriguez Ana Fiestas 11

12 9.5 Software y Equipos Plataforma Tecnológica Tipo Software Sistema Operativo del Servidor Linux Servidor de Aplicaciones / Contenedor Web JBoss 6, Tomcat 6.0 Motor de Base de Datos Relacional SQL Server 2008 Lenguaje de Programación de Aplicaciones Web Scripts Java Java script Entorno de Desarrollo Integrado Spring Source Tool Suite Control de Versiones Gestión de librerías Subversion Maven Pruebas unitarias Junit 4.1 Framework Spring Mapeo (ORM) JPA 2.0 Persistencia Hibernate Interfaz de usuario JQuery Arquitectura de Sistema

13 9.6 Sistemas Una de las características principales de la arquitectura propuesta para el proyecto CENEAGRO es que la autenticación y autorización de usuarios se realiza en forma centralizada a través de los servicios que proporciona el Sistema de Seguridad. Por lo tanto, en principio todos los sistemas desarrollados estarán integrados con el Sistema de Seguridad a través de estos servicios. Por otro lado, todos los funcionarios censales que participaron en el CENAGRO están registrados en el Sistema de Gestión de Funcionarios Censales, muchos de los cuales utilizarán los sistemas del IV CENAGRO para lo cual se requiere que estén registrados como usuarios en el Sistema de Seguridad. Adicionalmente, el Sistema de Monitoreo y Seguimiento de Procesos obtiene datos de los diferentes sistemas para proporcionar información a nivel estratégico y táctico de los avances en las diferentes actividades ejecutadas. A continuación se describe en detalle los puntos de integración entre los sistemas de apoyo Sistema de Seguridad El Sistema de Seguridad tiene como objetivo proporcionar servicios centralizados de autenticación y autorización a todos los sistemas del proyecto IV CENAGRO. El Sistema de Seguridad tiene dos partes principales: los servicios de autenticación y autorización, y el módulo de administración que permite gestionar los sistemas, los menús de los sistemas, los perfiles de los sistemas, y los usuarios de los sistemas. Software de desarrollo: Java Base de datos: Sql Sistema de Gestión de Funcionarios Censales El Sistema de Gestión de Funcionarios Censales tiene como objetivo gestionar el proceso de convocatoria, preselección, capacitación y selección del personal requerido para las diversas etapas de ejecución del censo. Asimismo permite el seguimiento de la asignación del trabajo de campo y el pago correspondiente. Software de desarrollo: Java Base de datos: Sql Sistema de Monitoreo y Seguimiento de Procesos El Sistema de Monitoreo y Seguimiento de Procesos Censales tiene como objetivo realizar el monitoreo y seguimiento a todos los niveles geográficos y censales sobre el estado de avance y retraso de las diversas actividades y proporciona indicadores a fin de tomar acciones correctivas. Las actividades censales que se ejecutan en el marco del proyecto IV CENAGRO son monitoreadas y controladas mediante el Sistema de Gestión de Procesos Censales. Para lograr este objetivo, los sistemas que gestionan las actividades censales proporcionan los datos del avance de las actividades realizadas. Software de desarrollo: Java Base de datos: Sql

14 9.6.4 Sistema de Registro y Control de Documentos El Sistema de Registro y Control de Documentos tiene como objetivo registrar la distribución y recepción de los diversos documentos censales en todas las etapas del proceso censal y proporcionar información que permite conocer el flujo de los documentos censales como formularios, planos, croquis, equipos entre otros. Software de desarrollo: Java Base de datos: Sql Sistema de Tablas Estandarizadas El Sistema de Tablas Estandarizadas tiene como objetivo gestionar la actualización y mantenimiento de las tablas de uso general de las diferentes etapas del IV CENAGRO. Entre estas tablas se encuentran las tablas maestras utilizadas para el proceso de codificación, las tablas de ubicación geográfica, etc. Software de desarrollo: Java Base de datos: Sql Sistema de Codificación El Sistema de Codificación tiene como objetivo asignar un código a las respuestas de las preguntas con respuestas abiertas como cultivos, árboles frutales entre otros. Posteriormente los códigos asignados se utilizan en tabulaciones y frecuencias. Software de desarrollo: Java Base de datos: Sql Intranet CENAGRO La Intranet del CENAGRO tiene como objetivo proporcionar acceso a toda la información necesaria para el operativo censal, siendo así el medio que permitirá la integración de los diversos procesos censales. Asimismo, proporciona acceso a los sistemas a utilizarse. Software de desarrollo: Java Base de datos: Sql Sistema de Control de Calidad de Datos Escaneados El Sistema de Control de Calidad de Datos Escaneados tiene como objetivo la validación de los datos escaneados asegurando su cobertura y calidad. Proporciona al Sistema de Monitoreo y Seguimiento de Procesos las estadísticas del resultado del proceso de tal forma que se pueda saber el número de unidades agropecuarias en proceso, el número de errores encontrados en estas, y otras estadísticas de interés. Software de desarrollo: CSPRO Archivo de datos formato ASCII Sistema de Cobertura El Sistema de Cobertura tiene como objetivo la validación de la cobertura geográfica de los datos escaneados. La cobertura comprende la validación de las variables de identificación para asegurar que todos los registros sean parte de una SEA; las SEAs sean parte de una sección; las secciones sean parte de un distrito y así sucesivamente. Además comprende la validación de la

15 completitud del número de registros en cada una de las divisiones en que se organiza el registro. Software de desarrollo: ASP Base de datos: Sql Sistema de Estructura El Sistema de Estructura tiene como objetivo la composición de la unidad agropecuaria a partir de las cédulas censales que la componen. La estructura comprende la validación de los valores de los registros de tal forma que todos tengan datos correctos, no estén repetidos, etc. Software de desarrollo: CSPRO Archivo de datos formato ASCII Sistema de Consistencia e Imputación de Datos 9.7 Cronograma El Sistema de Consistencia de Datos tiene como objetivo asegurar la consistencia de datos mediante la ejecución de un conjunto de reglas de validación que se aplican a los datos escaneados. Además permite la corrección de los registros en grupo o individualmente. Software de desarrollo: CSPRO Archivo de datos formato ASCII Cronograma de ejecución de las tareas del Procesamiento de Datos. Actividad Inicio Fin 1 Recepción, Inventario y Control de Documentos Nov-12 Dic-12 2 Captura de Datos Ene-13 Abr-13 3 Control de Calidad de la Lectura y Reconocimiento Feb-13 Abr-13 4 Control de Calidad Muestral Mar-13 Abr-13 5 Consistencia Básica May-13 May-13 6 Codificación May-13 May-13 7 Consistencia e Imputación May-13 Jun-13 8 Recodificación de Variables Jul-13 Jul-13 9 Tabulación Jul-13 Jul Generación de Productos Jul-13 Ago Problemas y Soluciones Los desarrolladores de la Empresa proveedora que implementó los procedimientos de consistencia de datos y exportación de datos no fueron los mismos que iniciaron estos temas para el Censo Experimental. Los desarrolladores de OFICINA TÉCNICA DE INFORMÁTICA del INEI tuvieron que realizar un acompañamiento en las instalaciones de la empresa para explicar nuevamente a los nuevos desarrolladores de la Empresa los procedimientos a implementar. Esto implicó tiempo y esfuerzo por parte del INEI En la ejecución de las diferentes etapas del procesamiento de datos fue necesario cambiar de formato de datos; es decir, exportar la base de datos a archivo de texto o viceversa porque la implementación de los procedimientos lo requería así. Para esto se implementó procedimientos de extracción y carga de datos entre los diferentes formatos. 15

16 Ciertos datos de los lotes de trabajo entregados por la empresa proveedora no cumplían con las especificaciones de tipo de dato o rango; por lo que se implementó un proceso adicional de corrección de datos para lo cual se implementaron los procedimientos para la detección de dichos errores y se contó con la participación de 15 personas que realizaron la tarea de corrección mediante el sistema desarrollado para tal fin. Se encontraron diferencias en el número de cédulas censales inventariadas por el INEI y entregadas por la Empresa proveedora. Se determinó que las diferencias mayores a 5 se vuelvan a contabilizar físicamente entre la Empresa y el INEI, obteniendo resultados positivos en la mayoría de casos. Aun así el procedimiento fue difícil porque el material censal no estaba almacenado en un orden específico por lo que no fue rápida la localización de las cédulas censales. El proceso de cobertura tuvo problemas al inicio del proceso al no contarse con la totalidad de las imágenes de las cédulas escaneadas. Se reforzó la coordinación con la Empresa proveedora para que proporcione las imágenes faltantes en el momento adecuado. En el proceso de consistencia el tiempo de procesamiento de datos se incrementó por la cantidad de datos a procesar. Se tomó la decisión de realizar la partición física de las tablas (como en los procesos anteriores) lo cual mejoró los tiempos de procesamiento. 9.9 Indicadores De Cobertura Geográfica y Temática Cobertura Geográfica CCDD DEPARTAMENTO TOTAL DISTRITOS INVENTARIO UDRA DATOS ENTREGADOS POR EMPRESA COBERTURA SEAs Nro. Cédulas SEAs Nro. Cédulas SEAs Nro. Cédulas TOTAL Amazonas Áncash Apurímac Arequipa Ayacucho Cajamarca Callao Cusco Huancavelica Huánuco Ica Junín La Libertad Lambayeque Lima Loreto Madre de Dios Moquegua Pasco Piura Puno San Martín Tacna Tumbes Ucayali

17 CCDD DEPARTAMENTO CONSISTENCIA TOTAL CODIFICACION ESTRUCTURA FINAL DISTRITOS AUTOMATICA ASISTIDA SEAs Nro. Cédulas SEAs Nro. Cédulas SEAs Nro. UA SEAs Nro. UA TOTAL Amazonas Áncash Apurímac Arequipa Ayacucho Cajamarca Callao Cusco Huancavelica Huánuco Ica Junín La Libertad Lambayeque Lima Loreto Madre de Dios Moquegua Pasco Piura Puno San Martín Tacna Tumbes Ucayali Cobertura Temática Capítulo Total U.A. Porcentaje Capítulos I - III Capítulo III Capítulo IV (cultivos) Capítulo IV (parcelas) Capítulo IV (superficie) Capítulo V Capítulos VI - VIII Capítulo IX Capítulos X - XV Capítulo XVI Capítulo XVI Capítulo Observaciones

18 9.10 Calidad de Datos A continuación se muestra la estadística para la pregunta P016. Las estadísticas para todas las preguntas aparecen en el Anexo 11. Cobertura Estructura Imputación Pregunta Categoría Total % Total % Total % P P Persona natural P Sociedad anónima cerrada SAC P Sociedad anónima abierta SAA P Sociedad de responsabilidad limitada SRL P Empresa Individual de responsabilidad limitada EIRL P Cooperativa agraria P Comunidad campesina P Comunidad nativa P Otra P P P016 Blanco P016 Nulo Productos obtenidos A partir de la base de datos de los resultados definitivos del IV Censo Nacional Agropecuario se generan los siguientes productos: Sistema de Consulta de Cuadros Estadísticos Microdatos en Base de datos Redatam Microdatos en Base de datos SPSS Directorio de Productores Agropecuarios Marco de áreas de la Unidades Agropecurarias

19 P R O D U C T O S Datos Cartografía Digital Sistema de Cuadros Predefinidos Microdatos Redatam Base de Datos SPSS Directorio de Productores Agropecuarios Sistema de consulta de Cuadros Estadísticos Los cuadros estadísticos son de acceso local y público a través de sistemas de consulta monousuario y Web que para tal fin se ha implementando Microdatos en Base de Datos REDATAM Redatam es el acrónimo de REcuperación de DATos para Áreas pequeñas por Microcomputador. Es un software para procesar y mapear datos de censos y encuestas para análisis local y regional. Consta de los siguientes módulos: Process (incluye la administración de bases de datos), Create (creación de bases de datos), XPlan (para el desarrollo de las aplicaciones en R+SP del usuario final). Para el IV CENAGRO se creó la base de datos REDATAM nacional lo cual permitirá a los usuarios finales el análisis de la información a niveles desagregados como distrito y SEA. También está prevista la capacitación sobre el uso de esta aplicación en las dependencias a nivel nacional. El acceso a la base de datos REDATAM IV CENAGRO es de acceso local y público a través del aplicativo XPLAN y del aplicativo REDATAM WEB respectivamente Microdatos en Base de Datos SPSS La base de datos en formato SPSS contiene los datos completos de los 24 departamentos y la provincia constitucional del Callao. Los datos están organizados en 11 archivos que corresponden a los tipos de registro definidos en el diccionario de datos utilizado para el procesamiento de la cédula censal. En el Anexo 12 se presenta el Diccionario para SPSS. 19