Uso de las Tecnologías en la Captura de Datos en los Censos y Otras Operaciones Estadísticas Presentado por: José Virgilio Cedeño Administrador de Base de Datos josece@contraloria.gob.pa jvcedeno@hotmail.com
Aspectos Generales Los sistemas para el procesamiento de los Censos y Otras Operaciones Estadísticas están desarrollados utilizando tecnologías existentes en el Instituto Nacional de Estadística y Censo, a saber: Microsoft Visual Studio.Net 2005 Base de datos SQL Server 2008 (Servidores) SQL Server Compact (PDA y Tablets) CsPro 4.1.002 (PC y Tablets) Cspromobile (PDA) Microsoft Office. Se desarrolló un sistema para la digitación, validación de inconsistencias, verificación o re-digitación, codificación sistematizada, carga, gestión de entrevistas y envío de datos en los dispositivos móviles, integración de los datos a nivel nacional y reportes web
Aspectos Generales El proceso de entrada de datos se ha descentralizado a las Oficinas Regionales del INEC, teniéndose 9 centros de captura en todo el País. Se han implementado redes de microcomputadoras en cada uno de los centros de captura, consistentes en un servidor con el sistema operativo Windows 2008 Server, computadoras (XP/Vista/7) para el supervisor y para cada uno de los digitadores o verificadores, routers inalámbricos, PDA (Mobile 5), SmartPhones (Mobile 6.5) y tablets (Windows 7) para los supervisores y encuestadores. La conexión con la red institucional se lleva a cabo a través de enlaces de 1MB a 2MB de la Sede con el resto de los centros de captura.
Estrategias utilizadas en las diferentes Operaciones Estadísticas Operación Estadística Censo Nacional de Población y Vivienda 2010 Censo Nacional Agropecuario 2011 Digitación tradicional (Papel-PC) Verificación de digitación PDA Smart phone Tablet Codificación Sistematizada X X (*) X X Encuesta de Niveles de Vida X X Encuesta de Mercado Laboral X X X Encuesta de Propósitos Múltiples X X X Encuesta de Trabajo Infantil X X X Encuesta de Turismo Emisor y Receptor Encuesta de Indicadores Múltiples por Conglomerado (MICS) - UNICEF Asesoría y soporte técnico al Instituto Conmemorativo Gorgas en las encuestas que ellos realizan. X X X X X
Programas de Captura y Validación - CSPro Desarrollo del diccionario de datos y los programas para la captura y validación de inconsistencias, tanto para dispositivos móviles como para la captura de cuestionarios en papel. Se tiene una única estructura de datos para ambas modalidades, lo que garantiza la uniformidad de la información al momento de su integración. Programas necesarios para ordenar los cuestionarios dentro de las UPM. Programas para realizar la comparación de los archivos de datos. Una vez finalizado el trabajo de campo y los procesos de captura, se utiliza el CSPro para generar frecuencias, tabulados o salidas especiales de los datos y para su exportación a otras herramientas estadísticas como el SPSS, Redatam, etc.
Sistema de Gestión de CSPro para PC VB.Net Control de versión y actualización automática del sistema de gestión y de los programas CSPro. Acceso al sistema mediante nombre del equipo, usuario y contraseña. Control del estado de procesamiento para cada UPM o Segmento (Digitación, Verificación, Supervisión, Terminado, etc.). Ejecución de los programas de CSPro (PFF) para la captura, listados de inconsistencias, concatenación, ordenamiento y comparación de archivos. Carga de los archivos CSPro a la base de datos SQL Server. Captura de las coberturas manuales realizadas por los supervisores de campo y su posterior comparación con la digitación. Control del proceso de cierre de digitación y verificación de las UPM o Segmentos.
Sistema de Gestión de CSPro para PC VB.Net Ejecución del proceso de codificación automática para las preguntas abiertas (Títulos, Ocupación, Actividad, País y División Política). Permite la codificación manual para las preguntas abiertas que no fueron codificadas en el proceso automático. Revisión y corrección manual de inconsistencias generadas de la codificación sistematizada Permite a los supervisores de dispositivos móviles la revisión del avance del trabajo de campo, revisión de los cuestionarios, listados de inconsistencias y el cierre de la UPM del trabajo de campo. Acceso a reportes de avance del procesamiento en el centro de captura y Ejecución de los respaldos diarios.
Sistema de Gestión de CSPro para Dispositivos Móviles VB.Net Control de versión y actualización automática del sistema de gestión y de los programas CSPro. Acceso al sistema mediante usuario y contraseña con los roles de supervisor y encuestador. Mediante el uso de servicios web ubicados en el servidor web del Instituto, el supervisor puede descargar las asignaciones semanales para el trabajo de campo (UPM). Puede realizar el envío de la información de la base de datos Compact SQL Server del dispositivo al servidor principal. Actualización de los datos de localización de las viviendas, recorridos y manejo de visitas. Ejecución de los programas de CSPro (PFF) para la captura y listados de inconsistencias (Tablets). Carga de los archivos CSPro a la base de datos Compact SQL Server.
Sistema de Gestión de CSPro para Dispositivos Móviles VB.Net Utilización de colores y textos para identificar el estado del proceso de captura de los cuestionarios o registros individuales (completa, no efectiva, parcial, sin capturar), según los parámetros de la encuesta. Envío de asignaciones y recepción de la información entre el supervisor y los encuestadores, mediante el uso de las tarjetas SD en el caso de las Tablets o Bluetooth en el caso de las PDA. Ejecución de los respaldos dentro del equipo y en la tarjeta de memoria SD. Abrir o cerrar las asignaciones dentro de los dispositivos para que estén disponibles o no a los encuestadores durante el tiempo de duración de la encuesta. Reporte del avance de la captura en campo.
Integración y Sistema de Reportes Web VB.Net Mediante la utilización de los mecanismos de integración de datos disponibles en la Base de Datos SQL Server, se ejecutan los procesos automáticos de integración de la información capturada en los 9 centros de captura, todos los días en horas de la noche. Igualmente se realizan respaldos automáticos de todas las bases de datos SQL Server de los Centros de Captura y se copian al servidor central. Esto permite que los Coordinadores Nacionales y Regionales de las Operaciones Estadísticas tengan acceso a los reportes de cobertura y tabulados de control del trabajo de campo, permitiéndoles realizar los filtros por centro de captura, semana, supervisor y unidad de investigación.
Organización de la Capacitación para el Procesamiento GRUPO APOYO INFORMÁTICO EMPADRONADORES SUPERVISORES DIGITADORES VERIFICADORES PROPÓSITO Proveer conocimientos y técnicas para gestionar procesos de configuración, parametrización, capacitación y uso del sistema informático mediante el uso de computadoras y dispositivos móviles de captura. Proveer conocimientos para gestionar los procesos recolección de datos en campo mediante el uso de dispositivos móviles (DMC). La capacitación permite al usuario interactuar con los procesos de digitación, validación y verificación de la información Proveer los conocimientos necesarios para gestionar los procesos de digitación, validación, verificación y control de la información a través de computadoras.
Principales Problemas Las innovaciones no son acogidas como una solución deseable por parte del personal técnico responsable de la operación estadística. Durante el proceso de implementación o en la fase de ejecución de las operaciones estadísticas, existen actividades previas que generan insumos de base para el funcionamiento de los sistemas. El sistema genera reportes y salidas que están disponibles para los involucrados en los distintos niveles de responsabilidad de la operación estadística. Por referencia de los sistemas de control que se han establecido, se observa que dichas herramientas no son utilizadas en mayor intensidad. No se dispone de suficiente personal que brinde soporte y mantenimiento tanto en la fase de ejecución como en las fases posteriores. Laboramos en una institución que su razón de ser es la aplicación de controles. En ocasiones el control excesivo se puede convertir en un elemento que no permite disponer con la debida oportunidad de todos los recursos que demanda las operaciones estadísticas. Otra fenómeno que se observa se relaciona con daños en los cargadores y otros accesorios, asociados al mal uso por parte del usuario del equipo. Rotación permanente del personal que participa en los actividades de recolección de datos en campo.
Lecciones Aprendidas Se han logrado sinergias entre técnicos y autoridades del INEC. Resultan ahorros en tiempo de procesamiento. Oportunidad en la entrega de resultados. Se rompen paradigmas en cuanto a metodologías de recolección de datos. La oportunidad de aplicar los conocimientos y experiencias en otras operaciones estadísticas que realiza el INEC. Las necesidades de adoptar un esquema de seguridad, obligó a las autoridades a adquirir un plan de póliza de seguro que permita reponer esos bienes según las circunstancias que surjan en campo.
MUCHAS GRACIAS!