PARTICIPACIÓN DE LA INFORMÁTICA EN EL DISEÑO, DESARROLLO Y EXPLOTACIÓN DE ENCUESTAS A HOGARES

Transcripción

1 41 PARTICIPACIÓN DE LA INFORMÁTICA EN EL DISEÑO, DESARROLLO Y EXPLOTACIÓN DE ENCUESTAS A HOGARES MARIA TERESA ARRIOLA, GRACIELA CANESSA, RAQUEL SALVA Y ELBA TONINI INSTITUTO NACIONAL DE ESTADÍSTICA Y CENSOS (INDEC) ARGENTINA

2 42 Participación de la informática en el diseño... ÍNDICE Página Introducción Sistema de Ingreso ENGH 96/ Integración de la Base de Datos Transformación Imputación Resultados Síntesis Global del Ciclo de Evolución de los Datos Base a Usuarios Descripción Desafíos y Proyectos de la Nueva Encuesta en el Conclusión... 47

3 Participación de la informática en el diseño Introducción El procesamiento de datos de la ENGH (Encuesta Nacional de Gastos de los Hogares) comprende un conjunto de tareas que comienza en el desarrollo e implementación del Sistema de Ingreso para acompañar la etapa de captura de datos. Inmediatamente después, y mientras el ingreso de la información está en pleno desarrollo, se origina la necesidad de efectuar los procesos de control de calidad de la información que se está ingresando. Dentro de esta categoría de procesos podemos mencionar el análisis de tasas de no respuesta o los estudios de las cantidades de registros y de valores extremos, pero también, la obtención de estructuras de gastos preliminares. Para poder implementarlas es necesario introducir procedimientos de generación de variables transformadas y de agregado de variables. Un poco más tarde en el ciclo de vida del procesamiento de la encuesta aparece la necesidad de imputación de variables faltantes para evitar el sesgo que se produciría si se presentaran los resultados considerando únicamente los datos brindados por los hogares respondentes. Finalmente, la producción de los cuadros para la publicación de resultados y la generación de la Base a Usuarios constituyen el corolario para el ciclo del desarrollo. Sistema de Ingreso ENGH 96/97 El Sistema de Ingreso para la ENGH 1996/1997 fue desarrollado en INDEC por el equipo informático de la Dirección de Estudios de Ingresos y Gastos de los Hogares y se instaló en once centros regionales de ingreso a lo largo del país. Cada centro de ingreso incluía una o varias provincias. Operativamente, el centro regional estaba organizado mediante los siguientes puestos de trabajo: Un Coordinador Técnico, quien era responsable del buen funcionamiento del servidor y del motor INFORMIX instalado en el centro; Un Encargado Regional de Ingreso, quien coordinaba la tarea de los editores y emitía las planillas de control y monitoreo del ingreso y del operativo y Un conjunto de Editores, quienes ingresaban, modificaban, consistían y listaban las encuestas, generaban los listados de errores y los balances financieros. Todos los módulos del sistema de ingreso fueron implementados en INFORMIX-4GL versión 4.10, así como la generación de la base de datos. El sistema se comunicaba con el usuario a través de menúes que daban acceso a pantallas similares a los bloques o páginas de los formularios y guiaba al editor para el ingreso de cada encuesta en forma pautada. La validación en el ingreso de datos se clasificó en tres grandes grupos, dependiendo de la característica de la pregunta: Efectuando el chequeo de existencia en una tabla referencial (por ejemplo de artículos). Validando que la respuesta estuviera dentro de un conjunto de valores permitidos codificados en forma previa, conocimiento que se incluyó en los programas (por ejemplo valores válidos para categorías ocupacionales o lugares de adquisición). Verificando la inclusión del valor ingresado en un intervalo almacenado en una tabla referencial (por ejemplo para la validación del monto, el rango de precio mínimo y máximo por artículo). Ante la falla en una validación, para los dos primeros casos, el sistema no permitía el ingreso del dato, para el tercer caso se permitía el ingreso, pero el registro se marcaba como inconsistente para ser evaluado y eventualmente corregido con posterioridad. Para garantizar la consistencia y coherencia global de la encuesta, el sistema implementaba un conjunto de pautas clasificadas en advertencias y errores. Dichas pautas podían estar circunscriptas a un bloque de preguntas de un formulario determinado (por ejemplo, verificar que si existe alumbrado público en la cuadra en la que se encuentra la vivienda, entonces debe existir electricidad) o cruzar información de

4 44 Participación de la informática en el diseño... diferentes bloques (por ejemplo, si el hogar tiene electricidad entonces debe declarar gasto para el código correspondiente). El Sistema implementaba mecanismos de seguridad asignando diferentes roles a los usuarios de acuerdo a su puesto y otorgando un conjunto de permisos a cada rol. Así, por ejemplo un editor no podía dar de baja a una encuesta, atribución que sí estaba asignada al Encargado Regional. La encuesta se desarrolló en conjunto con las veinticuatro Direcciones Provinciales de Estadística. Allí funcionaba un equipo de analistas que codificaba la información contenida en los formularios relevados por los encuestadores y verificaba manualmente un conjunto mínimo de pautas de consistencia y completitud. Los formularios eran enviados luego al centro correspondiente a la provincia para su ingreso. Una vez allí, el encargado regional distribuía las encuestas entre sus editores, administrando planillas de seguimiento de las encuestas. Luego de ingresada la encuesta se emitían los listados de datos ingresados y los listados de errores con las inconsistencias detectadas por el sistema. El listado y los formularios viajaban nuevamente a la provincia para que los analistas determinaran las correcciones y devolvieran el listado corregido al Centro de Ingreso. Los editores registraban las modificaciones, y la encuesta era finalizada. El sistema emitía un conjunto de planillas semanales (a imprimir en forma anticipada, dado que constituía el material para la salida a campo) y un conjunto de planilla mensuales (a imprimir a la finalización de cada mes, pues contenían información relevante para el control del operativo). La preparación para la instalación del Sistema incluyó la generación de bases de datos fijos específicos para cada centro, en particular, la tabla correspondiente a la muestra fue distribuida selectivamente de forma que cada centro tuviera acceso únicamente a las viviendas que le correspondieran. Con referencia al material para el operativo, el sistema de ingreso emitía las hojas de ruta para el encuestador y las planillas para las supervisiones de rutina, las cuales se imprimían en forma semanal anticipada, para disponer de las mismas en forma previa a la salida a campo. Integración de la Base de Datos Transformación Imputación Resultados Una vez comenzado el ingreso en los centros, la información era enviada semanalmente a INDEC para ser integrada en una única base de datos centralizada. Esto permitía el monitoreo del ingreso y la consolidación de la información a nivel nacional. Para poder analizar y permitir la posterior explotación de los datos fue necesario desarrollar los procesos de transformación, los cuales incluyeron, entre otros: Mensualización de los gastos para unificar los distintos períodos de referencia que la encuesta releva. Mensualización de las cantidades y transformación a la unidad de medida stándard definida para cada artículo. Generación de variables agregadas a nivel de hogar (cantidad de miembros y de preceptores, información sociodemográfica del jefe del hogar, gasto e ingreso total, quintiles de ingreso, etc.) Generación de variables agregadas a nivel de personas (nivel de instrucción, condición de actividad, categoría ocupacional, etc). Imputación de ingresos no declarados. Conforme se iban recibiendo los datos de los centros de ingreso, iba surgiendo la necesidad por parte del Equipo de Metodología y Análisis de efectuar los controles de calidad y de conocer estructuras de gastos y otros cuadros de cruces de variables. Para ello se desarrolló una aplicación a la que denominamos Sistema de Biblioteca, que, mediante una interfase implementada en INFORMIX-4GL, ofrecía una

5 Participación de la informática en el diseño variada gama de opciones, algunas de las cuales ejecutaban módulos implementados también en INFORMIX-4GL y otras, lanzaban la ejecución de procesos en SAS-versión 6.07, dependiendo de la conveniencia de utilizar un producto u otro según la naturaleza del resultado que se quisiera obtener. Los cuadros de la publicación se conformaron, entonces, con un subconjunto de los cuadros emitidos por el Sistema de Biblioteca. Toda la información transformada y agregada se adicionó para componer la Base ENGH y luego, mediante selección y agrupamiento se definió la Base a Usuarios de la ENGH. A medida que los requerimientos del Equipo de Metodología y Análisis de la encuesta crecían, el sistema de Biblioteca iba incrementando su funcionalidad, inclusive incluyó una opción que permitía el acceso a una sesión de SAS a los usuarios del equipo que estuvieran interesados en hacerlo. De esta forma, cada usuario podía generar archivos y salidas de SAS en un área de trabajo propia, sin permiso para sobrescribir los archivos SAS que componían la base maestra.. Como no se disponía en el momento de una interfase INFORMIX-SAS, el hecho de que el sistema de Biblioteca trabajara en forma paralela en dos plataformas, introdujo el inconveniente adicional de tener que mantener actualizada una copia con formato SAS de la base maestra, que se encontraba en permanente evolución, alimentada con los backups que llegaban de los centros de ingreso y con las transformaciones que se le practicaban en INDEC. También se fueron incorporando al Sistema de Biblioteca procesamientos a pedido de usuarios de otras dependencias del INDEC y de otros usuarios externos al INDEC. Todos los procesos de transformación fueron debidamente documentados y puestos a punto en forma conjunta con el Equipo de Metodología y Análisis de la encuesta. El mecanismo de imputación se aplicó para los ingresos no declarados. Dado que se observó que las características de los hogares no respondentes a ingresos eran diferentes a las de aquellos hogares que sí lo hicieron, la omisión de la información de los hogares no respondentes sesgaría significativamente los resultados. A fin de evitar este sesgo, se optó por imputar los ingresos. La imputación se basó en la existencia de una relación, avalada por la teoría económica, entre los gastos de consumo, ingresos y otras características de los hogares, conocida como la función de consumo. El procedimiento de imputación consistió en estimar, vía regresión múltiple, los parámetros de esta relación, utilizando la información recopilada por la Encuesta sobre los gastos de consumo y las características sociodemográficas de los hogares que respondieron ingresos y utilizar luego los parámetros estimados junto con la información sociodemográfica y de gastos de los hogares que no respondieron ingresos, para imputar los ingresos de éstos. La imputación se llevó a cabo en dos etapas. En una primera etapa se definió al hogar como dominio de análisis para la función de regresión. De aquí se obtuvo como resultado una primera estimación del ingreso real del hogar. Posteriormente, en la segunda etapa, el dominio de análisis se restringió a los perceptores y, teniendo en cuenta el hecho de que la Encuesta relevó ingresos individuales y a nivel de fuente, se estimaron ingresos para los perceptores que no lo habían declarado y se obtuvo la estimación del ingreso total del hogar como la suma de los ingresos (imputados o no) de sus perceptores. Fueron publicados resultados basados en cada una de las etapas de imputación. En la Base a Usuarios de la ENGH quedan debidamente identificados los hogares cuyo ingreso fue imputado, para que el usuario los discrimine al evaluar los resultados, si lo considera adecuado. Síntesis Global del Ciclo de Evolución de los Datos El Sistema de Ingreso de la ENGH capturó, en cada centro de ingreso, porciones regionales de información que se transmitieron a INDEC para conformar una única base de datos a nivel nacional (Base de Datos Original). La misma se integró y consistió en INDEC para conformar una Base de Datos

6 46 Participación de la informática en el diseño... Maestra. Ésta fue sometida a procesos de transformación que ajustaron los datos para poder explotarlos y a procesos de imputación que generaron los datos faltantes. En forma paralela, el uso del Sistema de Biblioteca auxilió en la toma de decisiones. Mediante mecanismos de selección y agrupamiento se definió la Base a Usuarios ENGH. Base a Usuarios Descripción La Base a Usuarios se conformó con un conjunto de tablas que representaron a aquellas entidades o sujetos sometidos a estudio por la Encuesta. Así la Base está compuesta por tablas de hogar, personas, ingresos, gastos, cantidades, equipamiento y gastos por forma de pago y lugar de adquisición. La tabla de hogar se relaciona a través de su clave con las tablas de personas, gastos, cantidades y equipamiento y la tabla de personas se relaciona a través de la clave del hogar más la identificación del miembro con la tabla de ingresos. Las tablas se elaboraron a partir de la información suministrada por los formularios más las variables agregadas por los procesos de transformación e imputación. Del formulario 1 (Características de los hogares) se extrajeron las variables para formar la tabla de hogar y personas; del formulario 2 (Gastos Diarios) y 3 (Gastos Varios) aquellas para las tablas de cantidades, gastos por forma de pago y lugar de adquisición; del formulario 3 para la tabla de equipamiento y del formulario 4 (Ingresos) las de la tabla de ingresos. La información se pone a disposición de los usuarios mediante un CD cuyos directorios principales son Archivos_texto, Documentación y Tabulados. Las tablas que mencionamos en el párrafo anterior están almacenadas en archivos de formato texto con delimitador. La decisión de presentar la información de esta forma es justificada por el hecho de tratarse del formato más portable para poder generar bases en cualquier producto del mercado, y, también, compatible con todas las diferentes versiones de un mismo producto a través del tiempo. La estructura de estos archivos de texto es idéntica a través de las regiones y está descripta en archivos con formato WORD, conjuntamente con una lista de valores para cada variable y su significado. En el sub-directorio Documentación / Metodología se puede consultar la documentación metodológica de toda la Encuesta, accediendo mediante mecanismos de navegación a archivos WORD conectados mediante links. También se puede acceder en forma directa a consultar los tabulados publicados (estructuras de gastos, cuadros de cantidades y de ingresos). Dichos tabulados se encuentran almacenados en el directorio Tabulados, clasificados por la región a la que pertenecen. Toda esta documentación metodológica y tabulados están disponibles también en las publicaciones del INDEC para la Encuesta. Desafíos y Proyectos de la Nueva Encuesta en el 2003 En este momento nos encontramos en la etapa de implementación del Sistema de Ingreso para la prueba piloto de la nueva Encuesta de Gastos. El mismo se analizó y diseñó con herramientas ORACLE- DESIGNER y se está implementando en ORACLE-DEVELOPER. En esta oportunidad, la política será la de un ingreso descentralizado, llevado a cabo en las Direcciones Provinciales de Estadística, a través de un entorno ORACLE Cliente-Servidor. De esta forma, la base de datos es única e instalada en INDEC y desde las provincias se accede a ella en forma directa. Nuestra experiencia nos fue convenciendo de la necesidad de encarar el desarrollo e implementación de un sistema de ingreso genérico para encuestas a hogares. La cualidad principal que debe caracterizar a un sistema de ingreso genérico es su capacidad para adecuarse a los cambios que se van produciendo en el diseño de los cuestionarios de la misma encuesta (en la transición entre piloto y definitiva, por ejemplo); o aún para poder aplicarse a dos encuestas a hogares distintas. En respuesta a la necesidad que

7 Participación de la informática en el diseño planteamos, estamos proponiendo un esquema de diseño e implementación que denominamos Esquema Parametrizado. Tanto en el esquema de análisis y diseño tradicional, como en el esquema que proponemos, el equipo de metodología y el informático co-participan en la elaboración de un conjunto de requerimientos para el sistema de ingreso que el equipo informático implementa en un soft. Sin embargo, sabemos que en todo soft podemos discriminar claramente entre el conocimiento que el mismo debe incluir y los métodos o algoritmos que debe aplicar para funcionar en forma correcta y completa. Entonces, en el esquema parametrizado, se codifica todo el conocimiento para ser almacenado en tablas, y por otro lado, se diseñan e implementan los métodos que resultan así de naturaleza más general por no incluir el conocimiento dentro de sí. La ventaja sobre el esquema tradicional es que, si se identifica en forma correcta la separación entre conocimiento y métodos, los cambios en el diseño de los cuestionarios sólo implicarán actualizar el conocimiento (modificar datos en tablas) sin que estos cambios afecten los métodos (no se corrigen los programas). El costo que hay que pagar es el de diseñar la estructura de la tablas para almacenar el conocimiento y desarrollar, implementar y mantener un módulo para el ingreso del mismo. También se requiere una mayor capacidad de abstracción en la programación de los módulos, donde las especificaciones expresadas en duro son mínimas o nulas. Creemos que las ventajas superan a los costos. Los cuestionarios, como instrumento de captación de la encuesta quedan plasmados en una base de datos donde podemos identificar claramente dos grupos bien diferenciados: Las tablas que reflejan la estructura de los cuestionarios y todo el conocimiento incluido en ellos. Las tablas que guardan los datos propiamente dichos relevados por la encuesta. Cómo se expresa en tablas el conocimiento incluido en los cuestionarios?. En forma simplificada, comenzamos representando a la encuesta en una estructura de árbol. La encuesta está compuesta por cuestionarios, los cuestionarios están organizados o divididos en bloques, los bloques contienen preguntas, cada una de ellas posee características propias (un número que la identifica, un texto que la describe, un conjunto de opciones o valores posibles para la respuesta). Por fortuna, los bloques no son todos distintos sino que pueden ser agrupados en tipos que responden al mismo patrón. Así, en el soft, definimos un módulo para cada tipo de bloque distinto que identificamos en los cuestionarios. Las diferencias que hay entre dos bloques del mismo tipo quedan expresadas únicamente en las tablas que guardan el conocimiento. Sólo la aparición de un patrón nuevo implicará el desarrollo de otro módulo, mientras que, si se agrega a los cuestionarios un bloque correspondiente a un patrón conocido sólo impacta en la actualización de tablas, no en la programación del módulo. Conclusión Como vemos, la informática no debe constituir un compartimiento aislado en el desarrollo de las Encuestas a Hogares sino que su participación e integración en todas las etapas es una condición que amplía las probabilidades de éxito del proyecto. Ponemos nuestros esfuerzos en imprimirle a esta integración un mayor compromiso, aún teniendo en cuenta los costos, pues estamos convencidas que redundará en mayores beneficios, tanto para los que estamos involucrados en la generación de este tipo de proyectos como para los usuarios finales de los datos que proveemos.