MÓDULO DE IMPUTACIÓN DE REGISTROS. MIR

Transcripción

1 MÓDULO DE IMPUTACIÓN DE REGISTROS. MIR Instituto Vasco de Estadística Área de Estadísticas Sociodemográficas. EUSTAT. Resumen: La necesidad de proporcionar soporte a la nueva visión surgida en los tratamientos censales desde el Censo de 2001, basada en tablas en una base de datos relacional, así como el deseo de trabajar los técnicos estadísticos con la mayor independencia posible respecto a informáticos, lleva a Eustat a plantearse un cambio radical en todas las herramientas habituales de tratamiento estadístico de datos y crea la aplicación denominada MIR: Módulo de Imputación de Registros. MIR esta diseñado para trabajar con tablas Oracle y los tratamientos se agrupan en submódulos: homogeneización, validación, depuración e imputación. Dentro de este último (tratamientos de imputación) se incluyen procedimientos determinísticos, aleatorios y de HOTDECK. También incluye submódulos para generar tablas de recuento recuento de distintas variables por unidades básicas como vivienda, edificio, familia, etc. a fin de poderse utilizar como variables de imputación, generación de vistas, columnas, números aleatorios y algunas de menor entidad. A lo largo de esta década MIR ha sido objeto de innumerables modificaciones y en la actualidad es una herramienta válida para su uso generalizado en distintas operaciones. El objetivo de esta comunicación será presentar la herramienta MIR y sus diversas utilidades. Palabras claves: MIR, Homogeneización, Validación, Depuración, Imputación

2 2

3 MIR: Módulo de Imputación de Registros 1. INTRODUCCIÓN El objetivo prioritario de nuestra comparecencia en este foro consiste en la presentación de una aplicación informática, conocida como MIR o Módulo de Imputación de Registros1. Entendemos que constituye una herramienta útil en el trabajo que lleva a cabo el Instituto Vasco de Estadística-Eustat en el ámbito de los tratamientos estadísticos de ficheros, especialmente dirigida para tratar información sociodemográfica. Hablamos de un software propio, diseñado, creado e implantado por nuestro Organismo en el año Nos encontramos, en consecuencia, ante un elemento joven, pero suficientemente experimentado, que ha acreditado su eficacia y eficiencia. Las tareas más destacadas que ha de acometer el personal competente en materia estadística son, como todas y todos sabemos, validar, depurar, homogeneizar e imputar los datos obtenidos, una vez definidas y concretadas las correspondientes estrategias y planes de tratamientos. Si echamos la vista treinta años atrás, recordaremos cómo entonces se acometía el tratamiento de los datos, como paso previo a la elaboración de las conclusiones, mediante programación ad hoc o método tradicional. El Instituto Vasco de Estadística-Eustat, que aborda la realización del primer censo de población y vivienda en el año 1981, recurre en aquel momento a la metodología que hemos denominado programación ad hoc, que consiste en que cada técnica o técnico competente se enfrenta a la pantalla de su ordenador sin más ayuda que sus propios recursos para intentar solventar aquellas faltas de información, incongruencias, inconsistencias y/o errores que surgen siempre en la fase de tratamiento de los datos. Se trataba de un proceso manual y rudimentario, escasamente sistematizado y en clara dependencia de los servicios informáticos para resolver los problemas a medida que se detectaban. Todo ello generaba como consecuencia una demora lógica en el tiempo y así, al concluir el tratamiento de los datos, su difusión coincidía prácticamente con el inicio de la siguiente encuesta de población y vivienda, que se realiza con una periodicidad de cinco años, ya que se aprovechaban las operaciones de renovación patronal para realizar censos estadísticos, sustituyéndose en 1996 por las operaciones censales denominadas Estadística de Población y Vivienda. Entre los déficits que registra este método el más significativo es, sin duda alguna, el hecho de que el tratamiento de los datos empleado en un censo no era válido para el siguiente, debido a la mejora de las herramientas informáticas, al cambio de metodología, a la modificación de cuestionarios y de determinadas preguntas Entre los años 1981 y 2000 el Instituto Vasco de Estadística-Eustat acomete la elaboración de tres censos sociodemográficos -1981, 1991 y una renovación 1 Inicialmente el acrónimo significaba: Módulo de Imputación del Registro (de Población), ya que en ese momento se pensaba que los censos de población y vivienda se iban a integrar en el Registro de Población (se hizo parcialmente con la EPV96). Posteriormente se vio inviable esa integración. Iba a ser uno de los módulos del propio RP. 3

4 padronal con información censal y una Estadística de Población y Vivienda Contábamos, por tanto, con una mayor experiencia profesional y conocimientos contrastados en la práctica. Todo ello nos aportó la confianza y seguridad precisas para sistematizar la fase de depuración de registros incorrectos, tratando de modificar el menor número posible de campos. Además, una vez determinados cuáles se han de cambiar, así como aquellos faltos de respuesta, se acomete su imputación. Ahora bien, si tenemos en cuenta que la depuración y la imputación ni pueden, ni deben resolverse aisladamente, así como el número tan elevado de registros que se derivan de la realización de un censo, llegamos a la conclusión de que se hace imprescindible el desarrollo de una aplicación informática que ayude al personal estadístico en el desarrollo de sus funciones, con el fin de sistematizar y fijar la metodología y tratamientos estadísticos de grandes volúmenes de información. La respuesta llegará de la implementación y el uso de los avances tecnológicos, y la aplicación de las nuevas herramientas informáticas. En este contexto, surge la aplicación MIR o Módulo de Imputación de Registros, que empleamos por primera vez en la realización del censo correspondiente al año Su uso nos ha permitido modelizar y sistematizar planes de depuración e imputación, programar y evaluar pruebas de tratamientos estadísticos con facilidad y coste temporal limitado, reducir el tiempo invertido hasta entonces en el tratamiento de los datos, una mayor autonomía y seguridad en el desarrollo de nuestro trabajo, el archivo ordenado de los tratamientos y sus resultados, un ahorro considerable de costes y, tan relevante e incluso más, nos ha permitido garantizar una mayor fiabilidad en la información ofrecida a la sociedad. Cabe subrayar la generación por el sistema informático de gran cantidad de listados de control que, además de servir para confirmar o corregir las estrategias de imputación, se archivan con herramientas que recogen los indicadores de calidad de la información manejada (sistemas de marcas de imputación, listados de cobertura, de errores, etc.) La aplicación MIR o Módulo de Imputación de Registros nos ha permitido, por otra parte, automatizar los procesos de homegeneización, validación, depuración e imputación de la información obtenida, de tal manera que, ya sean los planes de depuración e imputación, o ya sean los propios edits de los tratamientos, pueden volver a ser reutilizados o adaptados para operaciones posteriores. Nos encontramos ante una herramienta flexible, fácil de manejar y con un gran potencial de crecimiento. Prueba de ello es que en sus orígenes estaba pensado para ser utilizado sólo en el tratamiento de datos censales; ahora, sin embargo, se emplea, igualmente, en el tratamiento de datos muestrales y estadísticas procedentes de registros administrativos. 2. DESCRIPCIÓN DE LA HERRAMIENTA 2.1. ALCANCE DE LA APLICACIÓN MIR El alcance del sistema MIR (Módulo de Imputación de Registro) comprende la implantación de procedimientos que permiten llevar a cabo, ya sea dentro de una tabla, 4

5 entre tablas, o de forma mixta, las siguientes acciones que se explicarán más adelante en detalle: HOMOGENEIZACIÓN, que permite homogeneizar tablas y variables para aplicar los tratamientos posteriores: recodificar variables, sustituir valores VALIDACIÓN, que permite detectar y evaluar errores mediante consultas y tablas de frecuencia. DEPURACIÓN, que permite eliminar valores erróneos previamente detectados. IMPUTACIÓN, que permite asignarles un valor válido, correcto o probable. Los procedimientos se concretarán en módulos basados en metodologías alternativas, preparados para su integración y ejecución de forma secuencial, permitiendo antes de su ejecución material la visualización de los resultados de la aplicación de esos procedimientos DESCRIPCIÓN DEL SISTEMA MIR es una aplicación.net. Como tal, consta de unos programas que se ejecutan en el servidor de aplicaciones (los que gestionan la aplicación como tal: flujo de pantallas, botones, etc.), y otros que se ejecutan en el servidor de Oracle (la creación, verificación y ejecución de las reglas, fundamentalmente). Para poder realizar su función, MIR dispone de un usuario propio en Oracle, llamado MIR, donde almacena las tablas, índices, vistas, programas, etc. que necesita la aplicación. Asimismo, la aplicación MIR también debe acceder a datos que se encuentran en otros usuarios Oracle (operaciones de EUSTAT para las que se utiliza esta herramienta: Censos, EPV06, Encuesta de Condiciones de Vida, etc.). La aplicación MIR forma parte del Sistema Integrado (SII) de EUSTAT. El entorno tecnológico bajo el que se hacen todos los tratamientos en el SII de Eustat está sujeto a los estándares descritos en la Guía de Estándares Tecnológicos del Gobierno Vasco que está disponible en Departamento de Hacienda y Admón. Pública, Apartado de Informática y Telecomunicaciones. En general, el entorno tecnológico responde a: Software cliente: Windows XP Professional XP SP2 de Microsoft Microsoft Office Castellano 2003 SP2 de Microsoft ODBC v. 2.5 y de Oracle Internet Explorer 6.0 de Micrososft Software de Desarrollo: Microsoft Framework.NET v. 2.0 de Microsoft 5

6 Visual Visual Basic.NET v de Microsoft y PL/SQL Software de Base de Datos: Oracle Database 10g 2.3. DESCRIPCIÓN DE CADA UNO DE LOS MÓDULOS: MÓDULO DE HOMOGENEIZACIÓN Permite crear tablas de equivalencias, columnas nuevas y realizar conversiones de datos en los casos en que haya tablas con información de diferentes fuentes o de la misma procedencia pero con variaciones en sus formatos o en los códigos utilizados. 1. CONVERSIÓN EN FORMATO Permite crear columnas de usuario basándose en cambios de formato de las distintas columnas existentes en las tablas. Estas nuevas columnas no se crearán físicamente en las tablas de la Base de Datos Oracle sino que se podrán utilizar en la definición de las reglas por cualquier usuario. Los posibles conversores que se pueden dar en la aplicación son los siguientes: Conversor Significado Expresión Convierte un carácter TO_NUMBER TO_NUMBER a número ( ExpresiónCarácter ) TO_CHAR( Expresión Convierte a carácter: Numérica) TO_CHAR - un número TO_CHAR ( Fecha, Formato - una fecha Fecha ) Convierte una TO_DATE( Expresión TO_DATE expresión de tipo Carácter, Formato Fecha ) carácter a fecha Reemplaza en una REPLACE ( Cadena a expresión de tipo Reemplazar, Cadena REPLACE carácter, unos Buscada, Cadena carácteres por otros. Reemplazada ) Quita de la expresión LTRIM todos sus blancos por LTRIM ( Expresión Carácter) la izquierda Quita de la expresión RTRIM todos sus blancos por RTRIM ( Expresión Carácter ) la derecha 2. CONVERSIÓN DE DATOS TABLAS DE EQUIVALENCIA Permite crear las reglas de Homogeneización. 6

7 3. CREACIÓN DE COLUMNA Permite crear nuevas columnas como en Conversión de Formato. Por ejemplo, concatenar columnas: provincia y municipio con el operador Ejemplo: Convertir al valor 6 todos los valores 2 de una variable: Menú Homogeneización \ Definición \ Conversión de datos Tablas de equivalencias Datos Obligatorios: TIPO DE REGLA: Se seleccionará un tipo de la lista adjuntada. DESCRIPCION ABREVIADA: Se introducirá una breve descripción de la regla, se recomienda que la descripción sea representativa de la regla a crear. La descripción no puede ser igual a otra ya existente. SELECCION DE SUBCONJUNTO: Se introducirá mediante clicks o doble-click en el caso de las columnas los valores que la formarán; también se puede escribir a mano colocándose en su lugar. CAMPOS A HOMOGENEIZAR: Se introducirá una columna del árbol y su valor correspondiente MÓDULO DE VALIDACIÓN Consiste en la detección y conteo de errores que permiten evaluar la información en su conjunto, las carencias, las incoherencias o falta de respuesta en las variables de una tabla, entre las variables de una tabla o entre variables de varias tablas. Se definen los siguientes submódulos: 1. SUBMÓDULO DE VALIDACIÓN TRANSVERSAL 2. SUBMÓDULO DE VALIDACIÓN LONGITUDINAL 3. TABLAS RECUENTO DE Validación genérica tranversal Validación específica transversal Validación genérica longitudinal Validación específica longitudinal Creación de Tablas de Recuento Obtiene las frecuencias del conjunto de variables de una tabla e incluso cruces de ésas con otras variables básicas. Realiza los conteos de errores por falta de respuesta, de rango o por incoherencias. Obtiene los cruces de variables similares o idénticas localizadas en dos o más tablas para las mismas unidades. Realiza los conteos de secuencias longitudinales de información erróneas por falta de respuesta, por incompatibilidades o por incoherencias. Permite generar tablas realizando los siguientes cálculos estadísticos sobre las variables: Moda (MD), Mediana (ME), Media (MX), Rango (RG), Desviación 7

8 Media (DM), Desviación Típica (SX), Coeficiente de Variación (CV) y Total (TT). Ejemplo de creación de una Tabla de recuento (cálculo de la moda de la variable Año de Construcción): Menú Validación \ Definición \ Tablas de recuento Datos Obligatorios: TIPO DE REGLA: Se seleccionará un tipo de la lista adjuntada, que previamente habrá sido definida. DESCRIPCION ABREVIADA: Se introducirá una breve descripción de la regla, se recomienda que la descripción sea representativa de la regla a crear. La descripción no puede ser igual a otra ya existente. SELECCION DE SUBCONJUNTO: Se introducirá mediante clicks o doble-click en el caso de las columnas los valores que la formarán, también se puede escribir a mano colocándose en su lugar COLUMNAS CLAVE: Se introducirán una o varias columnas del árbol. Serán las columnas clave de la tabla de recuento, como máximo se podrán introducir 10. OTRA COLUMNA: Se introducirá la columna del árbol con la que se quieren obtener los diferentes valores de recuento. OPERACIONES A REALIZAR: se selecciona la operación estadística que se quiere utilizar pinchando en el cuadro correspondiente MÓDULO DE DEPURACIÓN Este módulo permite eliminar el valor o valores de una variable que se definen como inconsistentes o erróneos, en relación a valores de otra u otras variables, ya procedan de una misma tabla o de varias. En estos casos se asignará un valor nulo o blanco según los casos. Se definen los siguientes submódulos: 1. SUBMÓDULO DE DEPURACIÓN TRANSVERSAL Elimina los valores erróneos o inconsistentes para un registro cuando se detectan en una tabla a través de relaciones lógicas entre dos o más variables. 8

9 2. SUBMÓDULO DE DEPURACIÓN LONGITUDINAL Elimina los valores erróneos o inconsistentes para un mismo registro, cuando se detectan entre dos o más tablas una de las cuales, al menos, es histórica o de variaciones, a través de relaciones lógicas entre dos o más variables. Ejemplo de creación de una Depuración Específica Transversal: Menú Depuración \ Definición \ Transversal Datos Obligatorios: TIPO DE FRECUENCIA: Se seleccionará un tipo de la lista adjuntada. DESCRIPCION ABREVIADA: Se introducirá una breve descripción de la regla, se recomienda que la descripción sea representativa de la regla a crear. La descripción no puede ser igual a otra ya existente. SELECCION DE SUBCONJUNTO: Se introducirá mediante clicks o doble-click en el caso de las columnas los valores que la formarán, también se puede escribir a mano colocándose en su lugar CAMPOS A DEPURAR: Se introducirá una columna del árbol y su valor correspondiente. Se pone automáticamente el valor por defecto que tenga la columna. Este valor no se puede cambiar MÓDULO DE IMPUTACIÓN Este módulo asigna un valor válido a uno o más campos correspondientes a una unidad estadística ya sea porque el valor es erróneo o porque carece de valor (por falta de respuesta o porque previamente se ha depurado). 1. SUBMÓDULO DE IMPUTACIÓN DETERMINÍSTICA TRANSVERSAL 2. SUBMÓDULO DE IMPUTACIÓN DETERMINÍSTICA LONGITUDINAL (COLD-DECK) Imputa valores a una o varias variables simultáneamente de una unidad determinada a partir de los valores de otras variables mediante reglas lógicas. 3. SUBMÓDULO DE IMPUTACIÓN ALEATORIA Este tipo de imputación intenta mantener la distribución de frecuencias de las variables halladas en la población en un momento puntual. Imputa valores a una o varias variables a partir de la información de una unidad estadística procedente de una o varias fuentes de un momento anterior. En muchos casos el procedimiento de imputación longitudinal consistirá en una simple copia o copia condicionada de una información de una tabla a otra, pero al mismo registro o unidad. 9

10 TRANSVERSAL 4. SUBMÓDULO DE IMPUTACIÓN ALEATORIA LONGITUDINAL Este tipo de imputación intenta mantener las distribuciones de las variables halladas en la población, si bien en este caso, esa distribución se refiere a los cambios habidos entre una situación y otra de dos momentos diferentes del tiempo. 5. SUBMÓDULO DE IMPUTACIÓN POR RECUENTOS La imputación por recuentos permite imputar los valores de tablas de recuento. Para ello se debe seleccionar los campos a modificar, el valor que debe ser sustituido y el estadístico de la tabla de recuentos que se le va a imputar. Los valores posibles son: media, moda, mediana, valor superior del rango y valor inferior del rango. 6. SUBMÓDULO DE IMPUTACIÓN HOT-DECK La imputación consiste en seleccionar posibles registros donantes, aquellos que cumplan una serie de condiciones y proporcionen información para otros registros que no la tienen. 7. SUBMÓDULO DE IMPUTACIÓN HOT-DECK2 Los pasos que se siguen en la imputación Hot-Deck son los siguientes: Definición del conjunto de registros donantes Definición del conjunto de registros receptores Actualmente este módulo ha caído en desuso debido a la implantación del submódulo H-D2. La imputación Hot-Deck2 consiste en seleccionar posibles registros receptores, aquellos que cumplan una serie de condiciones y que carecen de algún valor determinado, y, así, a partir de estos receptores seleccionar sus posibles donantes, registros que cumplan las mismas condiciones que sus receptores y que tienen el valor correspondiente que necesitan los receptores. Los pasos que se siguen en la imputación Hot-Deck2 son los siguientes: Definición del conjunto de registros receptores Definición del conjunto de registros donantes para un grupo de receptores Buscar aleatoriamente un donante para cada receptor. Copiar el valor del donante seleccionado al receptor. Las opciones del Módulo de Imputación definidas en la aplicación son: Lista de reglas de imputación. Definición de reglas de imputación: determinística transversal, determinística longitudinal, aleatoria transversal, aleatoria longitudinal, por recuentos, Hot-Deck y Hot-Deck2. Mantenimiento de las descripciones de reglas de imputación. Ejecución de reglas: determinística, aleatoria, por recuentos, Hot-Deck y Hot-Deck2. Existe una opción para simular el resultado de la ejecución de las reglas de imputación sin actualizar los datos (Simulación). El módulo de imputación Hot-Deck 2 ha sido disgregado en tres casos, llamados ramas, bien diferenciadas, aunque transparentes al usuario: La rama 1, se encarga de las reglas con un único campo de imputación La rama 2, se encarga de las reglas que incluyen varios campos de imputación y estos no tienen relación de dependencia entre ellos. La rama 3, se encarga de las reglas que incluyen varios campos de imputación y un conjunto de los mismos tienen 10

11 relación de dependencia entre ellos. 3. FUNCIONAMIENTO DE LA APLICACIÓN MIR El objetivo principal de esta aplicación es tener una herramienta que permita la definición de reglas de homogeneización, validación, depuración e imputación, su ejecución, en modo simulación o en modo actualización, y la visión de sus resultados. A continuación se indican una serie de pasos básicos que se deben seguir para llevar a cabo estas acciones y luego se describen los distintos menús que integran la aplicación, mostrando las pantallas más relevantes o de mayor utilidad GESTIÓN DE PERMISOS A LOS USUARIOS Lo primero que se hace antes de empezar a trabajar con MIR es asignar o dar permisos (de Consulta o Actualización) a los usuarios sobre la tabla o tablas con las que van a trabajar. Lo tiene que hacer un usuario que sea Administrador SELECCIÓN DE LA TABLA O TABLAS DE TRABAJO En la lista de la izquierda aparecerán todas las tablas a las que el usuario está autorizado a ver, y en la de la derecha aquellas con las que el usuario quiere trabajar en la sesión actual. Ejemplo: 3.3. DEFINICIÓN DE LAS REGLAS 11

12 Las reglas son la base fundamental de la herramienta MIR, ya que todos los tratamientos (validaciones, imputaciones, etc.) se ejecutan a través de reglas. Las reglas se crean desde las opciones de menú Definición de los correspondientes menús de homogeneización, validación, depuración e imputación. Ejemplo: Previamente a la definición de las reglas es necesaria la existencia de algún tipo de regla o tipo de frecuencia2 (carpetas para guardar las reglas) que se definirán desde las opciones de menú Tipos de regla y Tipos de Frecuencia del menú de Definición. Ejemplo: 3.4. DEFINICIÓN DE LAS EJECUCIONES DE LAS REGLAS Una vez creadas las reglas, éstas se pueden ejecutar desde las opciones de menú Ejecución de los menús de homogeneización, validación, depuración e imputación. Ejemplo: 2 MIR denomina Regla o Frecuencia a las carpetas que han de crearse previamente para guardar las diversas reglas que se definen. 12

13 Existen dos formas de lanzar las ejecuciones de reglas: Modo Simulación mediante el botón de Simular: Para poder visualizar y analizar los resultados previamente a la actualización de los mismos. Modo Actualización mediante el botón de Actualizar: 3.5. VER RESULTADOS DE LAS EJECUCIONES DE LAS REGLAS Las ejecuciones lanzadas se pueden ver desde el Visor de Procesos. Pulsando el botón Resultado desde esta pantalla, se pueden ver los resultados de las ejecuciones de todas las reglas, e incluso las instrucciones que se han ejecutado en cada una de las reglas. Ejemplo: 13

14 3.6. DESCRIPCIÓN DE LOS MENÚS DE LA APLICACIÓN En el entorno de trabajo de la aplicación MIR aparece un menú con diferentes opciones. 1. Las opciones de los menús Archivo y Edición son las clásicas de todas las aplicaciones Windows. Únicamente es de resaltar la opción de Duplicar dentro del menú Edición que permite duplicar reglas, es decir, crear una regla nueva a partir de una ya existente. Esta opción es de suma importancia ya que minimiza el tiempo empleado en definir reglas nuevas. Duplicar Permite duplicar reglas, es decir, crear una regla nueva a partir de otra ya existente. Al pulsar este botón, llama a la pantalla de selección de regla para elegir el tipo de regla que se quiere duplicar. Ejemplo de Duplicar una Regla. Si tenemos la siguiente regla: Al pulsar Edición / Duplicar o el icono correspondiente, nos saldrá la siguiente ventana que nos permite elegir el tipo de la nueva regla que queremos crear como duplicado de la actual. Y, al pulsar aceptar, nos creará otra regla copia de la anterior. 14

15 2. Menú Definición: es donde se crean las carpetas para guardar las reglas y frecuencias con las que trabajaremos posteriormente. a. Lista de tipos de reglas: aparece una relación de todos los tipos de reglas, y dentro de cada una de ellas, las reglas que le pertenecen. b. Descripción de tipos de reglas: Aquí es donde definiremos las carpetas donde queremos guardar las reglas que vayamos a crear a través del menú Archivo \ Nuevo o el icono correspondiente. 15

16 c. Lista de tipos de frecuencias d. Descripción y detalle de tipos de frecuencias e. Descripción y detalle de códigos de imputación f. Lista y descripción de agregaciones Para crear una nueva agregación, pulsamos el botón Nuevo dentro del menú Definición \ Agregación \ Lista, lo que nos lleva a la pantalla de definición de agregación. Esta pantalla está dividida en dos partes: - la parte izquierda, donde vemos Tablas-Columnas, árbol donde se visualizan las tablas a las que tenemos acceso con nuestro usuario. Si escogemos una tabla y una columna del árbol, esta selección se reflejará en los campo Tabla y Columna de la derecha, y además, debajo, en Lista de valores, aparecerá una lista con todos los posibles valores de la columna de la tabla que hayamos escogido en el árbol superior. Al pinchar sobre estos valores, irán pasando a la ventana de la derecha, donde podremos hacer tantos grupos (agregaciones) como queramos. 16

17 - y la parte derecha en la que se selecciona la tabla, la columna y una tabla en la que se van colocando las agregaciones con sus respectivas etiquetas. Ejemplo de Agregación: g. Descripción y asignación de tipos de tablas h. Mantenimiento de las Variables Hot-Deck2 3. Menú Homogeneización a. Lista de reglas de homogenización: relación de las reglas de Homogeneización Submódulo. existentes subdivididas b. Definición i. Conversión de formato ii. Conversión de datos iii. Creación de columnas c. Descripción de reglas de homogenización d. Ejecución de reglas 4. Menú Validación 17 por Tipo de Regla y

18 a. Lista de reglas de validación: relación de las reglas de validación existentes subdivididas por Tipo de Regla y Submódulo. b. Definición de las reglas de validación. Se selecciona un tipo de la lista siguiente y se crea la regla: i. ii. iii. iv. v. Especifica Transversal Específica Longitudinal Genérica Transversal Genérica Longitudinal Tablas de recuento Ejemplo de creación de Regla Validación Específica Transversal: c. Descripción de reglas de validación d. Ejecución de las reglas de validación i. Ejecución de reglas transversales ii. Ejecución de reglas específicas iii. Ejecución de tablas de recuento 5. Menú Depuración a. Lista de reglas de depuración: relación de las reglas de Depuración existentes subdivididas por Tipo de Regla y Submódulo. b. Definición de las reglas de depuración i. Depuración Transversal ii. Depuración Longitudinal c. Descripción y detalle de reglas de depuración 18

19 d. Ejecución de las reglas de depuración 6. Menú Imputación a. Lista de reglas de imputación b. Definición de las reglas de imputación i. Imputación determinística transversal ii. Imputación determinística longitudinal iii. Imputación aleatoria transversal iv. Imputación aleatoria longitudinal v. Imputación Hot-deck vi. Imputación Hot-deck 2 vii. Imputación por recuentos c. Descripción de reglas de imputación d. Ejecución de las reglas de imputación i. Ejecución Imputación determinística ii. Ejecución Imputación aleatoria iii. Ejecución Imputación Hot-deck iv. Ejecución Imputación Hot-deck 2 v. Ejecución imputación por recuentos Ejemplo de Ejecución de Regla de Imputación Determinística: 19

20 7. Menú Ver a. Lista de reglas b. Lista de ejecuciones c. Tablas de recuentos d. Visor de procesos Ejemplo de visualización de resultados en una imputación HD2: Si queremos visualizar los resultados de las ejecuciones que aparecen en el visor de procesos, utilizamos el icono de mostrar resultados: 20

21 Y nos aparece la siguiente pantalla: Los datos mostrados son los siguientes: DESCRIPCIÓN: Descripción de la Ejecución ÁMBITO: Descripción del Ámbito de la Ejecución DESCRIPCIÓN ABREVIADA: Descripción Abreviada de la regla SELECCIÓN DEL SUBCONJUNTO: Selección del Subconjunto de la regla REG. DONANTES: Registros donantes de sus valores al registro receptor REG. RECEPTOR: Registro receptor de los valores donados por los registros donantes TOTALES: Registros a los que afecta la regla sin tener en cuenta la selección del subconjunto AFECTADOS: Todos los registros a los que afecta la regla ACTUALIZADOS: Registros que se han actualizado por la regla ORIGEN: Origen que se introduce en la regla RESULTADO: OK: Si la ejecución se ha realizado correctamente y NO OK en caso contrario En la segunda tabla se muestran los posibles donantes agrupados por el número de donaciones que van a realizar cada uno y en la tercera tabla la Relación entre Donantes y Receptores. En la tercera tabla (relación entre donantes y receptores), con doble clic sobre cada una de las filas, se navega a la pantalla de detalle de esta fila en concreto, donde se muestra los subgrupos correspondientes con el número de donantes y receptores. 21

22 En la última tabla aparecen las agregaciones si se han introducido en esa regla. Si se pulsa el botón SQL de la barra de herramientas, se puede ver la sentencia SQL que se ha ejecutado, así como otros datos como: Nº de Registros Totales, Nº de Registros Actualizados, Nº de Registros Afectados, Menú Administración: usuarios, permisos procesos diarios 4. GESTIÓN DE FUENTES AUXILIARES La imputación se puede considerar como un proceso de varias etapas: 22

23 Paso 1: El proceso de imputación empieza cuando se dispone de un fichero de datos con valores faltantes, que ha debido pasar anteriormente la fase de edición. Paso 2: Recopilar y validar para el proceso de imputación toda la información auxiliar que pueda ayudar en la imputación. Paso 3: Estudiar los distintos modelos de imputación para las variables que van a ser imputadas. Seleccionar la técnica de imputación a aplicar pudiendo ser: imputación univariante, en el caso de imputar una sola variable en cada momento ó imputación multivariante en el caso de imputar simultáneamente un conjunto de variables de la investigación estadística. Paso 4: Estimación puntual y varianza muestral para los distintos métodos de imputación empleados y su evaluación. El objetivo es obtener estimaciones con el mínimo sesgo y la mejor precisión y tras estos se pasa a calcular la varianza de la imputación. En este contexto nos parece relevante hacer hincapié en la importancia de disponer de buenas fuentes auxiliares, y a modo de ejemplo, explicaremos el diseño de fuentes para la Base de Datos Sociodemográfica, nueva operación de Eustat que tiene como objetivo la recogida, integración y elaboración de información detallada en materia de población, actividad, nivel de instrucción, nivel de euskera y vivienda con periodicidad anual. Su realización se contempla exclusivamente con la utilización de información administrativa, sin recogida directa de información. Ver ANEXO adjunto a la ponencia. 23

24 5. TRATAMIENTO DE LOS DATOS DE UNA ENCUESTA CON LA APLICACIÓN MIR A modo de caso práctico, mostraremos cómo funciona la herramienta MIR para tratar los datos de una operación concreta de EUSTAT, haciendo hincapié en los tratamientos de imputación. 1. Gestión de Permisos al Usuario. 2. Selección de la Tabla o Tablas de Trabajo para acceder al menú general de la aplicación. 3. Creación de carpetas para guardar las distintas reglas que se van a crear. 4. Tratamiento de diversas variables: 4.1. DEPURACIÓN TRANSVERSAL 4.2. IMPUTACIÓN DETERMINÍSTICA TRANSVERSAL 4.3. IMPUTACIÓN HD2 (Rama 1, Rama 2) 5. Uso de fuentes auxiliares / Relaciones entre tablas. 24