El tratamiento de la información y la calidad de los datos: de la crítica a la validación de los datos

Transcripción

1 Instituto Nacional de Estadística, Geografía e Informática El tratamiento de la información y la calidad de los datos: de la crítica a la validación de los datos IV Reunión Internacional de Expertos(as) en Encuestas de Uso de Tiempo Diciembre 2006

2 Índice El control de calidad en el proceso de generación estadística Definición Criterios rectores Metodología La experiencia de la validación de la encuesta de uso de tiempo Problemas y soluciones Tareas pendientes y retos

3 Introducción Todo proceso de generación de información estadística debe tener definidos sus criterios de validación como parte de su diseño conceptual. La aplicación de criterios de verificación de consistencia y de depuración de la información, forma parte del control de calidad que debe realizarse en cualquier proyecto estadístico. Las oficinas de estadística saben que la validación de los datos es una actividad insoslayable por los errores que se cometen durante las diversas etapas del proceso de generación, pero también saben que la calidad de un levantamiento viene de campo.

4 Qué corrige la validación Omisión o falta de respuesta, debido a que se desconocen los datos, ya sea porque el entrevistador no aplicó la pregunta o porque no anotó la respuesta. Respuesta múltiple, provocada por incomprensión del informante, inadecuada formulación de la pregunta y/o falta de entendimiento por parte del entrevistador. Valor inverosímil o fuera del rango posible. El entrevistador se equivoca al asentar el dato en el cuestionario, o bien el digitador comete errores al momento de la inserción del dato en la computadora.

5 Qué corrige la validación No se respetan las secuencias de llenado en la aplicación de preguntas condicionadas. Problemas en el diseño del cuestionario, falta de comprensión de las instrucciones para llenar el cuestionario. Incongruencia entre las respuestas obtenidas de preguntas relacionadas, provocadas por errores de asentamiento por parte del entrevistador, desconocimiento de instrucciones de llenado y equivocaciones al momento de digitar los datos.

6 Diversas fuentes de error Por el diseño del cuestionario e instrumentos de recolección. Por imprecisiones o la falta de instrucciones en los manuales de levantamiento. Por una capacitación inadecuada, incompleta o inexistente. Por carencia de supervisión, revisión y corrección durante el levantamiento.

7 Diversas fuentes de error Por incomprensión del informante y poun capacidad del entrevistador para hacer aclaraciones. Por hacer un registro incorrecto o incompleto de las respuestas debido a desconocimiento, ineptitud o cansancio. Por la complejidad del tema y la incapacidad del productor para operativizar los conceptos complejos, para que éstos sean comprensibles por los informantes. Por un inadecuado diseño u operación de los programas de captura y codificación.

8 Papel versus alternativas tecnológicas La dimensión de la validación es diametralmente diferente si se utilizan cuestionarios electrónicos: laptops, PDAs, tablets, etc. Generalmente cuando usamos papel tenemos que hacer una primera validación manual, una revisión a la captura, una verificación de la captura, etc. Si usamos las nuevas herramientas informáticas, la validación de la información se hace conforme ésta se levanta.

9 Objetivo de la validación Garantizar la calidad de la información y generar estadísticas congruentes que respondan a los marcos conceptuales y metodológicos previamente establecidos para la captación de la información.

10 Calidad en todo el proceso Procurar la calidad de la información es un aspecto básico que debe tenerse presente a lo largo de todo el proceso de generación de información, desde el diseño, hasta la divulgación de resultados: Definición conceptual y metodológica. Diseño del instrumento de captación. Instrucciones de llenado y capacitación práctica. Supervisión durante el levantamiento, reinstrucción. Captura o digitación de los datos en la computadora: captura a imagen (escaners). Clasificaciones y codificación automática. Validación automática.

11 Criterios de validación Conjunto de lineamientos exhaustivos para revisar la coherencia de la información, incluye la selección de las medidas de corrección más apropiadas y acordes con los objetivos y metas del proyecto de generación estadística: Proyecto inicial Proyecto en proceso de consolidación Proyecto robusto

12 Lineamientos rectores Respetar las normas conceptuales y metodológicas establecidas para cada una de los temas y variables. Preservar la información recolectada en campo que fue correctamente captada. Aplicar una revisión de congruencia lógica sustentada en evidencias empíricas observadas en proyectos previos de generación: criterios armónicos y uniformes. Respetar o imputar: asignar valores siempre y cuando estén sustentados en la información contenida en otras variables asociadas o asignar la información faltante

13 Diversos tipos de validación Optar por la validación determinística (soluciones previamente definidas), con base en detección de problemas observados para registrar la información en los cuestionarios. Se aprovecha la amplia experiencia empírica, los resultados de pruebas y ensayos. Aplicar otro tipo de validación: cold deck, hot deck, matrices de asignación, etc. Modelos, validación externa, imputaciones complementarias.

14 Crítica manual de los cuestionarios Cuestionarios Cuestionarios Cuestionarios Crítica de cuestionarios Captura de cuestionarios Información capturada

15 Validación manual o automática Decidir entre una validación manual y una automática. Reportes para análisis Cuestionarios capturados Validación manual o automática Información validada Reportes para análisis

16 La validación automática Desarrollo de programas informáticos con base en criterios definidos previamente sustentados en los marcos conceptuales y metodológicos para detectar datos incongruentes y omisiones, y al mismo tiempo aplicar tratamientos de corrección. En esta fase se revisa que los valores que tienen las variables se encuentren dentro de los límites establecidos y que dichos valores sean congruentes con la información de otras variables que están relacionadas. Asimismo, se les asigna un valor definitivo que permitirá generar el archivo para conformar las bases de datos de explotación.

17 Vectores teóricos La metodología de vectores teóricos es una herramienta que permite un control completo de los valores que pueden tomar un conjunto de variables, por medio de la generación de todas las combinaciones posibles. Un vector teórico V es un arreglo unidimensional cuyos componentes (V1, V2,... Vn) representan los valores que pueden tomar cada una de éstas. Generación de combinaciones posibles de un vector teórico. Las combinaciones de un vector teórico se obtienen variando uno a uno los valores de cada uno de los componentes del vector iniciando desde la última componente hasta la primera (de derecha a izquierda), hasta obtener el conjunto total de combinaciones.

18 Vectores teóricos F ( V1, V2, V3, V4 ) = 8*V1 + 4*V2 + 2*V3 + V4 + 1 V = ( V1, V2, V3, V4 )

19 Ejemplo: cuartos y dormitorios Si Dormitorios y Total de cuartos en blanco, se quedan igual, como no especificado. Aplicando vectores teóricos: El número de cuartos usados para dormir puede ser menor o igual al total de cuartos de la vivienda, pero nunca mayor. Cuando alguna de las dos variables no tenían información, se asignan con base en la información de una de ellas. Así, dormitorios se asigna a partir del número de cuartos y viceversa. 0 si cuadorm <> 1, 2,..., 25 C1 = 1 si 1 < cuadorm < 25 0 si totcuart <> 1, 2,..., 25 C2 = 1 si 1 < totcuart < 25 FUNCIÓN DE DIRECCIONAMIENTO: f (C1, C2) = 2 C1 + C2 + 1

20 Procedimientos Al aplicar la función se obtienen imágenes y se describen los procedimientos de manera directa IMAGEN PROCEDIMIENTO 1 1. hacer cuadorm = 99 y totcuart = si totcuart = 1 ó 2 => cuadorm = si totcuart = 3 ó 4 => cuadorm = si totcuart = 5, 6 ó 7 => cuadorm = si totcuart = 8,...,16 => cuadorm = si totcuart = 17,..., 25 => cuadorm = si cuadorm = 24 ó 25 => totcuart = si cuadorm = 1 => hacer totcuart = 1 y totcuart = 2 alternamente 3.3 si 2 < cuadorm < 23 => totcuart = cuadorm + 1 y totcuart = cuadorm + 2 alternamente 4 4. si cuadorm > totcuart => aplicar tratamiento 2

21 Diagrama de flujo Inicio NO Cuadorm <> {1..25} SI NO Totcuart <> {1..25} SI NO Totcuart <> {1..25} SI NO Cuador m > Totcuart SI a b a Cuadorm=99 Totcuart=99 c Fin

22 Diagrama de flujo b NO Cuadorm = {24..25} SI NO Cuadorm = 1 SI Totcuart = 25 NO 2 Cuadorm 23 SI Alternadamente: Totcuart = 1 Totcuart = 2 Alternadamente: Totcuart = cuadorm +1 Totcuart = cuadorm +2 c c c c

23 Diagrama de flujo a NO Totcuart = {1..2} SI NO Totcuart = {3..4} SI Cuadorm = 1 NO Totcuart = {5..7} SI Cuadorm = 2 NO Totcuart = {8..16} SI Cuadorm = 3 NO Totcuart = {17..25} SI Cuadorm = 4 Cuadorm = 5 c c c c c c

24 Ventajas de utilizar vectores teóricos Define una técnica exhaustiva del análisis de información. Técnica más poderosa que los diagramas de flujo. Facilita el análisis de información. Favorece la programación. Posibilita la generación y revisión de pruebas.

25 Opciones de tratamiento Revisar si el cuestionario contiene el dato correcto y el problema se debe a un error de captura o conversión de datos. Contactar al informante para obtener la respuesta correcta, o verificar que la respuesta es correcta en su forma original. Tener personal que "corrija" el cuestionario usando reglas que remuevan las inconsistencias. Usar computadora para "corregir" el cuestionario, con base en los criterios previamente definidos para eliminar las inconsistencias. Borrar los registros que no pasaron alguna de las validaciones o al menos omitir del análisis los campos que no fueron aprobados por la validación.

26 Encuesta Nacional de Uso del tiempo 2002

27 La encuesta de uso del tiempo ENUT 2002 El cuestionario aplicado en la ENUT 2002 se conforma por 86 actividades predeterminadas con preguntas cerradas sobre el tiempo que le dedican las personas a cada actividad.

28 La validación en la ENUT 2002 De acuerdo con los comentarios internacionales se especifica que la validación de los datos de las encuestas sobre uso del tiempo es de muy alta complejidad, ya que se debe validar el tiempo declarado en cada actividad y el tiempo total semanal. Es por ello que la validación de la información de la ENUT 2002 fue un procedimiento combinado: automático y manual para detectar y corregir inconsistencias en los datos obtenidos del levantamiento y captura de la información.

29 Validación de la ENUT 2002 La ENUT 2002 como módulo de la ENIGH tuvo dos etapas de validación, la primera fue realizada por el área operativa de la ENIGH, quienes se apegaron a las recomendaciones de no modificar la información original. La ENUT no contó con criterios de validación previos al levantamiento (como parte del diseño conceptual). Al identificar las inconsistencias de la información durante la etapa de procesamiento fue necesario elaborar criterios de validación. Adicionalmente, se aprovechó la validación de la ENUT para reestructurar las bases de datos.

30 Procedimiento de la validación de la ENUT 2002 Procedimiento automático Se reprocesaron las bases de datos de la encuesta para detectar inconsistencias de la información: Inicialmente se realizó el análisis del contenido de las categorías de cada una de las variables de las bases de datos. Se generó información de posibles combinaciones incongruentes para identificar inconsistencias. De cada actividad se procesaron indicadores de mínimos, máximos y medias de los tiempos declarados, con ellos se establecieron rangos de aceptación de tiempo y los extremos se marcaron para verificar la captura con el dato del cuestionario. Se realizó el mismo procedimiento para el análisis del tiempo total semanal.

31 Procedimiento de la validación de la ENUT 2002 La revisión del tiempo total semanal permitió encontrar muchos otros problemas, que ocuparon la mayor parte del tiempo de validación. Se generó información para verificar la consistencia de la ENUT 2002 con la ENIGH, por ser ésta la fuente de origen. El procedimiento fue manual y consistió en verificar directamente en los cuestionarios, los datos identificados con inconsistencias arrojados por los reprocesamientos.

32 Problemas detectados en la ENUT 2002 y soluciones

33 Problemas de declaración El diseño del cuestionario no permitió tener un control del tiempo declarado. La variable tiempo se captó con preguntas que solicitaban el tiempo que se le dedica a cada una de las 86 actividades, cabe señalar que la captación con este tipo de instrumentos tiene problema. Adicionalmente, por ser la ENUT 2002 un módulo de la ENIGH, se pronosticaba un alto porcentaje de rechazo, previendo este problema se amplió la muestra con un 25% más de viviendas.

34 Problemas de declaración o captura y soluciones Problema a) Omisión de actividades: las únicas posibles de identificar son dormir y comer. Solución a) Los registros sin tiempo en dormir o comer, se revisaron en el cuestionario de los cuales sólo se rectificó la captura de una persona en dormir y cinco en comer. En el resto fue omisión de la declaración, por ello se procedió a imputar el tiempo promedio en: 45 registros para dormir (ocho horas diarias). 156 registros para comer (una hora diaria).

35 Problemas de declaración o captura y soluciones Problema b) Registro de tiempo en el traslado al trabajo, pero sin tiempo en trabajo. Solución b) Los registros inconsistentes se revisaron en el cuestionario, por ello se constató que el problema era de declaración. Se procedió a reasignar el tiempo con los siguientes criterios: Si tiene tiempo en buscar trabajo se reasigna a esta actividad. Si cuenta con tiempo en llevar a otro miembro a su trabajo, se reasigna a llevar a un miembro del hogar a cualquier lugar. Si registra tiempo en ir a su centro laboral por un trámite, se reasigna a realizar algún trámite personal o para la vivienda. Si no es posible reasignar el tiempo, se elimina.

36 Problemas de declaración o captura y soluciones Problema c) Registro de tiempo en el traslado a la escuela, pero sin tiempo en asistencia escolar. Solución c) Se revisó el registro en el cuestionario, si el problema era de captación, entonces se aplicaron los siguientes criterios: Si la declaración es por ir a juntas o eventos, festivales, actividades, pero no son estudiantes, se reasigna a esa actividad Si es por llevar a otro miembro a la escuela, se reasigna a llevar a un miembro del hogar a cualquier lugar. Si no es posible reasignar el tiempo, se elimina.

37 Problemas de declaración o captura y soluciones Problema d) Hogares sin menores de 12 años y con tiempo registrado en actividades de apoyo a menores. Solución d) Se revisaron los cuestionarios y se encontró que la mayoría de esos hogares tenían miembros entre 12 y 15 años de edad que todavía reciben cuidados, en estos casos se dejó la información declarada. Cuando no se cumplía esa condición se reasignaba el tiempo a apoyo a otros hogares.

38 Problemas de declaración o captura y soluciones Problema e) Hogares sin miembros con alguna limitación física o mental y registran tiempo de cuidado de personas con esta característica. Solución e) Se revisaron los cuestionarios, en la mayoría se rectificó la captura de los campos de limita. Sin embargo, hubo hogares que no tenían residentes con limitación física o mental, en estos casos se dejó la información registrada en el cuestionario porque puede haber personas que aún cuando no son discapacitadas necesitan algún tipo de tratamiento especial; también es posible que por ellas mismas o por sus familiares no consideran tener alguna limitación.

39 Problemas de declaración o captura y soluciones Problema f) Hogares con al menos un miembro con limitación física o mental y sin tiempo registrado en actividades de apoyo a personas con limitación física o mental. g) Hogares unipersonales con tiempo en apoyo a otros miembros del hogar. Solución f) Se revisaron los cuestionarios y en la mayoría se rectificó la captura de los campos de limita. En los hogares sin tiempo registrado en apoyo a miembros de estas características se dejó la información registrada ya que puede haber personas discapacitadas que no necesitan el apoyo de otras personas para realizar sus actividades. g) Se reasignó el tiempo a apoyo a otros hogares.

40 Problemas de declaración o captura y soluciones Problema h) Problemas de captura de tiempos por actividad mayores de 120 horas para el periodo de lunes a viernes o de 48 horas para sábado o domingo (sólo de identificaron cuatro casos). i) Problemas de captura en los dígitos de tiempo. Solución h) Se revisaron los cuestionarios de los cuatro casos y se rectificó su captura. i) Todos los registros se revisaron en el cuestionario y fueron errores de captura, se corrigieron de acuerdo a cada cuestionario.

41 Cambios en los resultados de la ENUT Distribución porcentual de los miembros del hogar de 12 años y más por rangos de horas declaradas a la semana 2002 datos sin validar y librerados Menos de hrs hrs. De a hrs De a hrs Más de hrs. Sin validar Liberados FUENTE: INEGI. Encuesta Nacional sobre Uso del Tiempo Bases de datos sin validar y liberada.

42 Cambios en los resultados de la ENUT Promedio de horas declaradas por los miembros del hogar de 12 años y más por rangos de horas a la semana 2002 datos sin validar y librerados 227:00 235: :00 168:00 172:30 172:30 189:48 189: :00 144: Menos de hrs hrs. De a hrs. De a hrs. Más de hrs. Sin validar Liberados FUENTE: INEGI. Encuesta Nacional sobre Uso del Tiempo Bases de datos sin validar y liberada.

43 Beneficios y costos de la revisión manual

44 Beneficios de la revisión manual Se realiza una revisión total de la captura de los datos. Es posible conocer los problemas de la declaración. Se pueden detectan los problemas de captura por el diseño del cuestionario. Se minimiza el número de registros rectificados con imputaciones.

45 Costos de la revisión manual Se puede perder el control de los registros modificados. Cabe la posibilidad de introducir errores cuando se realizan las modificaciones. Es posible que no se aplique el mismo criterio a determinada inconsistencia, porque intervienen varias personas. Requiere de mucho tiempo, trabajo, dedicación y de reportes. Se alarga la entrega de resultados y provoca desconfianza en los usuarios.

46 Porqué se levantó la encuesta de uso del tiempo con preguntas cerradas? Se tomó la decisión de levantar la ENUT 2002 como módulo de la ENIGH considerando dos aspectos: Aprovechar la información captada por la ENIGH. Minimizar costos. Por ser un módulo la encuesta se aplicó un cuestionario con actividades predeterminas y preguntas cerradas. Por otra parte, con este tipo de cuestionarios es más sencillo estimar el tiempo semanal que con un instrumento por día.

47 Recomendaciones Las encuestas de uso del tiempo se deben diseñar como encuestas independientes: Las oficinas de estadística deben programarlas: diseño, prueba, ajuste, levantamiento deben ser evaluados. Se deben evaluar con detalle todas las etapas, con especial énfasis en los resultados. Si sólo se puede levantar información sobre uso del tiempo limitada se deben seleccionar las actividades básicas, ya que el incorporar muchas actividades hace inmanejable un módulo. Si se decide ir por esta opción, también es fundamental diseñar, probar, evaluar y ejecutar.