Problemas de No Respuesta Encuesta Casen Carolina Casas-Cordero, Ph.D. División Observatorio Social Ministerio de Desarrollo Social Taller sobre Armonización de las Estadísticas de Pobreza en América Latina y el Caribe Montevideo, Uruguay 24 de Mayo de 2012
Temario 1. Conceptos Importantes 2. Ficha Técnica Casen 2011 3. Estados de Disposición Final de Casos 2011 4. Resultados Trabajo de Campo 2011 Gobierno de Chile Ministerio de Planificación 2
1. Conceptos Importantes Gobierno de Chile Ministerio de Planificación 3
Error Total de Encuestas Proceso de Encuesta: Perspectiva de Diseño Mediciones Representaciones Constructo Población Objetivo Mediciones Marco Muestral Respuesta Muestra Entrevistados Respuesta Editada Ajustes Post-encuesta Estadístico Groves, R. et al.(2004), Survey Methodology, New York: Wiley. Gobierno de Chile Ministerio de Planificación 4
Error Total de Encuestas Proceso de Encuesta: Perspectiva de Calidad Mediciones Representaciones Constructo Y Población Objetivo i Error de Cobertura Mediciones Y i Y c Marco Muestral Error de Muestreo y s Muestra Respuesta y i No Respuesta y r Entrevistados Respuesta Editada y ip y w Ajustes Post-encuesta Estadístico Groves, R. et al.(2004), Survey Methodology, New York: Wiley. Gobierno de Chile Ministerio de Planificación 5
Error Total de Encuestas Proceso de Encuesta: Perspectiva de Calidad Mediciones Representaciones Constructo Y Población Objetivo Validez i Error de Cobertura Error de Medición Mediciones Y i Y c y s Marco Muestral Muestra Error de Muestreo Respuesta y i No Respuesta Error de Procesamiento y r Entrevistados Respuesta Editada y ip y w Ajustes Post-encuesta Error de Ajuste Estadístico Groves, R. et al.(2004), Survey Methodology, New York: Wiley. Gobierno de Chile Ministerio de Planificación 6
Qué es la No Respuesta? El termino no respuesta (nonresponse) se relaciona con la falla en la obtención de datos a partir de las unidades en la muestra. El origen de estas fallas puede ser de diversa índole. Se clasifica en dos tipos: No respuesta a la unidad. Falla total en obtener la datos a partir de las unidades en la muestra. Es decir, no se obtienen las encuestas ya sean de los hogares, individuos o empresas según sea la unidad muestral del estudio. No respuesta al item. Falla parcial en obtener datos a partir de las unidades en la muestra. Por ejemplo, cuando la persona accede a participar, sin embargo se niega a contestar parte de la encuesta (ej. preguntas sobre ingresos del hogar). 7
Qué es la No Respuesta? 8
Potencial impacto de NR Incremento del error total de la encuesta: Puede reducir la muestra y, por lo tanto, aumentar el error de muestreo Puede aumentar la variabilidad en el factor de expansión, ya que es factor multiplicativo. Puede producir sesgo en estimadores de interés. Incremento del costo de la encuesta: Modifica las estrategias y esfuerzos de trabajo de campo de las encuestas. Estrategias para evitarla incluyen: aumento número de visitas, aumentar tiempo de trabajo de campo, uso de incentivos, etc. 9
Como reducir error de no respuesta a la unidad? Capacitación y Selección del Equipo de Campo Estrategias (y recursos) diferenciadas para distintas áreas del país Estrategias de adaptación al Entrevistado
Como cuantificar error de no respuesta? Biemer, P. & Lyberg, L. (2003), Introduction to Survey Quality, New Jersey: Wiley.
Como cuantificar error de no respuesta? Riesgo de Sesgo Biemer, P. & Lyberg, L. (2003), Introduction to Survey Quality, New Jersey: Wiley.
1. Diseñar para reducir NR 2. Presupuestar para medir NR 3. Evaluar si corregir por NR
Resultados Corrección de NR al la Unidad Aumenta varianza del estadístico de interés. Esperanza de reducir sesgo del estadístico de interés. Ponderador Probabilidades de selección Ajuste de No Respuesta Ajuste de Población (calibración) 14
2. Ficha Técnica Casen 2011 Gobierno de Chile Ministerio de Planificación 15
Ficha Técnica Casen 1987 a 2009 Características CASEN 1987-2009 Objetivos de Investigación Muestra 1. Estimación pobreza, distribución de ingreso. 2. Cobertura y focalización de programas sociales. 3. Caracterización básica de la población. 22.719 a 71.460 entrevistas logradas Trabajo de campo Modo de Entrevista Tiempo de entrevista Unidad de Análisis Informante 6 a 10 semanas (Nov Ene) En persona, cuestionario de papel 30 a 60 minutos aprox. (hogar con 4 a 5 personas) Persona y Hogar Jefe de hogar o Persona > 18 años Instituciones Otros Ministerio (diseño, cuestionario, análisis), Contrastista (selección muestra, recolección y procesamiento de datos), INE (selección muestra*), CEPAL (ajuste de ingreso) Entrevista voluntaria. No se solicitan datos personales (sin RUN, sin apellidos). Bases de datos de acceso público. (*) INE selecciona la muestra y desarrolla la cartografía desde 2006. 16
3. Estados de Disposición Final de Casos Casen 2011 Gobierno de Chile Ministerio de Planificación 17
Dirección Seleccionada 18
Dirección Seleccionada Elegible Elegibilidad Desconocida No Elegible 19
Dirección Seleccionada Elegible Elegibilidad Desconocida No Elegible No Contacto Contacto 20
Dirección Seleccionada Elegible Elegibilidad Desconocida No Elegible No Contacto No Contacto Contacto Contacto 21
Dirección Seleccionada Elegible Elegibilidad Desconocida No Elegible No Contacto No Contacto Contacto Contacto Entrevista Completa Parcial Rechazo Otra No Entrevista 22
Dirección Seleccionada Elegible Elegibilidad Desconocida (ED) No Elegible (NE) No Contacto (NC) No Contacto Contacto Contacto Entrevista Completa (EC) Parcial (EP) Rechazo (R) Otra No Entrevista (O) 23
Registro de Códigos en CASEN 2011 24
4. Resultados Trabajo de Campo Casen 2011 Gobierno de Chile Ministerio de Planificación 25
Basados en: The American Association for Public Opinion Research. 2011. Standard Definitions: Final Dispositions of Case Codes and Outcome Rates for Surveys. 7th edition. AAPOR. Gobierno de Chile Ministerio de Planificación 26
Criterio conservador - asume que todos los de elegibilidad desconocida (ED) son elegibles. Basados en: The American Association for Public Opinion Research. 2011. Standard Definitions: Final Dispositions of Case Codes and Outcome Rates for Surveys. 7th edition. AAPOR. Gobierno de Chile Ministerio de Planificación 27
Resultados Casen 2011 Solo Replica 2 (Nov 11-Ene 12) Región Muestra seleccionada Muestra Objetivo Muestra Lograda (1) (2) (3) 15 2.631 2.340 2.259 1 5.222 4.192 3.675 2 5.324 4.341 3.905 3 4.357 2.909 2.823 4 2.950 2.457 2.418 5 6.471 5.378 4.596 6 4.371 3.621 3.656 7 5.452 4.940 4.987 8 6.840 5.648 5.779 9 4.668 3.887 3.995 14 5.277 4.399 4.364 10 5.184 4.223 4.392 11 3.685 2.604 2.857 12 2.478 1.534 1.588 13 10.474 7.709 7.790 Total 75.384 60.182 59.084 28
Tasa de No Elegibilidad TE ( EC EP) ( R ( NE) NC O) ( ED) ( NE) Elegibles (E) Elegibilidad desconocida (ED) y No elegible (NE) Las altas tasas de no elegibilidad de las regiones de Tarapacá, Atacama, Coquimbo,Valparaíso, Libertador General Bernardo O Higgins. Códigos de Disposición mas frecuentes (nivel país): Viviendas desocupadas y/o viviendas de veraneo o uso temporal (75%). Direcciones correspondían a empresa, oficina de gobierno u otra organización (10%). 29
Resultados Casen 2011 Solo Replica 2 (Nov 11-Ene 12) Región Muestra enviada terreno replica 2 (1) Muestra Objetivo replica 2 (2) Muestra Lograda (3) Tasa No elegibles (4) 15 2.631 2.340 2.259 1,7% 1 5.222 4.192 3.675 6,6% 2 5.324 4.341 3.905 3,6% 3 4.357 2.909 2.823 5,9% 4 2.950 2.457 2.418 6,2% 5 6.471 5.378 4.596 11,4% 6 4.371 3.621 3.656 4,7% 7 5.452 4.940 4.987 2,5% 8 6.840 5.648 5.779 3,8% 9 4.668 3.887 3.995 2,4% 14 5.277 4.399 4.364 5,5% 10 5.184 4.223 4.392 3,2% Las regiones con menores tasas de contacto son: Tarapacá, Atacama y Valparaíso 11 3.685 2.604 2.857 3,2% 12 2.478 1.534 1.588 4,4% 13 10.474 7.709 7.790 1,4% Total 75.384 60.182 59.084 4,4% 30
Tasa de Contacto Es la proporción de casos de la muestra en que el encuestador logra hablar o tener la atención del entrevistado, donde finalmente puede obtener o no la entrevista. El concepto clave es el acceso al entrevistado. TC ( EC ( EC EP) ( R O) EP) ( R NC O) ( ED) Las tasas de contacto más bajas se dieron en las regiones de Atacama, Magallanes y Metropolitana. Códigos de Disposición final mas frecuentes (nivel país): Viviendas ocupadas sin moradores presentes (86%). Informante no ubicable o no puede atender (10%). Se impide acceso a la vivienda (3%). 31
Resultados Casen 2011 Solo Replica 2 (Nov 11-Ene 12) Región Muestra enviada terreno replica 2 (1) Muestra Objetivo replica 2 (2) Muestra Lograda (3) Tasa de No elegibles (4) Tasa Contacto (5) 15 2.631 2.340 2.259 1,7% 88,3% 1 5.222 4.192 3.675 6,6% 82,0% 2 5.324 4.341 3.905 3,6% 80,3% 3 4.357 2.909 2.823 5,9% 70,1% 4 2.950 2.457 2.418 6,2% 89,3% 5 6.471 5.378 4.596 11,4% 90,2% 6 4.371 3.621 3.656 4,7% 88,3% 7 5.452 4.940 4.987 2,5% 93,1% 8 6.840 5.648 5.779 3,8% 89,1% 9 4.668 3.887 3.995 2,4% 88,5% 14 5.277 4.399 4.364 5,5% 88,9% 10 5.184 4.223 4.392 3,2% 89,5% Las regiones con menores tasas de contacto son: Atacama, Magallanes y Metropolitana 11 3.685 2.604 2.857 3,1% 84,3% 12 2.478 1.534 1.588 4,4% 72,8% 13 10.474 7.709 7.790 1,3% 76,3% Total 75.384 60.183 59.084 4,4% 84,6% 32
Tasa de Rechazo Registra la proporción de los elementos de la muestra que rechazan completamente a participar en el estudio, sobre el total de casos potencialmente elegibles. TR R ( EC EP) ( R NC O) ( ED) Si bien la tasa de rechazo es sólo un 4,4% a nivel nacional tenemos casos como la región de Valparaíso, la región de Tarapacá y Arica y Parinacota que sobrepasan el 8%. Principalmente las razones de rechazo entregadas por los encuestadores se deben a que los estratos socioeconómicos altos no participan y al desinterés general de las familias por participar en encuestas. 33
Resultados Casen 2011 Solo Replica 2 (Nov 11-Ene 12) Región Muestra enviada terreno replica 2 (1) Muestra Objetivo replica 2 (2) Muestra Lograda (3) Tasa de No elegibles (4) Tasa Contacto (5) Tasa Rechazo 15 2.631 2.340 2.259 1,7% 88,3% 5,6% 1 5.222 4.192 3.675 6,6% 82,0% 8,4% (6) 2 5.324 4.341 3.905 3,6% 80,3% 10,1% 3 4.357 2.909 2.823 5,9% 70,1% 3,2% 4 2.950 2.457 2.418 6,2% 89,3% 3,8% 5 6.471 5.378 4.596 11,4% 90,2% 11,2% 6 4.371 3.621 3.656 4,7% 88,3% 2,4% 7 5.452 4.940 4.987 2,5% 93,1% 1,9% 8 6.840 5.648 5.779 3,8% 89,1% 3,0% 9 4.668 3.887 3.995 2,4% 88,5% 2,3% 14 5.277 4.399 4.364 5,5% 88,9% 2,2% 10 5.184 4.223 4.392 3,2% 89,5% 2,4% Las regiones con mayores tasas de rechazo son: Valparaíso, Tarapacá, Arica y Parinacota y Magallanes 11 3.685 2.604 2.857 3,1% 84,3% 4,5% 12 2.478 1.534 1.588 4,4% 72,8% 6,0% 13 10.474 7.709 7.790 1,3% 76,3% 4,4% Total 75.384 60.183 59.084 4,4% 84,6% 4,6% 34
Tasa de Cooperación Se define como la proporción de unidades muestrales entrevistadas sobre todas las unidades elegibles que fueron contactadas, por ejemplo tanto a nivel de hogar como de individuos. TCC EC ( EC EP) ( R O) Las tasas de cooperación son relativamente altas, todas por sobre el 87% lo que indica que una vez que se ha logrado contactar al entrevistado en general este accede a participar en la encuesta 35
Resultados Casen 2011 Solo Replica 2 (Nov 11-Ene 12) Regió n Muestr a enviada terreno replica 2 (1) Muestra Objetivo replica 2 (2) Muestra Lograda (3) Tasa de No elegibles (4) Tasa Contacto (5) Tasa Rechazo (6) Tasa Cooperación 15 2.631 2.340 2.259 1,7% 88,3% 5,6% 93,6% 1 5.222 4.192 3.675 6,6% 82,0% 8,4% 88,8% 2 5.324 4.341 3.905 3,6% 80,3% 10,1% 87,4% 3 4.357 2.909 2.823 5,9% 70,1% 3,2% 94,8% 4 2.950 2.457 2.418 6,2% 89,3% 3,8% 95,3% 5 6.471 5.378 4.596 11,4% 90,2% 11,2% 87,2% 6 4.371 3.621 3.656 4,7% 88,3% 2,4% 97,0% 7 5.452 4.940 4.987 2,5% 93,1% 1,9% 97,7% 8 6.840 5.648 5.779 3,8% 89,1% 3,0% 96,4% 9 4.668 3.887 3.995 2,4% 88,5% 2,3% 97,3% 14 5.277 4.399 4.364 5,5% 88,9% 2,2% 97,5% 10 5.184 4.223 4.392 3,2% 89,5% 2,4% 97,0% 11 3.685 2.604 2.857 3,1% 84,3% 4,5% 94,6% 12 2.478 1.534 1.588 4,4% 72,8% 6,0% 91,6% 13 10.474 7.709 7.790 1,3% 76,3% 4,4% 94,0% Total 75.384 60.183 59.084 4,4% 84,6% 4,6% 94,1% (7) 36
Tasa de Respuesta Esta tasa registra la proporción de entrevistas realizadas sobre la totalidad de la muestra potencialmente elegible. TRR EC ( EC EP) ( R NC O) ( ED) Las tasas más bajas, menor al 70% mínimo esperado, se dieron en las regiones de Atacama y de Magallanes, ambas influenciadas por las bajas tasas de contacto y Magallanes sumado al rechazo de un 6% a contestar la encuesta. 37
Resultados Casen 2011 Solo Replica 2 (Nov 11-Ene 12) Región Muestra enviada terreno replica 2 (1) Muestra Objetivo replica 2 (2) Muestra Lograda (3) Tasa de No elegibles (4) Tasa Contacto (5) Tasa Rechazo (6) Tasa Cooperación (7) Tasa de Respuesta 15 2.631 2.340 2.259 1,7% 88,3% 5,6% 93,6% 82,6% 1 5.222 4.192 3.675 6,6% 82,0% 8,4% 88,8% 72,8% 2 5.324 4.341 3.905 3,6% 80,3% 10,1% 87,4% 70,2% 3 4.357 2.909 2.823 5,9% 70,1% 3,2% 94,7% 66,5% 4 2.950 2.457 2.418 6,2% 89,3% 3,8% 95,3% 85,1% 5 6.471 5.378 4.596 11,4% 90,2% 11,2% 87,2% 78,7% 6 4.371 3.621 3.656 4,7% 88,3% 2,4% 97,0% 85,6% 7 5.452 4.940 4.987 2,5% 93,1% 1,9% 97,7% 90,9% 8 6.840 5.648 5.779 3,8% 89,1% 3,0% 96,4% 85,8% 9 4.668 3.887 3.995 2,4% 88,5% 2,3% 97,3% 86,2% 14 5.277 4.399 4.364 5,5% 88,9% 2,2% 97,5% 86,6% 10 5.184 4.223 4.392 3,2% 89,5% 2,4% 97,0% 86,8% 11 3.685 2.604 2.857 3,1% 84,3% 4,5% 94,6% 79,7% 12 2.478 1.534 1.588 4,4% 72,8% 6,0% 91,6% 66,7% 13 10.474 7.709 7.790 1,3% 76,3% 4,4% 94,0% 71,7% Total 75.384 60.183 59.084 4,4% 84,6% 4,6% 94,1% 79,6% (8) 38
Tasa de Respuesta:Encuesta Casen 1998-2011* 110 100 90 80 70 An Ay Ta 81,6% Promedio histórico 60 Ma At 50 Ma Ta 1998 2000 2003 2006 2009 2011 Fuente: Ministerio de Desarrollo Social, elaboración propia a partir de Informe de Trabajo de campo CASEN 1998 a 2011 UChile empadrona, selecciona y entrevista (1987-2003). INE empadrona y selecciona. UChile entrevista (2006 y 2011) OSUAH entrevista 2009. (*) Resultados no comparables, por cambio en la metodología de recolección de datos entre 1998 y 2011. 39
Gracias. 40
Tasa de Respuesta Casen 2009 y 2011 Tasas de Respuesta:Encuesta Casen 2009-2011 110 100 90 80 70 79.6% En 2011 60 50 AP Ta An At Co Va OH Ma BB LA LR LL Ay Ma Me Fuente: Ministerio de Desarrollo Social, elaboración propia a partir de Informe de Trabajo de campo CASEN 2009-2011 Casen2009 Casen2011 41
Resultados Casen 2011 Solo Replica 2 (Nov 11-Ene 12) Región Muestra enviada terreno replica 2 (1) Muestra Objetivo replica 2 (2) Muestra Lograda (3) Tasa de No elegibles (4) Tasa Contacto (5) Tasa Rechazo (6) Tasa Cooperac ión (7) Tasa de Respues ta (8) Tasa de logro 15 2.631 2.340 2.259 1,7% 88,3% 5,6% 93,6% 82,6% 96,5% 1 5.222 4.192 3.675 6,6% 82,0% 8,4% 88,8% 72,8% 87,7% 2 5.324 4.341 3.905 3,6% 80,3% 10,1% 87,4% 70,2% 90,0% 3 4.357 2.909 2.823 5,9% 70,2% 3,2% 94,6% 66,5% 97,0% 4 2.950 2.457 2.418 6,2% 89,3% 3,8% 95,3% 85,1% 98,4% 5 6.471 5.378 4.596 11,4% 90,2% 11,2% 87,2% 78,7% 85,5% 6 4.371 3.621 3.656 4,7% 88,3% 2,4% 97,0% 85,6% 101,0% 7 5.452 4.940 4.987 2,5% 93,1% 1,9% 97,7% 90,9% 101,0% 8 6.840 5.648 5.779 3,8% 89,1% 3,0% 96,4% 85,8% 102,3% 9 4.668 3.887 3.995 2,4% 88,5% 2,3% 97,3% 86,2% 102,8% 14 5.277 4.399 4.364 5,5% 88,9% 2,2% 97,5% 86,6% 99,2% 10 5.184 4.223 4.392 3,2% 89,5% 2,4% 97,0% 86,8% 104,0% 11 3.685 2.604 2.857 3,2% 84,3% 4,5% 94,6% 79,7% 109,7% 12 2.478 1.534 1.588 4,4% 72,8% 6,0% 91,6% 66,7% 103,5% 13 10.474 7.709 7.790 1,4% 76,3% 4,4% 94,0% 71,7% 101,1% Total 75.384 60.182 59.084 4,4% 84,6% 4,6% 94,1% 79,6% 98,2% (9) 42
Tasa Respuesta 20 40 60 80 100 Tasas de Respuesta por comuna 2009 0 10 20 30 40 50 Fuente: Ministerio de Desarrollo Social, elaboración propia a partir de Informe de Trabajo de campo CASEN 2009 y estimaciones SAE 43
Tasa de Respuesta Casen 2006 y 2011 Tasa de Respuesta:Encuesta Casen 2006-2011 110 100 90 80 70 An Ma Ay Me Me Ta An At 76,4% Promedio Histórico 2006-2011 60 At Ma 50 2006 2009 2011 Fuente: Ministerio de Desarrollo Social, elaboración propia a partir de Informe de Trabajo de campo CASEN 2006 a 2011 44
Tasa de Respuesta, Encuesta EOD 2007-2011 100 Tasa de Respuesta Encuesta de Ocupacion y Desocupacion del Gran Santiago 90 80 M J S D M J S D M J S D M J S D M J S D 70 60 50 2007 2008 2009 2010 2011 Fuente: Centro de Microdatos, Universidad de Chile 45
Tasa de Logro Se define como la proporción de encuestas logradas sobre el total de encuestas contratadas definidas como muestra objetivo. Tasa de Logro Encuestas Logradas Encuestas Objetivo Año Casen Tasa Logro 1998 98,3 2000 99,9 2003 99,6 2006 99,2 2009 96,1 2011* 96,4 (*) Muestra CASEN 2011 completa (n=86.960 viviendas aprox.) 46
Tasa de Logro Tasa de Logro Casen 1998 a 2011 Tasas de Logro: Encuesta Casen 1998-2011* 110 100 90 80 Ay Ay At An Va Ta 98.3% Promedio Histórico 70 Ma 60 Ma 50 1998 2000 2003 2006 2009 2011 Fuente: Ministerio de Desarrollo Social, elaboración propia a partir de Informe de Trabajo de campo CASEN 1998 a 2011 (*) Muestra CASEN 2011 completa (n=86.854 viviendas aprox.) 47
Tasa de Logro Tasa de Logro Casen 2009 y 2011 Tasas de Logro: Encuesta Casen 2009-2011* 110 100 90 96.4% En 2011 80 70 60 50 AP Ta An At Co Va OH Ma BB LA LR LL Ay Ma Me Fuente: Ministerio de Desarrollo Social, elaboración propia a partir de Informe de Trabajo de campo CASEN 2009-2011 Casen2009 Casen2011 (*) Muestra CASEN 2011 completa (n=86.854 viviendas aprox.) 48
Características Diseño Muestral 2011 Población Objetivo Personas que residen en forma permanente en viviendas particulares ocupadas. Marco Muestral Áreas Urbanas: Marco Muestral de Manzanas (MMM 2008). Áreas Rurales: Marco Muestral de Secciones (MMS 2002). Cobertura: Nacional. Excluye 22 áreas de difícil acceso definidas por INE. Tamaño de la muestra Muestra objetivo: 90.000 encuestas Muestra seleccionada: 113.000 viviendas (sobredimensión de 20%). Distribución de la muestra Entre regiones: criterio de optimización del nivel de precisión de tasa pobreza Entre comunas, en cada región: proporcional a la población de viviendas Diseño Probabilístico, estratificado y bietapico. Selección de 2 submuestras independientes (33% y 67%) 49