Problemas de No Respuesta Encuesta Casen

Transcripción

1 Problemas de No Respuesta Encuesta Casen Carolina Casas-Cordero, Ph.D. División Observatorio Social Ministerio de Desarrollo Social Taller sobre Armonización de las Estadísticas de Pobreza en América Latina y el Caribe Montevideo, Uruguay 24 de Mayo de 2012

2 Temario 1. Conceptos Importantes 2. Ficha Técnica Casen Estados de Disposición Final de Casos Resultados Trabajo de Campo 2011 Gobierno de Chile Ministerio de Planificación 2

3 1. Conceptos Importantes Gobierno de Chile Ministerio de Planificación 3

4 Error Total de Encuestas Proceso de Encuesta: Perspectiva de Diseño Mediciones Representaciones Constructo Población Objetivo Mediciones Marco Muestral Respuesta Muestra Entrevistados Respuesta Editada Ajustes Post-encuesta Estadístico Groves, R. et al.(2004), Survey Methodology, New York: Wiley. Gobierno de Chile Ministerio de Planificación 4

5 Error Total de Encuestas Proceso de Encuesta: Perspectiva de Calidad Mediciones Representaciones Constructo Y Población Objetivo i Error de Cobertura Mediciones Y i Y c Marco Muestral Error de Muestreo y s Muestra Respuesta y i No Respuesta y r Entrevistados Respuesta Editada y ip y w Ajustes Post-encuesta Estadístico Groves, R. et al.(2004), Survey Methodology, New York: Wiley. Gobierno de Chile Ministerio de Planificación 5

6 Error Total de Encuestas Proceso de Encuesta: Perspectiva de Calidad Mediciones Representaciones Constructo Y Población Objetivo Validez i Error de Cobertura Error de Medición Mediciones Y i Y c y s Marco Muestral Muestra Error de Muestreo Respuesta y i No Respuesta Error de Procesamiento y r Entrevistados Respuesta Editada y ip y w Ajustes Post-encuesta Error de Ajuste Estadístico Groves, R. et al.(2004), Survey Methodology, New York: Wiley. Gobierno de Chile Ministerio de Planificación 6

7 Qué es la No Respuesta? El termino no respuesta (nonresponse) se relaciona con la falla en la obtención de datos a partir de las unidades en la muestra. El origen de estas fallas puede ser de diversa índole. Se clasifica en dos tipos: No respuesta a la unidad. Falla total en obtener la datos a partir de las unidades en la muestra. Es decir, no se obtienen las encuestas ya sean de los hogares, individuos o empresas según sea la unidad muestral del estudio. No respuesta al item. Falla parcial en obtener datos a partir de las unidades en la muestra. Por ejemplo, cuando la persona accede a participar, sin embargo se niega a contestar parte de la encuesta (ej. preguntas sobre ingresos del hogar). 7

8 Qué es la No Respuesta? 8

9 Potencial impacto de NR Incremento del error total de la encuesta: Puede reducir la muestra y, por lo tanto, aumentar el error de muestreo Puede aumentar la variabilidad en el factor de expansión, ya que es factor multiplicativo. Puede producir sesgo en estimadores de interés. Incremento del costo de la encuesta: Modifica las estrategias y esfuerzos de trabajo de campo de las encuestas. Estrategias para evitarla incluyen: aumento número de visitas, aumentar tiempo de trabajo de campo, uso de incentivos, etc. 9

10 Como reducir error de no respuesta a la unidad? Capacitación y Selección del Equipo de Campo Estrategias (y recursos) diferenciadas para distintas áreas del país Estrategias de adaptación al Entrevistado

11 Como cuantificar error de no respuesta? Biemer, P. & Lyberg, L. (2003), Introduction to Survey Quality, New Jersey: Wiley.

12 Como cuantificar error de no respuesta? Riesgo de Sesgo Biemer, P. & Lyberg, L. (2003), Introduction to Survey Quality, New Jersey: Wiley.

13 1. Diseñar para reducir NR 2. Presupuestar para medir NR 3. Evaluar si corregir por NR

14 Resultados Corrección de NR al la Unidad Aumenta varianza del estadístico de interés. Esperanza de reducir sesgo del estadístico de interés. Ponderador Probabilidades de selección Ajuste de No Respuesta Ajuste de Población (calibración) 14

15 2. Ficha Técnica Casen 2011 Gobierno de Chile Ministerio de Planificación 15

16 Ficha Técnica Casen 1987 a 2009 Características CASEN Objetivos de Investigación Muestra 1. Estimación pobreza, distribución de ingreso. 2. Cobertura y focalización de programas sociales. 3. Caracterización básica de la población a entrevistas logradas Trabajo de campo Modo de Entrevista Tiempo de entrevista Unidad de Análisis Informante 6 a 10 semanas (Nov Ene) En persona, cuestionario de papel 30 a 60 minutos aprox. (hogar con 4 a 5 personas) Persona y Hogar Jefe de hogar o Persona > 18 años Instituciones Otros Ministerio (diseño, cuestionario, análisis), Contrastista (selección muestra, recolección y procesamiento de datos), INE (selección muestra*), CEPAL (ajuste de ingreso) Entrevista voluntaria. No se solicitan datos personales (sin RUN, sin apellidos). Bases de datos de acceso público. (*) INE selecciona la muestra y desarrolla la cartografía desde

17 3. Estados de Disposición Final de Casos Casen 2011 Gobierno de Chile Ministerio de Planificación 17

18 Dirección Seleccionada 18

19 Dirección Seleccionada Elegible Elegibilidad Desconocida No Elegible 19

20 Dirección Seleccionada Elegible Elegibilidad Desconocida No Elegible No Contacto Contacto 20

21 Dirección Seleccionada Elegible Elegibilidad Desconocida No Elegible No Contacto No Contacto Contacto Contacto 21

22 Dirección Seleccionada Elegible Elegibilidad Desconocida No Elegible No Contacto No Contacto Contacto Contacto Entrevista Completa Parcial Rechazo Otra No Entrevista 22

23 Dirección Seleccionada Elegible Elegibilidad Desconocida (ED) No Elegible (NE) No Contacto (NC) No Contacto Contacto Contacto Entrevista Completa (EC) Parcial (EP) Rechazo (R) Otra No Entrevista (O) 23

24 Registro de Códigos en CASEN

25 4. Resultados Trabajo de Campo Casen 2011 Gobierno de Chile Ministerio de Planificación 25

26 Basados en: The American Association for Public Opinion Research Standard Definitions: Final Dispositions of Case Codes and Outcome Rates for Surveys. 7th edition. AAPOR. Gobierno de Chile Ministerio de Planificación 26

27 Criterio conservador - asume que todos los de elegibilidad desconocida (ED) son elegibles. Basados en: The American Association for Public Opinion Research Standard Definitions: Final Dispositions of Case Codes and Outcome Rates for Surveys. 7th edition. AAPOR. Gobierno de Chile Ministerio de Planificación 27

28 Resultados Casen 2011 Solo Replica 2 (Nov 11-Ene 12) Región Muestra seleccionada Muestra Objetivo Muestra Lograda (1) (2) (3) Total

29 Tasa de No Elegibilidad TE ( EC EP) ( R ( NE) NC O) ( ED) ( NE) Elegibles (E) Elegibilidad desconocida (ED) y No elegible (NE) Las altas tasas de no elegibilidad de las regiones de Tarapacá, Atacama, Coquimbo,Valparaíso, Libertador General Bernardo O Higgins. Códigos de Disposición mas frecuentes (nivel país): Viviendas desocupadas y/o viviendas de veraneo o uso temporal (75%). Direcciones correspondían a empresa, oficina de gobierno u otra organización (10%). 29

30 Resultados Casen 2011 Solo Replica 2 (Nov 11-Ene 12) Región Muestra enviada terreno replica 2 (1) Muestra Objetivo replica 2 (2) Muestra Lograda (3) Tasa No elegibles (4) ,7% ,6% ,6% ,9% ,2% ,4% ,7% ,5% ,8% ,4% ,5% ,2% Las regiones con menores tasas de contacto son: Tarapacá, Atacama y Valparaíso ,2% ,4% ,4% Total ,4% 30

31 Tasa de Contacto Es la proporción de casos de la muestra en que el encuestador logra hablar o tener la atención del entrevistado, donde finalmente puede obtener o no la entrevista. El concepto clave es el acceso al entrevistado. TC ( EC ( EC EP) ( R O) EP) ( R NC O) ( ED) Las tasas de contacto más bajas se dieron en las regiones de Atacama, Magallanes y Metropolitana. Códigos de Disposición final mas frecuentes (nivel país): Viviendas ocupadas sin moradores presentes (86%). Informante no ubicable o no puede atender (10%). Se impide acceso a la vivienda (3%). 31

32 Resultados Casen 2011 Solo Replica 2 (Nov 11-Ene 12) Región Muestra enviada terreno replica 2 (1) Muestra Objetivo replica 2 (2) Muestra Lograda (3) Tasa de No elegibles (4) Tasa Contacto (5) ,7% 88,3% ,6% 82,0% ,6% 80,3% ,9% 70,1% ,2% 89,3% ,4% 90,2% ,7% 88,3% ,5% 93,1% ,8% 89,1% ,4% 88,5% ,5% 88,9% ,2% 89,5% Las regiones con menores tasas de contacto son: Atacama, Magallanes y Metropolitana ,1% 84,3% ,4% 72,8% ,3% 76,3% Total ,4% 84,6% 32

33 Tasa de Rechazo Registra la proporción de los elementos de la muestra que rechazan completamente a participar en el estudio, sobre el total de casos potencialmente elegibles. TR R ( EC EP) ( R NC O) ( ED) Si bien la tasa de rechazo es sólo un 4,4% a nivel nacional tenemos casos como la región de Valparaíso, la región de Tarapacá y Arica y Parinacota que sobrepasan el 8%. Principalmente las razones de rechazo entregadas por los encuestadores se deben a que los estratos socioeconómicos altos no participan y al desinterés general de las familias por participar en encuestas. 33

34 Resultados Casen 2011 Solo Replica 2 (Nov 11-Ene 12) Región Muestra enviada terreno replica 2 (1) Muestra Objetivo replica 2 (2) Muestra Lograda (3) Tasa de No elegibles (4) Tasa Contacto (5) Tasa Rechazo ,7% 88,3% 5,6% ,6% 82,0% 8,4% (6) ,6% 80,3% 10,1% ,9% 70,1% 3,2% ,2% 89,3% 3,8% ,4% 90,2% 11,2% ,7% 88,3% 2,4% ,5% 93,1% 1,9% ,8% 89,1% 3,0% ,4% 88,5% 2,3% ,5% 88,9% 2,2% ,2% 89,5% 2,4% Las regiones con mayores tasas de rechazo son: Valparaíso, Tarapacá, Arica y Parinacota y Magallanes ,1% 84,3% 4,5% ,4% 72,8% 6,0% ,3% 76,3% 4,4% Total ,4% 84,6% 4,6% 34

35 Tasa de Cooperación Se define como la proporción de unidades muestrales entrevistadas sobre todas las unidades elegibles que fueron contactadas, por ejemplo tanto a nivel de hogar como de individuos. TCC EC ( EC EP) ( R O) Las tasas de cooperación son relativamente altas, todas por sobre el 87% lo que indica que una vez que se ha logrado contactar al entrevistado en general este accede a participar en la encuesta 35

36 Resultados Casen 2011 Solo Replica 2 (Nov 11-Ene 12) Regió n Muestr a enviada terreno replica 2 (1) Muestra Objetivo replica 2 (2) Muestra Lograda (3) Tasa de No elegibles (4) Tasa Contacto (5) Tasa Rechazo (6) Tasa Cooperación ,7% 88,3% 5,6% 93,6% ,6% 82,0% 8,4% 88,8% ,6% 80,3% 10,1% 87,4% ,9% 70,1% 3,2% 94,8% ,2% 89,3% 3,8% 95,3% ,4% 90,2% 11,2% 87,2% ,7% 88,3% 2,4% 97,0% ,5% 93,1% 1,9% 97,7% ,8% 89,1% 3,0% 96,4% ,4% 88,5% 2,3% 97,3% ,5% 88,9% 2,2% 97,5% ,2% 89,5% 2,4% 97,0% ,1% 84,3% 4,5% 94,6% ,4% 72,8% 6,0% 91,6% ,3% 76,3% 4,4% 94,0% Total ,4% 84,6% 4,6% 94,1% (7) 36

37 Tasa de Respuesta Esta tasa registra la proporción de entrevistas realizadas sobre la totalidad de la muestra potencialmente elegible. TRR EC ( EC EP) ( R NC O) ( ED) Las tasas más bajas, menor al 70% mínimo esperado, se dieron en las regiones de Atacama y de Magallanes, ambas influenciadas por las bajas tasas de contacto y Magallanes sumado al rechazo de un 6% a contestar la encuesta. 37

38 Resultados Casen 2011 Solo Replica 2 (Nov 11-Ene 12) Región Muestra enviada terreno replica 2 (1) Muestra Objetivo replica 2 (2) Muestra Lograda (3) Tasa de No elegibles (4) Tasa Contacto (5) Tasa Rechazo (6) Tasa Cooperación (7) Tasa de Respuesta ,7% 88,3% 5,6% 93,6% 82,6% ,6% 82,0% 8,4% 88,8% 72,8% ,6% 80,3% 10,1% 87,4% 70,2% ,9% 70,1% 3,2% 94,7% 66,5% ,2% 89,3% 3,8% 95,3% 85,1% ,4% 90,2% 11,2% 87,2% 78,7% ,7% 88,3% 2,4% 97,0% 85,6% ,5% 93,1% 1,9% 97,7% 90,9% ,8% 89,1% 3,0% 96,4% 85,8% ,4% 88,5% 2,3% 97,3% 86,2% ,5% 88,9% 2,2% 97,5% 86,6% ,2% 89,5% 2,4% 97,0% 86,8% ,1% 84,3% 4,5% 94,6% 79,7% ,4% 72,8% 6,0% 91,6% 66,7% ,3% 76,3% 4,4% 94,0% 71,7% Total ,4% 84,6% 4,6% 94,1% 79,6% (8) 38

39 Tasa de Respuesta:Encuesta Casen * An Ay Ta 81,6% Promedio histórico 60 Ma At 50 Ma Ta Fuente: Ministerio de Desarrollo Social, elaboración propia a partir de Informe de Trabajo de campo CASEN 1998 a 2011 UChile empadrona, selecciona y entrevista ( ). INE empadrona y selecciona. UChile entrevista (2006 y 2011) OSUAH entrevista (*) Resultados no comparables, por cambio en la metodología de recolección de datos entre 1998 y

40 Gracias. 40

41 Tasa de Respuesta Casen 2009 y 2011 Tasas de Respuesta:Encuesta Casen % En AP Ta An At Co Va OH Ma BB LA LR LL Ay Ma Me Fuente: Ministerio de Desarrollo Social, elaboración propia a partir de Informe de Trabajo de campo CASEN Casen2009 Casen

42 Resultados Casen 2011 Solo Replica 2 (Nov 11-Ene 12) Región Muestra enviada terreno replica 2 (1) Muestra Objetivo replica 2 (2) Muestra Lograda (3) Tasa de No elegibles (4) Tasa Contacto (5) Tasa Rechazo (6) Tasa Cooperac ión (7) Tasa de Respues ta (8) Tasa de logro ,7% 88,3% 5,6% 93,6% 82,6% 96,5% ,6% 82,0% 8,4% 88,8% 72,8% 87,7% ,6% 80,3% 10,1% 87,4% 70,2% 90,0% ,9% 70,2% 3,2% 94,6% 66,5% 97,0% ,2% 89,3% 3,8% 95,3% 85,1% 98,4% ,4% 90,2% 11,2% 87,2% 78,7% 85,5% ,7% 88,3% 2,4% 97,0% 85,6% 101,0% ,5% 93,1% 1,9% 97,7% 90,9% 101,0% ,8% 89,1% 3,0% 96,4% 85,8% 102,3% ,4% 88,5% 2,3% 97,3% 86,2% 102,8% ,5% 88,9% 2,2% 97,5% 86,6% 99,2% ,2% 89,5% 2,4% 97,0% 86,8% 104,0% ,2% 84,3% 4,5% 94,6% 79,7% 109,7% ,4% 72,8% 6,0% 91,6% 66,7% 103,5% ,4% 76,3% 4,4% 94,0% 71,7% 101,1% Total ,4% 84,6% 4,6% 94,1% 79,6% 98,2% (9) 42

43 Tasa Respuesta Tasas de Respuesta por comuna Fuente: Ministerio de Desarrollo Social, elaboración propia a partir de Informe de Trabajo de campo CASEN 2009 y estimaciones SAE 43

44 Tasa de Respuesta Casen 2006 y 2011 Tasa de Respuesta:Encuesta Casen An Ma Ay Me Me Ta An At 76,4% Promedio Histórico At Ma Fuente: Ministerio de Desarrollo Social, elaboración propia a partir de Informe de Trabajo de campo CASEN 2006 a

45 Tasa de Respuesta, Encuesta EOD Tasa de Respuesta Encuesta de Ocupacion y Desocupacion del Gran Santiago M J S D M J S D M J S D M J S D M J S D Fuente: Centro de Microdatos, Universidad de Chile 45

46 Tasa de Logro Se define como la proporción de encuestas logradas sobre el total de encuestas contratadas definidas como muestra objetivo. Tasa de Logro Encuestas Logradas Encuestas Objetivo Año Casen Tasa Logro , , , , ,1 2011* 96,4 (*) Muestra CASEN 2011 completa (n= viviendas aprox.) 46

47 Tasa de Logro Tasa de Logro Casen 1998 a 2011 Tasas de Logro: Encuesta Casen * Ay Ay At An Va Ta 98.3% Promedio Histórico 70 Ma 60 Ma Fuente: Ministerio de Desarrollo Social, elaboración propia a partir de Informe de Trabajo de campo CASEN 1998 a 2011 (*) Muestra CASEN 2011 completa (n= viviendas aprox.) 47

48 Tasa de Logro Tasa de Logro Casen 2009 y 2011 Tasas de Logro: Encuesta Casen * % En AP Ta An At Co Va OH Ma BB LA LR LL Ay Ma Me Fuente: Ministerio de Desarrollo Social, elaboración propia a partir de Informe de Trabajo de campo CASEN Casen2009 Casen2011 (*) Muestra CASEN 2011 completa (n= viviendas aprox.) 48

49 Características Diseño Muestral 2011 Población Objetivo Personas que residen en forma permanente en viviendas particulares ocupadas. Marco Muestral Áreas Urbanas: Marco Muestral de Manzanas (MMM 2008). Áreas Rurales: Marco Muestral de Secciones (MMS 2002). Cobertura: Nacional. Excluye 22 áreas de difícil acceso definidas por INE. Tamaño de la muestra Muestra objetivo: encuestas Muestra seleccionada: viviendas (sobredimensión de 20%). Distribución de la muestra Entre regiones: criterio de optimización del nivel de precisión de tasa pobreza Entre comunas, en cada región: proporcional a la población de viviendas Diseño Probabilístico, estratificado y bietapico. Selección de 2 submuestras independientes (33% y 67%) 49