Sesión 4A: Indicadores y diseño de cuestionarios. Beatriz Godoy Sistemas Integrales Santiago, de abril de 2013

Transcripción

1 Sesión 4A: Indicadores y diseño de cuestionarios Beatriz Godoy Sistemas Integrales Santiago, de abril de

2 Si la firma contratada para realizar el trabajo de campo de una encuesta tiene experiencia demostrada en este campo, entonces el diseño del cuestionario puede ser encargado a ellos 1. Verdadero 2. Falso 0% 0% 1 2 2

3 Si el contenido del cuestionario ha sido revisado y validado por los distintos actores involucrados en la Evaluación de Impacto, entonces este no necesita ser probado en campo 1. Verdadero 2. Falso 0% 0% 1 2 3

4 Producir un buen cuestionario es una actividad crítica en el diseño de una encuesta La calidad de los datos recogidos por la encuesta es afectada directamente por el diseño del cuestionario Pequeños errores o inexactitudes en la redacción de una pregunta o en el flujo de estas pueden provocar sesgos indeseados 4

5 Diseño de cuestionario: las etapas Etapa 1: Definición del contenido Qué quiere averiguar? Etapa 2: Elaboración del cuestionario Cómo lo puede averiguar? Etapa 3: Prueba del cuestionario Funciona bien en el terreno? 5

6 Etapa 1: Definición del contenido Reuniones: Equipo de Evaluación de Impacto Lista de indicadores Definición de los indicadores relevantes 6

7 Etapa 2: Elaboración del cuestionario Preparación de una lista de preguntas Lista de indicadores Borrador del cuestionario Elaboración del cuestionario físico 7

8 Etapa 3: Prueba del cuestionario Discusiones sobre los resultados de la prueba Cuestionario «final» Entrevista de hogares / establecimientos Revisión / modificación del cuestionario 8

9 Diseño de cuestionario: un proceso Etapa 1 Lista de indicadores Etapa 2: Elaboración del cuestionario Cuestionario «final» Etapa 3 Prueba del cuestionario 9

10 Diseño del cuestionario Etapa 1: Definición del contenido Qué quiere averiguar? Etapa 2: Elaboración del cuestionario Cómo lo puede averiguar? Etapa 3: Prueba del cuestionario Funciona bien en el terreno? 10

11 Etapa 1 - Contenido: Definición de la lista de indicadores Identifique a las personas clave que deben participar en el desarrollo del cuestionario, con el objetivo de asegurar que los objetivos de la Evaluación de Impacto están cubiertos El contenido del cuestionario debe ser discutido entre todos los interesados: al menos el equipo de evaluación de impacto, y quizás el Gobierno, agencias locales o internacionales, universidades, etc. Recuerde que el objetivo principal de la encuesta es recolectar datos que permitan medir los indicadores necesarios para hacer la evaluación de impacto 11

12 Etapa 1 - Contenido: Definición de la lista de indicadores Indicadores De qué se trata la intervención? Cuáles son las preguntas que quiere responder? Cuál es la población objetivo? 12

13 Etapa 1 - Contenido: Definición de la lista de indicadores Indicadores Ejemplo en el sector educación: La intervención fue diseñada para aumentar la matrícula escolar y la retención de estudiantes de entre 6 y 10 años de edad. Tasa de matricula Tasa de abandono Ejemplo en el sector salud: Se espera que el programa incentive a las mujeres a dar a luz en centros de salud Tasa de nacimientos atendidos en centros de salud 13

14 Etapa 2: Elaboración del cuestionario 1. Preparación de una lista de preguntas Cómo de puede medir los indicadores definidos en la etapa anterior? Revisión de encuestas anteriores Comparabilidad con otras encuestas, en particular en el caso de evaluación de impacto, entre el cuestionario de línea basal y el de la encuesta de seguimiento Revisión de estudios cualitativos relevantes Revisión de bibliografía 14

15 Etapa 2: Elaboración del cuestionario 1. Preparación de una lista de preguntas Use un lenguaje simple y claro Evite el lenguaje académico, incomprensible para los entrevistados Lenguaje complejo: «Cuál es la fuente principal de energía utilizada por los miembros de este hogar para la preparación de los alimentos?» Simple: «Qué combustible usan para cocinar?» 15

16 Cuál es la pregunta correcta? 1. Sabe usted si el agua que beben en este hogar tiene bacterias, protozoos, que pueden ser peligrosos para la salud? 2. Es segura para la salud el agua que beben en este hogar? 0% 0%

17 Etapa 2: Elaboración del cuestionario 1. Preparación de una lista de preguntas Cuidado: lo que es válido en un contexto cultural puede no serlo en otro Adapte el cuestionario a la realidad e idiosincrasia local, use el idioma adecuado 17

18 Etapa 2: Elaboración del cuestionario 1. Preparación de una lista de preguntas Evite el lenguaje ambiguo Ambiguo: Cuándo se mudaron a esta vivienda? Respuesta 1: En 1999 Respuesta 2: Cuando yo tenía 20 años Respuesta 3: Después de que terminé los estudios secundarios Respuesta 4: Después del verano Respuesta 5: Cuando la compramos Claro: En qué año se mudaron a esta vivienda? 18

19 Etapa 2: Elaboración del cuestionario 1. Preparación de una lista de preguntas Haga una pregunta a la vez Incorrecto: Pregunta 1: Está usted a favor de reducir el consumo de alcohol entre los jóvenes y aumentar los impuestos de las bebidas alcohólicas? Correcto: Pregunta 1: Está usted a favor de reducir el consumo de alcohol entre los jóvenes? Pregunta 2: Está usted a favor de aumentar los impuestos de las bebidas alcohólicas? 19

20 Etapa 2: Elaboración del cuestionario 1. Preparación de una lista de preguntas Claridad respecto de quién debe responder cada pregunta Ejemplos: Preguntas sobre fertilidad Mujeres de entre 15 y 49 años de edad Preguntas sobre educación Miembros del hogar de 5 años y más 20

21 Etapa 2: Elaboración del cuestionario 1. Preparación de una lista de preguntas Cuando corresponde, debe explicitar los períodos de referencia y las unidades de medida Confuso: Cuántas veces ha visitado usted un centro de salud? La semana pasada? El mes pasado? El invierno pasado? Claro: Durante los últimos 30 días, cuántas veces visitó usted un centro de salud? 21

22 Etapa 2: Elaboración del cuestionario 2. Inserción de las preguntas en un cuestionario físico Un buen formato físico de cuestionario facilita: La entrevista y el registro de las respuestas El diseño del programa de ingreso de datos 22

23 Etapa 2: Elaboración del cuestionario 2. Inserción de las preguntas en un cuestionario físico Tipos de preguntas Con alternativas Numéricas Abiertas 23

24 Etapa 2: Elaboración del cuestionario 2. Inserción de las preguntas en un cuestionario físico Numeración de las preguntas 24

25 Numeración de las preguntas - EJEMPLO Cuestionario 25

26 Numeración de las preguntas - EJEMPLO Datos en Stata 26

27 Etapa 2: Elaboración del cuestionario 2. Inserción de las preguntas en un cuestionario físico Normas editoriales Saltos o pases 27

28 Etapa 2: Elaboración del cuestionario 2. Inserción de las preguntas en un cuestionario físico Normas editoriales Mayúsculas y minúsculas MINÚSCULAS: LEER EN VOZ ALTA MAYÚSCULAS: NO LEER EN VOZ ALTA 28

29 Etapa 2: Elaboración del cuestionario 2. Inserción de las preguntas en un cuestionario físico Cuál es el software adecuado? Excel o similares son mucho mejores que Word o similares Permite usar fórmulas para numerar las preguntas Facilita la traducción Las cajas y grillas son muy fáciles de dibujar 29

30 Etapa 2: Elaboración del cuestionario 2. Inserción de las preguntas en un cuestionario físico Orden de las preguntas El cuestionario debe estar organizado de tal forma que su aplicación sea natural, tanto para el encuestador como para el entrevistado Las preguntas se deben formular solo cuando son aplicables. Esto se logra con una buena estructura de saltos o pases La decisión sobre cuándo y quién debe responder cada pregunta no puede ser dejada al encuestador 30

31 Etapa 2: Elaboración del cuestionario 2. Inserción de las preguntas en un cuestionario físico Idioma Debe traducir el cuestionario al idioma local Verifique si la traducción está correcta haciendo traducción a la inversa 31

32 Qué está mal en esta sección de cuestionario? 1. Problemas de numeración de preguntas 2. Faltan saltos (pases) 3. Saltos incorrectos 4. Alternativas incorrectas 5. Todas las anteriores 0% 0% 0% 0% 0%

33 Usted quiere preguntas a los miembros adultos del hogar acerca de sus actividades económicas actuales que generan ingreso. Cuál de las siguientes alternativas le parece más apropiada? 1. Tiene usted alguna actividad que genera ingresos? 2. Usted trabaja? 3. Tiene usted un trabajo por el cual recibe paga en efectivo o especie? 4. Tiene usted alguna actividad económica? 0% 0% 0% 0%

34 Etapa 3: Prueba del cuestionario Siempre pruebe el cuestionarios antes de lanzar el trabajo de campo Deben participar los analistas y los diseñadores Debe ser probado en un número pequeño de miembros de la población objetivo: privilegie la calidad por sobre la cantidad La prueba del cuestionario debe ser hecha en distintos contextos: debe cubrir la diversidad de realidades que se incluyen en el estudio 34

35 Etapa 3: Prueba del cuestionario Siempre pruebe el cuestionarios antes de lanzar el trabajo de campo Es un proceso iterativo Discusiones sobre los resultados de la prueba Cuestionario «final» Entrevista de hogares / establecimientos Revisión / modificación del cuestionario 35

36 Resumen: El diseño del cuestionario es un proceso iterativo y esto toma tiempo 36

37 Quién tiene la última palabra en un cuestionario de Evaluación de Impacto? 1. La unidad que implementa el programa 2. El equipo de Evaluación de Impacto 3. La firma local implementadora de la encuesta 4. Los expertos en diseño de encuestas 0% 0% 0% 0%

38 Cuál de las aseveraciones siguientes es verdadera: Un buen cuestionario siempre debe 1. ser corto 2. ser probado en el terreno 3. ser desarrollado muy rápidamente 4. satisfacer las necesidades de información de la firma local 5. satisfacer las necesidades de información de los académicos 0% 0% 0% 0% 0%

39 Etapa 1: Definición del contenido Reuniones: Equipo de Evaluación de Impacto Definición de los indicadores relevantes Lista de indicadores Etapa 2: Elaboración del cuestionario Preparación de una lista de preguntas Inserción de las preguntas en un cuestionario físico Borrador del cuestionario Etapa 3: Prueba del cuestionario Entrevista de hogares / establecimientos Discusiones sobre los resultados de la prueba Revisión / modificación del cuestionario Cuestionario «final» 39