Sesión 6A El escenario, los actores, el guión y cuánto vale el show

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Sesión 6A El escenario, los actores, el guión y cuánto vale el show"

Jorge Ortiz de Zárate Olivares
hace 6 años
Vistas:

1 Sesión 6A El escenario, los actores, el guión y cuánto vale el show Por favor, conéctese al Canal 50 Juan Muñoz, Sistemas Integrales Santiago, 17 de abril de

2 Calidad Total en encuestas La integración de el diseño muestral, el cuestionario y los instrumentos, el trabajo de campo y la gestión de los datos con el fin de entegar a los analistas Una base de datos fiable En tiempo oportuno Muestreo Gestión de datos instrumentos Recolección de datos Los datos pierden valor si no representan la realidad del momento El producto final 2

3 El escenario y los actores El ejecutor del programa de intervención El evaluador (Agencia de evaluación, nacional o internacional) Equipo de evaluación Finanzas Gerente $ Firma encuestadora responsable de recoger los datos Equipo central Jefe de Jefe proyecto de operaciones de campo Jefe de gestión de datos Brigadas de campo Aseguramiento Especialistas de Calidad en diseño y análisis de Evaluación de Impacto 3

4 Quién debe ser responsable de asegurar la calidad? 1. La firma encuestadora 2. El investigador principal 3. El equipo de evaluación 4. El comité de ética 5. Otro 0% 0% 0% 0% 0%

5 El guión Grupos de actividades Gestión, logística y finanzas Desarrollo del cuestionario Muestreo Selección y capacitación del personal Trabajo de campo y Aseguramiento de Calidad Análisis y documentación Fases Diseño Recolección de datos Análisis

6 Evaluación de Impacto Un drama en tres actos Diseño Recolección de datos Análisis Diseño de la evaluación Gestión, logística y finanzas Desarrollo del cuestionario Muestreo Selección y capacitación Trabajo de campo y Aseguramiento de Calidad Análisis y documentación Mes Línea basal Seguimiento

7 Evaluación de Impacto Un drama en tres actos Diseño de la evaluación Gestión, logística y finanzas Desarrollo del cuestionario Muestreo Selección y capacitación Trabajo de campo y Aseguramiento de Calidad Análisis y documentación Diseño Mes Gestión, logística y finanzas Recolección de datos Acuerdos institucionales, MdEs Análisis Procedimientos de desembolso Firma encuestadora TdRs Selección Contrato Adquisición Vehículos Computadores Otros equipos Línea Seguimiento basal Publicidad

8 Cómo podemos asegurar que los hogares acepten ser entrevistados? 1. Usando medios de comunicación masiva 2. Pidiendo a la policía que recuerde a los hogares la obligación de responder 3. Entregando folletos, cartas del Ministerio, etc. 4. Usando incentivos monetarios 0% 0% 0% 0%

9 Evaluación de Impacto Un drama en tres actos Recolección de datos Identificar los indicadores de Evaluación de Impacto Identificar otros temas Análisis relevantes Cuestionario de hogares Primer borrador Mes Preparación Diseño de la evaluación Formateo Solicitud de comentarios Gestión, logística y finanzas Seminario Desarrollo del cuestionario Re-diseño Traducción Muestreo Pre-test Selección y capacitación Impresión Cuestionario de establecimientos Trabajo de campo y Línea Cuestionario Seguimiento comunitario basal Aseguramiento de Calidad Análisis y documentación Diseño Desarrollo del cuestionario

10 Quién debe desarrollar el cuestionario? 1. El equipo de evaluación 2. La firma encuestadora 3. El jefe de gestión de datos 4. Encuestadores experimentados 5. Todos los anteriores 0% 0% 0% 0% 0%

11 Evaluación de Impacto Un drama en tres actos Diseño de la evaluación Gestión, logística y finanzas Desarrollo del cuestionario Muestreo Selección y capacitación Trabajo de campo y Aseguramiento de Calidad Análisis y documentación Diseño Línea basal Muestreo Recolección de datos Diseño muestral Desarrollo de los marcos Análisis de 1 ra etapa Lista de Áreas Censales Cartografía Mes Listado de establecimientos Selección de las UPMs Aleatorización Tratamiento / Control Desarrollo de los marcos de 2 da etapa Listado de hogares Listado de proveedores Selección de hogares / proveedores Aleatorización Tratamiento / Control Cálculo de ponderadores Seguimiento Cálculo de errores muestrales

12 Qué unidades de muestreo se eligen primero? 1. Los hogares que serán entrevistados 2. Las Unidades Primarias de Muestreo 3. La cartografía 4. Los indicadores de evaluación de impacto 0% 0% 0% 0%

13 Evaluación de Impacto Un drama en tres actos Diseño de la evaluación Gestión, logística y finanzas Desarrollo del cuestionario Muestreo Selección y capacitación Trabajo de campo y Aseguramiento de Calidad Análisis y documentación Diseño Selección y capacitación Recolección de datos Selección y capacitación para el ensayo de campo Preparación de manuales Análisis Supervisor Encuestador Mes Operador de ingreso de datos Selección del personal de campo Preparación de la capacitación Local/es, logística, etc. Capacitación del personal de campo Semanas, no días Plenarias, ejercicios en clase prácticas en campo Capacitar más personal que lo estrictamente necesario, después Seguimiento elegir Línea basal

14 Quiénes se eligen primero? 1. Los encuestadores 2. Los miembros del Equipo Central 3. Los supervisores de campo 4. El equipo de Aseguramiento de Calidad 5. Los operadores de ingreso de datos 0% 0% 0% 0% 0%

15 Evaluación de Impacto Un drama en tres actos Diseño de la evaluación Gestión, logística y finanzas Desarrollo del cuestionario Muestreo Selección y capacitación Trabajo de campo y Aseguramiento de Calidad Análisis y documentación Diseño Trabajo de campo y Aseguramiento de Calidad Recolección de datos Ensayo de campo Desarrollo de programa Análisis de ingreso de datos Mes Puede o no ser CAPI! Preparar los procedimientos de supervisión humana Preparar los protocolos de trasmisión de datos Preparar los protocolos de consolidación de datos Definir los indicadores de calidad de campo Monitoreo del trabajo de Seguimiento campo Línea basal

16 Cuáles son los tres pilares del Aseguramiento de Calidad? 1. Incentivos monetarios adecuados 2. Monitoreo central de indicadores de calidad 3. Adquisición oportuna de los equipos e insumos 4. Aleatorización efectiva 5. Ingreso de datos inteligente en campo 6. Vehículos adecuados 7. Supervisión humana en el campo 0% 0% 0% 0% 0% 0% 0%

17 Evaluación de Impacto Un drama en tres actos Diseño de la evaluación Gestión, logística y finanzas Desarrollo del cuestionario Muestreo Selección y capacitación Trabajo de campo y Aseguramiento de Calidad Análisis y documentación Diseño Análisis y documentación Recolección de datos Después de la encuesta de línea basal Informe de línea basal Análisis Comparación tratamiento / control Mes Después de la encuesta de seguimiento Hubo impacto? Otros temas relevantes (derrame, focalización, costo-efectividad, etc.) Entonces Monografías académicas Siempre Documentar todo Línea basal Seguimiento Diseminar las bases de datos

18 Qué es lo más urgente? 1. Documentar 2. Publicar en revistas académicas 3. Recomendaciones de política pública 0% 0% 0% 1 2 3

19 Documentación Microdatos Documentación Metadatos 19

20 Los Microdatos son Los datos recogidos en la encuesta Los diccionarios de datos (etiquetas, códigos, etc.) Los Metadatos son El marco conceptual de la investigación Documentos administrativos (TdRs, propuestas, contratos, aprobaciones éticas, etc.) Diseño muestral, cálculos de potencia, marcos muestales, cartografía, listados de hogares, etc. Informes técnicos (calendario, plan de trabajo, encuesta piloto y ensayos de campo, informes de avance, etc.) Cuestionarios, manuales y otro material de encuesta Informes fundamentales (Línea basal, Seguimiento, Evaluación de Impacto y recomendaciones) Publicaciones académicas Etc.

21 Por qué es importante documentar? El archivado correcto es esencial para Diseminar los datos entre los evaluadores, investigadores y el público Preservar los datos para el futuro Los metadatos (datos sobre los datos) ayudan a los usuarios a Encontrar los datos de interés Entender lo que se está midiendo Saber de dónde vienen los datos Apreciar la calidad de los datos La documentación es una actividad permanente, que comienza mucho antes de recoger los datos Alguien debe ser responsable 21

22 Metadata Editor, un estándar de documentación 22

23 Evaluación de Impacto Un drama en tres actos Escenas culminantes (actividades críticas) Elección del Equipo Central Prueba piloto Capacitación del personal Evaluación de Impacto Diseño de la evaluación Gestión, logística y finanzas Desarrollo del cuestionario Muestreo Selección y capacitación Trabajo de campo y Aseguramiento de Calidad Análisis y documentación Mes Línea basal Seguimiento

24 A qué grupo de actividades pertenece la limpieza de datos? 1. Muestreo 2. Gestión de datos 3. Trabajo de campo 4. Aseguramiento de Calidad 5. Análisis de datos 6. Ninguno de los anteriores 0% 0% 0% 0% 0% 0%

25 Viajes internacionales Equipo de QA (Aseguramiento de Calidad) Equipo de Evaluación Per diems internacionales Diseño, Análisis y QA Recolección de datos Distribución del presupuesto Remuneración del personal de campo Viáticos Overhead Transporte Equipo Central Otros Listado de hogares

26 Presupuestos típicos Es difícil hablar de un presupuesto típico, porque los presupuestos no siempre incluyen rubros importantes: Tiempo y viajes del personal de agencias internacionales Asistencia Técnica (Equipo de Evaluación, Equipo de Aseguramiento de Calidad) Algunos presupuestos consideran gastos no vinculados a la evaluación Viajes de estudio Algunos presupuestos incluyen bienes de capital que perduran después de la evaluación (computadores, vehículos) Hoy día, las encuestas de Evaluación de Impacto suelen fluctuar entre $100 y $300 por hogar 26

Documentos relacionados

Sesión 1A La noción de calidad total y Las bases del muestreo científico

Sesión 1A La noción de calidad total y Las bases del muestreo científico Por favor, conéctese al Canal 50 Juan Muñoz, Sistemas Integrales Santiago, 12 de abril de 2013 1 Calidad Total en encuestas La integración