EVALUACIONES DE IMPACTO ALEATORIO CASO PILOTO DE CIENCIAS NATURALES, LIMA, PERU. Tania Alfonso Santo Domingo,

Transcripción

1 EVALUACIONES DE IMPACTO ALEATORIO CASO PILOTO DE CIENCIAS NATURALES, LIMA, PERU Tania Alfonso Santo Domingo,

2

3 Nuestro enfoque Generamos ideas sobre lo que funciona y lo que no a partir de evaluaciones experimentales y nos aseguramos de que los resultados sean útiles y utilizados por profesionales y funcionarios públicos. Innovar Evaluar Replicar Comunicar Masificar Entender fallas del mercado Desarrollar innovaciones Utilizar conocimiento de la economía y la psicología Evaluaciones de impacto Pruebas del diseño de los productos Investigación operacional Probar en múltiples contextos Aprender qué hacer y cuándo Conferencias, globales y locales Talleres con políticos y profesionales Notas de política e informes Implementació n directa Asistencia técnica Cajas de herramientas para profesionales

4 Intervención y Metas de Evaluación Programa Curricular de Ciencia y Ambiente para 3er grado primaria Materiales de construcción pequeños (Legos), biohuerto, material de laboratorio Capacitación a docentes de escuelas de gestión pública Evaluar la efectividad de este nuevo modelo en los aprendizajes de estudiantes y

5 Esquema general Población total (3er grado en escuelas primarias públicas en Lima) Población del programa (108 escuelas participan en el piloto) No participa en la evaluación (2 escuelas) Marco muestral (106 escuelas) (Línea de Base) Asignación aleatoria Intervenci ón Tratamiento (53 escuelas) Control (53 escuelas) Status Quo Medición de Resultado s

6 Pasos para realizar una evaluación Pregunta y diseño experimental (1) Piloto de Intervención Implementación y monitoreo de la intervención (2) Piloto / Diseño Línea de Base Encuestas de Seguimiento Encuesta Final Digitación / Limpieza de datos Digitación / Limpieza de datos Análisis e Informes Análisis e Informes Finales

7 Problemas de diseño Este estudio me parece muy bueno. Lo pueden hacer, con tal de que la escuela de mi hija esté en el grupo de tratamiento. Seleccionamos aleatoriamente a cuatro departamentos del país con una población total de tres millones de habitantes. En cada uno de tres vamos a probar distintos tratamientos, el cuarto va a ser nuestro control. (estas situaciones no ocurrieron en esta evaluación pero sí en otras conversaciones)

8 Tamaño de muestra El cálculo muestral lo hizo un consultor en el momento de elaboración de los TdRs Calculó que una muestra de 36 escuelas de tratamiento y 36 de control serían suficientes para detectar un efecto de.2 desviaciones estándar Sin embargo no consideró el efecto de aglomeraciones (cluster) En la propuesta aumentamos la muestra a 54 escuelas en cada grupo

9 Del diseño a la implementación Pregunta y diseño experimental Piloto de Intervención Implementación y monitoreo de la intervención Piloto / Diseño Línea de Base Encuestas de Seguimiento Encuesta Final Digitación / Limpieza de datos Digitación / Limpieza de datos Análisis e Informes Análisis e Informes Finales

10 Cumplimiento? Las comunidades en el grupo de tratamiento están demasiado lejos. Las podemos pasar al grupo de control?

11 La solución para el nocumplimiento es evitar que suceda Realizar monitoreo continuo - presencia diaria en campo - plan de monitoreo Crear incentivos operativos Establecer buenas relaciones con la organización colaboradora Capacitación continua a la organización colaboradora

12 Las evaluaciones de impacto se pueden convertir en evaluaciones de implementación Consideraciones claves: 1: Definir papeles y establecer cronogramas realistas 2: Clarificar los costos reales para la organización 3: Asegurar que todos los actores relevantes estén en sintonía 4: Establecer canales permanentes de comunicación

13 Atrición Los TDR incluían una lista de 36 escuelas de tratamiento, 36 control, y 36 suplentes Tratamiento Control Tratamiento (con reemplazos) Si las peores escuelas abandonan el programa, y las reemplazamos en el grupo de tratamiento, los dos grupos ya no van a ser comparables. Control

14 Cronograma Los proyectos pueden durar de 3 meses a 3+ años 3 meses Depende sobre todo de cuándo esperamos ver los resultados Fases a considerar: 3 años Fase de planeación Piloteo Recolección de datos de línea base Implementación de la intervención (monitoreo y problemas inesperados) Encuesta final Análisis

15 Presupuesto US$50,00 0 US$300,00 0 US$2M Tamaño de la muestra Distancias geográficas Duración de la intervención Extensión de la encuesta y recolección de datos

16 Costo por unidad de datos recolectados (dollars )

17 Intereses de evaluación vs de implementación? Diseñar conjuntamente la intervención y su evaluación (no se pueden hacer evaluaciones de programas que ya han comenzado) Selección aleatoria de beneficiarios Separación rigurosa de tratamiento y control Escala (tamaño muestral suficiente)

18 Desarrollar una estrategia de evaluación Determinar preguntas claves para su organización Cuántas ya puede responder? Seleccionar preguntas de alta prioridad para la evaluación de impacto Establecer un plan para responderlas Algunos pocos estudios de impacto de alta calidad valen más que muchos estudios de mala calidad

19 Preguntas, dudas, comentarios Gracias!