Cómo realizar una evaluación de impacto relevante para las operaciones?

Transcripción

1 TALLER DE EVALUACIÓN DE IMPACTO Cómo realizar una evaluación de impacto relevante para las operaciones? Francisco Haimovich Banco Mundial 6 de Abril de 2017 Guatemala

2 Hoja de ruta de esta presentación Repasando: cuatro elementos claves para una evaluación de impacto Consideraciones prácticas cuando implementamos evaluaciones en operaciones Ejemplos

3 Repasando Cuatro elementos claves para una evaluación de impacto Definición clara de la intervención qué estamos evaluado? Teoría del cambio clara Hipótesis bien definidas (impactos) Cuál es la pregunta de la investigación? Una estrategia de identificación sólida Que metodología debemos escoger? Datos confiables

4 Diseño Cuando usarlo Ventajas Desventajas Aleatorización Cuando es factible (exceso de demanda & viable) Regla dorada Mayor potencia No es siempre factible No es siempre ético Promoción aleatoria Cuando una intervención es implementada universalmente y sin fases Provee variación exógena para un subconjunto de beneficiarios Solo se centra en un subgrupo de la muestra El poder del diseño de incentivos solo se conoce expost Regresión Discontinua Si la intervención tiene una clara regla de asignación (continua) Identificación causal creible (supuestos se pueden verificar/documentar) Solo se examina un subgrupo de la muestra La regla de asignación, en la practica poder ser aplicada laxamente Diferencias en diferencias Línea de base y seguimiento disponibles Si los dos grupos crecen a la misma tasa Elimina diferencias inobservables fijas en el tiempo Diferencias en tendencia Necesita muchos datos (Idealmente, al menos dos periodos de pre-intervención) Emparejamiento Cuando otros métodos no son posibles Corrige sesgo de selección en variables observables Asume que no hay diferencias no obs. (muy (!) improbable)

5 EJERCICIOS

6 Aspectos claves para elegir un método Existe exceso de demanda para el programa? Existe un umbral & índice de elegibilidad? La Implementación es en fases?

7 ejemplo 1 Existe exceso de demanda para el programa? Existe un umbral & índice de elegibilidad? X La Implementación es en fases? X Qué método utilizarían?

8 ejemplo 2 Existe exceso de demanda para el programa? X Existe un umbral & índice de elegibilidad? X La Implementación es en fases? Qué método utilizarían?

9 ejemplo 3 Un programa de formación docente esta destinado a todos los docentes de las municipalidades elegibles y será implementado inmediatamente. El gobierno estima que tiene cupos suficientes para cubrir todas las inscripciones. Solo son elegibles las municipalidades con una tasa de pobreza mayor a 40% Qué método utilizarían?

10 Escogiendo el método (resumen) Programa Demanda Excesiva No Excesiva Demanda Focalización Implementación Focalizado Universal Focalizado Universal Por etapas 1 Experimento Aleatorio 4 RDD 1 Experimetno Aleatorio 2 Promoción Aleatoria 3 DD con 5Emparejamiento 1Experimetno Aleatorio 4 RDD 1 Experimento Aleatorio por etapas 2 Promoción Aleatoria 3 DD con Emparejamient o Inmediato 1 Experimento Aleatorio 4 RDD 1 Experimento Aleatorio 2 Promoción Aleatoria 3 DD con 5Emparejamiento 4 RDD Menos de utilización plena: 2 Promoción Aleatoria 3 DD con 5Emparejamiento

11 ALGUNAS CONSIDERACIONES PRÁCTICAS

12 Consideraciones Prácticas (1) La EI no es para cualquier intervención Sean selectivos (ej: innovaciones escalables no probadas, estratégicamente relevantes, etc.) Sean oportunistas (aprovechar datos administrativos, pensar/aprovechar reglas de elegibilidad, etc.) Empiecen temprano y trabajen el EI como parte del diseño del proyecto (anticipar necesidades información, estrategia de eval, etc.) Piensen cuidadosamente los impactos (y como medirlos) Teoría del cambio (que dimensiones va a afectar el proyecto) Seleccionen cuidadosamente los indicadores (concretos, medibles, realistas, focalizados, etc.) Anticipen la duración para que los resultados se materialicen en las encuestas Identifiquen desagregaciones útiles (ij. Grupos de ingresos, género, etc) y planeen el tamaño de muestra considerando estas desagregaciones

13 Consideraciones Prácticas (2) Monitoreen la implementación del programas el diseño no siempre es lo mismo que la realidad. Lo mismo vale para la recolección de datos en el campo La actividad de implementar una IE no termina con un buen diseño empieza ahí! Pruebas pre-pilotos Usen métodos cuanti y cualitativos Información cualitativa puede proveer información complementaria sobre los mecanismos en que los impactos ocurren (o no ocurren) Tengan precauciones con la posible contaminación de los grupos de control y de tratamiento En la medida de lo posible, defiendan los grupos de control y tratamiento

14 Algunas preocupaciones usuales: Políticas No hay interés en mostrar (potenciales) malas noticias La larga duración de las evaluaciones no están alineadas con los tiempos políticos pero... Es peor desperdiciar recursos en algo que no funciona Un buen diseño puede sobrevivir a ciclos políticos (la evidencia rigurosa aumenta las chances de que los programas sobrevivan y se hagan a gran escala) Lecciones aprendidas: Mostrar resultados tan pronto como se pueda (inclusive con limitaciones en el análisis) ya que esto mantiene a los funcionarios políticos interesados en apoyar este ejercicio. 14

15 Algunas preocupaciones usuales: Técnicas Ya sabemos lo que funciona! No necesitamos una evaluación El concepto del proyecto ya está decidido y no hay espacio para cambios La evaluación es muy cara y no podemos financiarla pero En la practica, todavía quedan muchas preguntas básicas sin contestar En muchos casos, las decisiones tomadas suelen ser sobre algunos elementos básicos. Puede existir espacio para discutir algunas variaciones/innovaciones. Pueden ser costosas, pero los resultados permiten una asignación mucho mas eficiente de los recursos (inversión) + sean oportunistas Lecciones aprendidas: Los proyectos en preparación son mejores candidatos que aquellos que ya están siendo implementados 15

16 DOS EJEMPLOS DE EVALUACIONES DE IMPACTO EN OPERACIONES

17 Ejemplo1: impacto de las escuelas de tiempo completo (ETC doble jornada) en aprendizajes Las escuelas de tiempo completo son bastante mas caras que las escuelas de jornada única (mas infraestructura, personal, etc.) son costo-efectivas para mejorar aprendizaje?? (pregunta relevante!) 17

18 Ejemplo1: impacto de las escuelas de tiempo completo (ETC doble jornada) en aprendizajes Que salió mal?? El diseño de evaluación de impacto fue pensado expost: no se pudo crear un grupo de control creíble (matching/paramiento: sólo controla por diferencias en variables observables ) No se evaluó si existía la info necesaria (este método requiere mucha info, y debe ser pre-tratamiento): se utilizaron unas pocas variables post-tratamiento para hacer el matching 18

19 Ejemplo1: impacto de las escuelas de tiempo completo (ETC doble jornada) en aprendizajes Consecuencias Creo un Sesgo negativo : subestimación del impacto del programa!! * suelen ser escuelas mas vulnerables (como en muchos de nuestros programas!): peores variables inobservables (insumos, capacidad de gestión, etc.) Las variables endógenas capturan parte del impacto Además: Se ignoraron otros beneficios muy relevantes (habilidades socio-emocionales?) y no se recogió dicha información 19

20 Ejemplo 2: impacto de un programa de formación en servicio La evaluación esta siendo diseñada en estos momentos. Basada en las lecciones aprendidas en el proyecto anterior, decidimos: Aprovechar que la demanda es superior a los cupos anuales: diseño experimental en fases Recolectar información (línea de base y seguimiento) sobre variables claves: practicas de enseñanza Incluir pre-piloto 20

21 A modo de reflexión final

22 Cuándo fue la última vez que cambiaron de opinión respecto de algo? Evaluación de impacto del programa de subsidios a las guarderías en Quebec (Baker et al, 2008): Suena bien, cuál fue el impacto? *** Impacto negativo en el bienestar socio-emocional de los niños, su estado de salud, etc. Qué pasó? 22

23 Cuándo fue la última vez que cambiaron de opinión respecto de algo? Qué es más costo efectivo? Una computadora por niño o campañas de información sobre retornos a la educación? Escuelas de tiempo completo o enviar mensajes de texto si los alumnos no hacen las tareas/faltan a clase? Becas vs. mindset? Importante: lo que funciona en un país en particular puede no funcionar en otro 23

24 Evaluación Por favor, evalúe esta sesión

25 Por favor, evalúe el ritmo de esta presentación A. Adecuado B. Demasiado lento C. Demasiado rápido D. Sin comentario

26 Por favor, evalúe la relevancia del material técnico seleccionado A. Muy relevante B. Relevante C. Irrelevante D. Sin comentario

27 Por favor, evalúe la claridad y eficacia de la presentación A. Excelente! B. Buena C. Media D. Mala E. Sin comentario

28 Gracias!