J-PAL y Evaluaciones Experimentales. Ryan Cooper J-PAL Latinoamérica y el Caribe

Transcripción

1 J-PAL y Evaluaciones Experimentales Ryan Cooper J-PAL Latinoamérica y el Caribe

2 Presentación J-PAL: Qué es, la misión y su importancia. En pos de la misión. Evaluación de Impacto en la práctica: Consideraciones Tipo de evaluación: Procesos vs. Impacto. Carácterísticas claves de una buena y útil evaluación. Consideraciones Logísticas.

3 J-PAL Qué es, la misión y su importancia

4 J-PAL Red de 70 académicos en todo el mundo, unidos por el uso de evaluaciones experimentales

5 J-PAL Misión: Reducir la pobreza garantizando que las políticas públicas estén basadas en evidencia científica.

6 J-PAL Motivación: Utilidad de Evaluación de Impacto Complejidad de Evaluar Impacto

7 Utilidad de Evaluar Impacto

8 Utilidad de evaluar impacto Innovar Optimizar uso de $$ Optimizar programas Sostenibilidad política Fundraising

9 Por qué evaluamos Resultados positivos pueden implicar: Escalar programas (+ optimizar + sustentabilidad + fundraising ) PROGRESA/Oportunidades México Capacitación laboral jóvenes - Colombia Programas de desarmamiento y desmovilización - Liberia

10 Por qué evaluamos - Descontinuar (o rediseñar) Textos escolares - Kenia Computadoras en escuelas - Colombia

11 Costo-efectividad Figura 1: J-PAL Costo-Efectividad: años adicionales de asistencia escolar por cada $100 gastados Información Intervenciones de Salud Incentivos/Costos Reducidos Resultados Múltiples

12 Por qué evaluar? Para Generar Conocimientos Evaluaciones experimentales son un bien público. Conocimientos importantes sobre cómo sobrepasar la pobreza. Útiles para gobiernos en todo el mundo. 12

13 Complejidad de Evaluar Impacto

14 Complejidad de medir efectos causales Parent payment Repeated Pre-School Type of school Simce Parent education Income NO OBSERVABLES

15 Evaluaciones de Impacto Queremos medir la diferencia entre: Resultados que los participantes del programa obtienen un tiempo después de participar en el programa Resultados que esos mismos participantes hubieran obtenido en ese mismo momento si no habrían participado en el programa IMPACTO

16 Evaluaciones de Impacto Desafío: Cómo construimos el contrafactual? Capacitación Financiera Impacto: Ingresos 30% más altos Ingresos: 100 pesos Ingresos: 70 pesos

17 Evaluaciones de Impacto Qué pasaría en esta situación? Impacto: Ingresos 30% mayores? Ingresos: 100 pesos Ingresos: 70 pesos En este caso, nuestros grupos no son comparables

18 Solución: Evaluación Experimental

19 Solución: Aleatorizar Antes que comience el programa, individuos elegibles son asignados aleatoriamente a dos grupos: Grupo de Tratamiento Grupo de Comparación Los grupos son estadísticamente idénticos antes del programa Y cualquier diferencia en la línea final puede ser atribuida al programa

20 Aleatorio No Aleatorio G1 G2 20

21 Ejemplo Progresa-Oportunidades Baseline expenditure in health Age of HH Conditional Transfer HH Size Private expend in health Dirt floor Consistencia de Resultado depende de la información disponible!

22 Expermiental vs. Non-Experimental Baseline expenditure Age of HH Conditional Trans Health Expend HH size dirt floor Consistencia NO depende de información disponible.

23 J-PAL: En pos de la misión

24 348 Evaluaciones completadas y en proceso

25 Nuestras actividades

26 Alcanzando nuestras metas 348 evaluaciones + de personas Creemos que + de 60 MM beneficiados

27 J-PAL en el mundo La oficina regional para Latinoamérica y el Caribe se encuentra en la Pontificia Universidad Católica de Chile, desde donde se coordinan los proyectos en la región.

28 Proyectos en LAC En Latinoamérica y el Caribe, tenemos evaluaciones en las siguientes áreas: Educación Salud Finanzas Mercados Laborales Servicios Urbanos

29 Apoyando PP Basadas en Evidencia Proyectos estratégicos con gobiernos de la región: Comisión Brújula Chile

30 Evaluaciones Experimentales Varios gobiernos han incorporado las evaluaciones experimentales a su proceso de diseño de políticas públicas

31 Evaluación de Impacto en la práctica: Consideraciones importantes

32 Tipos de Evaluación: Procesos / Impacto

33 Diferentes tipos de evaluación Análisis de necesidades Evaluación de Procesos Evaluación de Impacto Necesidades Insumo Producto Resultado Intermedio Estudiantes en escuelas pobres no tienen libros de texto, lo que resulta en poco aprendizaje Gobierno compra libros Las escuelas reciben y usan los libros del Gobierno Los estudiantes usen los libros y pueden estudiar y aprender mejor Impacto Mejores puntajes en pruebas Objetivo a largo plazo Ingresos más altos cuando los estudiantes ingresen al mercado laboral Evaluación de Impacto de Procesos

34 Diferentes tipos de evaluación Eval de Proceso / Impacto contestan preguntas diferentes: Evaluación de Proceso Implementado como planificado? Libros distribuidos. Tiempo y calidad asistente con familia. Rotación de tutores de lectura. faltó un proceso o insumo? Evaluación de Impacto El programa consiguió su objetivo final? Permite comparar costo-efectividad. + relevante cuando Eval. Procesos es +!

35 Diferentes tipos de evaluación Eval de Proceso / Impacto contestan preguntas diferentes: Combinar ambos tipos de evaluación: Medir impacto sin procesos: Efecto de caja negra. Estoy midiendo el plan o algo diferente. Medir procesos sin impacto. Valor en si mismo en corto plazo. Pero Asume que el programa es útil y costo efectivo. Evaluación de Impacto de procesos? Si tengo dudas importantes sobre el diseño.

36 Consideraciones importantes: 3 dimensiones a tener en cuenta.

37 Consideraciones para evaluación relevante 1. Relevancia para Política Pública 1. Pregunta de política relevante? 2. Está el programa suficientemente maduro para ser evaluado? 3. Son los resultados generalizables? Es esto importante? 4. Para hacer : Muestra representativa Costos Evaluación Procesos 2. Confiabilidad en la medición de impacto 1. Estrategia de Identificación adecuada (bien justificada). 2. Poder Estadístico. 3. Protocolo de análisis predefinido (Registro de hipótesis) 3. Calidad de recolección de datos 1. Seleccionar, entrenar y hacer pilotos. 2. Monitoreo y Control de Calidad

38 Consideraciones Logísticas: Etapas / Características de un evaluador / Relaciones institucionales

39 Logística de una Evaluación Experimental Quién las hace? Personas con: Experiencia implementando evaluaciones experimentales Experiencia recolectando datos de alta calidad en países en vías de desarrollo Conocimientos avanzados de estadística y economía Conocimientos del contexto del país en el que se hace la evaluación Disponibilidad para invertir tiempo en el proyecto

40 Etapas de una evaluación Diseño evaluación y Instrumentos Pilotaje Línea Base Seguimiento Análisis de Datos El tipo de programa a evaluar determina: Tiempos de la evaluación dependen a la duración del programa y sus efectos Costos: Dependen de los tiempos del programa, datos a recolectar y tipo de aleatorización. La mayoría de los costos de una evaluación provienen de las encuestas, recolección de datos.

41 Alianza Evaluador - Implementador Académicos Gobiernos, NGOs Evalúan el programa Claves para el éxito Implementan el programa Cooperación durante todas las etapas de la evaluación Acuerdo sobre del diseño de evaluación, preguntas a contestar, dimensiones en que se evaluara el éxito y resultados a medir, tiempos de publicación. Uso (consideración) de la evidencia para toma de decisiones.

42 Roles del evaluador e implementador Académicos Implementador Diseño de evaluación e incorporación de evaluación al programa Desarrollo de encuestas Recolección y análisis datos Interpretación de resultados en base a resultados cuantitativos y cualitativos Publicación y difusión de resultados Implementación de programa Datos Administrativos Apoyo como contraparte

43 Preguntas?

44 Gracias!