J-PAL y Evaluaciones Experimentales Ryan Cooper J-PAL Latinoamérica y el Caribe
Presentación J-PAL: Qué es, la misión y su importancia. En pos de la misión. Evaluación de Impacto en la práctica: Consideraciones Tipo de evaluación: Procesos vs. Impacto. Carácterísticas claves de una buena y útil evaluación. Consideraciones Logísticas.
J-PAL Qué es, la misión y su importancia
J-PAL Red de 70 académicos en todo el mundo, unidos por el uso de evaluaciones experimentales
J-PAL Misión: Reducir la pobreza garantizando que las políticas públicas estén basadas en evidencia científica.
J-PAL Motivación: Utilidad de Evaluación de Impacto Complejidad de Evaluar Impacto
Utilidad de Evaluar Impacto
Utilidad de evaluar impacto Innovar Optimizar uso de $$ Optimizar programas Sostenibilidad política Fundraising
Por qué evaluamos Resultados positivos pueden implicar: Escalar programas (+ optimizar + sustentabilidad + fundraising ) PROGRESA/Oportunidades México Capacitación laboral jóvenes - Colombia Programas de desarmamiento y desmovilización - Liberia
Por qué evaluamos - Descontinuar (o rediseñar) Textos escolares - Kenia Computadoras en escuelas - Colombia
Costo-efectividad Figura 1: J-PAL Costo-Efectividad: años adicionales de asistencia escolar por cada $100 gastados Información Intervenciones de Salud Incentivos/Costos Reducidos Resultados Múltiples
Por qué evaluar? Para Generar Conocimientos Evaluaciones experimentales son un bien público. Conocimientos importantes sobre cómo sobrepasar la pobreza. Útiles para gobiernos en todo el mundo. 12
Complejidad de Evaluar Impacto
Complejidad de medir efectos causales Parent payment Repeated Pre-School 18.2 16.6 13.4 Type of school Simce 8.1 7.4 Parent education Income 6.8-0.2 NO OBSERVABLES
Evaluaciones de Impacto Queremos medir la diferencia entre: Resultados que los participantes del programa obtienen un tiempo después de participar en el programa Resultados que esos mismos participantes hubieran obtenido en ese mismo momento si no habrían participado en el programa IMPACTO
Evaluaciones de Impacto Desafío: Cómo construimos el contrafactual? Capacitación Financiera Impacto: Ingresos 30% más altos Ingresos: 100 pesos Ingresos: 70 pesos
Evaluaciones de Impacto Qué pasaría en esta situación? Impacto: Ingresos 30% mayores? Ingresos: 100 pesos Ingresos: 70 pesos En este caso, nuestros grupos no son comparables
Solución: Evaluación Experimental
Solución: Aleatorizar Antes que comience el programa, individuos elegibles son asignados aleatoriamente a dos grupos: Grupo de Tratamiento Grupo de Comparación Los grupos son estadísticamente idénticos antes del programa Y cualquier diferencia en la línea final puede ser atribuida al programa
Aleatorio No Aleatorio G1 G2 20
Ejemplo Progresa-Oportunidades Baseline expenditure in health Age of HH Conditional Transfer HH Size Private expend in health Dirt floor -33.5-30 -19.5-16.2-14.2 Consistencia de Resultado depende de la información disponible!
Expermiental vs. Non-Experimental Baseline expenditure Age of HH -33.5-7.7-30 -7.6 Conditional Trans Health Expend. -19.5-7.3-16.2-7.5 HH size dirt floor -14.2-7.6 Consistencia NO depende de información disponible.
J-PAL: En pos de la misión
348 Evaluaciones completadas y en proceso
Nuestras actividades
Alcanzando nuestras metas 348 evaluaciones + de 1.200 personas Creemos que + de 60 MM beneficiados
J-PAL en el mundo La oficina regional para Latinoamérica y el Caribe se encuentra en la Pontificia Universidad Católica de Chile, desde donde se coordinan los proyectos en la región.
Proyectos en LAC En Latinoamérica y el Caribe, tenemos evaluaciones en las siguientes áreas: Educación Salud Finanzas Mercados Laborales Servicios Urbanos
Apoyando PP Basadas en Evidencia Proyectos estratégicos con gobiernos de la región: Comisión Brújula Chile
Evaluaciones Experimentales Varios gobiernos han incorporado las evaluaciones experimentales a su proceso de diseño de políticas públicas
Evaluación de Impacto en la práctica: Consideraciones importantes
Tipos de Evaluación: Procesos / Impacto
Diferentes tipos de evaluación Análisis de necesidades Evaluación de Procesos Evaluación de Impacto Necesidades Insumo Producto Resultado Intermedio Estudiantes en escuelas pobres no tienen libros de texto, lo que resulta en poco aprendizaje Gobierno compra libros Las escuelas reciben y usan los libros del Gobierno Los estudiantes usen los libros y pueden estudiar y aprender mejor Impacto Mejores puntajes en pruebas Objetivo a largo plazo Ingresos más altos cuando los estudiantes ingresen al mercado laboral Evaluación de Impacto de Procesos
Diferentes tipos de evaluación Eval de Proceso / Impacto contestan preguntas diferentes: Evaluación de Proceso Implementado como planificado? Libros distribuidos. Tiempo y calidad asistente con familia. Rotación de tutores de lectura. faltó un proceso o insumo? Evaluación de Impacto El programa consiguió su objetivo final? Permite comparar costo-efectividad. + relevante cuando Eval. Procesos es +!
Diferentes tipos de evaluación Eval de Proceso / Impacto contestan preguntas diferentes: Combinar ambos tipos de evaluación: Medir impacto sin procesos: Efecto de caja negra. Estoy midiendo el plan o algo diferente. Medir procesos sin impacto. Valor en si mismo en corto plazo. Pero Asume que el programa es útil y costo efectivo. Evaluación de Impacto de procesos? Si tengo dudas importantes sobre el diseño.
Consideraciones importantes: 3 dimensiones a tener en cuenta.
Consideraciones para evaluación relevante 1. Relevancia para Política Pública 1. Pregunta de política relevante? 2. Está el programa suficientemente maduro para ser evaluado? 3. Son los resultados generalizables? Es esto importante? 4. Para hacer : Muestra representativa Costos Evaluación Procesos 2. Confiabilidad en la medición de impacto 1. Estrategia de Identificación adecuada (bien justificada). 2. Poder Estadístico. 3. Protocolo de análisis predefinido (Registro de hipótesis) 3. Calidad de recolección de datos 1. Seleccionar, entrenar y hacer pilotos. 2. Monitoreo y Control de Calidad
Consideraciones Logísticas: Etapas / Características de un evaluador / Relaciones institucionales
Logística de una Evaluación Experimental Quién las hace? Personas con: Experiencia implementando evaluaciones experimentales Experiencia recolectando datos de alta calidad en países en vías de desarrollo Conocimientos avanzados de estadística y economía Conocimientos del contexto del país en el que se hace la evaluación Disponibilidad para invertir tiempo en el proyecto
Etapas de una evaluación Diseño evaluación y Instrumentos Pilotaje Línea Base Seguimiento Análisis de Datos El tipo de programa a evaluar determina: Tiempos de la evaluación dependen a la duración del programa y sus efectos Costos: Dependen de los tiempos del programa, datos a recolectar y tipo de aleatorización. La mayoría de los costos de una evaluación provienen de las encuestas, recolección de datos.
Alianza Evaluador - Implementador Académicos Gobiernos, NGOs Evalúan el programa Claves para el éxito Implementan el programa Cooperación durante todas las etapas de la evaluación Acuerdo sobre del diseño de evaluación, preguntas a contestar, dimensiones en que se evaluara el éxito y resultados a medir, tiempos de publicación. Uso (consideración) de la evidencia para toma de decisiones.
Roles del evaluador e implementador Académicos Implementador Diseño de evaluación e incorporación de evaluación al programa Desarrollo de encuestas Recolección y análisis datos Interpretación de resultados en base a resultados cuantitativos y cualitativos Publicación y difusión de resultados Implementación de programa Datos Administrativos Apoyo como contraparte
Preguntas?
Gracias!