Evaluaciones experimentales y política pública. Ximena Peña Universidad de los Andes xpena@uniandes.edu.co

Transcripción

1 Evaluaciones experimentales y política pública Ximena Peña Universidad de los Andes xpena@uniandes.edu.co

2 Contexto del Curso 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra y Cálculos de Poder 5. Inferencia Causal 6. Evaluaciones Experimentales y Políticas Públicas 7. Evidencia de Evaluaciones Experimentales 8. Evaluación Experimental de Principio a Fin

3 Esquema de presentación 1. Introducción 2. Evaluaciones en América Latina 3. Colombia SINERGIA Jóvenes en Acción 4. México CONEVAL Progresa 5. Perú

4 I. Introducción

5 Evaluaciones de impacto Determinan el tipo de efectos que tiene una intervención en la población tratada Ayudan a evaluar el efecto de las políticas públicas Ofrecen recomendaciones para mejorar programas, modificarlos, mantenerlos o cancelarlos de acuerdo a los resultados de la evaluación

6 Evaluaciones de impacto Varias organizaciones y muchos gobiernos regionales están abiertos a la medición rigurosa de impacto en América Latina y existe una gran variedad de instituciones y órganos gubernamentales dedicadas a la medición Las instituciones internacionales de crédito son cada vez más rigurosas en cuanto a prestar dinero y son gran promotoras de las evaluaciones de impacto América Latina está bien posicionada para realizar evaluaciones de impacto, en particular en comparación a otras regiones del mundo

7 2. Evaluaciones en América Latina

8 Evaluaciones de impacto en América Latina Existe una gran tradición en LAC de evaluaciones de impacto para distintos programa. Estas evaluaciones difieren en sus características y calidad. Es importante analizar cuál ha sido el impacto de las evaluaciones en las políticas públicas

9 Evaluaciones de Jpal en América Latina

10 Evaluaciones de impacto J-PAL en América Latina por país País Evaluaciones Bolivia 5 Brasil 2 Chile 6 Colombia 9 República Dominicana 4 Ecuador 2 El Salvador 2 Guatemala 1 Honduras 1 México 16 Nicaragua 4 Perú 12

11 Evaluaciones de impacto J-PAL en América Latina por área Tema Evaluaciones Agricultura 3 Educación 6 Medio Ambiente 17 Finanzas 27 Salud 4 Mercados Laborales 6 Gobernabilidad 8

12 Evaluaciones de impacto en América Latina Qué pasa con los resultados de estas evaluaciones? No sabemos si se traducen en mejoras o sólo quedan en recomendaciones de política no implementadas Políticas públicas Financiamiento a Evaluación de Impacto Recomendaciones de política Más Evaluación de Impacto en LAC

13 Cuándo se justifica la evaluación de impacto como inversión social? 1. Cuando se mejora el conocimiento de un programa y su impacto 2. Cuando se puede mejorar el diseño del programa 3. Cuando, con base a la evidencia, se expande o cierra el programa 33% 33% 33%

14 Evaluaciones de impacto en América Latina Dos organizaciones de evaluación y monitoreo con lecciones importantes: SINERGIA en Colombia CONEVAL en México

15 3. Colombia

16 SINERGIA Sistema Nacional de Evaluación de Gestión y Resultados

17 Historia de SINERGIA Sistema de evaluación nacional, nace en 1990, del deseo de replicar el enfoque de las organizaciones multilaterales en cuanto a monitoreo y evaluación (MNE) Primer Periodo ( ) Segundo Periodo ( ) Tercer Periodo (2002- presente)

18 SINERGIA Colombia Se busca replicar el modelo de evaluación del Banco Mundial con la ayuda técnica del mismo Se realizan cambios a la constitución que requieren de ciertas evaluaciones de programas Se formaliza el sector con la creación de SINERGIA, un sistema nacional para el manejo de evaluaciones y resultados Hace parte del Departamento Nacional de Planeación

19 SINERGIA Colombia Importancia de SINERGIA decae dentro del gobierno Se explora la posibilidad de cerrar programa Hacia el final de esta época, el BID y el Banco Mundial financian tres grandes evaluaciones utilizando los recursos de SINERGIA Jóvenes en Acción Empleo en Acción Familias en Acción

20 SINERGIA Colombia Administración Uribe le da más recursos y enfoque a SINERGIA Se impulsa el control social de los proyectos del estado, sujetos a buen desempeño de acuerdo a ciertos objetivos presidenciales Banco Mundial y BID expandieron cooperación sustancialmente

21 SINERGIA Colombia La recesión a finales de los noventa motivó al gobierno a implementar la Red de Apoyo Social, un grupo de programas de asistencia social, incluyendo:» Familias en Acción» Empleo en Acción» Jóvenes en Acción

22 Empleo en Acción: SINERGIA Colombia Programa de empleo para jóvenes vulnerables ( ) Costo: $183 millones a 2004, cuando se canceló el programa Financiamiento exigía de una evaluación rigurosa de impacto Hacia principios del 2004, economía mejora y el programa presentaba problemas de implementación

23 SINERGIA Colombia Dimensión Ingreso Empleabilidad de participantes Trabajos públicos Número de participantes Resultados Incremento positivo, pero no logra subir los ingresos al objetivo prestablecido Incremento positivos Incrementos positivos No se logra llegar al número prestablecido de participantes (beneficiarios) Estudios recientes indican que el programa no fue costo-efectivo en comparación a otro tipo de proyectos que apoyan a los desempleados.

24 SINERGIA Colombia Aunque no influenció la política pública, varias lecciones: Se requiere mucha coordinación de alto nivel para implementar una evaluación cara, asegurándose que sus resultados (que durarán varios años en estar listos) sean utilizados Las evaluaciones deben estar diseñadas de tal manera que sus resultados (incluso intermedios) sean puestos a disposición de los que administran los programas

25 SINERGIA Colombia Priorizar evaluaciones: se debe pensar bien sobre si se necesita evaluar cierto programa, tomando en cuenta costo, relevancia y la profundidad de análisis requerido Aún si la evaluación contribuyera sólo a una leve mejora en el desempeño del programa, la evaluación puede ser altamente costo-efectiva: $1,5M gastados en las evaluación impacto $183M gastados en intervención = probablemente muy costo-efectivo

26 Jóvenes en Acción Colombia

27 Jóvenes en Acción Programa gratuito de capacitación laboral para jóvenes entre años de escasos recursos en grandes ciudades Impartido por entidades de capacitación acreditadas Capacitación consistía en 3 meses de clases seguidos por 3 meses de capacitación en el lugar de trabajo

28 Jóvenes en Acción Programa implementado de 2002 a 2006 Evaluación experimental se hizo con el último grupo de participantes en 2005 (primer experimento puro en Colombia) La evaluación experimental fue posible ya que los institutos de capacitación tuvieron un exceso de demanda

29 Jóvenes en Acción Efectos positivos: Variables resultado de los beneficiarios en términos de mercado laboral tuvieron efectos muy positivos Salarios mensuales aumentaron US$11 Impactos en mujeres altos y positivos: Ingresos aumentaron un 18% e ingresos formales un 31% (Attanasio et al, 2009b).

30 Cuál fue el impacto de la evaluación sobre el diseño de política? 1. Se amplió el programa 2. Se mantuvo el programa sin cambios 3. Se cerró el programa 33% 33% 33%

31 Jóvenes en Acción Los resultados de la evaluación no se vieron reflejados en la política implementada!!! El programa se reformó por completo Cambiaron las limitaciones para participar Se perdió una de las características más importantes: la descentralización de los cursos según oferta y demanda laboral de la región dejó de suceder y el programa entró a formar parte del SENA

32 4. México

33 CONEVAL México Contexto político de México cambia a finales de la década de los 90 con mayor énfasis al control ciudadano Durante este periodo se evalúa PROGRESA, que se convierte en un referente internacional en cuanto a evaluación de impacto

34 CONEVAL México 1998, ley requiere que todos los programas federales con subsidios preparen reglas de operación, enumerando objetivos, indicadores y población objetivo 1999, ley requiere que todos los programos con reglas de operación sean evaluados por evaluadores independientes: representa del presupuesto federal

35 CONEVAL México 2004 la Ley de Desarrollo Social crea el Consejo Nacional de Evaluació de la Política de Desarrollo Social (CONEVAL). CONEVAL: Regula, realiza y coordina la evaluación de políticas sociales a nivel local Decide los criterios y el diseños para medir pobreza a nivel nacional, estatal y municipal El indicador clave es la reducción de la pobreza, por lo tanto todos los programas sociales deben contribuir a su reducción

36 CONEVAL México Prepara reportes para el congreso, agencias de gobierno y la sociedad civil Tiene un equipo de 70 profesionales Presupuesto de $9.2M en el 2008 Estructura relativamente independiente: Se encuentra dentro del poder ejecutivo y su director es seleccionado por el gobierno federal A la vez, CONEVAL se encuentra supervisado por un equipo independiente de académicos compuesto de seis profesores. Este equipo es responsable de certificar todas las evaluaciones hechas por CONEVAL

37 PROGRESA

38 Programas de Transferencias Condicionadas La evaluación de PROGRESA en México fue la primera, creando así un ejemplo importante sobre cómo evaluar programas de gran escala. A pesar que los impactos del programa fueron identificados de manera confiable en México, es necesario evaluar el programa en diferentes contextos para poder generalizar los resultados. Esto ha llevado a un gran número de evaluaciones.

39 Programas de Transferencias Condicionadas Las diversas evaluaciones de los programas de transferencias condicionadas son un ejemplo a seguir sobre cómo diseñar políticas públicas basadas en evidencia. A pesar de ser programas masivos a gran escala, ha sido posible evaluar su impacto de manera rigurosa muchas veces de manera experimental. Esto requiere mucha planificación y esfuerzo antes de la implementación del programa.

40 Cuál de las siguientes programas fueron inspirados en PROGRESA? 1. Familias en Acción (Colombia) 2. Bolsa Familia (Brasil) 3. Red de Oportunidades (Panamá) 4. Avancemos (Costa Rica) 25% 25% 25% 25%

41 PROGRESA/Oportunidades PROGRESA/Oportunidades ha transformado el diseño y la implementación de políticas públicas al incorporar una evaluación experimental desde su inicio.

42 PROGRESA/Oportunidades Empieza en 1997 con dos objetivos principales: Aliviar la pobreza inmediata mediante transferencias monetarias Terminar la pobreza intergeneracional al invertir en capital humano, haciendo las transferencias condicionales a cumplir ciertos requisitos de educación y salud

43 PROGRESA/Oportunidades Pese a la magnitud del programa, se hizo una evaluación experimental del programa. Esto permitiría saber si el programa funciona o no información importante al momento de decidir si continuar o expandir el programa.

44 PROGRESA/Oportunidades En vez de ser implementado uniformemente en todo el país, el programa fue implementado progresivamente, en diferentes fases Permitiendo así realizar una evaluación experimental del programa

45 PROGRESA/Oportunidades En Noviembre de 1997, 506 comunidades rurales fueron escogidas aleatoriamente para recibir el programa o para formar el grupo de control En Diciembre de 2000, las comunidades que fueron parte del grupo de control empezaron a recibir los beneficios del programa

46 PROGRESA/Oportunidades Resultados Principales: Educación Incrementa la tasa de asistencia escolar entre los estudiantes beneficiados que cursaban grados entre 2 do y 8 avo Impacto mayor entre estudiantes terminando el sexto grado y aquellos en escuela secundaria

47 PROGRESA/Oportunidades Resultados Principales: Salud Programa incrementa uso de los servicios de salud pública Programa disminuye las incidencias de enfermedades severas Mejoras significativas en la salud de adultos y niños

48 PROGRESA/Oportunidades Otros resultados Gracias al buen diseño de la evaluación, se ha podido evaluar el impacto del programa en una cantidad de variables: Ingresos futuros Consumo Condición de la mujer Empleo infantil Trabajo, ocio y uso de tiempo

49 PROGRESA/Oportunidades Impacto en Políticas Públicas Debido a la evidencia, el programa continuó sin cambios mayores después del cambio de gobierno en México en La evaluación protegió al programa La evidencia justificó la expansión del programa, lo que llevó a que más personas fueran beneficiadas por PROGRESA/Oportunidades Sirve como ejemplo de cómo realizar una política pública en base a evidencia: cada vez más políticas públicas incorporan evaluaciones rigurosas en su diseño

50 5. Perú

51 Una Laptop Por Niño Educación en Perú es gratis y obligatoria hasta el final de educación secundaria Niños obtienen calificaciones similares a las de sus compañeros latinoamericanos (controlando por ingreso) En comparación a otras regiones del mundo, los niños peruanos no están aprendiendo bien, o lo suficiente

52 Una Laptop Por Niño One Laptop Per Child (OLPC) es un programa diseñado para dar a niños computadoras de bajo costo La idea es que las computadoras ayuden a los maestros a enseñar el material y hacerlo más entretenido para los estudiantes.

53 Una Laptop Por Niño En Perú el programa parte en 2008 Primera etapa: distribución de laptops a 500 escuelas (prioridad regiones pobres con electricidad e internet) Segunda etapa: Se elimina requisitos (electricidad e internet) y terminan de distribuir cerca de laptops en escuelas.

54 Una Laptop Por Niño: Resultados Acceso a computadores: Positivo. En tratamiento 1,18 laptops por niño. En comparación 0,12 laptops por niño Uso de computadores: Positivo, e intenso. En grupo de tratamiento, uso promedio de laptops es de 40 minutos por sesión Comportamiento No hay efecto significativo sobre asistencia a clases

55 Una Laptop Por Niño: Resultados Calificaciones: No hay efectos significativos en calificaciones en Matemáticas y Español (Castellano) (tiene sentido en vista de falta de modelo pedagógico adecuado para incluir a las laptops en el proceso educativo) Habilidades cognitivas Positivo. Tres exámenes de habilidades cognitivas. Todos reportan un efecto positivo (alrededor de 0,11 desviaciones estándar, p-level 10%)

56 Una Laptop Por Niño: Resultados En conclusión: 1. Incremento dramático en acceso a laptops. 2. Ningún impacto en calificaciones de Matemáticas y Español. 3. Algunos beneficios en habilidades cognitivas.

57 Cuál fue el impacto de la evaluación sobre el diseño de política? 1. Se amplió el programa 2. Se mantuvo el programa sin cambios 3. Se cerró el programa 33% 33% 33%

58 Una Laptop Por Niño Fue una buena inversión?

59 Gracias!

60 Referencias Attanasio O.; Kugler A. Y Meghir C. (2011). Subsidizing Vocational Training for Disadvantaged Youth in Colombia: Evidence from a Randomized Trial Barrera F., Bertrand M., Linden L., Perez F. (2011). Improving the Design of Conditional Transfer Programs: Evidence from a Randomized Education Experiment in Colombia Briceño B., Cuesta L., Attanasio O. (2011) Behind the Scenes: Managing and Conducting large Scale Impact Evaluations in Colombia DPS y DNP. (2012). Más Familias en Acción