Evaluaciones de Impacto Experimentales

Transcripción

1 !! Curso de Introducción a las Evaluaciones de Impacto Experimentales DE MARZO, 2014! MONTEVIDEO, URUGUAY

2 Bienvenidos! En J-PAL trabajamos para promover que las políticas públicas se basen en evidencia científica. Una de nuestras acciones para lograrlo consiste en capacitar a encargados de políticas públicas e investigadores, entregando los conocimientos necesarios para participar en la evaluación de impacto de políticas sociales y tomar decisiones más efectivas. El curso del que formarán parte durante estos días busca contribuir a este objetivo y promover su participación en el uso y la producción de evidencia, con la finalidad de nutrir el diseño y evaluación de políticas públicas y contribuir a una cultura de innovación social. En J-PAL estamos honrados en colaborar con la Universidad de Montevideo con el fin de fortalecer la capacidad para utilizar evidencia científica en la política pública y el desarrollo de evaluaciones de impacto rigurosas en Latinoamérica. Esperamos, con la participación de ustedes, ayudarlos a desarrollar los conocimientos y habilidades requeridas para la aplicación selectiva, diseño, implementación y utilización de evaluaciones de impacto. Durante las actividades que tenemos programadas, tendrán la oportunidad de intercambiar experiencias con implementadores de política pública tanto del sector público como de organizaciones no gubernamentales, académicos y otros especialistas en evaluación de impacto. Esperamos que dicha interacción contribuya a la identificación de intereses en común y de oportunidades para nuevas alianzas, proyectos e ideas innovadoras. Esperamos que tengan una experiencia productiva y llena de aprendizaje! Francisco Gallego Director Científico J-PAL LAC

3

4 Contenido Agenda del curso... 1 Equipo de Profesores... 5 Equipo de Coordinación y Profesores Ayudantes... 6 Casos de Estudio... 7 Caso 1: Exponiendo Políticos Corruptos... 7 Caso 2: Capacitaciones Profesionales Caso 3: Programa de Profesores Adicionales Taller: Elaborando Términos de Referencia Preguntas para el diagnóstico de evaluabilidad Términos Importantes Apuntes Mapas... 65

5

6 Inicio Fin Miércoles 19 de marzo Jueves 20 de marzo Viernes 21 de marzo 8:30:00 8:45:00 Registro de participantes 8:45:00 9:00:00 Repaso del día anterior Repaso del día anterior 9:00:00 10:00:00 Bienvenida y palabras de introducción Clase 4 Evaluaciones Experimentales II: Cómo implementarlas? Caso de estudio 3: Cómo aleatorizar? 10:00:00 10:30:00 Evaluación inicial de conocimientos CLAUDIA MARTÍNEZ PROFESORES AYUDANTES 10:30:00 10:45:00 Coffee Break 10:45:00 12:00:00 12:00:00 13:15:00 Clase 1 Por qué evaluar impacto? Caso de estudio 2: Identificando el contrafactual Taller: Elaborando Términos de Referencia RYAN COOPER PROFESORES AYUDANTES THOMAS VARGAS Clase 2 Midiendo efectos causales Clase 5 Tamaño muestral y poder estadístico Clase 8 Aspectos operativos de una evaluación de impacto CLAUDIA MARTÍNEZ FRANCISCO GALLEGO NICOLE CARPENTIER 13:15:00 14:30:00 Almuerzo 14:30:00 15:45:00 Caso de estudio I: Teoría de Cambio Clase 6 Amenazas y análisis Clase 9 De la evidencia a la acción PROFESORES AYUDANTES LEIGH LINDEN CLAUDIA MACÍAS 15:45:00 16:00:00 Coffee Break Clase 3 Clase 7 Evaluaciones Experimentales I: 16:00:00 17:15:00 Evaluación de principio a fin Por qué hacerlas? FRANCISCO GALLEGO Agenda del curso LEIGH LINDEN Evaluación final de conocimientos Cierre de curso y entrega de diplomas 1

7 Miércoles 19 de marzo Inicio Fin Sesión Descripción Expositor 8:30 9:00 Registro de participantes 9:00 10:00 Bienvenida y palabras de introducción 10:00 10:30 Evaluación inicial de conocimientos 10:30 10:45 Coffee Break 10:45 12:00 Clase 1. Por qué evaluar impacto? Agenda detallada Este presentación de introducción habla de la importancia de evaluar impacto y sirve como introducción a los conceptos que se van a ver a lo largo del curso. Parte planteando la importancia de evaluar impacto, discute la teoría detrás de la evaluación de impacto y repasa los distintos componentes de una evaluación de programa. Ryan Cooper 12:00 13:15 Clase 2. Midiendo efectos causales En esta sesión se discutirá la importancia de la Teoría de Cambio para evaluar el impacto de un programa. Mediante ejemplos concretos, se mostrará como formalizar una Teoría de Cambio utilizando una cadena causal. Así mismo, se discutirán brevemente los datos e instrumentos que se pueden utilizar para evaluar impacto. Claudia Martínez 13:15 14:30 Almuerzo 14:30 15:45 Caso de Estudio 1: Teoría de cambio En este caso de estudio, los grupos de trabajo elaborarán la Teoría de Cambio de una intervención en Brasil. 15:45 16:00 Coffee Break 16:00 17:15 Evaluaciones Experimentales I: Por qué hacerlas? En esta clase se habla de los problemas asociados con identificar el impacto de un programa. Se presenta el método experimental, haciendo énfasis en las ventajas de este método respecto a otras metodologías de evaluación. Finalmente, se señalan los pasos claves para realizar una evaluación experimental. Profesores Ayudantes Francisco Gallego 2

8 Jueves 20 de marzo Inicio Fin Sesión Descripción Expositor 8:45 9:00 Repaso del día anterior Clase 4. En esta clase se describen las diferentes formas de ejecutar una Evaluaciones aleatorización. Se describe paso por paso cómo hacer una aleatorización 9:00 10:30 Experimentales II: básica y se discuten las posibles restricciones que se encontrarán en Cómo implementarlas? diferentes contextos. 10:30 10:45 Coffee Break En este caso de estudio, los grupos de trabajo discutirán diferentes Caso de Estudio 2: artículos que atribuyen un cierto impacto causal a un programa social 10:45 12:00 Identificando mexicano. Los participantes tendrán que identificar las características el contrafactual de cada método de evaluación presentado y señalar las debilidades y fortalezas de cada uno. Claudia Martínez Profesores Ayudantes 12:00 13:15 Clase 5. Tamaño muestral y poder estadístico En esta sesión se hablará de la importancia de contar con un tamaño de muestra adecuado, presentando el concepto de poder estadístico y enfatizando la necesidad de tener este en cuenta al interpretar los resultados. Francisco Gallego 13:15 14:30 Almuerzo 14:30 15:45 Clase 6. Amenazas y análisis En esta clase se presentan y comparan los conceptos de validez externa y validez interna. Se definen las siguientes amenazas a la validez interna: desgate de muestra, presencia de externalidades y cumplimiento imperfecto de protocolos de asignación. En respuesta a estas amenazas se detallan algunas soluciones durante el análisis de resultados, distinguiendo entre el efecto de la Intención de Tratar (ITT) y el efecto del Tratamiento sobre los Tratados (TOT). Leigh Linden 16:00 17:15 Clase 7. Evaluación de principio a fin En esta sesión presentaremos una evaluación aleatoria de principio a fin desde la perspectiva del evaluador. Se discutirá la teoría que conduce a investigar el tema, el diseño experimental propuesto, las restricciones prácticas que afectan al diseño, la administración de trabajo de campo, el análisis de los resultados y las conclusiones de política pública. Leigh Linden 3

9 Viernes 21 de marzo Inicio Fin Sesión Descripción Expositor 8:45 9:00 Repaso del día anterior 9:00 10:30 Caso de Estudio 3: Cómo aleatorizar? En este caso de estudio los grupos de trabajo identificarán varias preguntas de investigación para la evaluación de un programa de política pública. Luego diseñarán la evaluación de tal forma que pueden resolver todas las preguntas en el marco de un único experimento. 10:30 10:45 Coffee Break 10:45 12:00 Taller: Elaborando Términos de Referencia En este taller se propondrán una serie de buenas prácticas para el desarrollo de términos de referencia, que pueden ser de utilidad a la hora de contratar una evaluación de impacto externamente. Así mismo, los participantes trabajarán sobre ejercicios para poder desarrollar los términos de referencia se sus propias evaluaciones. Profesores Ayudantes Thomas Vargas 12:00 13:15 Clase 8. Aspecto operativos de una evaluación de impacto En esta sesión se revisarán los elementos operativos y logísticos implicados en el levantamiento de datos y el trabajo de campo. Se discutirá el costo de levantar datos para proporcionar una idea de magnitud, a fin de poder incorporarlo en el presupuesto de una evaluación de impacto. Nicole Carpentier 13:15 14:30 Almuerzo 14:30 15:45 Clase 9. De la evidencia a la acción En esta sesión de cierre, se hablará sobre la importancia de que las evaluaciones de impacto incidan sobre la política pública. Se discutirá cómo este objetivo se relaciona con las decisiones acerca de qué evaluar, y sobre cómo maximizar el uso de evidencia científica en el diseño de políticas públicas. Claudia Macías 16:00 16:30 Evaluación final de conocimientos 16:30 17:00 Entrega de diplomas 4

10 Equipo de Profesores Francisco Gallego Director Científico de J-PAL LAC y Profesor Asistente de Economía, Pontificia Universidad Católica de Chile (Ph.D. Massachusetts Institute of Technology) Leigh Linden Profesor Asistente de Economía University of Texas, Austin (Ph.D. Massachusetts Institute of Technology) Claudia Martínez Profesora Asistente, Universidad de Chile (Ph.D, University of Michigan) Ryan Cooper Director Ejecutivo de J-PAL LAC (M.A. Universidad de Chile) Francisco Gallego posee un Ph.D. en Economía del MIT. Es Profesor Asociado en el Instituto de Economía de la Pontificia Universidad Católica de Chile (PUC). Sus áreas de interés son el desarrollo económico, la economía política y la economía de la educación. Él ha trabajado en evaluaciones educacionales, enfocadas en el impacto de la entrega de información sobre las decisiones de los padres de los estudiantes. Francisco Gallego es Director Científico de J-PAL Latinoamérica. Leigh Linden es Profesor en el Departamento de Economía de la University of Texas at Austin. Su investigación se centra en la capacidad de los servicios sociales para mejorar el bienestar de los niños, especialmente en áreas empobrecidas. En este sentido, el Profesor Linden ha analizado los procesos de producción educativa y los problemas de toma de decisiones en el núcleo familiar que determinan la asignación de oportunidades educacionales dentro de la familia. Metodológicamente, Linden se especializa en el uso de experimentos aleatorizados de gran escala. Claudia Martínez es Profesora Asistente de Economía en la Universidad de Chile. Su investigación se enfoca en la distribución de poder en el interior del hogar, migración, educación y políticas públicas en los países en vías de desarrollo. Proyectos previos y actuales incluyen; estudio del impacto de controles en remesas y ahorros de familias transnacionales en El Salvador, expectativas educacionales en Chile, programas de micro-emprendimiento y ahorro. Ryan Cooper es Director Ejecutivo de J- PAL Latinoamérica y El Caribe. Comenzó su carrera profesional como Analista de Evaluación en el Ministerio de Finanzas del Gobierno de Chile. Luego se dedicó a la creación y liderazgo de una ONG educativa en Chile llamada OPTE. Al mismo tiempo, en conjunto con un grupo de economistas del Banco Mundial, University of California, Berkeley y Un Techo para mi País (UTPMP), comenzó una evaluación aleatoria del programa UTPMP en tres diferentes países de Latinoamérica. Desde noviembre de 2008 hasta Agosto de 2009, se desempeñó como Analista de Investigación en el IFPRI. 5

11 Equipo de Coordinación y Profesores Ayudantes TEACHING ASSISTANTS (TAs) Coordinadora del Curso Cristián Larroulet Research Manager J-PAL LAC Nicole Carpentier Research Analyst J-PAL LAC Anne Thibault Training Manager J-PAL LAC Sebastián Otero Research Analyst J-PAL LAC Thomas Vargas Training Analyst J-PAL LAC Diego Verdugo Research Analyst J-PAL LAC Max Mendez-Beck Training Analyst J-PAL LAC José Vila-Belda Training Analyst J-PAL LAC 6

12 Caso 1: Exponiendo Políticos Corruptos Teoría de Cambio, Medición y Resultados Este caso está basado en el paper Exposing Corrupt Politicians: The Effects of Brazil s Publicly Released Audits on Electoral Outcomes, de Claudio Ferraz y Frederico Finan (The Quarterly Journal of Economics, mayo 2008) Objetivos Después de esta sesión, los participantes serán capaces de: Entender los componentes de la teoría de cambio. Desarrollar una cadena causal para un programa específico. Identificar los supuestos asociados a la teoría de cambio. Priorizar preguntas de investigación y conceptos a evaluar para un programa específico. Definiciones Impacto: Efecto causado por el programa en relación con el objetivo final o de largo plazo. Intervención: La suma de insumos utilizados y actividades emprendidas para producir los bienes y servicios que constituyen el programa a entregar al grupo de tratamiento. Necesidades: Los problemas que motivan una intervención y sobre los cuales se desea lograr un impacto. Producto: Cada uno de los bienes y servicios que resultan de la combinación de insumos y actividades. Resultados Intermedios: Las acciones que derivan de la entrega de un servicio o los usos dados a un producto entregado a los beneficiarios. Supuestos: Las condiciones que se deben cumplir para que la lógica de la cadena causal siga siendo válida. Teoría de cambio: Describe la forma en que la implementación de un programa se traduce en resultados, por medio de una cadena de relaciones causales. *Fuentes: 3ie (2011), 3ie Glosario para la Evaluación de Impacto. Iniciativa Internacional para la Evaluación de Impacto. Nueva Delhi, India. Gertler, Paul, Sebastián Martínez, Patrick Premand, Laura B. Rawlings, Christel M. J. Vermeersch. La evaluación de impacto en la práctica. Banco Mundial. Washington, DC:

13 Parte 1 El contexto Antecedentes En respuesta a la corrupción generalizada, el Gobierno de Brasil ha aumentado las sanciones a políticos corruptos, les ha prohibido la postulación a cargos públicos y ha aumentado el número de auditorías financieras en el sector público. Al mismo tiempo, los medios de comunicación brasileños han sacado a la luz varios casos de corrupción de alto perfil y han perseguido celosamente el tema. Esto, sin embargo, puede no ser suficiente para resolver el problema a nivel local, donde los casos de corrupción no atraen la atención de la prensa nacional y la gente no tiene acceso fácil a información sobre cómo sus líderes municipales hacen uso de los fondos y recursos públicos. Este caso de estudio trata sobre una intervención cuyo propósito era disminuir los niveles de corrupción a nivel local y hacer que los políticos rindan cuenta de sus acciones. La intervención incluía auditorías aleatorias en municipalidades y la difusión de los informes resultantes a través de los medios de comunicación. Corrupción y Auditorías Aleatorias A nivel local, la corrupción adopta muchas formas. Los políticos locales pueden usar recibos falsos en sus proyectos, crear compañías fantasmas, aumentar los valores de productos y servicios en facturas, o simplemente utilizar recursos del gobierno para su propio beneficio. Aunque muchas personas en los municipios pueden sospechar de estas actividades fraudulentas, pocas tienen la información necesaria para evaluar el comportamiento de sus líderes locales y recompensarlos o castigarlos en las urnas al momento de votar. Como resultado, no existe control sobre el comportamiento de los políticos locales, haciendo de la corrupción un problema endémico. En 2003, en un esfuerzo por crear un sistema más transparente y responsable, el Gobierno de Brasil inició auditorías aleatorias de los gastos de los gobiernos municipales. Cada mes, se escogía aleatoriamente cierto número de municipalidades pequeñas (aquellas con una población menor a 450 mil) por medio de un sorteo nacional. Luego, un equipo de 10 a 15 auditores de la Contraloría Geral da União (Oficina del Contralor General; CGU), era enviado a las municipalidades seleccionadas para examinar cuentas, registros, la existencia y calidad de las obras públicas y la entrega de servicios públicos. Además, el equipo se reunía con miembros de la comunidad local para recoger quejas directas de corrupción. 8

14 Basándose en la información recopilada durante este proceso, el equipo de auditoría realizó informes que se publicaron en línea y se enviaron a la CGU, a la oficina de rendición de cuentas de Brasil, a los fiscales y al poder legislativo municipal. Discusión 1. Mencione tres herramientas o mecanismos posibles que existen para enfrentar el problema de la corrupción a nivel local. Cuáles de estas herramientas son efectivas? 2. Cuáles son las fortalezas y debilidades del programa de auditorías implementado por el Gobierno de Brasil? Cree usted que dicho programa puede ser exitoso? Por qué? 3. Tomando en cuenta las debilidades del programa, qué intervenciones complementarias implementaría usted? 9

15 Parte 2 La intervención Una posible solución: Difusión de los Informes de Auditoría Para que los informes de auditoría generen conciencia e influyan en los votantes, deben llegar de alguna manera a la población en general. Pese a que el gobierno publicó los reportes de las auditorías en internet, pocas personas accedieron a ellos. Ante esta situación, el gobierno decidió difundir los resultados de las auditorías a través de los medios de comunicación, específicamente a través de la radio de frecuencia AM, ya que éste es el medio que tiene mayor alcance entre los municipios pequeños de Brasil. Su equipo debe evaluar el impacto de esta estrategia de difusión sobre la corrupción a nivel local. Discusión 1. Cuál es la hipótesis central que se pretende testear en esta evaluación? Exprese dicha hipótesis en términos de una relación causal entre la intervención y los resultados finales esperados. 2. Por medio de qué mecanismos podría producirse el impacto propuesto en la pregunta anterior? Refiérase a los mecanismos de corto, mediano y largo plazo. 10

16 3. Qué factores pueden intervenir, ya sea positiva o negativamente, en el impacto de la publicación de los reportes de auditoría? Parte 3 Teoría de Cambio La teoría de cambio identifica la cadena de causalidad entre la intervención y el resultado final. La Figura 1 muestra una manera de plantear los componentes de la teoría de cambio. Discusión 1. Dibuje una cadena causal con el formato que se presenta en la Figura 1 que conecte la difusión de los informes de auditoría a través de los medios de comunicación con los resultados finales. 2. Cuáles son las condiciones/supuestos necesarios que subyacen esta teoría de cambio? Es decir, qué tiene que ocurrir para que esta cadena funcione? (Complete en Figura 1) 11

17 Figura. 1. Teoría de cambio Necesidades Intervención Productos Resultados Intermedios Impactos Indicadores Indicadores Indicadores Indicadores Indicadores Riesgos y Supuestos 12

18 Parte 4 Qué datos se deben recopilar? Recopilación de datos y medición Antes de decidir qué datos recopilar, se debe tener muy claro qué resultados se desean obtener, y de qué manera se cree que la intervención producirá tales resultados. En otras palabras, la definición de una hipótesis principal y de la teoría de cambio al inicio de una evaluación ayuda a decidir qué información recopilar. Para cada paso de la teoría de cambio es necesario identificar indicadores que reflejen la situación existente en cada etapa, así como instrumentos para recopilar esta información. Además, es necesario recopilar datos en relación con los supuestos de la teoría de cambio, a fin de verificar su veracidad. Discusión 1. Qué indicadores mediría en cada paso de su teoría de cambio? Piense en los indicadores para cada etapa de la cadena causal y para sus supuestos (en Figura 1) 2. Cómo recopilaría los datos para estos indicadores? Qué desafíos cree que deberá enfrentar durante este proceso? 3. Si tuviera recursos para recolectar 3 de los indicadores sugeridos anteriormente, cuáles escogería para la evaluación? Por qué? 13

19 Parte 5 Interpretando los Resultados En la evaluación realizada por los investigadores se compararon dos grupos de municipalidades. En unas (el grupo de tratamiento, escogido aleatoriamente), las auditorías y su difusión pública tuvieron lugar antes de las elecciones municipales de 2004, mientras que en otras (el grupo de control) las auditorías y su difusión tuvieron lugar tras las elecciones. Al comparar los resultados electorales de los políticos implicados en casos de corrupción, se observó que la probabilidad de reelección era significativamente inferior en los municipios auditados antes de las elecciones. Por otra parte, este efecto fue mayor en las municipalidades que tenían una estación de radio local (que reportaba sobre noticias locales) que en las municipalidades sin radio local. Discusión 1. Por qué es importante interpretar los resultados de un programa dentro del contexto de teoría de cambio"? 2. Suponga que la evaluación encontró que la difusión de informes de auditoría no tenía efecto en ayudar a sacar de su cargo a los políticos corruptos. Cómo interpretaría estos resultados? Si estuviera a cargo de las políticas públicas, cancelaría el programa? Por qué? 14

20 Caso 2. Transferencias Monetarias Condicionadas: El impacto sobre la salud de los niños Identificando el contrafactual con métodos no experimentales Este caso está basado en Paul Gertler, Do Conditional Cash Transfers Improve Child Health? Evidence from PROGRESA's Control Randomized Experiment, American Economic Review, American Economic Association, vol. 94(2), pages J-PAL agradece al autor por permitir el uso de su estudio. Objetivos: Después de esta sesión, los participantes serán capaces de: Identificar diferentes métodos de evaluación junto con sus supuestos y limitaciones. Explorar el problema fundamental de la causalidad y las diferentes formas de estimar el impacto de un programa mediante la estimación del contrafactual. Desarrollar la intuición respecto al sesgo y las fuentes de sesgo. Constatar que la validez interna de una metodología de evaluación depende del grado en que existe sesgo de selección. Definiciones Asignación Aleatoria: Procedimiento por el cual los miembros de la población elegible para participar en un programa son asignados al grupo de tratamiento o al de control en base al azar. Contrafactual: Escenario hipotético que representa lo que le hubiera ocurrido a la unidad de análisis en ausencia de la intervención. Grupo de Tratamiento: Grupo que recibe el programa. Grupo de Control: Grupo de comparación con el grupo de tratamiento, que no recibe el programa. Impacto: La diferencia entre lo que se observa tras el programa y lo que se habría observado en ausencia del programa. Variable de interés (o dependiente): Variable que se cree que puede ser predicha o afectada por una o más variables explicativas (variables independientes). *Fuentes: - 3ie (2011), 3ie Glosario para la Evaluación de Impacto. Iniciativa Internacional para la Evaluación de Impacto. Nueva Delhi, India. - Gertler, Paul, Sebastián Martínez, Patrick Premand, Laura B. Rawlings, Christel M. J. Vermeersch (2010). La evaluación de impacto en la práctica. Banco Mundial. Washington, DC:

21 Contexto En América Latina y el Caribe, los niños que crecen en situación de pobreza suelen obtener una educación de mala calidad, recibir poca atención médica y tener una dieta nutricionalmente inadecuada. Por estas razones, no es de extrañar que estos niños entren a la edad adulta sin las habilidades necesarias para posicionarse favorablemente en el mercado laboral. Esto a su vez les dificulta conseguir un trabajo que les ayude a salir de su situación de pobreza. Bajo estas condiciones, es probable que reciban salarios bajos, lo que les llevaría a carecer de los recursos necesarios para evitar que sus hijos repitan sus mismas experiencias, perpetuando el círculo de la pobreza. Con el objetivo de reducir la transmisión intergeneracional de pobreza, muchos gobiernos en América Latina y el Caribe han implementado políticas de transferencias monetarias condicionadas (TMC) con el objetivo de incentivar a los padres a invertir en la salud y bienestar de sus hijos, otorgando a su vez recursos monetarios para mejorar sus estándares de vida actuales. El programa PROGRESA en México En 1997, el gobierno mexicano implementó un programa nacional de transferencias monetarias condicionadas llamado PROGRESA. Tras tres años en marcha, PROGRESA había alcanzado a aproximadamente 2,6 millones de familias, lo que corresponde a un tercio de todas las familias rurales y aproximadamente el 10% de todas las familias de México. Los hogares que participan en PROGRESA reciben una transferencia monetaria siempre y cuando cumplan con ciertos requisitos diseñados para mejorar la salud y nutrición de las familias. Específicamente, deben cumplir con las siguientes condiciones: (i) todos los miembros de la familia reciben atención medica preventiva; (ii) todos los niños de 0 a 5 años y madres lactantes asisten a clínicas de monitoreo de la nutrición 1 y (iii) las mujeres embarazadas visitan una clínica para obtener cuidado prenatal, suplementos nutricionales y educación en salud. Las transferencias son otorgadas a las madres de familia y el monto de la transferencia es relativamente grande. En promedio, la cantidad entregada corresponde a un tercio de los ingresos familiares. Qué impacto tienen las transferencias condicionadas en la salud de los participantes? 1 En estas clínicas, se mide el crecimiento de los niños, se distribuyen suplementos nutricionales, y se dan talleres sobre la nutrición y la higiene. 16

22 En general, preguntarse si un programa tiene impacto implica examinar si este logra los cambios pretendidos, descontando o aislando la influencia de otros factores o eventos que ocurren al mismo tiempo. Para poder demostrar que un programa o intervención causa los efectos observados, necesitamos comparar estos cambios con los cambios que habrían ocurrido si no se hubiera implementado el programa. Pero cómo sabemos qué hubiera ocurrido sin el programa? Pensar en lo que hubiera sucedido en ausencia de un programa implica imaginar un mundo hipotético donde el programa nunca se ofreció a los participantes de la intervención. Formalmente, este escenario hipotético se denomina contrafactual, y representa lo que le habría ocurrido al grupo de tratamiento si no hubiera recibido el programa. Aunque es imposible observar el verdadero contrafactual, se han desarrollado métodos estadísticos para tratar de estimar dicho escenario hipotético. El contrafactual y el grupo de control El desafío clave de una evaluación de impacto es construir o replicar el contrafactual. Normalmente, esto se hace mediante la selección de un grupo de personas similares al grupo de participantes, pero que no se benefician del programa. Este grupo se denomina el grupo de control. Construir un buen grupo de control es difícil, pero muy importante. Para medir un impacto de manera rigurosa, se requiere que la única diferencia entre el grupo de control y los participantes sea que el grupo de control no haya participado en el programa; en promedio, idealmente ambos grupos deberían ser idénticos en todos los demás aspectos. En la medida en que esto se cumpla, se podrá argumentar con mayor confianza que una intervención específica es responsable de las diferencias entre los resultados de ambos grupos. Bajo estas circunstancias, tras la implementación de un programa se puede estimar el impacto del mismo como la diferencia observada entre los resultados del grupo de control y los resultados de los participantes del programa. La validez de nuestra estimación del impacto depende de la medida en que logremos replicar el verdadero escenario contrafactual. Si el grupo de control es una mala aproximación, nuestra estimación del impacto estará sesgada. Por ello, el método utilizado para construir el grupo de control es una decisión clave en el diseño de cualquier evaluación de impacto. Esto nos devuelve a la pregunta: Cuál es el impacto del programa de transferencias monetarias condicionadas sobre la salud de los niños mexicanos? En este caso, la intención del programa es dar incentivos monetarios a las mujeres para cumplir con las condiciones establecidas, incluyendo el ir a la clínica, llevar a sus niños a la clínica y asistir a charlas sobre nutrición. La variable de interés principal es el estado de salud de los niños, medido por el número de días por mes que están enfermos, y el 17

23 programa tendrá un impacto positivo si éste disminuye la tasa de enfermedad de los niños. En rigor, el impacto del programa sería la diferencia entre el promedio de días por mes que los niños de los hogares participantes estuvieron enfermos y el promedio de días que los mismos niños habrían estado enfermos si sus madres no hubiesen recibido transferencias condicionadas. Dado que no podemos observar la situación de los participantes en el caso de que no hubiesen participado, qué grupo de control se debe usar para estimar esto? A continuación se muestran diferentes métodos para evaluar impacto usados por distintos expertos. Método 1 Artículo de periódico: El gobierno cumple: grandes mejoras en salud de niños gracias a programa federal Datos publicados hoy por una agencia del gobierno federal indican que PROGRESA, el programa de transferencias condicionadas del gobierno que ha estado funcionando desde el año 1997, mejoró notablemente la salud de los niños en condiciones de pobreza. En particular, entre los niños menores a 6 años el programa produjo una reducción drástica de 80% en el número de días por mes que estaban enfermos. Antes de participar en el programa, los niños de las familias PROGRESA estaban enfermos, en promedio, más de 8 días por mes. Ahora, gracias a PROGRESA, estos niños solamente se enferman entre 1 y 2 días, en promedio. Esta reducción fortalece la posición del gobierno ante las críticas del programa y significa un gran avance contra las enfermedades en México. Más allá de influir en los índices de salud, PROGRESA podría incidir en indicadores de escolaridad, ya que al enfermarse menos los niños pueden asistir más al colegio, comentó el director de evaluación del programa Gonzalo Oyanedel: estos números son evidencia de que los programas de nutrición y salud de PROGRESA funcionan. Después de revelar los resultados, ciertos comentaristas de política pública opinaron que los gobiernos de la región deberían aprender de esta evaluación y comenzar sus propios programas para mejorar la salud de los niños por medio de transferencias condicionadas. Promedio de salud (en días de enfermedad por mes) Días enfermedad Línea Base (antes del programa) 8,22 (0,863) Días enfermedad Línea Final (después del programa) 1,61 (0,527) Diferencia 6,61*** (1,04) Porcentaje de reducción -80,41% Nota: Errores estándar en paréntesis. Resultados estadísticamente significativo con un 99% confianza (***) 18

24 Discusión 1 1. En qué método de evaluación se basa este artículo de periódico? Es decir, cómo intenta este método estimar el contrafactual? 2. Cuál es el supuesto que se tiene que cumplir para que el contrafactual esté bien estimado? 3. Cuáles podrían ser los problemas con este método de evaluación? 19

25 Método 2 Carta al editor: No saltemos a conclusiones Este periódico tiende a exagerar y distorsionar hechos y datos. El último acto de amarillismo ocurrió con la publicación el pasado lunes del artículo titulado, El gobierno cumple: grandes mejoras en salud de niños gracias a programa federal. En este artículo, se reportó el impacto de PROGRESA, un programa del gobierno federal, sobre la salud de los niños que participaron en el programa. Soy economista de profesión y llevo años siguiendo de cerca el impacto de PROGRESA. Leyendo el artículo del lunes me alegré con la noticia de que el programa estaba teniendo un efecto positivo sobre la enfermedad. Sin embargo, después de analizar la metodología de impacto utilizada en el artículo, quedé convencido de que el resultado reportado por este periódico es engañoso y sensacionalista. El método elegido ignora otros factores que podrían haber afectado la salud de los niños durante el programa. Por ejemplo, la economía mexicana ha tenido un crecimiento sostenido desde Además, el público hoy en día tiene mucho mejor acceso a información relacionada con la salud y la buena alimentación. Acaso no podrían ser estos dos factores los que en realidad causaron la reducción en la enfermedad de los niños? Una mejor manera de medir el impacto real del programa es enfocándose en cómo los niños que participaron en el programa se comparan con niños que no participaron en el programa. He hecho este cálculo y verán que con este método el incremento generado por el programa a la salud general de los niños es mucho menor a lo anteriormente reportado. Conforme a mis cálculos, los niños beneficiarios estuvieron enfermos, en promedio, un 21,3% menos de días por mes. Aunque comparto la opinión de que el programa está cumpliendo con sus objetivos, no debemos caer en la trampa de exagerar sus logros. 2,5 Promedio de enfermedad (en días por mes) 2 1,5 1 0,5 0 1,53 Participaron a PROGRESA 1,95 No Participaron a PROGRESA 20

26 Discusión 2 1. En qué método de evaluación se basa esta carta al editor? Es decir, cómo intenta este método estimar el contrafactual? 2. Cuál es el supuesto que se tiene que cumplir para que el contrafactual esté bien estimado? En este sentido, qué razones podrían invalidar el supuesto? 3. De qué modo un análisis de regresión estadística permitiría mejorar el análisis presentado aquí? Cuáles serían las limitaciones de este tipo de análisis? 21

27 Método 3 Reporte de Auditoría #24325: Programa PROGRESA En los últimos días el programa de transferencias condicionadas del gobierno ha recibido mucha cobertura de prensa. Algunos han afirmado que el programa tiene un impacto relativamente grande, mientras que otros argumentan que los impactos son más moderados. Este reporte busca proveer una estimación más correcta del impacto del programa usando un método más sofisticado y riguroso. Los análisis anteriores han usado métricas erróneas para calcular el impacto del programa, reportando una medida sesgada del efecto del programa en la reducción de enfermedades infantiles. Por ejemplo, se ha comparado el número de días que estaban enfermos los niños cuyas familias participaron en el programa con el número de días que estaban enfermos los niños de las familias que no participaron, lo cual podría introducir un sesgo de selección ya que estos dos grupos pueden ser muy diferentes por muchas razones, y no sólo por haber o no participado en el programa. Para obtener una estimación más adecuada de impacto se requiere comparar los cambios observados en ambos grupos, participantes y no participantes. Comparando la situación previa al programa con la situación posterior al programa, qué grupo de niños mejoró más? Usando este enfoque, podemos descontar el efecto de otros factores que condujeron a mejoras de salud en todos los niños (participantes o no), al tiempo que se toma en consideración el hecho de que ambos grupos parten de situaciones muy distintas (lo que lleva a estimaciones sesgadas si comparamos participantes y no participantes directamente). En la tabla mostrada debajo, se observa que la reducción en el número de días de enfermedad al mes en el grupo participante fue de 6,6 días. En el grupo de comparación, por su parte, la reducción fue de 0,8 días. La diferencia entre estas dos reducciones es la medida que buscamos, ya que representa cuánto más mejoró la situación en el grupo participante en comparación con el grupo no participante. La resta (6,6-0,8) indica que la mejora en salud debida al programa fue una reducción de 5,8 días en el número de días de enfermedad al mes, lo que equivale a una reducción del 70,3%. Por lo tanto el impacto del programa es positivo y de gran magnitud, y difiere de las estimaciones presentadas en estudios previos. Grupo Tratamiento Grupo Comparación Antes del Programa Después del Programa

28 Discusión 3 1. En qué método de evaluación se basa este reporte de auditoría? Es decir, cómo intenta este método estimar el contrafactual? 2. Qué ventajas presenta este método frente al análisis de regresión estadística? 3. Cuál es el supuesto que se tiene que cumplir para que el contrafactual esté bien estimado? En este sentido, cuáles podrían ser los problemas con este método de evaluación? Cuál es el supu 23

29 Método 4 PROGRESA: el impacto causal en la población marginalmente elegible Diego Verdugo Sebastián Otero ǂ Cristián Larroulet Nicole Carpentier En este artículo presentamos un análisis del impacto de PROGRESA explotando el criterio de elegibilidad del programa basado en la variable de ingreso promedio del hogar. Si bien la participación efectiva en PROGRESA depende de variables observadas y no observadas, la probabilidad de participar cambia discontinuamente en el umbral de ingresos que determina la elegibilidad. Se observa que, en promedio, los hogares situados justo por encima del umbral son prácticamente idénticos a los hogares situados justo por debajo en términos de diversas variables observables, por lo que es posible interpretar la discontinuidad observada en la variable de salud como el efecto del programa. Los resultados indican que PROGRESA condujo a una reducción de un 10% en el número de días de enfermedad en los niños procedentes de hogares marginalmente elegibles según sus ingresos. Estudios previos han analizado el programa PROGRESA de transferencias condicionadas implementado por el gobierno de México utilizando métodos de regresión estadística o diferencia en diferencias. Aunque estos métodos presentan algunas ventajas, también tienen limitaciones claras al basarse en supuestos discutibles. Con el objetivo de obtener estimaciones del impacto de PROGRESA que superen esas limitaciones,a continuación presentamos los resultados de un análisis basado en un Diseño de Regresión Discontinua. La posibilidad de usar este método para estimar los efectos causales de PROGRESA proviene del criterio de elegibilidad del programa, consiste en un umbral de renta promedio del hogar. En particular, los hogares cuya renta promedio era inferior a la línea de pobreza nacional (de 700 pesos mexicanos) podían inscribirse en el programa, mientras que aquellos situados por encima de este umbral no podían participar. La medida de ingresos se Nota para el lector: el criterio de elegibilidad de ingresos descrito en este texto es ficticio, al igual que los datos y resultados mostrados. Para ver un estudio real de PROGRESA basado en regresión discontinua, véase Buddelmeyer, H., & Skoufias, E. (2004). An evaluation of the performance of regression discontinuity design on PROGRESA (Vol. 827).World Bank Publications. 24

30 obtuvo a través de una encuesta de hogares realizada a propósito para el programa y su evaluación. En el gráfico 1 se ha representado la dispersión de las observaciones de acuerdo a las dos variables de interés: los ingresos promedio del hogar (que determinan la elegibilidad) y el número de días de enfermedad al mes. Como puede observarse, la forma de la nube de puntos expresa una clara relación negativa entre el número de días de enfermedad al mes de los niños y el promedio de ingresos del hogar: los niños de hogares de menores ingresos tienden a padecer más enfermedad. Por otra parte, el gráfico ilustra claramente la existencia de una discontinuidad. Los puntos en azul constituyen niños procedentes de hogares por debajo de la línea de pobreza (700 pesos mexicanos), y por tanto elegibles para participar en PROGRESA. Los puntos en verde representan hogares por encima del umbral y no son elegibles para el programa. Lo relevante aquí es que la relación parece ser discontinua en el umbral de 700 pesos, de modo tal que quienes están justo por debajo del umbral padecen menos días de enfermedad que quienes están justo por encima del umbral (pese a que los segundos tienen más ingresos). Gráfico 1 Días de enfermedad e ingresos en los niños elegibles y no elegibles 12 N ú m er o de dí as de en fe r m ed ad al m es Promedio de ingresos del hogar Con el objetivo de examinar si la estrategia de identificación del efecto causal descrita es adecuada, a continuación examinamos en qué medida las personas situadas justo por debajo de la línea de pobreza (individuos marginalmente elegibles ) son similares a quienes se hallan justo por encima de dicho umbral (individuos marginalmente no elegibles ). En 25

31 particular, comparamos a quienes están en el rango de ingresos [690, ]con quienes están en el rango [700, 710]. La comparación de valores promedio en variables de control sociodemográficas y económicas sugiere que ambos grupos son muy similares (Tabla 1). Si bien varias de estas diferencias son estadísticamente significativas, esto tiene que ver con el gran tamaño muestral disponible, y en términos prácticos las diferencias porcentuales son en general muy pequeñas. La excepción a esta pauta se observa en la proporción de hogares con electricidad, que es varios puntos porcentuales menor en el grupo de hogares cuyos ingresos son inferiores al umbral de pobreza. No obstante, la estimación del impacto de participar en PROGRESA no se ve afectada cuando esta variable se incluye como control. Los datos de la Tabla 1 sugieren que, alrededor del umbral de pobreza que define la elegibilidad, la asignación al grupo de control (sujetos marginalmente no elegibles) o al grupo de tratamiento (sujetos marginalmente elegibles) es como si fuera aleatoria. La evidencia de que ambos grupos son casi idénticos en términos de variables observables apoya este supuesto, sugiriendo que ambos grupos también serán muy similares en términos de variables no observables. Por tanto, puede concluirse que la discontinuidad hallada en la variable número de días de enfermedad representa el efecto causal de ser elegible en el programa PROGRESA. Tabla 2 Estadísticas descriptivas en la línea base. Niños de 0 a 5 años Below the poverty line Above the poverty line La magnitud de la discontinuidad expresada en términos porcentuales es de un 6,8%, e indica el efecto de ser elegible para participar en PROGRESA. Esta es la magnitud del salto observado en la figura 1: los niños procedentes de hogares marginalmente elegibles 26

32 para participar en PROGRESA (es decir, aquellos hogares cuyos ingresos promedio están justo por debajo del umbral de pobreza) padecen un 2 por ciento menos de días de enfermedad al mes que los niños de los hogares que están justo por encima de la línea de pobreza. No obstante, no todos los hogares elegibles optan por participar en el programa. En concreto, se observa que el porcentaje de hogares marginalmente elegibles que optó por participar es de un 67%. Teniendo en cuenta esta información se puede calcular el impacto de la participación efectiva en PROGRESA. El cociente entre el impacto de ser elegible (Intention To Treat: 6,8%) y la probabilidad de participar entre quienes son elegibles (0,67) proporciona la estimación del impacto de participar en el programa, que asciende a un 10,1%. Este efecto es estadísticamente significativo, pero de un tamaño considerablemente menor al que estudios previos habían hallado. 27

33 Discusión 4 1. En qué método de evaluación se basa este reporte de auditoría? Es decir, cómo intenta este método estimar el contrafactual? 2. Qué ventajas presenta este método frente al método de regresión estadística y frente al método de diferencia en diferencias? 3. Cuál es el supuesto que se tiene que cumplir para que el contrafactual esté bien estimado? Qué podría suceder para que no se cumpliera el supuesto? 4. Suponiendo que el supuesto del modelo es correcto, qué limitaciones tiene el análisis en cuanto a la generalidad de sus conclusiones (validez externa)? 28

34 Caso 3 Programa de Profesores Adicionales Diseñando una evaluación para responder tres preguntas claves Diseñando sobre una políticas evaluación educativas para responder Este estudio se basa en la publicación: Peer Effects and the Impact of Tracking: Evidence from a Randomized Evaluation in Kenya, de Esther Duflo (MIT), PascalineDupas (Stanford) y Michael Kremer (Harvard). Objetivos Después de esta sesión, los participantes serán capaces de: Identificar varias preguntas de investigación para la evaluación de un programa. Realizar diseños experimentales complejos para responder múltiples preguntas de investigación. En 2005, la ONG International Child Support Africa (ICS) se ofreció a apoyar al sistema escolar de Kenia occidental mediante la contratación de profesores en 190 escuelas primarias, a fin de abordar la escasez de profesores y poder reducir el número de estudiantes por clase. En su programa de dos años, ICS proporcionó fondos a estas escuelas para que cada una contratara un profesor adicional. A diferencia de los funcionarios civiles contratados por el Ministerio de Educación, los profesores del programa eran contratados localmente por comités escolares. ICS esperaba que este programa mejorara el aprendizaje de los estudiantes gracias a la disminución del tamaño de las clases y la utilización de profesores que rindieran cuentas directamente a las comunidades a las que prestan servicios. Por otra parte, los profesores adicionales tiendían a tener menos capacitación y recibir un salario mensual inferior al de los funcionarios civiles. Por esta razón, existía preocupación acerca de si estos profesores estaban lo suficientemente motivados (dada su remuneración) o calificados (dadas sus credenciales) para lograr impactos sustanciales. Qué diseños experimentales podrían usarse para analizar el impacto de esta intervención en el rendimiento educativo? Qué cambio es más importantes para lograr mejoras en el desempeño de los estudiantes, tener clases más pequeñas o tener profesores distintos a los tradicionales? 29

35 Escuelas con exceso de alumnos Al igual que muchos otros países en vías de desarrollo, Kenia ha logrado rápidos progresos hacia el cumplimiento del objetivo de educación primaria universal (Objetivos de Desarrollo del Milenio). Después de la eliminación de las tarifas escolares en 2003, la matrícula en las escuelas primarias aumentó casi un 30 por ciento, de 5,9 millones a 7,6 millones entre 2002 y 2005.Sin embargo, este progreso ha dado origen a un conjunto de nuevos desafíos en Kenia. Discusión 1 1. Cuáles podrían ser algunos de los desafíos que enfrenta el gobierno de Kenia a la hora de incorporar estos nuevos alumnos? 30

36 DESAFIOS Y NECESIDADES 1) Tamaño de clases demasiado grandes: Debido a restricciones presupuestarias, el aumento en la matrícula escolar no ha coincidido con un aumento proporcional en el número de profesores. Esto ha resultado en clases muy grandes, particularmente en los cursos iniciales. Por ejemplo, en una muestra de escuelas en Kenia occidental, las clases de primer grado tenían un promedio de 83 estudiantes en Esto es preocupante porque típicamente se cree que las clases pequeñas son más importantes para los estudiantes más jóvenes, quienes aún se están acostumbrando al entorno escolar. El Sindicato Nacional de Profesores de Kenia calcula que el país necesita profesores de escuela primaria adicionales, además de los ya existentes, para atender a todos los estudiantes de escuela primaria y reducir el tamaño de las clases. 2) Ausentismo de los profesores: Exacerbando aún más el problema de la proporción de profesores por alumnos, las tasas de ausentismo de los profesores es muy alta, situándose cerca del 20% en algunas áreas de Kenia. Normalmente no existen reemplazos para los profesores ausentes, de modo que los estudiantes simplemente pierden esa clase o asisten a otra clase, por lo general de otro grado. Las escuelas de menor tamaño, nada infrecuentes en las áreas rurales de los países en vías de desarrollo, pueden tener que cerrar por completoen ausencia de un profesor. Las familias deben considerar si la escuela estará abierta al decidir si envían o no a sus hijos a la escuela. A causa de ello, la asistencia de los estudiantes es baja, incluso en los días en que la escuela está abierta. 3) Clases heterogéneas: Las clases en Kenia también son muy heterogéneas, con estudiantes que varían ampliamente en términos de su preparación escolar y del apoyo que reciben en el hogar. Agrupar a los estudiantes en clases clasificadas por aptitud (subdivisión o tracking) es una idea debatida entre los académicos y los encargados de políticas públicas. Por un lado, si los profesores encuentran más fácil enseñar a un grupo homogéneo de estudiantes, la subdivisión podría mejorar la efectividad de las escuelas y los puntajes en los exámenes. Por otra parte, si los estudiantes aprenden en parte de sus compañeros, la subdivisión 31

37 podría convertirse en una desventaja para los estudiantes con malos resultados y un beneficio para los que tienen buenos resultados, lo que exacerbaría la desigualdad. 4) Escasez de materiales para la escuela: Debido a los altos costos de materiales educativos y al creciente número de estudiantes, los recursos educacionales se han quedado cortos, y en algunos casos hasta cuatro estudiantes deben compartir un solo libro. Además, la ya sobrecargada infraestructura se deteriora más rápido cuando es usada por más niños. 5) Bajos índices de graduación: Como resultado de estos factores, las tasas de graduación primaria en Kenia son muy bajas. Solo alrededor del 45% de los niños y el 43% de las niñas matriculadas se gradúan de primaria cada año. Considerando todos estos problemas, se presentan nuevos desafíos para las comunidades: Cómo garantizar una calidad mínima de la educación dadas las restricciones presupuestarias de Kenia? 32

38 Discusión 2 Piense en diferentes intervenciones o programas que se podrían implementar con el fin de resolver estos problemas. 1. Identifique cómo la intervención afectaría cada uno de los desafíos mencionados. 33