Marcos Institucionales Para la Evaluación de Políticas Públicas

Transcripción

1 Marcos Institucionales Para la Evaluación de Políticas Públicas Seminario Políticas de Cuidados de la Primera Infancia en Chile: Diseño, Implementación y Evaluación Universidad Diego Portales, Santiago, Chile 15 de octubre de 2010 Lorenzo Moreno, Ph.D., M.Sc.

2 Temas de la Presentación Marcos institucionales para la evaluación de programas y estrategias sociales Lecciones aprendidas y posibles sinergias 2

3 Mi Perspectiva y Posibles Sesgos Mathematica Princeton University Mis convicciones Mis antecedentes Experiencia de 20 años Enseño evaluación de programas y políticas Capacitación de evaluadores altamente calificados Estadístico, pero economista por osmosis Diseño de estudios experimentales y no experimentales MPA y MPP Evaluación para la asignación de recursos públicos Casi 28 años fuera de mi lugar de nacimiento Programas domésticos de servicios de salud Programas internacionales de desarrollo 3

4 Estrategias Sociales y Evaluación 4

5 Una Clara y Simple Estrategia (Y Así Nos Va) 5

6 Programa versus Estrategia Programa Intervención específica aplicada a una población en en un un área específica Su Su evaluación responde a preguntas muy particulares: particulares: Es el Programa de Inversión Urbana en Chile Es efectivo el Programa en regiones de Inversión con alta pobreza Urbanapatrimonial? en Chile efectivo en regiones con alta pobreza patrimonial? Estrategia Conjunto de programas y acciones para resolver un un problema histórico, nacional, o regional Su Su evaluación responde a preguntas amplias: Se Se ha ha reducido la la desigualdad histórica en en pobreza? 6

7 Progresa/Oportunidades: Tres Pilares Estrategia Contra La Pobreza en México Desarrollar capacidades básicas Incrementar las oportunidades generadoras de ingresos Mejorar la infraestructura en regiones marginadas Fuente: Santiago Levy. Progress Against Poverty. Sustaining Mexico s Progresa-Oportunidades Program. Brookings Institution,

8 Progresa/Oportunidades: Y Muchos Programas Principales Programas Sociales Contra la Pobreza CAPACIDADED BASICAS OPORTUNIDADES DE INGRESOS MEJORAS A LA INFRASTRUCTURA Progresa-Oportunidades Programa de Apoyo Alimentartio (PAL) Programa Jornaleros Agrícolas Programa 70 y más Programa de Empleo Temporal (PET) Programa Opciones Productivas Programa Estancias Infantiles para Apoyar a Mujeres Trabajadoras Hábitat Programa para el Desarrollo de Zonas Prioritarias (PDZP), antes Microregiones Apoyo para Regularizar Asentamientos Irregulares Programa Espacios Públicos Programa 3x1 para Migrantes Fuente: Adaptación de Levy,

9 Progresa/Oportunidades: Gran Impacto Social Incentivos para tomar acciones personales para salir de la pobreza El programa más evaluado en México, Latino América y posiblemente el mundo Gran contribución en la formación de capacidades técnicas en México y a nivel mundial Identificación e implementación de diseños estadísticos Uso de métodos econométricos para estimar impactos con alta confiabilidad y mínimo sesgo Fuente: Santiago Levy. Progress Against Poverty. Sustaining Mexico s Progresa-Oportunidades Program. Brookings Institution,

10 Por Qué Se Evalúan las Estrategias y los Programas Sociales? Responder al uso de los recursos públicos (bienes públicos) Mejorar las decisiones administrativas y de presupuesto de los diversos niveles de gobierno

11 Brecha Crónica entre Estrategia y Evaluación Estrategia Evaluación 11

12 Marcos Institucionales para la Evaluación Rigurosa y de Alta Calidad de Estrategias y Programas de Política Social 12

13 Proceso para la Evaluación de Estrategias Marco Institucional Mandato legal Unidad de evaluación establecida Regulación en el uso de evaluaciones e incentivos para su uso Normas sobre transparencia Marco Lógico Coordinación entre unidades administrativas Selección de indicadores adecuados Capacitación de evaluadores Marco Técnico Metodología para la estimación de impactos Implementación y administración de evaluaciones Capacitación de evaluadores Fuente: Adaptación de Gonzalo Hernández Licona. Building a Monitoring & Evaluation System: A Public Policy Challenge with Technical Elements. Presented to the Planning Commission, Government of India,

14 Avenida Providencia 14 Los Leones

15 En Chile Dirección de Presupuestos, Ministerio de Finanzas Identificación de indicadores de desempeño desde 1993 Definición de estrategias a partir de 2001 Inclusión de programas en el presupuesto a partir de 2001 Evaluaciones de impacto requeridas a partir de 2001 Evaluaciones de agencias requeridas a partir de programas o agencias serán evaluadas entre Fondo de modernización de la administración pública a partir de 2008 Evaluación de nuevos programas a partir de 2009 Fuente: Adaptación de Heidi Berner H. System of Evaluation and Management Control Results-Based Budgeting. The Chilean Experience. Ministerio de Finanzas, Octubre 2008.

16 En México Consejo Nacional de Evaluación de la Política Social (CONEVAL) Preparación de marcos lógicos para 520 programas Evaluación anual de 130 programas Identificación de indicadores de resultados Análisis de resultados de evaluación externa de 85 programas; síntesis de resultados Preparación de un marco normativo Identificación de los criterios para un sistema de evaluación del desempeño Estimación de indicadores de pobreza a nivel nacional, estatal y municipal Análisis de la estrategia de alimentación y nutrición Fuente: CONEVAL. Informe de Evaluación de la Política de Desarrollo Social en México en México, DF: CONEVAL 2008, p

17 En los Estados Unidos Experiencia limitada: El Congreso, no el Ejecutivo, elabora las estrategias sociales La Oficina de Administración y Presupuesto (OMB) está enfocada en el presupuesto más que en estrategias sociales Las evaluaciones de impacto son más sexys Pese a esto, hay esfuerzos en: Política federal en educación Política federal de tecnología de la información en salud Bill & Melinda Gates Foundation: Programas educativos y de salud Mathematica participa en estas evaluaciones Otros actores: Abt Associates, American Institutes of Research, Brookings Institution, MDRC, RAND, RTI International, Urban Institute 17

18 Principales Retos para Evaluaciones de Calidad Evaluaciones anuales limitan el pensamiento estratégico sobre las inversiones en evaluación No hay muchas instituciones locales con extensa experiencia evaluando políticas sociales fuera de los Estados Unidos Faltan incentivos formales para usar los resultados de las evaluaciones Falta un vínculo entre las evaluaciones y el proceso de presupuesto Faltan evaluaciones de la evaluación Fuente: D. Levy, comunicación personal, Agosto, 2010, y adaptación de Moreno, Lorenzo, Larissa Campuzano, Dan Levy, and Randall Blair. Toward Closing the Evaluation Gap Lessons from Three Recent Impact Evaluations of Social Programs in Latin America and the Caribbean. Well-being and Social Policy, vol 5, no. 2, second semester 2009, pp

19 Otros Retos Para la Evaluación Mayores retos en países con una cultura incipiente de evaluación Hay oposición endémica a diseños experimentales en Latinoamérica Hay individuos con altas cualificaciones para diseñar evaluaciones y dirigirlas, pero se desaprovechan sus talentos Hay barreras culturales e ideas preconcebidas sobre los intereses y motivos de muchos evaluadores extranjeros Fuente: Adaptación de Moreno, Lorenzo, Larissa Campuzano, Dan Levy, and Randall Blair. Toward Closing the Evaluation Gap Lessons from Three Recent Impact Evaluations of Social Programs in Latin America and the Caribbean. Well-being and Social Policy, vol 5, no. 2, second semester 2009, pp

20 Evaluar Programas o Estrategias? La respuesta depende de cada sociedad según momento económico y político El marco institucional es clave para no evaluar lo que no necesita ser evaluado Requerimientos técnicos y capacidades son muy diferentes Decisión depende de las necesidades de política social Fuente: Desarrollo propio; y D. Levy, comunicación personal, Agosto,

21 Posibles Contribuciones a la Evaluación de Estrategias 21

22 Sinergias Capacitación de evaluadores para monitorear estrategias y programas Desarrollo y uso de sistemas de evaluación y monitoreo locales Asegurar la transparencia y credibilidad de los indicadores Considerar: Top Tier Initiative - Coalition for Evidence-Based Policy Policy Group - Poverty Action Laboratory (MIT) Bill & Melinda Gates Foundation Mathematica Fuente: Desarrollo propio en base a CONEVAL, 2008; y D. Levy, comunicación personal, Agosto,

23 Posibles Contribuciones de Mathematica Cultura de evaluación bien establecida y en crecimiento Reputación de independencia y objetividad Experiencia sintetizando resultados de evaluaciones de impacto Experiencia capacitando evaluadores Experiencia en la comunicación a tomadores de decisiones 23

24 Como Los Viajes Ilustran, Aquí Me Detengo 24

25 Para Información Adicional Investigador Senior Profesor Visitante de Asuntos Públicos e Internacionales, Woodrow Wilson School, Princeton University lmoreno@princeton.edu