Evaluación de Programas Públicos en América Latina: Desafíos para mejorar el uso de la información en el Presupuesto

Transcripción

1 Planificación Estratégica Gubernamental, Presupuesto e Indicadores de Desempeño Secretaría de Estado de Economía Planificación y Desarrollo Instituto Latinoamericano de Planificación Económica y Social (ILPES). CEPAL República Dominicana. 13 al 24 de Octubre de 2008 Evaluación de Programas Públicos en América Latina: Desafíos para mejorar el uso de la información en el Presupuesto Marianela Armijo Consultora Área de Políticas Presupuestarias y Gestión Pública ILPES/CEPAL Marianela.Armijo@cepal.org 1

2 Existen varias definiciones de Evaluación en el ámbito público Proceso de medición sistemática y continua de los resultados obtenidos de un programa, proyecto, política y la comparación de esos resultados con estándares u objetivos previamente definidos OCDE. Un estudio en profundidad, que se realiza en un tiempo definido y en el cual se utilizan instrumentos de investigación en forma sistemática y analítica, para generar un juicio sobre el valor de una intervención... Evaluación del Gasto de Programas en la Unión Europea. Comisión Europea Conocimiento para la acción Mejores Prácticas para la Evaluación. Public Management Public 2

3 Los objetivos de las evaluaciones están dirigidas a: APOYAR EL PROCESO DE TOMA DE DECISIONES INFORMACION SOBRE IMPACTO DE LAS POLITICAS AYUDA A VALORAR LA CONTRIBUCION PUBLICA DE LAS ACCIONES GUBERNAMENTALES EN LA EJECUCION DE POLITICAS Y PROGRAMAS MEJORAR EL RESULTADO DE LAS INTERVENCIONES PUBLICAS Calidad gasto Público Gobernabilidad 3

4 La evaluación se aplica en varias etapas de las intervenciones públicas EX -ANTES ETAPAS Diseño de Programas y Proyectos OPERATIVA Ejecución del Programa o Proyecto, Productos, Servicios EX-POST Medición del desempeño o Impacto 4

5 Los países vienen aplicando la evaluación desde hace bastante años pero no todos con la misma continuidad Tipo de Evaluación Mandante Cobertura institucional Uso de la Información Sistematicidad Continuidad Brasil Monitoreo de Programas Públicos Marco Lógico Ministerio de Planeamiento y Presupuesto PPA Programas Federales Presupuesto Rendición de Cuentas Anual No hay evaluación de impacto institucionalizada Chile Escritorio- Programas Comprehensiva Impacto Ministerio de Hacienda Administración Pública Central Presupuesto Rendición de Cuentas Anual Continua desde 1997 Colombia Programas Impacto (Evaluaciones estratégicas) Dirección Nacional de Planeamiento SINERGIA Administración Pública Nacional Presupuesto Rendición de Cuentas Presidenciales Evaluación de Programas de Inversión.1998 Esporádica México Programas Impacto CONEVAL Secretaría de Hacienda Administración Pública Federal Transferencias Presupuesto (solo la de marco lógico Anual Perú Programas Escritorio Ministerio de Economía y Finanzas Administración Pública Nacional Presupuesto Plan Piloto

6 Se aplican diferentes metodologías de acuerdo a lo que se quiere evaluar. AMBITOS DE ACCION GUBERNAMENTAL QUE SE EVALUA METODOLOGIAS/FUENTES DE DATOS Políticas Públicas Programas Públicos Cumplimiento de compromisos, prioridades nacionales Metas nacionales, sectoriales Cumplimiento de metas de gestión y resultados finales Indicadores de Eficiencia, Eficacia, Calidad, Economía Comités Científicos de Evaluación, Paneles de Expertos EVALUACION DE IMPACTO Y EVALUACIONES DE PROGRAMAS (Escritorio, Impacto) EVALUACION DE PROGRAMAS (Escritorio, Impacto) Marco Lógico Gestión -Operacional Resultados Intermedios, desempeño de la Gestión: Eficiencia, Eficacia, Economía, Calidad Sistema de Indicadores de Desempeño Cuadro de Mando Integral EVALUACION DE PROGRAMAS Marco Lógico Inversiones Rentabilidad Social Costo-Beneficio Evaluación costo-beneficio ex-ante 6

7 Por ejemplo. Evaluación de escritorio: describir la situación del programa en un tiempo corto, a través de la sistematización de la información disponible (Marco Lógico) Evaluación de impacto: logros finales de los efectos esperados por el Programa en el grupo de beneficiarios al cual está dirigido. Si se ha resuelto el problema que justifica la acción pública Evaluación costo efectividad: conocer la relación entre la eficacia del programa como resultado final en los beneficiarios y los costos que se incurre para alcanzar dicho resultado. 7

8 Ámbitos de la evaluación de Programas (escritorio) Justificación del Programa Diseño. Organización y Gestión.. Resultados: Eficacia, Eficiencia, Economia, Calidad Sostenibilidad/Continuidad. Conclusiones y Recomendaciones. 8

9 Metodología: Marco Lógico 9

10 EVALUACION DE IMPACTO

11 Preguntas que se hace la Evaluación de Impacto Efectos de mediano y largo plazo sobre la población beneficiaria que espera obtener el Programa Cuáles serán los beneficios con que quedará la población beneficiaria una vez que concluya su participación en el programa? Incremento en el nivel de remuneraciones Reducción de la tasa de morbilidad de menores beneficiados con un programa de vacunación Aumento del rendimiento escolar de los alumnos participante en un programa de reforzamiento educativo 11

12 Objetivos de la evaluación de impacto Conocer si el programa produjo los efectos deseados en los beneficiarios. Conocer si los cambios observados en los beneficiarios, pueden asociarse a los efectos del programa (causalidad). Cómo debiera mejorarse el programa para maximizar sus beneficios en las variables de impacto? 12

13 Se intenta vincular la información de evaluación con la planificación y el presupuesto.

14 Planificación y Proceso Presupuestario: Mecanismos de articulación y uso de Evaluación de Programas Plan Nacional de Desarrollo: TIPOS DE INDICADORES Indicadores Macro nivel país Tasa de disminución de pobreza, marginalidad Tasa de creación de empleo Tasa de dismunución de los delitos Indice de Calidad Educativa Indicadores de Morbilidad Ámbitos de Seguimiento y Evaluación PRIORIDADES NACIONALES Fuentes de Datos y Metodologías Estadísticas Nacionales Evaluaciones de Impacto Encuestas, Paneles, etc. Planes Sectoriales TIPOS DE INDICADORES Indicadores de Impacto y de resultados intermedios de los Programas Sectoriales Tasas de Desnutrición Deserción escolar Disminución de déficit viviendas, etc. PRIORIDADES SECTORIALES Estadísticas Nacionales Evaluaciones de Impacto Evaluaciones Cualitativas Planes Institucionales TIPOS DE INDICADORES Indicadores de Impacto, Resultados Intermedios, Productos y Procesos (Eficacia, eficiencia, calidad) Programas Presupuestarios TIPOS DE INDICADORES FINES Y OBJETIVOS ESTRATEGICOS Plan Estratégico Institucional Evaluaciones de Impacto Evaluaciones de Programas (Marco Lógico) Sistema de Seguimiento y Evaluación de Desempeño Indicadores de Resultados Intermedios, Productos y Procesos (Eficacia, Eficiencia, calidad), Insumos. OBJETIVOS ESTRATEGICOS, METAS DE PRODUCTOS Y PROCESOS Plan Estratégico y Plan Operativo Evaluaciones de Programas (Marco Lógico) Sistema de Seguimiento y Evaluación de Desempeño 14

15 A pesar de los avances y del uso de la evaluación.. Persisten debilidades como instrumento de apoyo a la Planificación y Presupuesto

16 Algunas de las principales debilidades Las evaluaciones realizadas en general no son insumos de procesos regulares de planificación y presupuesto Escasa institucionalización de las evaluaciones de programas e impacto Se aplican evaluaciones de impacto en la mayoría de los programas sociales con financiamiento externo Los resultados de la evaluaciones muchas veces son Controvertidos Escasa evidencia de que los informes de evaluación de programas (sus resultados) sean utilizados en la toma de decisiones de políticas o programas públicos Los resultados de las evaluaciones de Porgramas Públicos son extemporáneos al Ciclo Presupuestario Las evaluaciones de programas operan principalmente como insumo a nivel micro, no contribuyen a la evaluación de políticas 16

17 Algunas de las principales debilidades Escasos mecanismos de validación y /o certificación de las metodologías utilizadas en las evaluaciones Escasamente focalizados y estratégicos Varían intertemporalmente Los indicadores de desempeño de los Programas son poco confiables. y se dificulta su seguimiento e insumo para la evaluación No auditables 17

18 Por lo tanto los desafíos no son menores.algunos de ellos.. Involucramiento político con la evaluación (Gobierno, partidos políticos, legislativo, ciudadanía) Retroalimentación para la toma de decisiones de política pública (arreglos institucionales y técnicos) Fortalecimiento de las capacidades técnicas de los mandantes 18

19 Por lo tanto los desafíos no son menores.algunos de ellos.. Desarrollo de metodologías adecuadas (que permitan el uso de la información en el ciclo presupuestario y de rendición de cuentas) Resolver tema costo, tiempo v/s utilización de la información y sentido de la evaluación 19