Sociales y Formulación de un Plan de Acción: Aplicación de la Herramienta EME/Soc en El Salvador, Honduras y Panamá

Transcripción

1 Diagnóstico del Sistema de Monitoreo y Evaluación de Programas Sociales y Formulación de un Plan de Acción: Aplicación de la Herramienta EME/Soc en El Salvador, Honduras y Panamá Juan Abreu, Frederic Martin, Patricia Reinosa y Fransesca Lamana Pour un secteur public performant For public sector performance Por la excelencia del sector público

2 1. Contexto: la SISCA y el M&E de programas de protección social en Centroamérica 1. Objetivos y alcance de la SISCA 2. M&E: punto débil de la GpR en la región LAC (García López y García Moreno, 2010) 3. Proyecto de la Secretaria de la Integración Social Centro americana (SISCA) y del Banco mundial: Fortalecimiento de gestión basada en los resultados en el sector de protección social en América Central 4. Informe concepto de Ray Rist sobre la evaluación de los sistemas de M&E (2009) 5. Desarrollo de una herramienta genérica por el Instituto t IDEA (I- EME) ( ) 6. Adaptación al contexto particular de programas de protección social con la participación i ió de profesionales de la SISCA, de 3 países piloto: El Salvador, Honduras y Panamá, del Banco mundial y de IDEA: la herramienta EME/SOC ( )

3 1. Concepto de la Herramienta de Evaluación del Monitoreo y Evaluación de Programas Sociales (EME/Soc) 1. Orientar la realización de un diagnóstico del estado actual del sistema de monitoreo y evaluación (M&E) de programas de protección social (individual, categoría, sector) 2. Facilitar la preparación de un plan de mejoramiento del sistema de M&E 3. Hacer benchmarking y repetir la aplicación de la herramienta cada 3 años (modelo PEFA)

4 2. Enfoque HERRAMIENTA DE DIAGNÓSTICO Y MEJORAMIENTO DEL SISTEMA DE MONITOREO Y EVALUACIÓN DE PROGRAMA DE PROTECCIÓN SOCIAL (EME/SOC) PROGRAMA Programa de Atención Temporal al Ingreso - PATI PARTE 1: DIAGNÓSTICO DIMENSIÓN 4 : MONITOREO ACTUAL DEL PROGRAMA Análisis de los resultados D4 Desempeño actual del componente de monitoreo del programa Práctico Orientado a resultados Estructurado y balanceado Sencillo, rápido y amigable Participativo Indicadores de desempeño 4.1 Existencia, calidad y uso del monitoreo de la ejecución física del programa 4.2 Existencia, calidad y uso del monitoreo de la ejecución financiera del programa 4.3 Existencia, calidad y uso de la supervisión de los ejecutores del programa 4.4 Existencia, calidad y uso del monitoreo de resultados del programa 4.5 Existencia, calidad y uso del sistema de información para el monitoreo del programa Grado Grado promedio para la dimensión Todos los indicadores de desempeño que tienen grados por debajo de 1.5 aparecen en rojo e indican áreas prioritarias de trabajo. Los indicadores con grados entre 1.5 y 2.4 aparecen en color amarillo e indican áreas para el fortalecimiento. Los indicadores con grados de 2.5 y más aparecen en color verde e indican áreas que buen desempeño que requieren de sostenibilidad Existencia, calidad y uso del sistema de información para el monitoreo del programa 4.4 Existencia, calidad y uso del monitoreo de resultados del programa 41Eit 4.1 Existencia, i calidad d y uso del monitoreo de la ejecución física del programa 3.0 HERRAMIENTA DE DIAGNÓSTICO Y MEJORAMIENTO DEL SISTEMA DE MONITOREO Y EVALUACIÓN DE PROGRAMA DE PROTECCIÓN SOCIAL (EME/SOC) PARTE 2: PLANIFICACIÓN Pasos Existencia, calidad y uso del monitoreo de la ejecución financiera del programa 4.3 Existencia, calidad y uso de la supervisión de los ejecutores del programa Pasos P1 P2 P3 P4 P5 Definiciones Identificación de las acciones más importantes existentes o planificadas relacionadas con el M&E Identificación de acciones importantes adicionales deseables para mejorar el M&E Selección de las acciones prioritarias Caracterización de las acciones prioritarias Establecer los objetivos en términos de los resultados esperados de las acciones prioritarias en grados de indicadores MESOC de Protección Social

5 3. Organización institucional Cada país decide de la organización institucional adecuada para implementar la EME/Soc Se sugiere tres (3) tipos de mecanismos institucionales a nivel de cada país: Comité supervisor EME/Soc Equipo técnico EME/Soc Foro EME/Soc

6 4. Proceso de implementación Fase de diagnóstico: 1. Conformación institucional 2. Capacitación ió del equipo técnico y revisión ió de la herramienta 3. Administración de la fase diagnóstico de la EME/Soc por el equipo técnico EME/Soc y preparación de un diagnóstico preliminar síntesis 4. Reunión del foro EME/Soc en un taller central para discusión ypre-validación del diagnóstico con todos los actores nacionales (1-1,5 días) 5. Revisión del diagnóstico por el equipo técnico EME/Soc en función iónde los resultados del lforo 6. Validación oficial de la parte diagnóstico por el comité supervisor EME/Soc de cada país

7 4. Proceso de implementación (cont ) Fase de Planificación: 7. Preparación de la versión preliminar del plan de mejoramiento del sistema de M&Ed del programa mediante un taller técnico 8. Reunión del foro EME/Soc para discusión, busca de consenso y pre-validación del plan de mejoramiento del sistema de M&E 10. Revisión ió del plan por el equipo técnico EME/Soc en función de los resultados del foro 11. Validación oficial del plan de mejoramiento por el comité supervisor EME/Soc 12. Diseminación de los resultados, lecciones aprendidas y buenas prácticas entre los países de la región Centroamérica

8 5. Estructura y enfoque técnico de la EME/Soc 5 dimensiones de diagnóstico 25 indicadores 94 sub-indicadores Escala ordinal de 1 a 3 9 casos típicos de preguntas/respuestas

9 6. Aplicación piloto a 3 Programas sociales de TMC Programa de Atención Temporal al Ingreso (PATI) en El Salvador (presentado) Programa Bono 10 Mil en Honduras Programa Red de Oportunidades (RdO) en Panamá D-2 Marco legal y mecanismos institucionales D-1 Precondiciones

10 D-3 Plan y Presupuesto para el M&E D-4 Monitoreo actual D-5 Evaluación actual

11 7. Resumen de los resultados preliminares del diagnostico Situación diferente según el país/el programa/el tiempo de ejecución del programa; mejor a nivel técnico para programas con financiamiento exterior; fragilidad institucional Línea de base del sistema de M&E baja a baja-media, confirmando el análisis de García López y García Moreno, y reflejando la poca importancia que todavía se acuerda al M&E Mejores resultados en monitoreo que en evaluación Todavía poca planeación del sistema de M&E Etapa actual: crear herramientas y mecanismos, mas que mejorar su calidad y el uso de productos de M&E Pocas capacidades en M&E (niveles estratégico, de gestión, ejecutores, regiones)

12 8. Lecciones preliminares aprendidas sobre la administración de la EME/Soc Retos: Desafíos adicionales en el área social de apreciación de los resultados Identificación de los evaluadores pertinentes y participación Rotación del personal y falta de memoria institucional Insuficiencia de la cultura de M&E Aplicabilidad, amigabilidad, y eficiencia de la herramienta Control de la subjetividad en las respuestas a través de: Mas caracterización de las respuestas que deben corresponder a hechos o situaciones predefinidas Foro amplio de actores/evaluadores combinado a la formulación del plan de acción