Evaluación de Programas Públicos

Transcripción

1 Curso Internacional Políticas presupuestarias y gestión pública por resultados: Intercambio de experiencias" Santa Cruz de la Sierra, Bolivia 9 al 13 de abril de 2007 Evaluación de Programas Públicos Eduardo Aldunate Experto Área de Políticas Presupuestarias y Gestión Pública ILPES/CEPAL eduardo.aldunate@cepal.org

2 Qué es un Programa? programa.(del lat. programma, y este del gr. πρόγραμμα).1. m. Edicto, bando o aviso público.2. m. Previa declaración de lo que se piensa hacer en alguna materia u ocasión.3. m. Tema que se da para un discurso, diseño, cuadro, etc.4. m. Sistema y distribución de las materias de un curso o asignatura, que forman y publican los profesores encargados de explicarlas.5. m. Anuncio o exposición de las partes de que se han de componer ciertos actos o espectáculos o de las condiciones a que han de sujetarse, reparto, etc.6. m. Impreso que contiene este anuncio.7. m. Proyecto ordenado de actividades.8. m. Serie ordenada de operaciones necesarias para llevar a cabo un proyecto.9. m. Serie de las distintas unidades temáticas que constituyen una emisión de radio o de televisión.10. m. Cada una de dichas unidades temáticas. Va a comenzar el programa deportivo.11. m. Cada una de las operaciones que, en un orden determinado, ejecutan ciertas máquinas.12. m. Inform. Conjunto unitario de instrucciones que permite a un ordenador realizar funciones diversas, como el tratamiento de textos, el diseño de gráficos, la resolución de problemas matemáticos, el manejo de bancos de datos, etc.13. m. coloq. Ecuad. y Ur. Relación amorosa furtiva y pasajera.14. m. coloq. Ur. Cita amorosa.15. m. coloq. Ur. Persona con quien se tienen relaciones sexuales pasajeras. Fuente: Diccionario

3 Programa presupuestal

4 Programa: Conjunto de proyectos relacionados Resultados 2002 por tipo de Bandera Agua Potable Electrificación Drenaje 70 Piso Firme 102 Caminos 120 Educación 157 Salud 56 CCA 119 Abasto 235 Telefonía 14 Proyectos Productivos 58 1,070 banderas

5 Programa: Proyecto social sin infraestructura Apoyo Alimentario El apoyo alimentario que otorga el programa consiste en una transferencia en efectivo, a entregarse en el curso del año, cada Adulto Mayor beneficiario recibirá un subsidio de 2, (Dos mil cien pesos 00/100 M.N) anuales en un mínimo de tres exhibiciones. Apoyo para Capacitación Nutricional Los Adultos Mayores recibirán capacitación para el mejoramiento de su cultura nutricional, a través de talleres, folletos o publicaciones elaboradas por la Sedesol.

6 Ciclo de Vida de un Programa o Proyecto Se funden en el caso de programas Preinversión Inversión Operación Formulación y evaluación Cronograma Costos Cantidad Calidad Monitoreo y evaluación de proceso Evaluación de resultados e impactos Evaluación Ex-Post

7 Cómo evaluamos un programa? Evaluamos el proceso de producción de los bienes o servicios que genera (C4). Evaluamos si los bienes o servicios generados son los apropiados para solucionar el problema que le dió origen. Evaluamos los cambios directos que la entrega de los bienes o servicios ha generado en las condiciones de vida de la población. Evaluamos los cambios indirectos y efectos no previstos del programa en el mediano a largo plazo. Para ello se utiliza la Matriz de Marco Lógico

8 Dónde se utiliza? Chile: Programa de evaluacion de programas gubernamentales Mexico: Sistema de evaluación de desempeño (matriz de indicadores) Colombia: Incluida en la Metodología General Ajustada Bancos de desarrollo (BID, ADB, etc) Unión Europea ONG s

9 La Matriz de Marco Lógico Objetivos Indicadores Medios de verificación Supuestos Fin Propósito Componentes Actividades

10 Objetivos Esta columna se conoce también como Resumen Narrativo del Proyecto (Programa). Responde a las interrogantes: A que objetivo estratégico contribuye el programa? Fin Qué se espera lograr con el programa? Propósito Qué bienes o servicios se requiere producir? Cómo se producirán los Componentes? Componentes Actividades

11 Objetivos Lógica vertical del programa Si el proyecto está bien diseñado se pueden examinar los vínculos causales de abajo hacia arriba: Fin Propósito Componentes Actividades El Fin es una respuesta un problema importante en el sector, la región o el país. Si se logra el Propósito, el proyecto, contribuirá al logro del Fin. Los Componente son los necesarios y suficientes para lograr el Propósito. Las Actividades son las necesarias y suficientes para producir cada Componente.

12 Indicadores Proporcionan la base para supervisar y evaluar el proyecto. Definen metas que nos permiten conocer en que medida se cumplen los objetivos. Establecen una relación entre dos o más variables. Pueden reflejar aspectos cualitativos o cuantitativos. Entregan información cuantitativa. Fin Es recomendable acordarlos con los involucrados. Propósito Componentes Actividades Indicadores

13 Tipo de indicadores Según el tipo de información que entregan se distinguen indicadores de: Eficacia Eficiencia Calidad Economía Según el nivel de objetivos de la MML a que se asocian se distinguen indicadores de: Impacto Resultado Producto Proceso

14 Indicadores Miden a mediano y largo plazo la contribución al logro del fin (eficacia). Miden los resultados al cabo de algún tiempo de operación del programa Fin en términos de eficacia, eficiencia y economía. En ocasiones calidad. Miden eficacia, eficiencia y calidad en el logro de los componentes. A veces economía. Propósito Componentes Actividades Costo medio de operación vehícular por tipo de vía. Evolución del valor del patrimonio vial. Indicadores Porcentaje de la red vial que se conserva en de impactoun estado adecuado para el tránsito actual Costo total por Km. de camino conservado Porcentaje de ejecución presupuestaria Indicadores de resultado Porcentaje de la red vial pavimentada que cumple con tener un IRI aceptable Variación porcentual del costo por km de Indicadores reposición y por zona del país de producto Tiempo promedio para solucionar una emergencia Indicadores Nivel de satisfacción de los usuarios con la de proceso señalética de la vía. Miden el costo de las actividades. Pueden evaluar otros aspectos (C4). Costo de instalación de señales.

15 Medios de Verificación Cómo obtenemos la evidencia? Son las fuentes de información que se pueden utilizar para verificar el logro de los objetivos (cálculo de los indicadores). Pueden incluir: Estadísticas Material publicado Inspección visual Encuestas Informes de auditoría Registros contables Fin Propósito Componentes Actividades Medios de verificación

16 Supuestos Cómo incorporamos los riesgos? Cada supuesto corresponde a un riesgo que enfrenta el proyecto y que está más allá del control directo de la gerencia del proyecto. El supuesto se expresa como una condición que tiene que darse para que se cumpla la relación de causalidad en la jerarquía de objetivos. Sólo se consideran los riesgos que tengan una probabilidad razonable de ocurrencia. Fin Propósito Componentes Actividades Supuestos

17 Aporte de la MML a la fase de Preinversión Preinversión Contribuye a un mejor diseño del programa o proyecto. Obliga a pensar y definir como se evaluará el programa o proyecto. Obliga a establecer metas claras. Obliga a identificar y analizar los riesgos que enfrenta el programa o proyecto. Resume en un formato estandar las principales características del programa o proyecto.

18 Aporte de la MML a la fase de Inversión Inversión Resume las principales actividades a desarrollar y productos a entregar. Aporta indicadores que permiten un monitoreo y control gerencial. Establece como se hará el seguimiento. Ayuda a la gerencia a estar pendiente de los riesgos.

19 Aporte de la MML a la fase de Operación Operación Resume los principales aspectos del diseño del programa necesarios para evaluarlo (objetivos, metas). Indica como evaluar resultados e impactos. Ayuda a la gerencia a estar pendiente de los riesgos.

20 Proyecto: De la Ejecución a la Operación Objetivos de la Ejecución Objetivos de la Operación Fin Fin Propósito Propósito Componente Componente Actividad Actividad Monitoreo y evaluación de proceso Evaluación de resultados e impactos

21 Programa: Ejecución y Operación Mediano o largo plazo Impactos Fin Corto o mediano plazo Resultados Corto plazo Productos C4 Propósito Componente Corto plazo Procesos C4 Actividad

22 Seguimiento y evaluación Recopilar datos para el cálculo de los indicadores. Validar los datos. Calcular los indicadores. Interpretar la información. Preparar recomendaciones.

23 Recopilación de datos Detalle para medios de verificación Fuente de información Test de 10 preguntas sobre las materias tratadas en la capacitación. Método de recopilación Selección de muestra aleatoria de 45 personas capacitadas, encuesta en persona. Responsable de la recopilación Juanita Pérez Frecuencia de recopilación Por una vez, a los tres meses de concluido el último evento de capacitación. Modo de envío Correo electrónico Método de análisis Cada respuesta correcta da un punto, aprobación con siete puntos. Se calculará porcentaje de aprobación, media y desviación estandar.

24 Validación de los datos Identificar outliers Comparar con datos históricos Comparar con otros datos del período Verificar validez de datos disparados Corregir errores Eliminar aquellos datos en que no existe justificación para la desviacón.

25 Cálculo de los indicadores Poner cuidado en: Utilizar una misma moneda para indicadores relacionados con costos. Utilizar base actualizada para el cálculo de indicadores de eficacia (aumento de la población objetivo).

26 Interpretando la información Comparar valor del indicador con la meta. Analizar evolución histórica del indicador. Identificar causas de las desviaciones

27 Preparando recomendaciones Las recomendaciones deben estar fundamentadas en el análisis. Proponer acciones para materializar las recomendaciones. Analizar beneficios y costos de implementar las recomendaciones. Proponer una estrategia de implantación y seguimiento. Ser claro, preciso y conciso en la redacción.

28 Mejorando la Calidad de la Información para M&E Usar varios indicadores para cada objetivo. Combinar métodos cuantitativos y cualitativos. Promover la participación de los involucrados. Capacitación a los recopiladores de información.

29 Evaluación de programas en Chile Es una de los instrumentos de gestión por resultados aplicados en Chile. Se inició en Protocolo de acuerdo con el Congreso. Metodología: MML Hasta el año 2005 se evaluaron 172 programas.

30 Involucrados Institución responsable del programa Evaluadores externos Comite Interministerial Ministerio de Planificación Ministerio Secretaría General de la Presidencia Ministerio de Hacienda Dirección de Presupuestos M. de Hacienda Congreso Nacional

31 Metodología Preparación de información sobre el programa Elaboración de la MML del programa Selección de evaluadores (3) Revisión y modificación de la MML Cálculo de indicadores Informes de los evaluadores Comentarios a los informes Informe final comentado al Congreso Compromisos institucionales

32 Impacto de la evaluación de programas Efectos Porcentaje de los programas evaluados Ajustes menores 24 % Modificaciones importantes en componentes o procesos 34 % Rediseño del programa 24 % Relocalización institucional 5 % Término del programa 9 % Fuente: DIPRES. Período

33 Evaluaciones de impacto Se inician el Usan la misma metodología de la evaluación de programas - MML. Son realizadas por universidades o empresas consultoras. Se aplican a programas ya evalaudos en que no fue posible medir su impacto. Se realizan dos tipos de evaluaciones: Evaluaciones en profundidad Módulo de impacto

34 Compromisos institucionales Porcentaje de Cumplimiento de Compromisos Calificación MINISTERIO Parcialmente No N total Compromiso Cumplido Cumplido Cumplido Vigentes al 12/2004 AGRICULTURA 79% 20% 1% 173 BIENES NACIONALES 100% 0% 0% 15 DEFENSA NACIONAL 61% 39% 0% 38 ECONOMIA, FOMENTO Y RECONSTRUCCION 80% 16% 4% 90 DE EDUCACION 65% 26% 9% 280 DE HACIENDA 96% 4% 0% 25 DE JUSTICIA 93% 7% 0% 44 DE MINERIA 86% 14% 0% 22 DE OBRAS PUBLICAS 95% 5% 0% 38 DE PLANIFICACION Y COOPERACION 79% 14% 7% 241 DE RELACIONES EXTERIORES 50% 33% 17% 66 DE SALUD 74% 23% 3% 74 DE TRANSPORTE Y TELECOMUNICACIONES 73% 25% 2% 53 DE VIVIENDA Y URBANISMO 96% 3% 1% 77 DEL INTERIOR 73% 20% 7% 117 DEL TRABAJO Y PREVISION SOCIAL 57% 42% 1% 97 SECRETARIA GENERAL DE GOBIERNO 56% 30% 14% 189 SECRETARIA GENERAL DE LA PRESIDENCIA 80% 18% 2% 50 TOTAL 73% 21% 6% 1689 Fuente: DIPRES. Período

35 Preguntas para el taller Cual es la realidad en cuanto a evaluación de programas en sus países? Que dificultades visualizan para crear un sistema de evaluación de programas gubernamentales? Qué condiciones deben darse para que la evaluación de programas sea útil?