Sistema de Evaluación de Programas e Instituciones Públicas

Transcripción

1 Sistema de Evaluación de Programas e Instituciones Públicas Paula Darville Jefa División de Control de Gestión Dirección de Presupuesto, Ministerio de Hacienda Enero 2016

2 Presupuesto por Resultados El concepto de Presupuesto por Resultados o PpR es utilizado por los países de la OCDE, y consiste en que a través de distintas técnicas se busca integrar información de desempeño al proceso presupuestario, relacionando asignación de recursos con resultados medibles. La opción de Chile ha sido establecer un PpR bajo la categoría de Presupuesto informado, a través del diseño e implementación de un Sistema de Evaluación y Control de Gestión del Gobierno Central. En este sistema la información de desempeño es utilizada para informar y mejorar la toma de decisiones en el proceso presupuestario, la asignación y uso de los recursos públicos y con ello la calidad del gasto y la gestión pública.

3 Sistema de Evaluación Sistema dependiente de la Dirección de Presupuestos del Ministerio de Hacienda que ha implementado distintas líneas de evaluación de manera gradual, cuyo objetivo general es entregar evidencia e información relevante para mejorar asignación y uso de recursos, contribuyendo así a mejorar la calidad del gasto público. Marco Legal : Protocolo de Acuerdo Congreso Ley de Administración Financiera y su Reglamento (2003)

4 Sistema de Evaluación Principios orientadores de las evaluaciones Independientes (externas) Transparentes (resultados de carácter público) Confiables (calidad técnica) Pertinentes (mejorar eficiencia gasto público) Oportunas (ciclo presupuestario)

5 Sistema de Evaluación Se inició en Evalúa objetivos declarados o resultados esperados de los programas en ejecución. Relacionadas con el ciclo presupuestario. Programas seleccionados en conjunto con el Congreso. Evaluación desarrollada por evaluadores independientes elegidos a través de concurso público (paneles de expertos o universidades y consultoras). Evaluadores con autoridad para solicitar información, encargar estudios. Contrapartes en ministerios/servicios responsable de programa en evaluación. Sus resultados se informan en la elaboración del presupuesto, se envían al Congreso y se publican en pagina web. Compromisos de mejora como resultado de las recomendaciones de la evaluación. Seguimiento a través de acuerdos formales entre DIPRES e Institución Evaluada.

6 LÍNEAS DE EVALUACIÓN Evaluación de Programas Evaluaciones de Programas Gubernamentales (EPG) (1997) Evaluación de diseño y gestión de un programa, y resultados a nivel de producto (cobertura, focalización, entre otros). Utiliza sólo información disponible. Realizada por un panel de evaluadores externos, aprox. 7 meses de duración. Evaluaciones de Impacto (EI) (2001) Permite evaluar resultados intermedios y finales en los beneficiarios, utilizando metodologías cuasi-experimentales, construyendo grupos de control y línea de base. Realizada por un entidad evaluadora externa, aprox. 14 meses de duración. Evaluación de Programas Nuevos (EPN) (2009) Diseña la evaluación desde que se inicia o planifica un nuevo programa público, estableciendo líneas bases y utilizando preferiblemente diseño experimental. Realizado con apoyo Panel Internacional Asesor,

7 LÍNEAS DE EVALUACIÓN Evaluaciones Institucionales Evaluaciones del Gasto Institucional (EGI ex ECG) (2002) Evalúa una o más instituciones, abarcando aspectos de su diseño institucional, consistencia con las definiciones estratégicas, gestión, resultados y uso de los recursos. Realizada por un entidad evaluadora externa, aprox. 12 meses de duración.

8 PROGRAMA DE EVALUACIÓN: Línea Evaluación 1997 a a a Total 1. Evaluación Programas Gubernamentales Evaluación del Gasto Institucional Evaluación de Impacto Evaluación Programas Nuevos Total General % en desarrollo. Durante el presupuesto total evaluado alcanza a un 47%.

9 Evaluaciones finalizadas de Programas (EPG Impacto) Años Buen Desempeño (BD) Categoría de Resultados El programa presenta resultados positivos y significativos a nivel intermedio y final, así como también en las dimensiones diseño, gestión y producto. Desempeño Suficiente (DS) El programa tiene resultados positivos que dan cuenta de sus objetivos, sin embargo presente debilidades en alguna(s) de las dimensiones evaluadas. Desempeño Insuficiente (DI) El programa presenta resultados insuficientes y/o muestra debilidades en las dimensiones evaluadas que no le permiten dar cuenta de sus objetivos. Resultados no Demostrados (RnD) TOTAL 18% La evaluación no entrega información suficiente que permita obtener resultados concluyentes respecto del desempeño del programa. TOTAL (67) 100% 1% 27% 54%

10 Sistema de Evaluación Cumplimiento de Compromisos de las Evaluaciones de Programas e Instituciones al 30 de Junio de 2015, por Ministerio Años Ministerio Cumplido Parcialmente Cumplido No Cumplido Traspaso de Compromisos N Total de Compromisos a Junio 2015 Ministerio de Agricultura 100% 0% 0% Ministerio de Defensa 100% 0% 0% Ministerio de Economía 99% 1% 0% Ministerio de Educación 100% 0% 0% Ministerio de Relaciones Exteriores 100% 0% 0% Ministerio de Hacienda 100% 0% 0% Ministerio del Interior y Seguridad Pública 96% 1% 2% 1% 370 Ministerio de Justicia 98% 1% 1% Ministerio de Desarrollo Social 98% 1% 0% 1% 643 Ministerio de Minería 100% 0% 0% - 49 Ministerio de Obras Públicas 89% 7% 4% Ministerio de Salud 96% 3% 1% Ministerio Secretaria General de Gobierno 92% 0% 0% 8% 273 Ministerio de Secretaría General de la Presidencia 100% 0% 0% - 31 Ministerio de Trabajo y Previsión Social 96% 0% 0% 4% 274 Ministerio de Transporte y Telecomunicaciones 98% 2% 0% - 97 Ministerio de Vivienda y Urbanismo 92% 3% 5% Ministerio de Bienes Nacionales 100% 2% 0% - 46 Ministerio de Energía 83% 0% 17% - 41 Ministerio del Medio Ambiente 100% 0% 0% 87 Total General 97% 1% 1% 1% 5.170

11 EVALUACION EX POST: EJEMPLOS - Programas de Infraestructura Educacional (Evaluación de Programas Gubernamentales 2015) - Categoría de Resultados: Desempeño Insuficiente DESCRIPCION Su propósito es que los establecimientos educacionales (Tradicionales Municipales y Subvencionados) cuenten con infraestructura, equipamiento y mobiliario que se adapte a los objetivos del proyecto educativo de estos establecimientos. RESULTADOS & EFECTOS Los programas actúan como un fondo, cuyo diseño plantea la entrega de recursos en base a demanda de los sostenedores de los establecimientos educacionales, quienes hacen su solicitud según un diagnóstico propio y a un proyecto educativo. Ello considera como supuesto implícito que los sostenedores tienen similar capacidad de gestión y conocimiento de sus necesidades. No cuentan con un sistema de seguimiento y monitoreo, sólo se identifican acciones básicas de seguimiento de los convenios firmados para realizar los desembolsos respectivos, todo lo cual no permite tener una medición concreta de la infraestructura construida/reparada a partir de estos recursos. El presupuesto 2016 reflejará una reducción cercana al 73% de 2 de los 3 programas evaluados.

12 EVALUACION EX POST: EJEMPLOS - Programas Mas Capaz (Evaluación de Programas Gubernamentales 2015) - Categoría de Resultados: Desempeño Insuficiente DESCRIPCION Jóvenes, mujeres y personas con discapacidad en situación de vulnerabilidad, se insertan en puestos de trabajo de calidad, ya sea en el mercado laboral como dependientes o a través de la consolidación de emprendimientos RESULTADOS & EFECTOS Con respecto a la población potencial y el establecimiento de metas ( capacitados para el periodo ), el programa no establece la relación entre ellas de acuerdo a un criterio técnico, basado, por ejemplo, en la proporcionalidad de las condiciones laborales de la población potencial (no establece población objetivo). Esto último, tiene consecuencias directas sobre los resultados del programa, ya que no es lo mismo que al término del periodo presidencial (2018) se incorporen inactivos a la fuerza de trabajo, a que se capaciten desempleados y ocupados con empleo precario -impactos macroeconómicos diversos. Si bien el presupuesto 2016 no reflejó una disminución sustancial para el programa, los compromisos están orientados a definir y cuantificar la población objetivo a atender durante los cuatro años que se proyecta el programa, distinguiendo anualmente entre la población económicamente activa y la población inactiva.

13 EVALUACION EX POST: EJEMPLOS - Jardines Infantiles (JUNJI) (Evaluación de Programas Gubernamentales 2015) - Categoría de Resultados: Desempeño Insuficiente DESCRIPCION Su propósito es que niños y niñas, preferentemente entre 0 y 4 años de edad, de los quintiles I, II y III de la FPS, como también aquellos que estén bajo algún criterio de vulnerabilidad, reciban educación parvularia de calidad. RESULTADOS & EFECTOS Se observa una subutilización de la capacidad instalada. Para el año 2014, la matrícula promedio alcanza alrededor del 92% de la capacidad de los establecimientos, no obstante, para el mismo año la asistencia promedio mensual sobre la capacidad instalada es del 60% para AD y 70% para VTF. El programa cubre aproximadamente el 10% de la población potencial, sin embargo, el 72% de los niños/as entre 0-4 años no asiste, dado que las madres, no importando su nivel de ingreso, prefieren no enviar a sus hijos a un centro educacional, especialmente a nivel sala cuna (CASEN 2013). Pese al resultado de la evaluación, se estima que los recursos asignados para el periodo 2016 aumentarán en cerca de un 18%. Sin embargo, en términos de recursos disponibles para infraestructura (iniciativas de inversión), el presupuesto 2016 se redujo en cerca del 50%.

14 EVALUACION EX POST: EJEMPLOS - PLAN CUADRANTE (CARABINEROS DE CHILE) (Evaluación de Programas Gubernamentales 2014) - Categoría de Resultados: Desempeño Suficiente DESCRIPCION Su propósito es satisfacer las demandas de seguridad de la comunidad a nivel urbano. RESULTADOS & EFECTOS Los resultados de la evaluación muestran que existe una baja tasa de uso de los vehículos policiales, lo cual podría estar explicando los déficits también detectados en coberturas de demandas policiales, patrullajes preventivos y tiempo de respuesta en los procedimientos. Esta subutilización estaría asociada a la ausencia de seguros de cobertura a los daños asociados ocurridos durante el cumplimiento del servicio por parte de carabineros, desincentivando el uso de éstos (hipótesis de causalidad). A partir de este hallazgo, se detecta un espacio de mejora, el cual se materializó en un compromiso dirigido a realizar una experiencia piloto que permita obtener juicios evaluativos en el efecto de un seguro de accidentes sobre la tasa de uso de los vehículos policiales.

15 Desafíos para mejorar el uso de las evaluaciones: Experiencia de Dipres Ámbito de la Evaluación Debilidad en la formalización de los programas atenta contra una base sólida para la evaluación y la aceptación de sus resultados. Contrapartes institucionales no necesariamente reconocen la evaluación como parte inherente a la ejecución de un programa público. Manejo de conceptos de evaluación, por parte de las contrapartes institucionales. Disponibilidad de información necesaria para llevar a cabo una evaluación de calidad (elementos tanto técnicos como jurídicos). Estructura de la ley no facilita análisis por programa.

16 Desafíos para mejorar el uso de las evaluaciones: Experiencia de Dipres Ámbito del uso de las Evaluaciones: Similares resultados en proceso evaluativo, no necesariamente conllevan a resultados presupuestarios iguales. Débil uso de tomadores de decisiones presupuestarias como herramienta de decisión. Elementos legales imponen rigideces a la utilización e implementación de presupuesto por resultados: causa efecto. Informalidad de la estructura de los programas públicos no permite, en ocasiones, implementar las mejoras levantadas en la evaluación. Ámbito Institucional: Objetivos del programa de evaluación : efectos presupuestarios o aumentar la eficiencia en la ejecución de los programas? ambos? Distintos paradigmas de institucionalidad de la evaluación y sus respectivos tradeoff. Donde se ubica la institucionalidad en Chile: Ventajas y Limitaciones.

17 Sistema de Evaluación y Control de Gestión

18 Gracias.