Desafíos para la Toma de Decisiones Basadas en la Evidencia La Experiencia Chilena Principales Características del Diseño, Implementación y Uso de la Información del Sistema de M&E PRODEV- BID Bogotá, Noviembre 2009 Marcela Guzmán
Principales Características del Sistema de M&E Mecanismos y Definiciones Adoptadas para Disponer de Información de Desempeño de Programas e Instituciones Públicas Marcela Guzmán
Principales Mecanismos y Definiciones Adoptadas para Disponer de Información de Desempeño de Programas e Instituciones Públicas Chile no ha sido una excepción en su preocupaciones por mejorar la calidad del gasto público Desde inicios de los años 90 surgieron en el Ministerio de Hacienda las primeras iniciativas A partir del año 2000 se ha denominado Sistema de Control de Gestión y Presupuestos por Resultados
Principales Mecanismos y Definiciones Adoptadas Existencia de diferentes instrumentos de recolección de información de desempeño. La experiencia ha mostrado que sólo uno es insuficiente para obtener la necesaria información que permita conocer el funcionamiento y resultados de muchas de las acciones públicas. Combinación de instrumentos. Los instrumentos se basan en metodologías y formatos de diferentes grados de complejidad y alcance temático, lo que genera diferentes tipos de información costos de generarla tiempos para obtenerla y posibilidades de usos
Principales Mecanismos y Definiciones Adoptadas La construcción del sistema ha utilizado el proceso presupuestario, en consideración a la oportunidad que ofrece El proceso presupuestario es una de las rutinas fundamentales de las organizaciones públicas. Incluye ciclo anual estructurado en torno a etapas bien definidas desarrollo de cada etapa fuertemente normado Las rutinas son también fuente de aprendizaje Cambios en procesos del ciclo presupuestario pueden producir cambios importantes en el comportamiento de los agentes públicos
Principales Mecanismos y Definiciones Adoptadas Modalidad de uso no mecánica ni directa de la información de desempeño en las decisiones presupuestarias El uso de la información considera también otras categorías de información, tales como las prioridades político - programáticas y las restricciones que impone la política fiscal La información de desempeño es integrada a un proceso de toma decisiones que es técnico político. No obstante que las iniciativas surgieron desde niveles técnicos del Ministerio de Hacienda y no desde órganos centrales como la Presidencia o el Congreso ha existido voluntad política en las instituciones que lideran el proceso Información pública a través del envío de reportes con información al Congreso y su exposición en el sitio web de la Dirección de Presupuestos (www.dipres.cl)
Principales Mecanismos y Definiciones Adoptadas Desarrollo gradual. Desde el año 1993. instrumentos, procesos y efectos en la primera etapa experimentaron una lenta evolución, y en algunos aspectos incluso retrocesos la gradual incorporación de instrumentos permitió aprender, corregir, perfeccionar, socializar y generar una masa crítica base para una mayor sostenibilidad del sistema Diseño de institucionalidad y conducción desde el Ministerio de Hacienda. El sistema cuenta con una identificación de actores institucionales, funciones y atribuciones instituciones o Servicios Públicos cubiertos por los instrumentos comités interministeriales conformados para la aplicación del sistema, donde el Ministerio de Hacienda a través de la Dirección de Presupuestos tiene el rol de dirección y coordinación
Instrumentos del Sistema de M&E Marcela Guzmán
M&E Requisitos: Pertinencia, veracidad, oportunidad, legitimidad, eficiencia No se conoce ningún instrumento que por sí sólo cumpla con todos los requisitos que exige Por esta razón cuando se habla de sistemas de monitoreo y evaluación, se entiende que éstos involucran la combinación de instrumentos y procedimientos Los instrumentos básicos son los indicadores y las evaluaciones
M&E los indicadores corresponden a algoritmos matemáticos o formulas de medición que entregan una valoración cuantitativa del desempeño, pero que por si solos no lo explican las Evaluaciones corresponden a estudios, exámenes o revisiones técnicas, que haciendo uso de un conjunto de información según un marco metodológico, tienen por finalidad construir valoraciones y encontrar factores explicativos a estas valoraciones o juicios evaluativos respecto de: o programa o conjunto de programas o una institución
M&E Las evaluaciones se diferencian de los procesos de monitoreo, los que suelen ser: parte de procesos internos de gestión programática más regulares y que utilizan mediciones a través de indicadores, principalmente de procesos y productos Monitoreo y evaluación son complementarios e indispensables para mejorar la calidad de las instituciones y de los programas que éstas ejecutan
Evaluación Instrumento Central del Sistema del Sistema M&E y de Presupuestos por Resultados en Chile Ha pasado a ser una de las piezas más importantes del sistema dado el tipo de información que produce ha permitido un uso más intensivo en los procesos de toma de decisiones ha facilitado el proceso de informar a actores externos ha entregado una base para efectuar seguimiento a los cambios que los programas han necesitado introducir, de acuerdo a los hallazgos y recomendaciones ha sido un espacio de aprendizaje para las unidades organizacionales evaluadas, y también ha contribuido al desarrollo de competencias de los equipos de trabajo Tan importante ha sido el rol de la evaluación en el caso chileno que no es posible concebir un modelo de presupuesto por resultados que carezca de esta herramienta
Oferta de Evaluaciones Metodologías Marcela Guzmán
Evaluaciones de escritorio basadas en la Matriz de Marco Lógico (MML) Se inició en el año 1997 MML es una herramienta que permite el análisis del ordenamiento, consistencia y cumplimiento de los objetivos (fin, propósito, componente y actividades) del programa El análisis de la MML se complementa con la revisión de un conjunto de tópicos Se desarrolla usando documentación existente y observaciones puntuales en terreno
MATRIZ DE MARCO LÓGICO OBJETIVOS INDICADORES /METAS MEDIOS DE VERIFICACIÓN SUPUESTOS ( O FACTORES EXTERNOS) FIN PROPÓSITO COMPONENTES ACTIVIDADES
Evaluaciones de escritorio basadas en la MML Temas Específicos, complementarios Justificación/ continuidad del problema (diagnóstico inicial/actual) Diseño. Consiste en el ordenamiento y consistencia del programa considerando sus definiciones de fin y propósito (objetivos), y componentes y actividades. Lo anterior considera la justificación inicial del programa y evolución del diagnóstico.. Aspectos de gestión tales como : modalidad de selección de beneficiarios sistemas de seguimiento y monitoreo coordinación intra e interinstitucional modalidades de delegación o desconcentración administración de compras administración financiera administración de reclamos y entrega de información rendición de cuentas
Evaluaciones de escritorio basadas en la MML Temas Específicos, complementarios Resultados. La evaluación de resultados o desempeño se centra fundamentalmente en la evaluación de la eficacia, eficiencia y economía del programa, observando sus procesos, productos y resultados intermedios y finales (considerando la información disponible). Aspectos de sostenibilidad institucional tales como: apoyo político- institucional disponibilidad de recursos institucionales para la operación (humanos, tecnológicos, etc) liderazgo, legitimidad, credibilidad motivación del (o de los) equipo(s) ejecutor.. financieros,
Evaluación de Impacto Se inició en el año 2001 Mide los resultados finales o efectos netos de un programa en los beneficiarios Estima/calcula diferencias respecto de líneas bases (diagnóstico inicial). Compara estas diferencias respecto de grupos de control para aislar efectos externos Utiliza además otras técnicas cuantitativas para tratar la información y obtener precisión en las mediciones. Requiere de trabajo en terreno
Evaluación Comprehensiva del Gasto (ECG) Se inició el año 2002 Corresponde a una evaluación de la totalidad de una organización o agencia Utiliza principalmente información disponible, datos o. antecedentes existentes posible de sistematizar en el período de duración de la evaluación, entrevistas a actores claves y la aplicación de estudios cualitativos simples tiene por objeto evaluar el conjunto de programas y procedimientos que administra, ordenados en los siguientes tópicos o categorías de información
Diseño institucional Evaluación Comprehensiva del Gasto consistencia entre las prioridades gubernamentales, la misión, los objetivos estratégicos, los productos estratégicos y sus beneficiarios (matriz de definiciones estratégicas, MDE) la racionalidad de la estructura institucional y la distribución de funciones entre las unidades de trabajo. que componen el organismo o agencia Gestión institucional capacidad institucional (profesional, tecnológica, organizacional, etc.) y mecanismos o procedimientos de gestión aplicables y relevantes a la organización en áreas tales como: coordinación y asignación de responsabilidades asignación, transferencias de recursos y modalidades de pago auditoría, rendición de cuentas y transparencia en el uso de recursos; instrumentos de monitoreo y evaluación, y criterios de focalización y/o selección de beneficiarios
Evaluación Comprehensiva del Gasto Resultados y uso de recursos. Consiste en la evaluación de los resultados de productos y subproductos estratégicos, vinculando estos resultados con los recursos asignados para la provisión de estos beneficios (costo efectividad).
Diseño Evaluación de Nuevos Programas Se introdujo en el año 2009 Desarrolla el diseño de la evaluación de nuevos programas públicos en su momento inicial o ex ante El objeto es disponer desde el inicio de los elementos e información básica que permitan. medir los efectos finales o impacto en los beneficiarios, una vez que el programa se encuentre en ejecución El diseño considera: la identificación de la línea base respecto de las variables que se pretende afectar con la intervención la construcción del grupo de control
Diseño Evaluación de Nuevos Programas El desarrollo de esta línea de evaluación ha considerado disponer del apoyo técnico de un Panel Asesor Internacional Lo conforman prestigiosos académicos y de gran experiencia en el área de las evaluaciones. de impacto.
Evaluación Número de Programas o Instituciones 1997-2009 Metodología Programas Existentes 304 Rápida o de escritorio 217 +20 = 237 Impacto 59 +8 = 67 Instituciones Comprehensiva del gasto 32 +6 = 38 Programas nuevos Diseño de Evaluación de Impacto 5
EVALUACIÓN (existentes) PROCESO Selección de Programas/Instituciones Selección de Evaluadores Preparación de Antecedentes Capacitación y Preparación Marcos Lógicos Preliminares Evaluación. Resultados Recomendaciones Envío al Congreso Compromisos Institución / Ministerio de Hacienda Acciones Específicas Plazos Seguimiento
EVALUACIÓN Rol de las Instituciones Evaluadas Recolectar la información del programa para su entrega al equipo evaluador Participar en actividades de entrenamiento respecto de los principales aspectos de la metodológica a utilizar y respecto del rol de las evaluaciones en la gestión y presupuestos por resultados. Preparar la MML del programa y MDF de la organización para su entrega al panel evaluador como información base Participar en todas aquellas reuniones que soliciten los evaluadores y la Dirección de Presupuestos, para analizar aspectos técnicos del funcionamiento del programa
EVALUACIÓN Rol de las Instituciones Evaluadas Analizar y emitir comentarios a los informes intermedios y finales Elaborar una respuesta respecto de los resultados de la evaluación, en forma adicional a las observaciones efectuadas a lo largo de su proceso Participar en el proceso de fijación de compromisos institucionales de mejoramiento de los programas. o instituciones evaluadas, sobre la base de las recomendaciones de la evaluación, fijando acciones concretas, y plazos para su realización. Informar semestralmente del cumplimiento de los compromisos de mejoramiento de los programas, y entregar toda la información necesaria para verificar el cumplimiento
Uso y Aplicaciones PRODEV- BID Bogotá, Noviembre 2009 Marcela Guzmán 2009
Independientemente de la metodología, las evaluaciones deben presentar conclusiones y recomendaciones, identificando: las debilidades e insuficiencias que afectan los resultados del programa y, consistentemente sugerencias de acciones para mejorar su desempeño en aspectos institucionales-organizacionales programáticos y/o de gestión (operativos)
Formas de uso de la información Integración de la información al ciclo presupuestario Revisión de los resultados de las evaluaciones en la Dirección de Presupuestos del Ministerio de Hacienda. Efectos: orientaciones para establecer compromisos de mejoramiento de los programas o instituciones evaluadas efectos presupuestarios derivados de ajustes a componentes si corresponde a los hallazgos de la evaluación, o ampliaciones si estos hallazgos así lo validan y se dispone de los recursos financieros (nuevos o reasiganciones) Incorporación de los antecedentes de las evaluaciones en las reuniones de Comisiones Técnicas durante el proceso de formulación de presupuestos, para analizar y fundamentar decisiones en el trabajo Dirección de Presupuestos - ministerios
Formas de uso de la información Integración de la información al ciclo presupuestario Presentación de la información de las evaluaciones al Congreso junto con el proyecto de ley de presupuestos, y en el Informe Anual de Finanzas Públicas Presentación de la información en la Evaluación de la Ejecución Presupuestaria en la Dirección de Presupuestos, para su análisis en conjunto con antecedentes de desempeño financiero, previo al inicio de la formulación de presupuestos Incorporación de información resumida en la publicación anual de la Evaluación de la Gestión Financiera
Formas de uso de la información Compromisos de Mejoramiento de los Programas e Instituciones Evaluadas Se efectúan sobre la base del análisis de los hallazgos de las evaluaciones Apuntan a mejoramientos del diseño y de gestión y son usos adicionales a aquellos relacionados directamente con el proceso presupuestario Se establecen las acciones que se realizarán en los semestres siguientes Son formalizados por parte de la Dirección de Presupuestos Se les efectúa un seguimiento para conocer de su cumplimiento y aspectos específicos de los cambios introducidos
INCORPORACION AL CICLO PRESUPUESTARIO Información de Desempeño SEGUIMIENTO Evaluación Ejecución FORMULACIÓN Ley de Presupuestos Presentación Proyecto Aprobación Ley EJECUCIÓN PROCESO PRESUPUESTARIO
Efectos o Implicancias PRODEV- BID Bogotá, Noviembre 2009 Marcela Guzmán 2009
EVALUACIÓN DE PROGRAMAS (EPG - IMPACTO) (2000-2008) EFECTOS 1. AJUSTES MENORES 2. MODIFICACIONES EN EL DISEÑO DE COMPONENTES Y/O PROCESOS DE GESTIÓN INTERNA % DE PROG. 23% 37% 3.REDISEÑO SUSTANTIVO DEL PROGRAMA 27% 4. REUBICACIÓN INSTITUCIONAL 6% 5. FINALIZACIÓN o REEPLAZO INTEGRO 7% TOTAL PROGRAMAS (174) 100%
Cumplimiento de Compromisos Programas/Instituciones Evaluadas. Años 1999-2008 Porcentaje de Cumplimiento de Compromisos Ministerios Cumplido N Total de Calificación Compromisos al 30/12/2008 Parcialmente No * Cumplido Cumplido Total General 82% 11% 6% 3.604 Total Programas 177 Total programas egresados 97 * Considera la totalidad de los compromisos establecidos con plazos de cumplimiento anteriores y hasta la fecha indicada.
Definiciones Qué y como evaluar? Lecciones y Recomendaciones Objeto : programa, conjunto de programas, organización Metodología Cobertura temática Gradualidad. Tipos de metodología y cobertura Disponibilidad de Información. es central a los procesos de evaluación. Las insuficiencias afectarán la aplicación de las metodologías El alcance de la evaluación en términos de la aplicación de elementos metodológicos esta determinada, además del tiempo asignado para el proceso de evaluación y competencias técnicas de los evaluadores y contraparte, por la información disponible La información debiese ser producida como parte de una obstante esta situación no es la más frecuente práctica de trabajo regular, no
Disponibilidad de Información En tal situación una Evaluación de Escritorio o Evaluación Rápida no podrá elaborar conclusiones fundadas o sólidas respecto del desempeño de un programa. Probablemente podrá evaluar otros aspectos tales como aspectos de diseño del programa, sus procesos de gestión, diferentes aspecto de la dimensión de eficacia respecto de la producción y/o provisión de bienes y servicios Lo recién señalado es una razón para incorporar en las evaluaciones que se basan en la matriz del marco lógico, la revisión de otros tópicos complementarios
Disponibilidad de Información No obstante, las limitaciones de información en una primera etapa servirá para identificar con precisión los requerimientos para el seguimiento y monitoreo del desempeño de las asignaciones presupuestales. Sobre la base de estos antecedentes se podrá priorizar el mejoramiento de procesos de recolección y de procesamiento de datos Este es un elemento básico para la instalación de practicas orientadas a los resultados.
Lecciones y Recomendaciones Trabajo técnico con los conocedores de las diferentes áreas objeto de evaluación Adecuada identificación de la duración necesaria para una evaluación de acuerdo a la metodología utilizada garantizará una adecuada gestión de sus etapas que garantice calidad y oportunidad La evaluación como un procesos de aprendizaje debilita la percepción de amenaza, la que puede generar resistencias y/o dificultades: a su proceso a la comprensión de sus resultados o conclusiones, y a la implementación de mejoras Mecanismo de seguimiento a las recomendaciones
Lecciones y Recomendaciones Diseño de Institucionalidad. Actores y Funciones Institución responsable de la conducción Organismos responsables de la ejecución de las políticas Instituciones usuarias de la información
FIN www.politeia.cl