Sistemas de Evaluación n y Seguimiento en ALC 28 Octubre 2010 Curso Planificación Estratégica y Políticas Públicas Quito, Ecuador Instituto de Altos Estudios Nacionales (IAEN) ILPES/CEPAL
La evaluación corresponde a estudios o revisiones técnicas que haciendo uso de un conjunto de información ordenada y relacionada según un marco metodológico, tienen por finalidad construir valoraciones de aspectos concretos de un ámbito del quehacer de políticas públicas, como un programa, y encontrar factores explicativos a estos juicios evaluativos (Guzmán, 2007). Y hacer recomendaciones respecto a los hallazgos significativos.
OBJETIVOS DE LA EVALUACION DE PROGRAMAS PUBLICOS Dos papeles: retroalimentación permanente, en fases de diseño o de ejecución (aporta al proceso de aprendizaje institucional, y mejoramiento del desempeño del PP). informar, a partir de criterios técnicos, el proceso de toma de decisión sobre la asignación de recursos públicos. Ayuda a valorar la contribución pública de las acciones gubernamentales en la ejecución de las políticas y programas. Información sobre el impacto de los programas. Se defiere del monitoreo en que éste suele ser parte de procesos internos de gestión programática, más regulares, y que utilizan mediciones a través de indicadores, principalmente de procesos y productos. (Un programa es el conjunto de actividades ordenadas en componentes que persiguen un objetivo o propósito común.) 3
ROL DE LA EVALUACIÓN N EN LA TOMA DE DECISIONES DISEÑO Y FORMULACIÓN DE POLÍTICAS Y PROGRAMAS TOMA DE DECISIONES POLITICAS, PROGRAMAS EVALUACION DESEMPEÑO, GESTION EJECUCIÓN E IMPLEMENTACIÓN TOMA DE DECISIONES 4
ETAPAS DEL PROCESO DE EVALUACION EX -ANTES ETAPAS Diseño de Programas y Proyectos OPERATIVA Ejecución del Programa o Proyecto, Productos, Servicios EX-POST Medición del desempeño o Impacto 5
Ciclo de vida de proyectos y programas Se funden en el caso de programas Preinversión Inversión Operación Formulación y evaluación Evaluación de gestión Evaluación de resultados e impactos Evaluación Ex-Post
Metodologías y Evaluaciones Preinversión: Formulación y evaluación Metodología del Marco Lógico Formulación de proyectos y programas Evaluación socio económica Ejecución: Seguimiento y Evaluación Matriz de Marco Lógico Carta Gantt y Mallas nodo actividad (PERT CPM) Curvas de uso de recursos Informe de término de proyecto Operación: Evaluación de resultados e impactos Matriz de Marco Lógico Econometría Encuestas Evaluación ex post
TIPOS DE EVALUACIONES DE PROGRAMAS Evaluación de escritorio: describir la situación del programa en un tiempo corto, a través de la sistematización de la información disponible (Marco Lógico) Evaluación de impacto: logros finales de los efectos esperados por el Programa en el grupo de beneficiarios al cual está dirigido. Si se ha resuelto el problema que justifica la acción pública Evaluación costo efectividad: conocer la relación entre la eficacia del programa como resultado final en los beneficiarios y los costos que se incurre para alcanzar dicho resultado. 8
Componentes de los Sistemas de Evaluación n del Desempeño Planificación Programación Presupuesto Plan Nacional de Desarrollo Planificación Sectorial Planificación Programación Presupuestaria con enfoque a resultados Monitoreo y Evaluación Sistema de Indicadores de Gestión y resultados Evaluación de Impacto y Resultados Intermedios Rendición de Cuentas Informes de Evaluación Anual Resultados de la Gestión, Congreso, Órganos de Control 10
SISTEMA DE EVALUACIÓN Y CONTROL DE GESTIÓN Objetivos del Sistema de Evaluación y Control de Gestión Generar información de desempeño e introducir prácticas para mejorar la calidad del gasto. Eficiencia en la asignación de recursos Eficiencia en el uso de los recursos Transparencia en la gestión de los programas y en la administración de las finanzas públicas
EVALUACION Y GESTION POR RESULTADOS TIPO DE ACCION GUBERNAMENTAL Estrategias Nacionales QUE SE EVALUA Metas nacionales METODOLOGIA Proceso Político Ciudadanía, Encuestas, Escrutinio Público Políticas Metas sectoriales Comités Científicos de Evaluación, Paneles de Expertos Operativa- Instituciones Cumplimiento de metas de gestión y resultados finales Indicadores de Eficiencia, Eficacia, Calidad, Economía Sistema de Indicadores de Desempeño Cuadro de Mando Integral Programas Inversiones Resultados, gestión, impacto Rentabilidad Social Costo-Beneficio MML Evaluación de Programas, comprehensivas e Impacto Evaluación costobeneficio ex-ante 12
Planificación n y Proceso Presupuestario: mecanismos de articulación n a través s de indicadores de desempeño Plan Nacional de Desarrollo: TIPOS DE INDICADORES Indicadores Macro nivel país Tasa de disminución de pobreza, marginalidad Tasa de creación de empleo Tasa de disminución de los delitos Índice de Calidad Educativa Indicadores de Morbilidad Planes Sectoriales TIPOS DE INDICADORES Ámbitos de Seguimiento y Evaluación PRIORIDADES NACIONALES Fuentes de Datos y Metodologías Estadísticas Nacionales Evaluaciones de Impacto Encuestas, Paneles, etc. Indicadores de Impacto y de resultados intermedios de los Programas Sectoriales Tasas de Desnutrición Deserción escolar Disminución de déficit viviendas, etc. PRIORIDADES SECTORIALES Estadísticas Nacionales Evaluaciones de Impacto Evaluaciones Cualitativas Planes Institucionales TIPOS DE INDICADORES Indicadores de Impacto, Resultados Intermedios, Productos y Procesos (Eficacia, eficiencia, calidad) FINES Y OBJETIVOS ESTRATEGICOS INSTITUCIONALES Evaluaciones de Impacto Evaluaciones de Programas (Marco Lógico) Programas Presupuestarios Sistema de Seguimiento y Evaluación de Desempeño TIPOS DE INDICADORES Indicadores de Resultados Intermedios, Productos y Procesos (Eficacia, Eficiencia, calidad), Insumos. OBJETIVOS ESTRATEGICOS, METAS DE PRODUCTOS Y PROCESOS Evaluaciones de Programas (Marco Lógico) Sistema de Seguimiento y Evaluación de Desempeño 13
EVALUACION DE PROGRAMAS EN AMERICA LATINA País Tipo de Evaluación Mandante Cobertura institucional Uso de la Información Sistematicidad Continuidad Brasil Seguimiento Programas Ministerio de Planeamiento y Presupuesto PPA Programas Federales Presupuesto Rendición de Cuentas Anual No hay evaluación de impacto institucionalizada Chile Escritorio Impacto Ministerio de Hacienda Administración Pública Central Presupuesto Rendición de Cuentas Anual Continua desde 1997 Colombia Escritorio Impacto (Evaluaciones estratégicas) DNP Administración Pública Nacional Presupuesto Rendición de Cuentas Presidenciales Esporádica México Escritorio Impacto CONEVAL Secretaría de Hacienda Administración Pública Federal Presupuesto (solo la de escritorio), marco lógico Anual Perú Escritorio MEF Administración Pública Nacional Presupuesto Plan piloto 14
Sistemas de Evaluación n de Políticas PúblicasP La creación n de sistemas de evaluación n es fundamental para la generación de la nueva gestión n públicap blica,, implica : Organizar el gobierno en grupos de agencias y departamentos autónomos; Adoptar decisiones estratégicas y orientadas a la obtención n de resultados, utilizar objetivos de output, indicadores de rendimiento, ento, pagos en relación n con los resultados y medidas de mejora de la calidad; Disminuir racionalmente el gasto y/o usar racionalmente los recursos; rsos; Mayor flexibilidad en la gestión n de programas; Mejorar la eficiencia en la prestación n de servicios públicos; p y
Sistemas de Evaluación n de Políticas PúblicasP Esfuerzos realizados bajo el marco de la Nueva Gestión n PúblicaP En Países desarrollados: Nueva Zelanda Gran Bretaña Australia Canadá Estados Unidos En América Latina y El Caribe: Brasil Chile Colombia Costa Rica México República Dominicana
Sistemas de Evaluación n de Políticas PúblicasP Referentes institucionales utilizados para estructurar el sistema a de evaluación Modelo Plan Prioridades de política gubernamental están contenidas Plan Nacional de Desarrollo (PND, o equivalente) Es la guía para la determinación de las prioridades de gasto y Planeamiento estratégico determinan las decisiones del ciclo presupuestario Colombia, Costa Rica
Sistemas de Evaluación n de Políticas PúblicasP Referentes institucionales utilizados para estructurar el sistema a de evaluación Modelo Presupuesto La elaboración del presupuesto y su desarrollo a lo largo del ciclo presupuestario (generalmente anual) determinan las orientaciones del gasto No hay condicionamiento o referencia explícita a metas de un PND Dadas las típicas restricciones presupuestarias y las inercias institucionales e incluso metodológicas, el carácter incremental del gasto público se perpetúa Chile
Sistemas de Evaluación n de Políticas PúblicasP Referentes institucionales utilizados para estructurar el sistema a de evaluación Modelo Mixto Articula las dos modalidades anteriores: plan con presupuesto El Plano Plurianual (PPA), expresión del conjunto de instrumentos de planificación y presupuestación monitoreo y evaluación para: Informar sobre desembolsos de recursos en cada programa Informar sobre el desempeño físico vis-a-vis a las metas definidas en forma exante. Ha permitido enlazar el PPA con el presupuesto anual Brasil, Canadá, Nueva Zelanda
Elementos comunes de los Modelos de Evaluación Análisis de variables de comparación n de los modelos Medidas comunes Institucionalidad de la función n de evaluación n y los sistemas Ejes de las evaluación n y tipos de indicadores; y Contexto socio-pol político
Elementos comunes de los Modelos de Evaluación Medidas comunes a) Todos han dedicado grandes esfuerzos al fortalecimiento de las auditorías externas b) Todos han puesto en marcha mecanismos para abandonar la presupuestación por insumos y adoptar presupuestos de resultados o productos c) La mayoría ha tomado medidas para mejorar la transparencia de los procesos y la información d) Todos tienen las funciones de planificación y presupuestación separadas de la ejecución de las políticas, programas y proyectos e) Todos han desarrollado iniciativas significativas para mejorar las capacidades gerenciales; y f) Casi todas las agencias de evaluación están ancladas al Ministerio de Finanzas o Hacienda.
Elementos comunes de los Modelos de Evaluación Institucionalidad de la función n de evaluación n y los sistemas No existen modelos únicos de institucionalización de los mecanismos de evaluación En la mayoría de los países las instituciones de evaluación son parte del aparato del Estado y vinculados al Ejecutivo, algunos con dependencia jerárquica del Parlamento (cámaras de senadores y/o diputados), quiénes definen el alcance de la evaluación y que realizarán estos organismos Nueva Zelanda y Holanda tienen entidades semi autónomas de evaluación Objetivo: liberar a los responsables de la acción pública de la influencia indebida de los prestadores de servicios. Persisten dificultades para lograr equilibrio entre la independencia de las entidades de evaluación y los esfuerzos para coordinar políticas y programas que son de carácter intersectorial Existen contradicciones entre el nuevo modelo de gestión por resultados y el modelo burocrático tradicional
Elementos comunes de los Modelos de Evaluación Ejes de la evaluación n y tipos de indicadores Eje de la evaluación: Mayor atención en la eficacia y eficiencia del gasto, donde el control financiero y presupuestario es la base de evaluación. En ALC énfasis en mejorar la eficiencia distributiva del presupuesto desarrollando sistemas de evaluación de programas y medición de resultados. Persiste tendencia a las reformas de carácter contable, esperando que al presupuestar por líneas de programa y/o por productos se introduzca mayor eficiencia en la asignación de recursos a programas prioritarios o hacia actividades más costo-eficientes. La fijación de asignaciones piso o cuotas presupuestarias para determinadas finalidades u organismos, (% mínimos del PIB o del gasto fiscal), son una barrera para una reasignación sectorial de recursos que refleje las prioridades cambiantes en el tiempo de los gobiernos. Una de los sectores donde más se ha recurrido a las asignaciones constitucionales es el gasto público en educación y particularmente en la educación superior.
Elementos comunes de los Modelos de Evaluación Ejes de las evaluación n y tipos de indicadores Tipo y metodologías de evaluación: es común el uso de auditorías financieras, y de evaluaciones de resultados (eficiencia y eficacia). La aproximación combina el enfoque de Arriba a abajo, que busca evaluar (con información disponible) el efecto neto de la intervención de programas prioritarios Abajo-arriba, estudios para analizar en profundidad los logros y grados de satisfacción (Información directa de participantes/beneficiarios) Algunos países han intentado avanzar hacia una valoración de los resultados de las políticas y de la calidad de los servicios prestados
Elementos comunes de los Modelos de Evaluación Ejes de las evaluación n y tipos de indicadores Indicadores: la mayoría de los países aboga por un sistema de indicadores de desempeño para generar información sobre la evolución de las instituciones públicas, y para incorporarlos a la toma de decisiones. El uso de los indicadores de resultados y desempeño ha sido el instrumento que ha tenido mayor difusión en el ámbito de la presupuestación orientada a resultados en ALC Las experiencias más significativas en la región se han generado en Brasil, Chile, Colombia, Costa Rica, México, Perú y República Dominicana En la práctica ha sido difícil establecer indicadores de resultados y que además estén vinculados con el gasto de un programa (aún en un ministerio). Tampoco están vinculados a la información presupuestaria relativa a la ejecución financiera, por lo que es difícil vincular los desembolsos a los resultados en materia de servicio.
Elementos comunes de los Modelos de Evaluación Ejes de las evaluación n y tipos de indicadores En países europeos se define un pequeño Nº de metas de gestión para cada agencia y luego éstos son publicados anualmente en un documento único de todo el gobierno comparando los objetivos y resultados del año y fija nuevos objetivos para el año siguiente. La ventaja de las metas es que están muy acotadas, pero su desventaja es que pueden excluir elementos importantes del desempeño.
Sistemas de Evaluación n y Seguimiento en ALC (referencias a páginas p web ALC) Página web: Colombia. Sistema Nacional de Evaluación de Gestión y Resultados: SINERGIA Departamento Nacional de Planeación, Dirección de Evaluación de Políticas Públicas http://www.dnp.gov.co/portalweb/programas/sinergia/tabid/81/defau lt.aspx Página web: Consejo Nacional de Evaluación de la Política de Desarrollo Social de México http://www.coneval.gob.mx/coneval2/ Página web: Secretaría de Hacienda y Crédito Público de México http://www.shcp.gob.mx/egresos/paginas/default.aspx Página web: Chile. Dirección de Presupuestos, Ministerio de Hacienda, Sistema de Evaluación y Control de Gestión http://www.dipres.cl/572/propertyvalue 2131.html
Colaboradores: Eduardo Aldunate Marianela Armijo Rosario Bello Jorge de la Fuente