Monitoreo basado en resultados de políticas y programas públicos. Puebla

Transcripción

1 Monitoreo basado en resultados de políticas y programas públicos Puebla 18 de junio de

2 ÍNDICE 1 Antecedentes Qué es monitoreo? Instrumentos desarrollados para mejorar la calidad de los indicadores Resultados obtenidos 5 Diagnóstico de Monitoreo

3 No hay incentivos automáticos para tener buenos indicadores A diferencia de una empresa privada los programas públicos no tienen incentivos automáticos para generar buenos indicadores en la rendición de cuentas: Quién demanda evaluaciones? Qué queremos medir? No nos gusta ser evaluados Para qué monitorear resultados si los incentivos son gastar, repartir?

4 Gestión para Resultados Existen corrientes que favorecen la implementación de buenos indicadores Es una corriente gestada en la década de 1970 que promueve la incorporación de una perspectiva gerencial en la administración del Estado Propone reemplazar el modelo tradicional de organización y entrega de servicios públicos por una gerencia pública basada en una racionalidad económica que busca eficiencia y eficacia Cadena de resultados en GpR Eficiencia Eficacia Insumo Actividad Producto Efecto Impacto Ejecución Resultados

5 Los indicadores favorecen la toma de decisiones presupuestales Presupuesto basado en Resultados: Instrumento metodológico cuyo objetivo es que los recursos públicos se asignen prioritariamente a los programas que generan más beneficios a la población y que se corrija el diseño de aquéllos que no están funcionando correctamente Órganos públicos Establecimiento de objetivos iniciales Recursos asignados Cuáles fueron los objetivos alcanzados? Reasignación de recursos? Mejores resultados

6 Los sistema de monitoreo y evaluación ayudan a generar información para la toma de decisiones Con base al modelo conceptual de GpR-PbR y con el propósito de analizar la capacidad institucional para implementar una gestión pública basada en resultados, se diseñó el Sistema de Evaluación PRODEV El PRODEV enmarca los elementos principales de capacidad institucional: planeación, presupuesto, auditoría, gestión y monitoreo y evaluación

7 Los esquemas de planeación permitan medir resultados Identificación del problema Análisis Diseño del programa Presupuesto Operación Rendición de cuentas Evaluación y Monitoreo

8 La medición de resultados necesita ser una prioridad... Antes, los indicadores más relevantes eran: El presupuesto asignado a cada programa El % del presupuesto ejercido cada año El número de becas/cursos de capacitación/litros de leche/pasaportes entregados/juntas realizadas, etc. Pero había faltado medir RESULTADOS: Aumentó el ingreso/la ocupación de quien recibió el microcrédito? Los desempleados que recibieron capacitación aprendieron y encontraron trabajo? Más mujeres se incorporan a trabajar a raíz del programa de estancias infantiles? Disminuyó la delincuencia por el programa de seguridad? Se disminuyó el tiempo de trámite de los pasaportes?

9 Implementación Resultados Estamos exigiendo a los programas que midan resultados y tengan un buen diseño Fin Contribuir Tasa de morbilidad a mejorar el nacional estado de la salud población de niñez mexicana menor de 14 años Implementación Resultados Propósito Componentes Actividades Los niños menores de 5 años, integrantes de las familias Porcentaje en pobreza de Prevalencia extrema, de disminuyen desnutrición sus crónica niveles en menores de 5 años de desnutrición % de paquetes básicos entregados respecto de los Paquete programados básico a entregar de servicios de salud Complemento Variación de complementos alimenticio alimenticios entregados Capacitación respecto de lo nutrimental entregado el a año los anterior padres de familia % de padres de familia capacitados con el Curso Alimentos con alto contenido nutrimental Padrón de familias beneficiarias Adquisición % de variación de en equipo el número médico de familias del Padrón % de equipo médico adquirido respecto del programado Instalación de equipos % de equipos instalados respecto del total

10 Se pretendía pasar de esto Caricatura de una realidad! Implementación Resultados Propósito??? Componentes Actividades

11 Implementación Resultados La meta esperada a esto en un segundo momento Objetivos Nacionales Fin Propósito Componentes Actividades

12 ÍNDICE 1 Antecedentes 2 Qué es monitoreo? 3 4 Instrumentos desarrollados para mejorar la calidad de los indicadores Resultados obtenidos 5 Diagnóstico de Monitoreo

13 Qué es un sistema de monitoreo? Indicador Sistema de monitoreo Medida que describe de qué manera se están desarrollando los objetivos de un de una institución Proceso continuo de recolección sistemática de información sobre indicadores específicos para advertir a los hacedores de política pública sobre el grado de avance, así como el logro de los objetivos planteados y del uso de los recursos asignados qué diferencias hay entre un sistema de indicadores y un sistema de monitoreo? Conjunto de mediciones vs recopilación sistemática de información

14 Estrategia de implementación Sistema de Monitoreo de programas sociales Acción coordinada Programas Unidades de Evaluación CONEVAL SHCP SFP Aprobación de indicadores Mejoramiento de indicadores Normativa / Implementación Avances / Diagnóstico

15 Características del Sistema de Monitoreo Un sistema de monitoreo exitoso debe tener al menos tres características: Calidad, sostenibilidad, y Uso de la información. /1 Sostenibilidad Pérdida de tiempo y esfuerzo Calidad Calidad: Estándar para determinar si la información es relevante Sistema de Monitoreo Sostenibilidad: capacidad del sistema para sobrevivir a un cambio en la administración Información dudosa Uso y práctica de la información Problemas de comparabilidad Uso de la información: Debe ser utilizada para la formulación de políticas gubernamentales, asignación de recursos presupuestales y la planeación nacional /1 Keith Mackay (2007), How to Build M&E: Systems to Support Better Government, The World Bank, Washington, D.C

16 Universo de Indicadores de los programas sociales Estructura de los Indicadores de los Programas Sociales, Programas Sociales Indicadores Programas Total Indicadores Promedio Indicadores Resultados Servicios Gestión , , , , , , , , , , , , , Total 238 /1 2,512 /1 11 5, , ,000 8,005 Los indicadores de resultados son el 30% del total, en 2008 eran el 26% El promedio de indicadores por programa es de 11.5 en 2015, en 2008 era de 14 El número de programas y acciones sociales se ha incrementado en 30% /1 Se refiere al promedio del período

17 ÍNDICE 1 Antecedentes 2 Qué es monitoreo? 3 4 Instrumentos desarrollados para mejorar la calidad de los indicadores Resultados obtenidos 5 Diagnóstico de Monitoreo

18 Instrumentos generados para la mejora de los indicadores Formación y Desarrollo de Capacidades Curso de Diseño de programas sociales con enfoque a resultados Curso para el diseño y construcción de indicadores Asesorías técnico-temáticas Revisión Ficha de Evaluación de la MIR Ficha de Evaluación del indicador Mesa Técnica de Revisión de Indicadores de Resultados Análisis Fichas de Evolución de MIR e indicadores Informes Diagnóstico de Matrices de Indicadores para Resultados Diagnóstico de Monitoreo de Programas Sociales Informe de Indicadores sectoriales Metodologías Metodología de Aprobación de Indicadores Emisión de normatividad

19 Fichas de Evaluación de MIR e indicadores Cada rubro está compuesto por un número determinado de subrubros y, cada uno de éstos por un conjunto de reactivos, los cuales permiten valorar cada uno de los elementos que conforman la MIR. Ficha de Evaluación de la Matriz de Indicadores para Resultados Rubro Reactivos 1) Planeación Nacional 1 2) Lógica Vertical 7 3) Lógica Horizontal 8 Ficha de Evaluación de Indicadores Rubro Reactivos 1) Claridad 3 2) Relevancia 2 3) Monitoreable 2 4) Adecuado 2 Ejemplos rubro MIR El propósito es único y representa un cambio específico en las condiciones de vida de la población objetivo Los indicadores a nivel de Fin permiten monitorear el programa y analizar el logro del Fin Ejemplos rubro Indicadores La fórmula de cálculo del indicador es coherente con su nombre El indicador refleja un factor o variable central del logro del objetivo 19

20 Consulta la Metodología para la Aprobación de Indicadores Estrategia de Aprobación de Indicadores El CONEVAL desarrolló una metodología para la aprobación de indicadores de los programas de desarrollo social y se encuentra disponible en Ir a Metodología I. Valoración integral de indicadores de resultados, servicios y gestión Diseño de Fichas de Revisión Revisión de diseño de MIR e indicadores DIAGNÓSTICO del diseño de MIR e Indicadores por Programa II. Valoración especifica de los Indicadores de Resultados Selección de Experto Temático y Estadístico Revisión de Indicadores de Resultados por MTRI INFORME de Mesa Técnica de Revisión de Indicadores de Resultados Consideración de la SHCP y ASF III. Dictamen de Aprobación de los indicadores Se turna Dictamen a Comisión Ejecutiva Se turna Dictamen a Comité Directivo DICTAMEN sobre Indicadores por programa

21 Estrategia de Aprobación de Indicadores Claro Relevante Monitoreable Adecuado Valoración Integral Un indicador es claro cuando no existen dudas acerca de qué es lo que se busca medir Un indicador es relevante cuando aporta información de al menos un factor relevante del objetivo al cual se encuentra asociado Un indicador es monitoreable si la información de sus medios de verificación es precisa e inequívoca. Un indicador es adecuado cuando aporta la información suficiente para emitir un juicio terminal y homogéneo respecto del desempeño del programa Valoración Específica Pertinencia Temática Un indicador es pertinente temáticamente cuando efectivamente aporta información sobre un resultado alcanzado y aborda una temática de interés sectorial vinculada con los objetivos del programa Factibilidad Técnica Un indicador es factible técnicamente cuando la estructura del método de cálculo y los medios de verificación usados para su construcción son tales que el indicador efectivamente puede ser estimado con los recursos (humanos, financieros, materiales, de información, etc.) con los que cuenta el programa.

22 Etapa I (Integral) 4 criterios CRITERIOS MÍNIMOS QUE SE VALORAN EN CADA ETAPA Claridad Es autoexplicativo Variables son claras Método de cálculo, nombre y unidad de medida coherentes Monitoreabilidad Línea base, frecuencia de medición y medio de verificación coherentes Relevancia Refleja un factor relevante del objetivo Permite análisis longitudinales Adecuación Es una relación de variables, Metas congruentes Dimensión del indicador Instrumentos usados Ficha de Evaluación de la (MIR) Las MIR se clasifican Ficha de Revisión Integral de Indicadores Validadas estadísticamente Etapa II (Específica) 2 criterios Pertinencia temática aporta información sobre un resultado y se vincula con la temática de interés sectorial Pueden ser medibles Factibilidad técnica Estructura técnica del método de cálculo, Consistencia de medios de verificación Análisis básico de costo Identificación de posibles sesgos del indicador Mesa Técnica de Revisión de Indicadores de Resultados Expertos Temáticos y Estadísticos

23 ÍNDICE 1 Antecedentes 2 Qué es monitoreo? 3 4 Instrumentos desarrollados para mejorar la calidad de los indicadores Resultados obtenidos 5 Diagnóstico de Monitoreo

24 Resultados obtenidos Existe un nuevo enfoque en resultados; ya no solamente se miden y reportan insumos, productos o entregas de los programas Gran parte de los programas medían resultados a través de cobertura o entrega de bienes o servicios, ahora consideran variables de solución de problemáticas específicas Se ha generado información valiosa de los programas para que sean analizados por tomadores de decisiones sectoriales, presupuestales y del Congreso Los indicadores contenidos en las MIR son base fundamental de las evaluaciones de los programas Gracias a la adopción de la MIR como instrumento de planeación, un grupo importante de programas ha rediseñado sus procesos / entregables y su relación con los resultados que pretende lograr En algunas dependencias, se han generado sistemas de información que alimentan los indicadores con datos más precisos Se ha contribuido a una mejor rendición de cuentas de los programas y en general, de las políticas públicas; México, primer país en publicar las Matrices de Indicadores de los programas sociales

25 Resultados obtenidos Se ha institucionalizado el monitoreo de los programas sociales Los indicadores y el monitoreo aportan información para la formulación y aprobación del presupuesto y en el análisis del gasto público Los programas cuentan con mejores instrumentos para el monitoreo y evaluación, se encuentran inmersos en numerosos procesos; incluso para casos no obligados, la MIR y los indicadores pretenden ser establecidos tal y como lo hacen los programas sociales Los operadores se han apropiado de sus indicadores porque ellos los construyeron Se han desarrollado capacidades en los funcionarios de la APF en materia de monitoreo Cambio cultural de enfoque de resultados de las acciones de los programas Se ha desarrollado un mismo lenguaje para el diseño - monitoreo evaluación de programas Se cuenta con instrumentos homogéneos y validados estadísticamente para el mejoramiento de los indicadores

26 Los programas miden mejor ahora sus resultados Sector / Ramo Salud SAGARPA Economía Temática Mortalidad materna Prevención Ingreso productores Producción Productividad Inversión Indicador Razón de mortalidad materna Tasa de la morbilidad en menores de cinco años Tasa de variación del ingreso neto real de los productores agroalimentarios Tasa de variación promedio de la producción Pesquera y Acuícola Índice global de productividad laboral de la economía Inversión comprometida por las industrias de alta tecnología

27 Resultados obtenidos Los indicadores miden de mejor manera los resultados de los programas Programas del Fondo Nacional de Fomento a las Artesanías (FONART) ANTES (2007) DESPUÉS (2014) Nombre Financiamientos otorgados a Artesanos Nombre % de artesanos beneficiados que incrementaron su ingreso derivado de la actividad artesanal Fórmula de cálculo Artesanos Beneficiados en el periodo reportado / = Meta Anualizada Sistema Nacional de Investigadores Fórmula de cálculo (# de artesanos que incrementaron su ingreso derivado de la actividad artesanal / # de artesanos beneficiados)*100 Nombre Sistema Nacional de Investigadores Nombre Factor de impacto en análisis de los artículos publicados por científicos mexicanos Fórmula de cálculo Número estimado de Investigadores pertenecientes al Sistema Nacional de Investigadores en la fecha de corte. Fórmula de cálculo (# de citas recibidas en el año t relacionadas con artículos publicados en 5 años precedentes/# de artículos publicados en 5 años precedentes)

28 Avanzando hacia un Sistema de Monitoreo La Administración Pública Federal cuenta con instrumentos homogéneos para el planteamiento de objetivos y el diseño de indicadores El CONEVAL cuenta con esquemas de capacitación y de asesoría técnica para el mejoramiento de los indicadores de los programas sociales Se cuenta con una estrategia integral de aprobación de indicadores, la cual, ha sido aplicada totalmente a los programas sociales Los programas miden resultados y reportan avances sobre la solución de las problemáticas que buscan resolver con lo que ofrecen a sus poblaciones objetivo

29 ÍNDICE 1 Antecedentes 2 Qué es monitoreo? 3 4 Instrumentos desarrollados para mejorar la calidad de los indicadores Resultados obtenidos 5 Diagnóstico de Monitoreo

30 Antecedentes: Características del Sistema de Monitoreo Según Mackay /1, un sistema de monitoreo exitoso debe tener al menos tres características: Calidad, sostenibilidad, y Uso dela información. Sostenibilidad Pérdida de tiempo y esfuerzo Calidad Calidad: Estándar para determinar si la información es relevante Sistema de Monitoreo Sostenibilidad: capacidad del sistema para sobrevivir a un cambio en la administración Información dudosa Uso y práctica de la información Problemas de comparabilidad Uso de la información: Debe ser utilizada para la formulación de políticas gubernamentales, asignación de recursos presupuestales y la planeación nacional /1 Keith Mackay (2007), How to Build M&E: Systems to Support Better Government, The World Bank, Washington, D.C

31 Calidad de los indicadores El análisis de la calidad comprende la revisión, examinación y emisión de recomendaciones que se han realizado a las MIR y sus indicadores Análisis comparativo de los cambios en las características de las MIR entre 2008 y 2015; Análisis comparativo de los cambios en las características de los indicadores entre 2010 /2 y 2015 En el momento de la valoración (septiembre 2014) se encontraba ya disponible la MIR 2015, por lo que dicha versión fue la que se analizó Clasificación de acuerdo a los resultados: Destacado Adecuado Moderado Con Op. de Mejora Diseño consistente En proceso de consolidación Deben mejorar planteamiento Amenaza de indefinición /2 El análisis en indicadores comprende el período debido a que en 2010 se implementó la Ficha de Evaluación del indicador

32 Sostenibilidad de los indicadores Se construyó el indicador Tasa de Permanencia de los Indicadores (TPI) Un indicador único es aquel que se presenta en un año determinado Un indicador permanente es aquel que perdura en el tiempo (se omiten los que sólo se midieron un año); una condición necesaria es que el indicador haya estado presente en el período inicial y también en el final Ejemplos: Año t Año t+1 Año t+2 Año t+3 A A A A A A B B A B C D B A B C TPI = Conteo de indicadores únicos t, t+1, t+2 #indicadores permanentes #indicadores únicos Conteo de indicadores permanentes t, t+1, t+2 Tasa de Permanencia (1) (2) (3) = (2) / (1) Conteo de indicadores únicos t, t+1, t+2,t+3 Conteo de indicadores permanentes t, t+1, t+2, t+3 Tasa de Permanencia (1) (2) (3) = (2) / (1)

33 Uso y práctica de la información Se consideraron 5 usos potenciales de la MIR y los indicadores Ámbitos para Evaluar las Matrices de Indicadores Los usuarios de la información que se definieron fueron los siguientes; funcionarios de áreas de planeación, evaluación, monitoreo, presupuesto Se construyeron dos indicadores: Indicador del uso de la matriz a nivel programa y el Indicador del uso de la matriz a nivel institucional

34 Construyendo el Sistema de Monitoreo de los programas sociales y de la PDS Cuestiones a considerar en el mediano plazo Que los indicadores y la MIR no se conviertan en procesos burocráticos Depurar indicadores que no están alineados a las MIR Reforzar los mecanismos de medición de resultados de los programas Mejorar la calidad de las fuentes de información de los indicadores Contar con un seguimiento más puntual de los avances en los indicadores de los programas Se debe promover un mayor uso de la información de los indicadores en la toma de decisiones

35 Gracias por su atención