Sistema de Monitoreo y Evaluación basado en resultados: Caso México

Transcripción

1 Sistema de Monitoreo y Evaluación basado en resultados: Caso México Nereida Hernández Reyes Dirección General Adjunta de Coordinación Septiembre

2 ÍNDICE Antecedentes Marco Normativo Anterior Nuevo Marco Normativo Coneval La Estrategia de Evaluación y Monitoreo Avances en el tema de evaluación Avances en el tema de indicadores

3 ANTECEDENTES 1990 s: Algunas evaluaciones de programas y nuevas formas de presupuestación 2000: Inicio normativo sin una estrategia clara : Desarticulación de la evaluación con la mejora en la gestión PEF y Acuerdo entre SHCP y SFP Ausencia de una estrategia de monitoreo Agenda del Buen Gobierno, e Iniciativas de Innovación y Calidad Gubernamental Sistema de Metas Presidenciales 2005: Impulso normativo de la evaluación solo en el sector social, pero aún desarticulado con la mejora en la gestión pública Creación del Coneval Primer impulso normativo al monitoreo Vínculo con Pobreza

5 MARCO NORMATIVO PREVIO Qué demandan las autoridades? Presupuesto de Egresos de la Federación (a partir del 2000) Informes Trimestrales sobre el avance de presupuesto Evaluación Externa y Anual Informar los recursos entregados a beneficiarios Apartado específico sobre el bienestar, la equidad, la igualdad y la no discriminación de las mujeres, jóvenes e indígenas. Difusión a través de Internet El objeto: Proceso de análisis y aprobación del presupuesto del siguiente año Existe una mezcla de Monitoreo y Evaluación de fin o impacto, en dos instrumentos específicos y diferentes

6 MARCO NORMATIVO PREVIO Qué demandan las autoridades? Acuerdo de Requisitos Mínimos (2002) Porcentaje de cumplimiento de objetivos Cobertura Satisfacción de la población objetivo Cumplimiento de Reglas de Operación En términos de impacto, beneficios económicos y sociales Costo-beneficio de los recursos asignados Verificación en campo del cumplimiento de metas físicas y financieras Escenario prospectivo y opinión sobre permanencia, readecuación o conclusión Existe una mezcla de Monitoreo, Evaluación de fin o impacto, Evaluación de Resultados o Propósito y Evaluación de Componentes y/o Actividades, todo en un mismo instrumento. No necesariamente refleja el espíritu de la demanda del PEF

7 MARCO NORMATIVO PREVIO Esquema de Evaluación Características: Evaluación Externa Periodo Anual, con dos informes (septiembre y marzo) Se distribuye a la SHCP, SFP y el Congreso Difusión a través de Internet El proceso de contratación es individual y a través de la Ley de Adquisiciones Algunos programas: Entregan los informes sólo por cumplir y no usan la información Agregan y/o eliminan temas en la evaluación En una menor proporción, usan información para informes oficiales, planeación y monitoreo

8 DIAGNÓSTICO - VENTAJAS Se ha avanzado en la cultura de la evaluación Existen casos particulares de evaluaciones que han apoyado la toma de decisiones Existe un respaldo normativo para institucionalizar un M&E Ley General de Desarrollo Social, CONEVAL, Ley Federal de Presupuesto y Responsabilidad Hacendaria, PEF 2007 Actores principales conscientes de la poca efectividad del sistema vigente: SHCP, Función Pública, Congreso Transición política favorable para la introducción de cambios

9 DIAGNÓSTICO - DESVENTAJAS Elementos de M&E desarticulados y no alienados conceptual, metodológica ni operacionalmente Alto costo de esquema actual: Cada evaluación cuesta aprox. $1 millón: 170 programas: $170 millones al año. y con poca utilidad Percepción del sistema de M & E como instrumento de fiscalización, y no de gestión y rendición de cuentas La medición de Resultados no es una prioridad para el programa o la dependencia. Mucho énfasis en indicadores de ejercicio del recurso y de cantidades de bienes y servicios entregados No hay claridad en los objetivos estratégicos de las dependencia Muchos indicadores que no se usan para una gestión por resultados Lineamientos actuales poco flexibles Seguimiento limitado a las recomendaciones generadas de la evaluación

11 NUEVAS REGLAS DEL JUEGO 2007: Una oportunidad para mejorar el marco normativo Ley General de Desarrollo Social (2004) Establece un Sistema Nacional de Desarrollo Social en el que participen los gobiernos municipales, de las entidades federativas y el federal; Mecanismos de evaluación y seguimiento de los programas y acciones de la Política Nacional de Desarrollo Social Ley de Presupuesto y Responsabilidad Hacendaria. SHCP (2006) Todos los programas: evaluación externa Sistema de Evaluación del Desempeño Programa de Mejoramiento de la Gestión (SFP) PEF Cámara de Diputados Establecer Objetivos Estratégicos Matriz de Indicadores, ligada a Objetivos Estratégicos CONEVAL, SHCP y SFP coordinan el sistema de evaluación y monitoreo

12 NUEVAS REGLAS DEL JUEGO CONEVAL (2005) Ley de Presupuesto y Responsabilidad Hacendaria. SHCP (2006) Programa de Mejoramiento de la Gestión SFP Lineamientos de Evaluación y Monitoreo (Marzo 2007) PEF Cámara de Diputados

14 EL CONEVAL Ley General de Desarrollo Social establece la creación del CONEVAL, cuyo propósito es revisar el cumplimiento del objetivo social de los programas, metas y acciones a través de: Normar y coordinar la evaluación de la Política y Programas de Desarrollo Social Aprobar los indicadores de resultados, gestión y servicios que serán sometidos a consideración de la SHCP y a la Cámara de Diputados por conducto de la ASF Establecer los criterios para la definición, identificación y medición de la pobreza Contribuir a la toma de decisiones de Política de desarrollo Social y combate a la pobreza y rezago social en México Información útil, objetiva y oportuna El CONEVAL está integrado por 6 investigadores académicos electos democráticamente por la CNDS, a través de una convocatoria pública También lo integran el Secretario de Desarrollo Social y un Secretario Ejecutivo designado por el Ejecutivo Federal

15 Alineación del Coneval a la Planeación Nacional PND EJE 5.DEMOCRACIA EFECTIVA. Objetivo 4. Mejorar la regulación, la gestión, los procesos y los resultados de la APF PDS OBJETIVOS DEL PROGRAMA DE DESARROLLO SOCIAL OBJETIVO ESTRATÉGICO DEL CONEVAL Entidad Mejorar la eficacia y eficiencia, así como la rendición de cuentas de la política de desarrollo social mediante la evaluación y monitoreo de programas y políticas sociales y la medición de la pobreza

16 SISTEMA NACIONAL DE DESARROLLO SOCIAL CONSULTIVA POLÍTICA OPERATIV A TÉCNICA-EVALUACIÓN CONSEJO CONSULTIVO COMISIÓN INTERSECRETARIAL DEPENDENCIAS Y ENTIDADES CONSEJO DE EVALUACIÓN Analiza y propone programas y acciones que inciden en la Política Nacional de Desarrollo Social Propone partidas y montos de gasto social Ordena la Política Social a nivel Federal Operación de los programas, acciones y fondos Norma y analiza las evaluaciones Evalúa la política Define pobreza Recomendaciones COMISIÓN NACIONAL Coordinación de programas y acciones de dependencias y entidades federales

18 HERRAMIENTAS DE PLANEACIÓN Diagnóstico Diseño PND Programas Sectoriales Objetivos de las Dependencias Programas Federales Presupuesto Operación Rendición de cuentas Evaluación y Monitoreo (Indicadores)

19 SISTEMA DE EVALUACIÓN Y MONITOREO Objetivos Estratégicos Matriz de Marco Lógico Resultados Programa Anual de Evaluación Diferentes tipos de Evaluación Sistema de Evaluación Del Desempeño (SED) Gestión para Resultados Programas Nuevos Evaluaciones Complementarias Convenio de Compromisos para el Mejoramiento de la Gestión

20 Política de Desarrollo Social Nivel 1 PLANEACIÓN INCOMPLETA SI NO SE LLEGA A ROP Objetivos Nacionales Ejes política pública Objetivos y Estrategias Programas Sectoriales Nivel 2 Objetivos de los Programas del PND Estrategias Líneas de acción Objetivos de las dependencias Nivel 3 Objetivo estratégico de la Dependencia Programas presupuestarios Nivel 4 Fin Propósito Componente s Actividad Reglas de operación

21 PROGRAMAS POR OBJETIVO NACIONAL Objetivo 1 Objetivo 2 OBJETIVO NACIONAL Garantizar la integridad y asegurar la viabilidad del Estado y de la democracia Garantizar la vigencia plena del Estado de Derecho, fortalecer el marco institucional y afianzar una sólida cultura de legalidad PROGRAMAS ALINEADOS 1 0 Objetivo 3 Alcanzar un crecimiento económico sostenido 5 Objetivo 4 Economía competitiva que ofrezca bienes y servicios de calidad a precios accesibles Objetivo 5 Reducir la pobreza extrema y asegurar la igualdad de oportunidades 52 Objetivo 6 Reducir significativamente las brechas sociales, económicas y culturales 21 Objetivo 7 Garantizar que los mexicanos cuenten con oportunidades efectivas 6 Objetivo 8 Asegurar la sustentabilidad ambiental 23 Objetivo 9 Consolidar un régimen democrático 0 Objetivo 10 Aprovechar los beneficios de un mundo globalizado para impulsar el desarrollo nacional Total

22 Reducir las brechas sociales, económicas y culturales persistentes en la sociedad Igualdad de Oportunidades 3.4 Pueblos Indígenas 3.5 Igualdad entre mujeres y hombres Grupos Prioritarios 3.6 Grupos Vulnerables 3.7 Familia, niños y jóvenes 15. Incorporar plenamente a los pueblos y comunidades indígenas al desarrollo económico, social y cultural con respeto a sus tradiciones históricas 16. Eliminar cualquier discriminación por motivos de género y garantizar la igualdad de oportunidades 17. Abatir la marginación y el rezago que enfrentan los grupos sociales vulnerables para proveer igualdad en las oportunidades 18. Desarrollar una política pública dirigida a la familia con el fin de reducir la vulnerabilidad social 19. Garantizar las condiciones necesarias para el desarrollo integral de los jóvenes 20. Promover el desarrollo sano e integral de la niñez mexicana Turismo Alternativo en Zonas Indígenas (PTAZI) Apoyo a las Instancias de Mujeres en las Entidades Federativas Mujer en el Sector Agrario (PROMUSAG) Atención a Familias y Población Vulnerable (18) Coordinación para el Apoyo a la Producción Indígena (PROCAPI) Guarderías y estancias infantiles para apoyar a madres trabajadoras Coinversión Social Protección y Desarrollo Integral de la Infancia (20) Atención a Indígenas Desplazados (Indígenas urbanos y migrantes desplazados) Proyectos de comunicación indígena Infraestructura Social Básica (PIBAI) Promoción de Convenios en Materia de Procuración de Justicia (PCMJ) Fomento y Desarrollo de las Culturas Indígenas (PFDCI) Atención a los Adultos Mayores de 70 años y más en Zonas Rurales Atención a Jornaleros Agrícolas Modelo de Educación para la Vida y el Trabajo (INEA) Fortalecimiento de la Educación Especial y de la Integración Educativa Atención a Personas con Discapacidad Fondos Regionales Indígenas (PFRI) Organización Productiva para Mujeres Indígenas (POPMI) Albergues Escolares Indígenas (PAEI) 2

23 2

24 PRINCIPALES INSTRUMENTOS DE ESTA NUEVA GESTIÓN PARA RESULTADOS Matriz de Indicadores (marco lógico). Permite focalizar la atención y los esfuerzos de una dependencia o entidad, así como apoyar los procesos de planificación, diseño, monitoreo y evaluación Lineamientos generales de evaluación (DOF, marzo 2007) con varios tipos de evaluaciones y mayor libertad para temas específicos

25 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS: OBJETIVOS Busca medir, de manera homogénea, el desempeño global de los Programas (gestión y RESULTADOS) Con base en los resultados de la evaluación, se espera que los programas mejoren su diseño y gestión; volverán a ser evaluados en un futuro La evaluación 2007 fue un Diagnóstico de la orientación de los programas hacia una gestión para RESULTADOS En años posteriores, la evaluación deberá contener adicionalmente una comparación con los resultados encontrados en la evaluación de consistencia y resultados que se haya efectuado con anterioridad

26 IMPORTANCIA DE LA EVALUACIÓN DE CONSISTENCIA Y RESULTADOS La evaluación servirá para tomar decisiones de política pública con el fin de mejorar la gestión y los resultados de los programas Se desarrollan seminarios entre evaluadores, junto con servidores públicos, para analizar conjuntamente los resultados de las evaluaciones y metodologías aplicadas Los evaluadores presentaron al H. Congreso de la Unión, al CONEVAL, a la SHCP y a la SFP, los resultados obtenidos de la evaluación Las evaluaciones son difundidas públicamente con el objetivo de que los actores claves y la ciudadanía en general, conozcan el desempeño de los programas El CONEVAL también elabora una evaluación del proceso de evaluación, que incluye la calidad de las evaluaciones

27 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS Evaluación exclusivamente de gabinete 5 temas de evaluación: diseño, planeación estratégica, cobertura y focalización, operación, percepción de los beneficiarios, resultados 100 preguntas específicas relacionadas con los temas de evaluación Respuestas específicas, en su mayoría, en esquema binario (SI o NO) fundamentada con evidencia documental y análisis de la misma Respuestas apoyadas en la información y documentación con la que cuenta el programa Identificación concisa de fortalezas y oportunidades, debilidades y amenazas para cada tema de evaluación Al menos una recomendación precisa para solventar el problema identificado y mejorar el diseño y la gestión del programa

28 TEMAS RELEVANTES El programa lleva a cabo una gestión para Resultados? Cómo poder apoyarlo para que así suceda? El programa tiene una clara razón de ser? Está claramente combatiendo un problema, identificado de manera objetiva? El programa tiene una lógica interna clara? El programa tiene indicadores de Resultados, que son recabados de manera sistemática? Más allá de metas financieras, el programa ha podido documentar que ha venido resolviendo el problema que busca atender? El programa cuenta con instrumentos que le permitan medir el grado de satisfacción de la población objetivo con los servicios que se brindan?

29 TEMAS RELEVANTES El programa tiene mecanismos para establecer y definir metas e indicadores? El programa ha identificado claramente a la población objetivo? Cuál es su cobertura? Existe información sistematizada y actualizada que permita conocer quiénes reciben los apoyos y sus características (Padrones)? Existe evidencia documental de que el programa cumple con los procesos de ejecución establecidos en las ROP? Existe evidencia de que el programa tiene un adecuado sistema de monitoreo que proporcione información oportuna y confiable para la toma de decisiones? El programa le ha dado seguimiento a las recomendaciones provenientes de las evaluaciones externas previas?

30 MATRIZ DE INDICADORES (MARCO LÓGICO) Hoy en día es difícil conocer la lógica interna de los programas y por lo tanto saber si su diseño es el adecuado para alcanzar los objetivos planteados (resultados en la población objetivo) Por otro lado, se reportan muchos indicadores, no necesariamente útiles para medir el desempeño del programa y tomar decisiones (medición parcial: GESTIÓN) En el 2007 los programas iniciaron la construcción de una matriz de indicadores que permita la identificación de sus objetivos, sus relaciones causales, los indicadores y los supuestos o riesgos que pueden influir en el éxito o fracaso del mismo.

31 ESQUEMA LÓGICO DE UN PROGRAMA Implementación Resultados Fin Propósito Componentes Actividades Contribuir a que la población desempleada en pobreza tenga un mejor acceso a empleos de calidad Mejorar los conocimientos técnicos de los desempleados en situación de pobreza extrema 1.- Capacitación a individuos en pobreza extrema desempleados 2.- Beca de apoyo a familias beneficiadas - Focalización Geográfica 1.1 Identificación y selección de familias en pobreza extrema 2.1 Distribución de las becas de apoyo

32 MENOS Y MEJORES INDICADORES Implementación Resultados Fin Propósito Componentes Actividades Porcentaje de capacitados que obtienen un mejor trabajo Porcentaje de beneficiarios capacitados que efectivamente adquieren los conocimientos técnicos adecuados 1.- Porcentaje de cursos y talleres realizados 2.- Porcentaje de becas repartidas 3.- Monto total de las becas repartidas 4.- Porcentaje de desempleados capacitados 1.- % del presupuesto ejercido 2.- Costo promedio x actividad 3.- Costo promedio de distribución de la beca

33 QUEREMOS PASAR DE ESTO Implementación Resultados Componentes Actividades Propósito???

34 A ESTO EN UN PRIMER MOMENTO Implementación Resultados Componentes Actividades Propósito?

35 Y A ESTO EN UN SEGUNDO MOMENTO Objetivos Nacionales Resultados Fin Propósito Componentes Actividades

36 PROGRAMAS NUEVOS La evaluación de los programas nuevos analiza la consistencia del diseño del programa Como parte de la evaluación externa, o a través de un ejercicio interno, las dependencias o entidades deberán realizar: Los mecanismos de elegibilidad para la selección de proyectos y/o beneficiarios; Los mecanismos de atención del programa; La entrega o distribución del apoyo del Programa; El registro de operaciones programáticas y presupuestales; La rendición de cuentas, transparencia y difusión de información; y Otros aspectos que solicite el Consejo o que considere conveniente incluir el Programa.

37 SEGUIMIENTO A LOS RESULTADOS DE LAS ECR 2007 INICIO 1 UE y PROGRAMA Análisis y selección de los aspectos susceptibles de mejora 2 UE y UR Clasificación de los aspectos susceptibles de mejora 3 UE y UR Formulación de instrumentos susceptibles de mejora 4 DEPENDENCIAS Y ENTIDADES Criterios de selección a) Claridad b) Relevancia c) Justificación d) Factibilidad Rubros de Clasificación a ) Específicos b) Institucionales c) Coordinación intergubernamental d) Generales de Política pública Niveles de Prioridad a ) Alta b) Media c) Baja Difusión de los aspectos susceptibles de mejora FIN

38 Estrategia de Evaluación y Monitoreo Evaluación de Consistencia 1. Diseño (Gabinete) 2. Cobertura y focalización 3. Planeación 4. Operación 5. Resultados 6. Percepción de los Beneficiarios Matriz de Marco Lógico Diseño del Sistema de Evaluación del Desempeño (SED-SHCP) Programa Anual de Evaluación Evaluación de Impacto SISTEMA INTEGRAL DE MONITOREO Y EVALUACIÓN Matriz de Marco Lógico Matriz de Marco Lógico Matriz de Marco Lógico SED SED SED Programa Anual de Evaluación Evaluación de Impacto Programa Anual de Evaluación Evaluación de Impacto SED: -Monitoreo de Indicadores -Resultado de las Evaluaciones -Seguimiento a Recomendaciones Programa Anual de Evaluación Evaluación de Impacto Evaluaciones Estratégicas Evaluaciones Estratégicas Evaluaciones Estratégicas Evaluaciones Estratégicas Evaluaciones Temáticas Evaluaciones Temáticas Evaluaciones Temáticas Evaluaciones Temáticas

39 Preparación para un SM&E basado en Resultados Evaluación de Consistencia 1. Diseño 2. Cobertura y focalización 3. Planeación 4. Operación 5. Resultados 6. Percepción de los Beneficiarios SISTEMA INTEGRAL DE MONITOREO Y EVALUACIÓN Evaluación Externa 1. Diseño 8 2. Cobertura y focalización 9 3. Planeación 8 4. Operación 5 5. Resultados 7 6. Percepción de los Beneficiarios 9 Evaluación Externa 1. Diseño 8 2. Cobertura y focalización 9 SE REQUIERE 3. Planeación UNA 5 EVALUACIÓN DE OPERACIÓN 4. Operación 9 5. Resultados 7 6. Percepción de los Beneficiarios 9 SE REQUIERE UNA EVALUACIÓN DE PLANEACIÓN Evaluación de Consistencia 1. Diseño 2. Cobertura y focalización 3. Planeación 4. Operación 5. Resultados 6. Percepción de los Beneficiarios Matriz de Marco Lógico Matriz de Marco Lógico 0 < p < 1 Matriz de Marco Lógico Diseño del Sistema de Evaluación del Desempeño (SED-SHCP) Programa Anual de Evaluación Evaluación de Impacto Evaluaciones Estratégicas Evaluaciones Temáticas 2007 Diseño del Sistema de Evaluación del Desempeño (SED-SHCP) Programa Anual de Evaluación Evaluación de Impacto Evaluaciones Estratégicas Evaluaciones Temáticas SED

41 Resultados de Evaluación En octubre de 2007 se recibieron 116 Informes del tema de Diseño de las Evaluaciones de Consistencia y Resultados El CONEVAL analizó 116 Informes detectado las siguientes recomendaciones: 1. Elaborar o actualizar diagnósticos que sustente la razón de ser del programa y que dé cuenta de la situación actual del problema a resolver 2. Ampliar las capacidades de los sistemas de información que permitan contar con indicadores más precisos 3. Establecer medios de verificación validados para los indicadores 4. Identificar, definir y caracterizar de manera puntual a la población potencial y objetivo 5. Identificar las fuentes de información más actualizadas y confiables para la cuantificación de la población que se pretende atender 6. Construir sistemas de información que registren a los beneficiarios del programa 7. Que las ROP y la Matriz de Indicadores guarden consistencia y expresen adecuadamente el diseño de los programas 8. Evaluar la posibilidad de coordinación y colaboración con otras dependencias y entidades, para potenciar las complementariedades y evitar duplicidades entre programas 9. Delimitar el ámbito de competencia de los programas eliminando la posibilidad de duplicidad con otros programas

42 RESULTADOS EN EVALUACIÓN Se recibieron106 Evaluaciones de Consistencia y Resultados Se recibieron 13 Evaluaciones de Diseño Se realizó un análisis por programa evaluado, así como el análisis por tema evaluado

43 EJEMPLOS ESPECÍFICOS SEDESOL: No. 1 2 Programa Programa De Abasto Social De Leche (LICONSA) Programa De Desarrollo Humano (OPORTUNIDADES) Presupuesto 2008 Diseño Planeación Cobertura Operación 1, % 71% 50% 100% 37, % 27% 75% 100% Resultados Finales Documenta Resultados Tipo Resultados SAGARPA No. 1 Programa Fondo Para Atender A La Población Rural Afectada Por Contingencias Climatológicas Presupuesto 2008 Diseño Planeación Cobertura Operación % 29% 25% 100% Resultados Finales Documenta Resultados Tipo Resultados 2 Programa De Apoyos Directos Al Campo 16, % 43% 25% 63% SSA No. Programa Presupuesto 2008 Diseño Planeación Cobertura Operación Resultados Finales Documenta Resultados Tipo Resultados 1 Programa Comunidades Saludables % 86% 25% 63% 2 Programa de Atención a Personas con Discapacidad (SNDIF) % 57% 50% 100%

44 HALLAZGOS DISEÑO TEMA Identificación del problema Población a atender HALLAZGOS 71 % de los programas tiene claramente identificado el problema que atienden 67 % 58 % cuenta con objetivos que corresponden a la solución del problema que atienden tiene un diseño adecuado para alcanzar su propósito y atender a la población objetivo 47 % de los programas tiene definida a la población total que presenta el problema 76 % de los programas tienen claro que el logro de su propósito contribuye a la solución de un problema de desarrollo o la consecución de los objetivos estratégicos de las dependencias y entidades Lógica causal Instrumentos de monitoreo 44 % cuentan con una matriz de indicadores clara y válida (lógica vertical) 66 % tienen un diseño claramente expresado en la normatividad 50 % 41 % 35 % de los programas definieron bienes y servicios públicos necesarios y suficientes para el logro del su propósito tienen indicadores claros, relevantes, económicos, monitoreables y adecuados de los programas pueden medir el nivel de logro de sus resultados esperados a cada nivel de sus objetivos (lógica horizontal)

45 HALLAZGOS PLANEACIÓN ESTRATÉGICA TEMA HALLAZGOS 58 % de los programas utilizan los resultados de las evaluaciones para mejorar su desempeño Orientación a resultados 51 % 49 % tienen metas pertinentes y plazos específicos para sus indicadores de desempeño tienen un número suficiente de indicadores orientados a resultados que reflejen su propósito 21 % de los planes establecen claramente los resultados que se buscan alcanzar 25 % cuentan con planes estratégicos a corto, mediano y largo plazo Instrumentos de planeación 23 % 27 % de los planes establecen indicadores, metas, estrategias, políticas y programas de trabajo de los programas tienen mecanismos para establecer y definir metas e indicadores

46 HALLAZGOS COBERTURA Y PERCEPCIÓN COBERTURA Y FOCALIZACIÓN: TEMA HALLAZGOS 24 % de los programas cuantifica su población objetivo y potencial Definición de la Población Objetivo y Estrategia de Cobertura 25 % tienen un avance adecuado para cumplir con su propósito 23 % cuenta con una estrategia de cobertura a corto, mediano y largo plazo 21 % de los programas se considera que la estrategia de cobertura es la adecuada PERCEPCIÓN DE BENEFICIARIOS: TEMA Medición de la percepción de los beneficiarios 54 % HALLAZGOS de los programas cuentan con instrumentos para medir el grado de satisfacción de la población objetivo 37 % presentan información objetiva

47 HALLAZGOS OPERACIÓN TEMA Cumplimiento con normatividad 84 % 89 % HALLAZGOS de los programas cumplen con la normatividad establecida para la entrega de apoyos tienen evidencia documental de que cumple con los procesos de ejecución establecidos Eficacia en la operación 76 % tienen procedimientos adecuados para procesar solicitudes de apoyo 72 % tienen procesos estandarizados y adecuados para la selección de proyectos y beneficiarios 80 % cuentan con una estructura organizacional que le permite alcanzar su propósito Infraestructura necesaria 80 % tienen información sistematizada que permita dar seguimiento oportuno a la ejecución de obras y/o acciones 84 % de los programas cuentan con indicadores de eficacia en la operación 61 % tienen información sistematizada adecuada en la administración y operación del programa

48 HALLAZGOS RESULTADOS TEMA HALLAZGOS 36 % de los programas han demostrado adecuado progreso en alcanzar sus objetivos Información sobre el progreso en el cumplimiento de objetivos 42 % de los programas recolectan información veraz y oportuna sobre los indicadores que miden sus objetivos 26 % han llevado a cabo evaluaciones externas que le permitan medir su impacto

50 AVANCES EN EL TEMA DE MI 389 programas presupuestarios con matriz de indicadores, identificando indicadores de resultados, no sólo de gestión y de producto Presupuesto 2008 con 3,975 indicadores estratégicos y de gestión La SHCP en coordinación con las dependencias seleccionaron 258 indicadores para dar seguimiento al presupuesto (178 son de resultados) 87% de los programas presupuestarios que otorgan subsidios (modalidad presupuestal S y U) presentaron una matriz de indicadores parcial o totalmente consistente 2,128 indicadores, de los cuáles 564 son de resultados

51 SEMÁFORO GENERAL ABRIL DE MI fueron analizadas considerando: El cumplimiento de la definición de sus elementos (PND, Fin, Propósito, Componentes y Actividades) La lógica que presenta cada uno de ellos (Vertical y Horizontal) Semaforización de las matrices de indicadores, Abril 2008 (19%) Matrices de Indicadores consistentes, (68%) Matrices de Indicadores parcialmente consistentes, requieren cambios, principalmente en sus indicadores (13%) Matrices de Indicadores con insuficiente consistencia. En ellas se requieren cambios significativos para fortalecer la coherencia del diseño

52 SEMÁFORO: DISEÑO DE LAS MATRICES El 50% de las matrices no cuentan con los componentes (bienes y servicios que produce o entrega) necesarios y suficientes para que el programa alcance su propósito. En el 26% de las matrices se identifican múltiples propósitos, y no es claro cuál es el objetivo esperado en la población como resultado de la ejecución del programa. En el 24% de las matrices no se identifica con claridad la contribución que el propósito hace al fin del programa. En el 10% el fin no está claramente vinculado con el objetivo estratégico de la dependencia.

53 SEMÁFORO: DISEÑO DE LAS MATRICES El 61% de las matrices no cuenta con indicadores necesarios y suficientes que permitan medir adecuadamente el desempeño del Programa a nivel de Componentes. Esto también se observa en el 55% y 59% de las matrices a nivel de Fin y Propósito, respectivamente. Las matrices de indicadores no tienen identificados de manera clara y precisa los medios de verificación, a nivel de los Componentes (68%), Propósito (59%) y Fin (57%)

54 EJEMPLO 1: PROGRAMA DE APOYO AL EMPLEO-STPS ANTES Indicadores de Resultados de las Reglas de Operación 2004

55 EJEMPLO 1: PROGRAMA DE APOYO AL EMPLEO-STPS ANTES En el Informe de Labores 2006, la dependencia reporta como resultados del Programa los siguientes: De enero a junio de 2006 se atendieron a 180,390 personas Se lograron colocar en un empleo 90,325 personas (50.1%) Se comprometieron millones de pesos Los resultados de algunas estrategias en el 2005 fueron: BÉCATE atendió a 207,118 personas y logró colocar al 54.5% Empleo Formal atendió a 118,425 personas y logró colocar al 54.9% Jornalero Agrícolas atendió a 47,936 personas y logró colocar al 42.9%

56 EJEMPLO 1: PROGRAMA DE APOYO AL EMPLEO-STPS AHORA Como resultado de la estrategia de capacitación y de los comentarios que el CONEVAL y la SHCP emitieron a la matriz de indicadores, el programa ahora cuenta con los siguientes indicadores de RESULTADOS

57 EJEMPLO 2: 3X1 PARA MIGRANTES-SEDESOL ANTES Indicadores de Resultados de las Reglas de Operación 2008 X 100 X 100 X 100 NOTA: El programa no ha actualizado los indicadores de las ROP

58 EJEMPLO 2: 3X1 PARA MIGRANTES-SEDESOL ANTES En el informe de labores 2007, la dependencia reporta como resultados del programa lo siguiente: Para el presente ejercicio, el Programa cuenta con un techo presupuestal de 220 millones de pesos. A julio de 2007 se han realizado un total de 696 proyectos, de los cuales: 40.9% son obras de pavimentación, urbanización y mejoramiento urbano; 12.5% son proyectos de agua potable; 9.9% son de drenaje, mientras que las electrificaciones fueron un 8.8% de los proyectos realizados; 10.6% son obras de infraestructura educativa, deportiva y de salud; 2.2% son caminos rurales, y un 15.1% se destinaron a otro tipos de proyectos (productivos, orfanatos, asilos, centros comunitarios, centros culturales, rehabilitación de edificios históricos y becas).

59 EJEMPLO 2: 3X1 PARA MIGRANTES-SEDESOL AHORA Como resultado de la estrategia de capacitación y de los comentarios que el CONEVAL y la SHCP emitieron a la matriz de indicadores, el programa ahora cuenta con los siguientes indicadores de RESULTADOS X 100 X 100

60 Índice Antecedentes Marco Normativo Anterior Diagnóstico Nuevo Marco Normativo Coneval La Estrategia de Evaluación y Monitoreo Avances en el tema de evaluación Avances en el tema de indicadores A mediano Plazo

61 LO QUE SE ESPERA EN EL MEDIANO PLAZO Promover la gestión y evaluación basada en Resultados Tener un sistema de Evaluación y Monitoreo coordinado y sistematizado Menor número de indicadores a reportar, pero de mejor calidad Que el sistema tenga nexos con el proceso presupuestario Promover el uso sistemático de la información de evaluación y monitoreo Que la información se utilice para mejorar la gestión de los programas y dependencias Que se puedan evaluar políticas en su conjunto, especialmente políticas sociales Con esta información más la evolución de los indicadores de pobreza nacionales, estatales y municipales, poder evaluar la política social en su conjunto Reforzar la transparencia y la rendición de cuentas

62 TEMAS A CONSIDERAR Diferencias entre: Evaluación: Las cosas que se hacen son las correctas? Auditoria: Las cosas se están haciendo correctamente? Vínculo entre: Gestión y evaluación; Resultados y presupuesto, Coordinación entre diferentes actores Al interior y entre de las secretarias Con el Jefe de Gobierno y el Congreso Local Definir roles de los diferentes actores Impulsar los resultados y mejorar la gestión (agenda política) Implementación gradual y/o aplicación de pilotos Temas, instrumentos, alcances, etc.

63 TEMAS A CONSIDERAR Iniciar por voluntad política y luego se impulsa normativamente Fortalecer capacidad técnica de las secretarías Fortalecer la oferta de evaluadores Normatividad de adquisiciones Diagnóstico de lo existente y lo aprendido hasta el momento Normatividad y prácticas actuales Nomenclatura y conocimientos básicos Detectar prácticas exitosas ya existentes Analizar la experiencia internacional Pocos casos locales, más experiencia federal Definir con claridad lo que se busca Evaluar constantemente los avances que se tengan Apoyado con un organismo externo nacional o internacional

64 Considerable demanda gubernamental Objetividad y calidad Grado de utilización (oferta adecuada de instrumentos y productos) Importancia de los incentivos para generar información Diagnóstico del SE&M existente Peligro de complejidad excesiva Esfuerzo de largo plazo, impulso por etapas Promotor influyente Impulso de una secretaría competente Normatividad (limitaciones y ventajas) FACTORES DE ÉXITO DE LOS SE&M x RESULTADOS

65 Gracias