Junio Implementación del Sistema de Evaluación y Monitoreo basado en resultados en la SEDESOL

Transcripción

1 Junio 2010 Implementación del Sistema de Evaluación y Monitoreo basado en resultados en la SEDESOL

2 Antecedentes El interés generalizado por la evaluación de programas sociales en México surge a partir de la evaluación a PROGRESA /Oportunidades en 1997 En el año 2000, el Congreso hizo obligatoria la evaluación anual de resultados de los programas del Ejecutivo Federal (Presupuesto de Egresos) Necesidad, desde el Congreso, de evitar el uso de programas sociales con fines políticos. Primer intento por normar evaluaciones en 2002: Acuerdo de la Secretaría de Hacienda y Crédito Público (SHCP) y Secretaría de la Función Pública (SFP)

3 Cambios Institucionales 2004 Ley General de Desarrollo Social Institucionaliza la evaluación de la política de Desarrollo Social Creación del Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) Mayor independencia Evaluación externa de todos los programas sociales 2006 Ley Federal de Presupuesto y Responsabilidad Hacendaria Sistema de Evaluación de Desempeño Vincula el proceso de evaluación a la programación y presupuestación Proceso de evaluación Información dispersa Resultados no sistematizados Utilización y calidad de las evaluaciones incierta Alrededor de un 30% del presupuesto era evaluado

4 Las iniciativas del Gobierno Federal En 2007, la SHCP, la SFP y el Coneval presentaron las directrices del Sistema de Evaluación del Desempeño (SED) y el Presupuesto Basado en Resultados (PbR) Promover una mayor coordinación sectorial Vincular la planeación, presupuestación, ejecución, monitoreo y evaluación Fortalecer la generación de información del desempeño útil a la toma de decisiones, manejo gerencial y rendición de cuentas Mejorar el diseño y la operación de los programas sociales y la calidad del gasto

5 Las iniciativas del Gobierno Federal Publicación de nuevos lineamientos de Evaluación (2007): Alineación de los programas a los Planes Sectoriales Mayor realismo en los requisitos de evaluación Institucionalización del marco lógico y vinculación con el Sistema de Evaluación de Desempeño Programa anual de evaluación: Define los tipos de evaluación a aplicarse en los programas federales Seguimiento a los aspectos susceptibles de mejora derivados de las evaluaciones Difusión de las evaluaciones

6 Las iniciativas del Gobierno Federal Tipos de Evaluación Tipo de Evaluaciones Diseño Consistencia y Resultados Indicadores Desempeño Procesos Impacto Objetivo Analizan el diseño del programa con base en la Matriz de Indicadores. Analizan el diseño y desempeño global de los programas con base en la matriz de Indicadores. Analizan la pertinencia y alcance de los indicadores de un programa para el logro de los resultados Analizan de manera sistemática la evolución de los indicadores clave del programa en un periodo de tiempo determinado Analizan si el programa lleva a cabo sus proceso operativos de manera eficaz y eficiente y si contribuye al mejoramiento de la gestión Identifican el cambio en los indicadores a nivel de resultados atribuible a la ejecución del programa

7 Las iniciativas del Gobierno Federal Año 0 Año 1 Año 2 Año 3 Programa Nuevo Evaluación de Diseño ECR Evaluación de Procesos Evaluación de Indicadores - Elaboración de un Diagnóstico para para los programas nuevos que se propongan incluir en el Presupuesto. -Aplica para los programas nuevos que están en su primer año de operación -Aplica para los programas con al menos dos años de operación -Aplica para los programas con al menos dos años de operación y que tengan ECR previamente Evaluación de Impacto Evaluación de Impacto Evaluación de Impacto Evaluación de Impacto Línea Basal Grupo control y grupo tratamiento Efectos de los beneficiarios Efectos de los beneficiarios Evaluación Específica de Desempeño Evaluación Específica de Desempeño Evaluación Específica y Complementaria Dirección General Adjunta de Evaluación

8 Respuesta SEDESOL 2002 se crea la Subsecretaría de Prospectiva, Planeación y Evaluación Entrega anual de evaluaciones externas de resultados (80 evaluaciones). Adicionalmente se realizaron 7 evaluaciones de impacto Fortalecimiento del uso de las evaluaciones a la toma de decisiones 2006 Desarrollo de un sistema de evaluación y monitoreo basado en resultados Evaluaciones de resultados (Congreso) Evaluaciones de impacto Sistema de monitoreo basado en resultados (marco lógico) Implementación piloto Diseminación y retroalimentación 2007 Alineación con la nueva normatividad en la materia

9 Sistema de Evaluación del Desempeño en la SEDESOL Monitoreo basado en Resultados Metas Sectoriales (Vivir Mejor) SEDsol Presupuesto basado en Resultados Integración Plan-Presupuesto Evaluación basada en Resultados Plan Institucional de Evaluación Nivel Sectorial Matrices de indicadores Cumplimiento de Metas y Objetivos Metas vinculadas al presupuesto Programa Anual Evaluaciones Complementarias ASM Nivel Programas Agenda transversal Agenda de información Desarrollo de capacidades Organización institucional 9

10 Monitoreo basado en Resultados Nivel Sectorial Seguimiento a indicadores estratégicos Metas Prioritarias Indicadores prioritarios Presidencia / Otros actores Nivel por programa Portal Aplicativo de la Secretaría de Hacienda Matrices de indicadores 486 indicadores (2009) Fin Propósito Componentes Actividades SHCP

11 Elementos del Monitoreo basado en Resultados 1. Indicadores prioritarios Conjunto de indicadores que permiten medir el avance en los logros de la Secretaría Con distintos niveles de información(mensual, trimestral, anual, quinquenal) Con diferentes niveles de objetivos(resultados, componentes y presupuesto) 2. Matriz de Indicadores para Resultados (MIR) de los programas de la SEDESOL Alineación de los programas a los ejes de política pública Se mide el desempeño de los programas, orientado a resultados Vincula los componentes al presupuesto Se simplifican las Reglas de Operación de los programas con base en la MIR y se alinean a su estructura

12 Alineación Sectorial Plan Nacional de Desarrollo Estrategia de Política Social Vivir Mejor Eje 3: Igualdad de Oportunidades Línea de Acción: 3.1 Desarrollo de Capacidades Básicas Objetivo 1 Reducir significativamente el número de mexicanos en condiciones de pobreza con políticas públicas que superen un enfoque asistencialista, de modo que las personas puedan adquirir capacidades y generar oportunidades de trabajo Alimentación Estrategia 1.3 Asegurar que los mexicanos en situación de pobreza resuelvan sus necesidades de alimentación... Programa Sectorial de Desarrollo Objetivo 1: Desarrollar las capacidades de las personas en condición de pobreza Indicador: Prevalencia de desnutrición crónica infantil de la población en condiciones de pobreza. Estrategia 1.1. Llevar a cabo una política alimentaria integral que permita mejorar la nutrición de las personas en situación de pobreza. Línea base 28% Meta 19.6% Objetivo de la Entidad: Contribuir al bienestar e igualdad de oportunidades de los habitantes de las localidades con población en situación de pobreza, a través del abasto de bienes básicos y complementarios de manera eficiente, con la participación de la sociedad. Programas presupuestarios Programa de Desarrollo Humano Oportunidades Programa de Abasto Social de Leche Programa de Apoyo Alimentario Programa de Abasto Rural Objetivo Programas Presupuestarios: Contribuir al desarrollo de las capacidades básicas mejorando la nutrición de la población. Matriz de Indicadores Fin Indicadores Metas

13 Evaluación basada en Resultados Regresar Nivel Sectorial Sistema de seguimiento a las evaluaciones externas Plan de evaluación SEDESOL Mejoramiento de los programas Nivel por programa Impacto Específicas Consistencia y Resultados Otras Coneval, SFP, SHCP, Poder Legislativo Seguimiento a Aspectos susceptibles de mejora Diseminación de resultados

14 Elementos de la Evaluación basada en Resultados 1. Plan de evaluación Seleccionar un conjunto de evaluaciones prioritarias para la Secretaría Prioriza temas sectoriales Evaluaciones de impacto para programas estratégicos (compromisos internacionales) Consulta a los programas sus necesidades 2. Seguimiento a recomendaciones de las evaluaciones externas Definición de aspectos susceptibles de mejora Plan de trabajo: acciones, fechas y entregables Plan de trabajo institucional y Plan de trabajo específico por programa Publicados en la página de internet de la SEDESOL

15 Uso de los resultados de evaluación en la reingeniería de los programas Los resultados de las evaluaciones han servido de insumo para la toma de decisiones de los programas. Algunos ejemplos Resultados de Evaluaciones Oportunidades La magnitud de la disminución en la prevalencia de anemia fue menor a la esperada Un porcentaje alto de niños no consumía regularmente el suplemento y el uso y preparación del mismo no era adecuada Programa de Abasto Social de Leche La evaluación cualitativa sobre las prácticas de los usuarios en el manejo de la leche mostró que la leche se acompaña de alimentos con sustancias que interfieren en la absorción de la misma. Además, prácticas como hervirla, almacenarla o agregarle saborizantes destruyen la vitamina C, lo que a su vez disminuye la absorción del hierro. Modificaciones al Programa Se cambió la forma de hierro utilizada en el suplemento. (Se sustituyó el hierro reducido por el gluconato ferroso). Se modificaron las estrategias y materiales para promover el consumo adecuado de Nutrisano. (Las pláticas que originalmente se ofrecían en español han sido adaptadas a lenguas indígenas. El hierro utilizado para la fortificación fue el gluconato ferroso y se adicionó vitamina C para asegurar la absorción mínima deseada.

16 Uso de los resultados de evaluación en la reingeniería de los programas Resultados de Evaluaciones Modificaciones al Programa Programa de Apoyo Alimentario Se mostró que la fortificación de la leche Liconsa mejoró la incidencia de anemia en niños menores de 5 años, a un costo muy bajo. Revisión del diseño del programa de apoyo alimentario, entrega de efectivo + leche Liconsa a hogares con niños, embarazadas y en lactancia.

17 Principales logros 1. Planeación: Alineación de los programas a los objetivos sectoriales Planeación de corto, mediano y largo plazo 2. Vinculación de presupuesto a componentes prioritarios 3. Monitoreo: La MIR como fuente única para medir avances Reportes de avances periódicos a SHCP Ejecución orientada a resultados 4. Evaluación: Institucionalización de seguimiento a aspectos susceptibles de mejora mediante planes de trabajo públicos 5. Mayor uso de la información, no solo del gobierno también de la sociedad civil. Mayor transparencia y rendición de cuentas.

18 Áreas de Oportunidad 1. Vinculación de procesos internos: Alineación de actividades de las diferentes áreas involucradas: Planeación, Programación y Presupuesto, Monitoreo y Evaluación, Operadores Partir de diagnósticos de los problemas centrales para generar las estrategias de atención 2. Desarrollo de capacidades internas y externas Capacidades de planeación estratégica: Definición de indicadores y metas Evaluaciones y matrices de indicadores de calidad heterogénea 3. Calidad de la información Certificación de la información Transformar datos en información Sistematizar información e integrar sistemas de seguimiento