IV CONFERENCIA Red de monitoreo y Evaluación de America Latina y el Caribe El uso de los resultados de monitoreo y evaluación en el ciclo de las políticas publicas SFP Evaluación de la gestión Agosto 25, 2010
Contenido Herramientas de monitoreo y evaluación 1. Matriz de acciones de mejora 2. Encuesta de percepción 3. Revisión de Matrices de Indicadores de Resultados (MIR) 4. Padrón único de beneficiarios (SIIPP-G)
Herramientas 1. Matriz de acciones de mejora Instrumento derivado del PAE y del mecanismo para el seguimiento de los aspectos susceptibles de mejora. Herramienta de seguimiento, transparencia y rendición de cuentas. Tener integrados en una sola BD; los asm, las recomendaciones que les dieron origen, las actividades previstas para su atención, y las fechas compromiso propuestas Detectar áreas de oportunidad generales para mejorar el desempeño de los programas federales. De los programas evaluados durante los años 2008 y 2009: 924 asm derivados de 152 programas evaluados, correspondientes a 13 dependencias y entidades de la Administración Pública Federal
Tipos de evaluación y asm derivados 20 2008-2009 20 Impacto 101 Diseño 387 7 25 250 127 Procesos Específica Consistencia y Resultados Específica del Desempeño Otras Hay 7 ASM que no registraron el tipo de evaluación
Atendiendo a la contribución de los asm al logro del fin y propósito de los programas, aquéllos se clasifican como de Alta, Media y Baja Prioridad. De los 924 asm capturados, 59.41% fueron clasificados como aspectos de Alta Prioridad. Aspectos susceptibles de mejora capturados Nivel de prioridad Baja 61 Media 314 549 Alta 0 100 200 300 400 500
Para determinar áreas de oportunidad en los programas, se analizó a manera de ejemplo el resultado de las Evaluaciones de Diseño realizadas durante 2008 y 2009, detectando que los asm reportados se dirigieron principalmente al mejoramiento de: la Matriz de Marco Lógico, las Reglas de Operación y la Definición de los Objetivos de los Programas. Aspectos Susceptibles de Mejora Derivados de Evaluaciones de Diseño Sin Definir Otros Ausencia de Diagnósticos Definición de Objetivos Reglas de Operación Matríz de Indicadores 19 55 13 28 70 65 0 100 200 300 400 500
De 153 programas registrados en el SSAS del CONEVAL: 9 (5.8%) no cuentan con asm; 165 asm (17.8%) no están vinculados a una recomendación; y 61asm (6.6%) no tienen una actividad a realizar definida. Áreas de oportunidad 1. Mejorar alineación 2. Valorar conexión directa entre las recomendaciones emitidas por los evaluadores y las acciones establecidas por las instituciones 3. Fortalecer monitoreo para evaluar mejoras concretas de los programas, a través de mecanismos existentes
2. Encuesta de percepción sobre el PAE Periodo de aplicación del 02 al 18 de agosto de 2010. Conocer la utilidad que las diversas evaluaciones externas han generado en cuanto a la eficiencia, mejora y cumplimiento de metas y objetivos de los programas federales. Aplicada a: Operadores de programas que hayan realizado algún tipo de evaluación en el marco del Programa Anual de Evaluación. Responsables de áreas o unidades de evaluación de las instituciones evaluadas. Universo: 161 programas evaluados en el periodo 2007-2009.
Instituciones participantes 1 CENTRO DE INVESTIGACIÓN Y DE ESTUDIOS AVANZADOS DEL IPN CINVESTAV 2 COMISIÓN NACIONAL DE CULTURA FÍSICA Y DEPORTE CONADE 3 COMISIÓN NACIONAL DE VIVIENDA CONAVI 4 COMISIÓN NACIONAL DEL AGUA CONAGUA 5 COMISIÓN NACIONAL FORESTAL CONAFOR 6 COMISIÓN NACIONAL PARA EL DESARROLLO DE LOS PUEBLOS INDÍGENAS CDI 7 CONSEJO NACIONAL DE ÁREAS NATURALES PROTEGIDAS CONANP 8 CONSEJO NACIONAL DE CIENCIA Y TECNOLOGÍA CONACYT 9 CONSEJO NACIONAL DE FOMENTO EDUCATIVO CONAFE 10 CONSEJO NACIONAL PARA LA CULTURA Y LAS ARTES CONACULTA 11 DICONSA DICONSA 12 FIDEICOMISOS INSTITUIDOS EN RELACIÓN CON LA AGRICULTURA FIRA 13 FINANCIERA RURAL 14 FONDO DE CAPITALIZACIÓN E INVERSIÓN DEL SECTOR RURAL FOCIR 15 FONDO NACIONAL PARA EL FOMENTO DE LAS ARTESANÍAS FONART 16 IMSS-Oportunidades Oportunidades 17 INSTITUTO NACIONAL DE ECOLOGÍA INE 18 INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN INEE
Instituciones participantes (Continuación) 19 INSTITUTO POLITÉCNICO NACIONAL IPN 20 SECRETARÍA DE AGRICULTURA, GANADERÍA, DESARROLLO RURAL, PESCA Y ALIMENTACIÓN SAGARPA 21 SECRETARIA DE LA REFORMA AGRARIA SRA 22 SECRETARÍA DE SALUD SSA 23 SECRETARÍA DEL TRABAJO Y PREVISIÓN SOCIAL STPS 24 SISTEMA NACIONAL PARA EL DESARROLLO INTEGRAL DE LA FAMILIA SNDIF 25 SS-SEGURO POPULAR 26 UNIVERSIDAD AUTÓNOMA AGRARIA ANTONIO NARRO UAAAN
88% de los encuestados han utilizado los resultados de las evaluaciones para hacer mejoras a los programas.
Tipos de mejoras implantadas + menciones - menciones Lugar 1 Mejoras Rediseñar el programa (clarificación de objetivos; planeación; establecimiento de estrategias; población objetivo) 2 Precisar, mejorar y actualizar las ROP 3 Mejorar la operación (mejora de procesos y procedimientos) 4 Mejorar los indicadores de las MIR 5 Definir y enfocar las metas 6 Ajustar la normatividad (actualización de manuales) 7 Hacer más eficiente la asignación de los recursos. 8 Formular planes de trabajo 9 Definir nuevos programas 10 Mejorar los procesos administrativos 11 Definir controles 12 Detectar necesidades de capacitación 13 Redistribuir cargas de trabajo 14 Dar mejor atención a los usuarios 15 Motivar al personal
90% de los encuestados considera que las evaluaciones aportan información relevante al programa.
Más de la mitad de los compromisos derivados de las evaluaciones son incorporados a las metas del área que opera el programa y 32% a las metas de la institución.
Motivos por los cuales se realizan otras evaluaciones Porcentaje Conocer aspectos específicos del programa 45% Evaluar los resultados (impacto) 13% Conocer la percepción de beneficiarios y focalización 13% Créditos externos 5% Mecanismos internos de control y autoevaluación 5% Seguimiento de indicadores 3% Evaluación de la normatividad 3% Certificación ISO 3% Otras 3%
NO NO
Sugerencias más recurrentes orientadas a mejorar el proceso de evaluación + menciones - menciones Lugar 1 2 3 4 5 6 Sugerencias Mecanismos formales de comunicación. Mejorar la comunicación estableciendo mecanismos de retroalimentación en todo el proceso de evaluación: entre las instituciones rectoras de la evaluación, las áreas de evaluación y seguimiento y los dueños de los programas evaluados. Proceso de evaluación. Mejorar el proceso de evaluación; revisión metodológica y su implantación; discutir y revalorar las políticas de evaluación del desempeño para que respondan a las necesidades medición, control y evaluación de los programas. Experiencia y conocimiento de los evaluadores externos. Incorporación de expertos en los temas evaluados. Flexibilidad en los TDRs. Permitir que los TDRs puedan ser complementados para que respondan a las necesidades específicas de los programas. Coordinación y acuerdos entre globalizadoras. Mejorar la coordinación entre las instituciones rectoras de la evaluación. Ejercicio de recursos. Facilitar los mecanismos financieros para que se puedan realizar las evaluaciones así como para la implantación de mejoras que requieren recursos. 7 Periodicidad de las evaluaciones. Modificar la periodicidad de las evaluaciones. 8 9 10 Recomendaciones en todos los niveles. Establecimiento de compromisos y seguimiento a todos los niveles, no solo a las áreas operadoras de los programas. Cultura de evaluación. Introducir una cultura de evaluación en las instituciones, especialmente en los niveles directivos. Resultado de las evaluaciones. Tomar en cuenta los resultados de los indicadores y evaluaciones para la asignación presupuestal y toma de decisiones. 11 Evaluaciones de impacto. Orientar las evaluaciones hacia el impacto de los programas.
3. Matriz de Indicadores de Resultados (MIR) Se realizó la revisión de las MIR de 114 Programas Presupuestarios (Pp) correspondientes a 55 Instituciones de la APF. Se seleccionaron y convocaron para una 1a Etapa a 22 Instituciones y sus respectivas áreas de planeación y/o evaluación, programación y presupuesto y responsables de la operación de los Programas. Se integraron grupos de trabajo conformados por personal de la UEGDG, CGOVC, OIC y la UPCP-SHCP. Se promovió el registro en el PASH, de las mejoras de las MIR revisadas y concertadas para el ciclo de programación y presupuestación del ejercicio 2011. Se realizará una 2a Etapa (Sep-10 a Feb-11), a fin de concertar los aspectos susceptibles de mejora que no se concretaron en la 1a Etapa, así como, incluir a las instituciones faltantes.
UR C00 HIU INSTITUCIONES COORDINACIÓN GENERAL DEL PROGRAMA NACIONAL DE APOYO PARA LAS EMPRESAS DE SOLIDARIDAD NACIONAL FINANCIERA, S.N.C. 11 SECRETARÍA DE EDUCACIÓN PÚBLICA J0U CAMINOS Y PUENTES FEDERALES DE INGRESOS Y SERVICIOS CONEXOS 16 SECRETARÍA DEL MEDIO AMBIENTE Y REC. NATURALES HKA SERVICIO DE ADMINISTRACIÓN Y ENAJENACIÓN DE BIENES B00 COMISIÓN NACIONAL DEL AGUA C00 ADMINISTRACION FEDERAL DE SERVICIOS EDUCATIVOS EN EL DISTRITO FEDERAL E00 GIC BANCO NACIONAL DE OBRAS Y SERVICIOS PUBLICOS, S.N.C. 51 ISSSTE 10 SECRETARÍA DE ECONOMÍA 21 SECRETARÍA DE TURISMO W3N C00 HHQ T41 HJY SERVICIO DE ADMINISTRACIÓN TRIBUTARIA FONDO NACIONAL DE FOMENTO AL TURISMO COMISION NACIONAL DE SEGUROS Y FIANZAS LOTERÍA NACIONAL PARA LA ASISTENCIA PÚBLICA 50 INSTITUTO MEXICANO DEL SEGURO SOCIAL PEMEX- EXPLORACIÓN Y PRODUCCIÓN PEMEX- REFINACIÓN PEMEX- GAS Y PETROQUÍMICA BÁSICA PRONÓSTICOS PARA LA ASISTENCIA PÚBLICA 18 SECRETARÍA DE ENERGÍA
RESULTADOS DE LA PRIMERA ETAPA Se concertaron mejoras con 22 instituciones respecto de 40 MIR con un total aproximado de 240 indicadores, y las recomendaciones se orientaron a corregir las inconsistencias de : El 33.3%, rediseño total de la MIR El 31.3%, construcción del indicador y elementos asociados El 21.2%, consistencia, alineación y congruencia de la MIR (Actividades, Componentes, Propósito y Fin) El 15.1%, sintaxis de los resúmenes narrativos, redacción de los medios de verificación y supuestos y falta de información en estos últimos MEJORAS POR TIPO DE INCONSISTENCIA 15, 15% 31, 31% 21, 21% REDISEÑO TOTAL DE MIR CONSISTENCIA, ALINEACIÓN Y CONGRUENCIA DE LA MIR CONSTRUCCIÓN DEL INDICADOR Y ELEMENTOS ASOCIADOS RECOMENDACIONES MENORES (Sintáxis, Resumen Narrativo, Redacción de los Campos de la MIR, 33, 33%
RESULTADOS 1. Articulación de las Áreas de Planeación y/o Evaluación, Programaciónpresupuestación y Unidades Ejecutoras de los Programas Presupuestarios en las Instituciones, parte fundamental en la consolidación de las MIR 2. Requerimientos de capacitación gradual sobre el SED para las instituciones. 3. Implantar un sistema de incentivos para fomentar la aplicación de evaluaciones y el uso de sus resultados en los diferentes niveles
4. Qué es el SIIPP-G? Sistema de Integración de Información Padrón de Padrones Herramienta de la APF para identificar: Beneficiarios y/o Derechohabientes Beneficios Concurrencias Ubicar geográficamente entrega de beneficios Propósitos: Evaluar y generar recomendaciones para mejorar los programas Lograr mayor identificación de mexicanos Ayudará en la transparencia y rendición de cuentas
Integración del Padrón Único Beneficiarios Beneficios 104,774,313 30,684,006 69,385,044 21,184,382 Enero 2009 Julio 2010
Beneficiarios SIIPP-G 2006-2010: 69,385,044 personas Sector Salud Beneficiarios y Derechohabientes Sector Social 49,122,386 6,251,378 26,514,036 6,251,378 42,871,008 49,122,386 20,264,158 26,514,036
Confrontas 2010 Sector Instituciones Registros Con CURP Objetivo Acción Sector Salud Seguro popular IMSS ISSSTE SEMAR SEDENA 60,132,497 Derechohabientes por entidad federativa Identificar concurrencias Determinar exclusión 1. Mejorar la calidad en la integración de derechohabientes 2. Incrementar identificación con CURP 3. Determinar si las concurrencias son legales. Sector Social y Rural PROCAMPO OPORTUNIDADES PROARBOL SRA FIRA SALUD 25,865,692 Concurrencias en el mismo padrón Concurrencia con otros programas Determinar cantidad de beneficios 1. Mejorar Reglas de Operación 2. Depurar padrones periódicamente 3. Determinar si la concurrencia es duplicidad de recurso público
Causas que impiden integración de padrones Causas Deficiente calidad general de los padrones 1.Problemas de identificación de beneficiarios de programas con la CURP 2.Falta de datos confiables de identificación geográfica, monto de los beneficios, etc. 3.No se distingue entre la población vigente y la histórica % 50% Estrategias (Programa de trabajo) 1. Integrar CURP en línea 2. Nuevo Manual de Operación del Padrón Único 3. Invertir en el Sistema informático del Padrón Único Procesos deficientes de recopilación de información 1.Descoordinación entre los operadores de programas del mismo sector y de la misma dependencia 2.Falta de sistemas informáticos apropiados (procesos manuales) 1.Gran diversidad de modelos de padrón 30% 4. Analizar procesos e integrar proyectos de mejora por programa 5. Estandarizar cédulas de captura Reglas de operación complejas 1.No enfocadas en el ciudadano 2.Insuficientes elementos de control 20% 6. Integrar recomendaciones de SFP Coneval, Cofemer 7. Actualizar Reglas de Operación
Gracias!