Rubro: Monitoreo y Evaluación. Responsable: Carlos Camarena Torres, Coordinador de Proyectos Estratégicos, Coordinación General de Políticas Públicas. Coordinación General de Políticas Públicas. PUNTO DE PARTIDA EN MATERIA DE MONITOREO Y EVALUACIÓN Uno de los principales retos que todavía tiene que enfrentar el gobierno del estado de Guanajuato en materia de monitoreo y evaluación tiene que ver precisamente con la propia organización al interior de la administración. Si no hay una estructura clara de quiénes tendrán que encargarse de la evaluación de los programas, será muy difícil que las evaluaciones se realicen de manera pertinente y que después esa información realmente sea utilizada para la toma de decisiones al interior del propio gobierno. Es por ello que es necesario que este equipo de trabajo no deje de tener presente que hace falta consolidar avances en los siguientes aspectos: Definir qué organismo tendrá la responsabilidad de las evaluaciones en el futuro. Contratar a quienes llevarán a cabo las evaluaciones planeadas de una manera transparente. Determinar los mecanismos del seguimiento que se dará a los resultados de las evaluaciones, así como de qué manera dichos resultados se vincularán con la planeación presupuestal y el ajuste programático anual. Garantizar la publicación de los resultados de las evaluaciones, para que la sociedad civil vil conozca la manera en que el Gobierno del Estado se está encargando de hacer las mejoras pertinentes a sus programas. Diseñar mecanismos de vinculación entre la evaluación y la asignación presupuestal. 1
AVANCES Y TAREAS PENDIENTES DE LAS RECOMENDACIONES INICIALES. Resumen de Logros y tareas en Monitoreo y Evaluación RECOMENDACIÓN INICIAL Integración de un paquete evaluativo que sirva como ejemplo para construir bases sólidas de evaluación en la entidad. Definir los lineamientos para consolidar un Sistema Estatal de Evaluación. ACCIONES REALIZADAS Y ESTRATEGIAS SUGERIDAS Ya se definió el paquete de programas a evaluar (se encuentra en proceso de evaluación). En su momento se validarán los términos de referencia para las evaluaciones. Todavía no se han iniciado los trabajos para definir los lineamientos. HORIZONTES PROYECTADOS PARA EL FINAL DEL PROYECTO Para la finalización del proyecto se prevé que todas las evaluaciones estén en curso. Propuesta de Lineamiento s para integrar el Sistema Estatal de Evaluación. ESTATUS ACTUAL Al último corte Se elaboraron y entregaron términos de referencia para cada evaluación del paquete. A la espera del concurso para asignar evaluadores. El GAE entregó una propuesta de lineamientos que debe validar y complementa r el equipo de Guanajuato. Actualización 2015 ESTATUS ACTUAL A mayo 2015 Los documentos de los TR están listos para su aplicación, se han realizado algunas adecuacione s a los mismos a raíz de la intervención que con IPLANEG tuvo el Banco Mundial. La CGPP está participando en las reuniones de trabajo para la creación del Sistema Estatal de Monitoreo y Evaluación Temas por atender Aun no se cuenta con los recursos para la contratación. La gestión corre a cargo del Coordinador General de Políticas Públicas Se prevé la Coordinació n de IPLANEG en conjunto con la intervención del Banco Mundial. 2
Secretaría de Desarrollo Social y Humano Responsable: Juan Carlos Meléndez Sánchez, Director de Evaluación, Secretaría de Desarrollo Social y Humano. CONTEXTO La Ley de Desarrollo Social y Humano para el Estado y los Municipios de Guanajuato, en su artículo 38, refiere que la evaluación de la política pública estatal de desarrollo social y humano estará a cargo de esta Secretaría de Desarrollo Social y Humano (SDSH), cuyo objetivo será el revisar periódicamente el cumplimiento de los programas sociales en materia de desarrollo social y humano; para lo cual, cada Dependencia determinará la programación de acciones de evaluación en función de la naturaleza técnica de los programas. Considerando lo anterior, la SDSH ha estructurado sus actividades en las tres líneas de trabajo: 1. Fortalecimiento de la Normatividad en materia de M&E.- Formalizar criterios o lineamientos para regular las actividades de monitoreo y evaluación emprendidas por dependencias y entidades en la materia; 2. Implementación de Procesos de M&E.- Desarrollar actividades propias del Monitoreo y Evaluación; y 3. Institucionalización de una cultura de M&E.- Capacitar y difundir las prácticas de monitoreo y evaluación. AVANCES A continuación se mencionan los avances alcanzados en cada una de las líneas de trabajo mencionada anteriormente: 1. Fortalecimiento de la Normatividad en materia de M&E a. Publicación del documento Criterios de Monitoreo y Evaluación, seguimiento a recomendaciones, creación de programas y programación de acciones, en materia de desarrollo social y humano, Link.- http://desarrollosocial.guanajuato.gob.mx/pdf/criterios.pdf b. Publicación de Reglas de Operación de Programas Sociales Estatales.- http://portalsocial.guanajuato.gob.mx/sites/default/files/documentos/2015_s EDESHU_%20Catalogo_de_programas_sociales_estatales_2015.pdf 3
2. Implementación de Procesos de M&E a. Publicación del Programa Sectorial Social y Humano Visión 2018, http://periodico.guanajuato.gob.mx/periodico/archivos/po_198_5ta_parte_2 0141211_2012_4.pdf b. Terminación de estudio Política Social de Guanajuato, línea base para la evaluación, http://desarrollosocial.guanajuato.gob.mx/estudio/2014/la%20pol %C3%ADtica%20Social%20en%20el%20Estado%20de%20Guanajuato- 14abril.pdf i. Programas y Acciones Sociales Estatales 1. Fichas básicas 2. Fichas Técnicas de Indicadores ii. Indicadores para evaluar la política social iii. Propuesta metodológica para evaluar la Estrategia IMPULSO c. Realización de Evaluaciones a Programas de la SDSH, http://desarrollosocial.guanajuato.gob.mx/evaluacion-programas.php d. Arranque de investigaciones en materia de desarrollo Social y Humano, http://concyteg.gob.mx/index.php?r=contenido/convocatorias/sedeshu.php e. Elaboración de Fichas de monitoreo de los Programas Sociales de la SDSH, http://portalsocial.guanajuato.gob.mx/sites/default/files/documentos/2015_sed ESHU_Fichas_de_monitoreo_programas_sociales_2015.pdf i. Diseño de los Programas ii. Alineación a la planeación iii. Indicadores y metas iv. Presupuestación v. Evaluación vi. Seguimiento a recomendaciones f. Integración de Sistema de Inversión Social y Control de Obras, http://portalsocial.guanajuato.gob.mx/?q=content/aviso-importante 3. Institucionalización de una cultura de M&E a. Capacitaciones en M&E, con instituciones académicas: CIDE, CONEVAL, e INSP; b. Evento de Mejores Prácticas para mejorar la calidad de vida, http://portalsocial.guanajuato.gob.mx/?q=node/2737 4
c. Mesa interinstitucional donde participan Secretaría de Finanzas, Inversión y Administración, Secretaría de la Transparencia y Rendición de Cuentas, Instituto de Planeación, Coordinación General Jurídica, Coordinación General de Políticas Públicas con el fin de diseñar y operar el proceso de M&E en Programas Sociales Estatales, de la cual los principales resultados son: i. Definición consensuada de Programa Social Estatal, criterios, componentes y su gestión (Terminado) ii. Integración de un Catálogo único de Programas Sociales Estatales (Terminado) iii. Integración de una propuesta de Lineamientos para Monitoreo y Evaluación de Programas Sociales Estatales (En proceso) d. Difusión en web de las actividades de M&E, http://portalsocial.guanajuato.gob.mx/ 5
Instituto de Planeación, Estadística y Geografía del Estado de Guanajuato Responsable: Linda Karina Quintero Lee, Directora de Vinculación con el Entorno. CONTEXTO El enfoque de Gestión por Resultados (GpR) en el Estado de Guanajuato está en proceso de consolidación. Existen avances en los procesos de planeación, programación, presupuestación, armonización contable, información para el desarrollo, y rendición de cuentas. Sin embargo, la gestión basada en resultados requiere un adecuado sistema de monitoreo y evaluación. Este sistema necesita tener la capacidad de monitorear un conjunto de indicadores que satisfagan las necesidades de información del sector público en el Estado para que las políticas y programas puedan formularse, implementarse, seguirse y evaluarse de manera efectiva, haciendo exitoso el proceso de cambio. Una pieza fundamental para el sistema de monitoreo y evaluación es contar con la información estadística oportuna y de calidad que permita la construcción de indicadores relevantes, por tal motivo, en octubre de 2014 se firma el Acuerdo de Cooperación Técnica (Reimbursable Advisory Services Agreement) entre el Instituto Nacional de Estadística y Geografía, el Instituto de Planeación, Estadística y Geografía del Estado de Guanajuato y el Banco Internacional de Reconstrucción y Fomento, con el objetivo de: i. Evaluar la calidad de los indicadores existentes para programas estatales prioritarios en sectores clave identificados y seleccionados; ii. Administrar la herramienta de auto-evaluación (HECRA) para analizar la calidad de registros administrativos relacionados con los indicadores de los programas estatales prioritarios en sectores seleccionados, incluyendo el suministro de apoyo para la capacitación técnica en el uso de HECRA y para su implementación y análisis, así como el desarrollo de un plan de acción para mejorar la calidad de datos en los programas estatales prioritarios en los sectores seleccionados; y iii. Capacitación en Estándares de documentación de Datos (DDI) para la preservación de los microdatos, su documentación y diseminación en el sector seleccionado. Cabe mencionar que este proyecto incluyó varias innovaciones importantes. Además de ser uno de los pocos proyectos con un enfoque solo estatal, la innovación primordial era la conexión explícita entre el sistema estadístico y el 6
sistema estatal de planeación, monitoreo y evaluación. No es novedoso que se derive una serie de beneficios de dicha conexión explícita, sin embargo, son pocos los países, y aún menos las unidades sub-nacionales que han dirigido sus esfuerzos para fortalecer sus sistemas de información explícitamente para responder a las necesidades del sistema de monitoreo y evaluación. La otra innovación del proyecto fue su enfoque en los sistemas de datos o registros administrativos. Este tipo de información (se produce una gran cantidad de datos a nivel muy desagregado y en una forma continua) se ha utilizado poco, en parte por interrogantes en cuanto a su calidad y su carácter de dato administrativo sin condiciones en muchas ocasiones para ser aprovechado estadísticamente. Para ello se implementó la HECRA, herramienta para la evaluación de calidad de los registros administrativos y para el desarrollo de estrategias para mejorarlos. i. Evaluación de indicadores AVANCES Bajo la Cooperación Técnica, se evaluó la calidad de más de 60 indicadores en MIRS seleccionadas de 26 proyectos específicos contenidos en el Sistema de Evaluación al Desempeño (SED) de la Secretaría de Finanzas, Inversión y Administración. Para lo cual se cuenta con un reporte de evaluación y una serie de recomendaciones realizadas por el Banco Mundial, entre las que destaca el uso regular de la HECI, Herramienta para la Evaluación de la Calidad de los Indicadores implementada en el marco de la cooperación. Síntesis del reporte de evaluación de la calidad de los indicadores. Los hallazgos de la evaluación muestran que en general los indicadores están bien formulados, y que los problemas se encuentran en la definición de sus metas y en la calidad de sus fuentes de información. Aunque los diversos tipos de indicadores muestran la misma tendencia, los indicadores de propósito son los que presentan más deficiencias en la definición de metas y en la calidad de sus fuentes de información. ii. Evaluación de Registros Administrativos Se seleccionaron y evaluaron 17 registros administrativos con HECRA, a partir de su vínculo con los indicadores de las MIRs evaluados previamente a través de la Herramienta de Evaluación de la Calidad de Indicadores (HECI). Se cuenta con un reporte que detalla el proceso de implementación de la HECRA con las entidades y dependencias, el cual incluyó una caracterización de los registros administrativos, la evaluación de los registros y culminó con la elaboración de los planes de mejora por registro para cada dependencia participante. El equipo 7
técnico del IPLANEG fue capacitado en herramienta. el uso e implementación de la La implementación de la HECRA permitió evaluar cuatro dimensiones de los registros administrativos, a saber: a) fuente de datos administrativos: análisis de tributos de la calidad asociada al entorno institucional, marco legal, seguridad de la información, procedimientos y entrega y tratamiento de los datos; b) metadatos: los atributos de la calidad vinculados a la documentación de los datos del registro administrativo; c) datos: la cobertura, métodos de unión, omisiones, medición, claves de identificación, procesamiento y precisión de datos, uso de códigos y clasificadores internacionales, actualidad de los datos, registros múltiples, entre otros; y, d) producto estadístico final: cifras, cuadros estadísticos y/o microdatos elaborados a partir registros administrativos, ya como marco de encuestas por muestreo, o generando cifras estadísticas directamente del procesamiento de datos del RRAA. Síntesis del reporte de evaluación de los registros administrativos. En promedio se observó que los registros se encuentran en un estatus de aceptables, no obstante, presentan un amplio margen de mejora. Las principales áreas de oportunidad encontradas están vinculadas a la seguridad, gestión y análisis de la información, al desarrollo de marcos de gestión de calidad y de elaboración de metadatos, así como de evaluación de la satisfacción de usuarios y uso de clasificadores. iii. Capacitación en DDI Se realizó una capacitación en el estándar de documentación de microdatos DDI y herramientas de gestión de microdatos, con la finalidad de ordenar la producción estadística de los registros administrativos (RRAA) más relevantes, así como para promover su difusión. Síntesis del reporte de DDI. Se capacitaron 31 funcionarios de 10 dependencias. Los hallazgos derivados del proceso de la documentación de los registros administrativos fueron de dos tipos: (i) sobre la estructura de los datos a documentar; y, (ii) sobre la calidad de la documentación alcanzada. En la mayoría de los casos, la estructura de datos de los RRAA no estaba preparada para comenzar a documentar. Al reorganizar los archivos a efectos de prepararlos para 8
su documentación, se evidenció la falta de un estándar mínimo para constituir un archivo de datos listo para ser aprovechado estadísticamente. Una vez ajustados los archivos, se realizó la documentación. Durante el taller se logró un avance importante del 85% de documentación. El Acuerdo de Cooperación Técnica se terminó exitosamente el pasado mes de abril y, las recomendaciones derivas del mismo, están siendo implementadas actualmente para el mejoramiento de la calidad de la información y subsecuentemente para el fortalecimiento del Sistema de Gestión por Resultados (GpR) en el estado de Guanajuato. 9