INFORME FINAL DE LA EVALUACIÓN EN MATERIA DE DISEÑO PARA EL PROGRAMA ATENCIÓN A MIGRANTES EJERCICIO FISCAL 2016 1
ÍNDICE Introducción 3 Objetivos de la Evaluación 5 I. Descripción Metodología 6 II. Presentación de Resultados 8 1. Análisis de la justificación de la creación y diseño del programa 8 2. Análisis de la contribución a los objetivos nacionales, estatales y sectoriales 9 3. Análisis de la Población potencial y objetivo y mecanismos de elegibilidad 10 4. Padrón de Beneficiarios y mecanismos de atención 12 5. Matriz de indicadores para resultados (MIR) 12 6. Complementariedades y coincidencias con otros proyectos federales y estatales 14 Conclusiones 15 III. Anexos 17 Anexo 1 Metodología para la cuantificación de las poblaciones potenciales y objetivas Anexo 2 Padrón de Beneficiarios Anexo 3 Matriz de Indicadores para Resultados del Proyecto Anexo 4 Formato de indicadores Anexo 5 Metas del proyecto Anexo 6 Medios de Verificación Anexo 7 Complementariedad y coincidencias entre proyectos 2
INTRODUCCIÓN. Con el objeto de conocer los resultados que generan los programas de gobierno, se implementa en la administración pública del estado, en el año 2014, el Presupuesto Basado en Resultados (PbR) y con ello la incorporación de la Metodología del Marco Lógico (MML). En este sentido, la Dirección General de Prospectiva, Planeación y Evaluación de los Programas Sociales de la Secretaría de Desarrollo Social (SEDESO), con fundamento en las atribuciones conferidas en el artículo 21 fracción VIII del Reglamento Interior de esta Secretaría se lleva a cabo la Evaluación de Diseño al programa Atención a Migrantes del ejercicio fiscal 2016, con el objetivo de proveer información que retroalimente su diseño, gestión y mejora de resultados. Dicha evaluación, se realizó con base en los Términos de Referencia para la Evaluación en Materia de Diseño publicados por el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) 1 y conforme a lo establecido en la Ley de Desarrollo Social del Estado en el Capítulo VIII art. 31 en materia de Evaluación a los Programas del Sector. Durante el proceso de evaluación, se contó con la total disposición del personal adscrito a la Dirección General de Atención a Migrantes, que en todo momento brindo las facilidades para acceder a la información necesaria. De acuerdo con los Términos de Referencia, en este documento se presentan los hallazgos sobre el diseño del programa. La evaluación consistió en analizar los documentos normativos del programa como son: Reglas de Operación, Diagnóstico del Programa, Matriz de Indicadores y Manuales Operativos, que sustentan 29 preguntas clasificadas en seis apartados: 1. Análisis de la Justificación de la creación y del diseño del programa; 2. Análisis de la contribución del programa a las metas y estrategias nacionales y estatales; 3. Análisis de la Población potencial y objetivo y mecanismos de elegibilidad; 4. Padrón de Beneficiarios y mecanismos de atención; 5. Evaluación y análisis de la Matriz de Indicadores para Resultados (MIR); y 6. Análisis de posibles complementariedades y coincidencias con otros programas federales y estatales. 1 www.coneval.org.mx/evaluacion/mde/documents/tdr_diseno.pdf 3
Estas preguntas fueron contestadas mediante trabajo de gabinete, conforme a la información contenida en los documentos normativos del programa. A cada pregunta se le asignó una calificación que corresponde a un nivel de criterio establecido, y le sigue la evidencia que sustenta el nivel de criterio utilizado para calificarlo, así como los aspectos de mejora que deben considerarse para incrementar su nivel. La Dirección General de Prospectiva, Planeación y Evaluación de los Programas Sociales, ha elaborado la presente Evaluación de Diseño al Programa Atención a Migrantes, del Ejercicio Fiscal 2016 con el objeto de proveer información que retroalimente su diseño, gestión y resultados. Posteriormente se realizará una valoración final para cada uno de los apartados anteriores. 4
OBJETIVOS DE LA EVALUACIÓN. Objetivo general Evaluar el diseño del programa Atención a Migrantes con la finalidad de proveer información que retroalimente su diseño, gestión y resultados. Objetivos específicos I. Analizar la justificación de la creación y diseño del proyecto, II. III. IV. Identificar y analizar su vinculación con la planeación sectorial y nacional, Analizar la consistencia entre su diseño y la normatividad aplicable Identificar posibles complementariedades y/o coincidencias con otros proyectos federales. 5
I. DESCRIPCIÓN METODOLÓGICA La evaluación se realizó conforme a los Términos de Referencia en Materia de Diseño emitidos por el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL, 2013), mediante un análisis de gabinete, el cual involucra el acopio, la organización y la valoración de información concentrada en registros administrativos, bases de datos, documentación pública de la información proporcionada por el área responsable del programa, y la información adicional que el área evaluadora consideró necesaria para justificar su análisis. Además, se realizaron las entrevistas que se consideraron necesarias a los responsables del programa, para precisar algunos aspectos relacionados con el funcionamiento de éste. De esta manera, la evaluación consistió en dar sustento a 29 preguntas organizadas en seis apartados: 1. Análisis de la Justificación de la creación y del diseño del programa; 2. Análisis de la contribución del programa a las metas y estrategias nacionales y estatales; 3. Análisis de la Población potencial y objetivo y mecanismos de elegibilidad; 4. Padrón de Beneficiarios y mecanismos de atención; 5. Evaluación y análisis de la Matriz de Indicadores para Resultados (MIR); y 6. Análisis de posibles complementariedades y coincidencias con otros programas federales y estatales. De las 29 preguntas, 23 se respondieron mediante un esquema binario (SI/NO). Así, cuando el programa no contó con documentos ni evidencias para dar respuesta a la pregunta se consideró información inexistente y, por lo tanto, la respuesta fue No. Si el programa contó con información para responder la pregunta, es decir, la respuesta es Sí, se procedió a precisar uno de cuatro niveles de respuesta especificados. Las 29 preguntas establecidas se sustentaron con evidencia documental y haciendo explícitos los principales argumentos empleados en el análisis, y estableciendo los principales aspectos de mejora para incrementar la valoración en cada pregunta. Cabe hacer mención que, en aquellos casos en que se encontraron evidencias no documentadas sobre algún aspecto relacionado a las preguntas, se tomó como negativo, pero se mencionó en la evidencia encontrada. En cuanto a la valoración final de la evaluación, no obstante que en Términos de Referencia no se incluyen categorías de calificación, la valoración final de cada aspecto se determinó con base a los criterios establecidos por CONEVAL para la Evaluación del Desempeño, al cual corresponde a un criterio de valoración que para fines de esta evaluación, quedó de la siguiente manera: 6
Cada apartado fue evaluado bajo la siguiente escala de valoración: Calificación Destacado Adecuado Moderado Oportunidad de Mejora Sin Información Valoración La información o evidencia presentada se encuentra completa, por lo que no requiere modificación. Existe información o evidencia suficiente sobre el cumplimiento del apartado, pero es necesario realizar alguna modificación. Existe información o evidencia sobre el cumplimiento del apartado, pero es necesario realizar modificaciones. Existe información escasa sobre el cumplimiento de la categoría, y por tanto, se deben realizar modificaciones importantes. No hay suficiente información para emitir una valoración sobre la categoría. De acuerdo a esta escala, los resultados globales del programa en los 6 apartados a evaluar, fueron: I. Análisis de la creación y del diseño del programa II. Análisis de la programa a las nacionales, estatales y sectoriales población potencial y objetivo y IV. Padrón de atención análisis de la Matriz de otros programas Además de los hallazgos que se mencionan dentro de este documento en la Presentación de los Resultados, se incorporan los Aspectos Susceptibles de Mejora para reconocer las áreas de mejora, así como los Anexos por apartado como evidencia que sustenta los resultados obtenidos. 7
II. PRESENTACIÓN DE RESULTADOS 1. Análisis de la justificación de la creación y diseño del programa: Resultado: Moderado Aunque existe información relacionada a los antecedentes que originaron el programa, no se establece cómo se identificó el problema que aparece en el árbol de problemas. Tampoco se encontró evidencia que permita dimensionar el tamaño del problema, es decir, cuántas personas presentan dicho problema? sólo se cuenta con una estimación aproximada, tomando como base la población en las localidades de alta expulsión migratoria. Aspectos susceptibles de mejora: 1. Se debe realizar la medición o en su caso estimación, de la población que presenta el problema y determinar el periodo de actualización de dicha medición, con la finalidad de conocer la evolución del problema. 2. El diagnóstico debe contener mayor información cuantitativa y cualitativa sobre el problema, especificando por qué razón es un problema, además el sustento teórico que lo respalda, mostrando evidencia de la existencia de correlación entre las causas y efectos, plasmados en el diagnóstico y en el árbol de problemas. 3. Realizas actualizaciones periódicas de la información del diagnóstico, estableciendo la temporalidad con la que se realizará, a fin de eliminar la posibilidad de contar con datos de poca confiabilidad y contundencia. 8
2. Análisis de la contribución a los objetivos nacionales, estatales y sectoriales: Resultado: Destacado El programa Atención a Migrantes se vincula con el Plan Estatal de Desarrollo del Estado de Hidalgo 2016-2022 (PED) mediante el Eje 3, Hidalgo humano e igualitario, en el objetivo e indicador estratégico 3.1, Desarrollo social, integral y solidario, objetivo general 3.1.6, Mejorar las condiciones de vida de la población migrante internacional de origen hidalguense, sus familias y comunidades, impulsando políticas sociales igualitarias y sostenibles; estrategias 3.1.6.1, Fortalecer las acciones de protección de las personas migrantes de origen hidalguense y sus familias en las comunidades de origen, 3.1.6.2, Promover las actividades productivas en las localidades hidalguenses donde existe una mayor incidencia del fenómeno migratorio, considerando las necesidades diferenciadas entre hombres y mujeres, 3.1.6.3, Fortalecer mecanismos que fomenten la cercanía de las comunidades hidalguenses radicadas en el exterior con familias en el estado de Hidalgo, 3.1.6.4 Aumentar la cobertura de oficinas de apoyo para personas migrantes de origen hidalguense en Estados Unidos, para garantizar trato digno y respeto absoluto a sus derechos humanos, líneas de acción 3.1.6.1.1 Brindar seguridad jurídica a las personas migrantes y sus familias en las comunidades de origen. Hidalgo Humano e Igualitario 99 3.1.6.1.2 Garantizar la identidad jurídica de las personas de origen hidalguense nacidas en el territorio nacional o en el extranjero. 3.1.6.1.3 Facilitar un retorno seguro a sus lugares de origen para las personas migrantes en situación de vulnerabilidad. 3.1.6.1.4 Elaborar estudios de investigación con perspectiva de género sobre el fenómeno migratorio que identifique características de la migración hidalguense y realice recomendaciones de política pública. 3.1.6.2.1 Fortalecer el emprendimiento social implementando proyectos productivos donde se vinculen instituciones y organismos de la sociedad civil con las familias de migrantes en sus localidades de origen. 3.1.6.2.2 Establecer estrategias de capacitación y certificación de competencias laborales dirigidas a migrantes en retorno. 3.1.6.2.3 Destinar mayor cantidad de recursos estatales para potenciar los apoyos para el desarrollo de infraestructura básica y proyectos productivos comunitarios en localidades de mayor incidencia de población migrante. 3.1.6.2.4 Generar políticas públicas para el desarrollo de proyectos comunitarios locales encaminados a la generación de empleos y el desarrollo microrregional sostenible. 3.1.6.3.1 Fomentar la organización comunitaria de migrantes hidalguenses radicados en el exterior, que permitan focalizar las necesidades de dicha población. 3.1.6.3.2 Implementar mecanismos de participación a través de grupos organizados, clubes o federaciones hidalguenses en Estados Unidos en programas de desarrollo de infraestructura y proyectos productivos sostenibles para elevar la calidad de vida en las comunidades de origen. 3.1.6.3.3 Apoyo a proyectos de organización comunitaria hidalguense en el exterior, que fomenten la difusión de la cultura y tradiciones hidalguenses. 3.1.6.3.4 Implementar mecanismos de educación a 9
distancia para migrantes. 3.1.6.4.1 Brindar asistencia legal, social y administrativa a través de espacios de atención en los núcleos poblacionales con mayor presencia de migrantes de origen hidalguense. 3.1.6.4.2 Otorgar capacitación a distancia que permita a las personas inmigrantes contar con una opción educativa para mejorar su situación laboral en el corto plazo. Plan Estatal de Desarrollo 100 3.1.6.4.3 Instalar oficinas y casas de atención en distintos estados de la Unión Americana. Se encontró evidencia de cómo el propósito del proyecto se relaciona con el Plan Nacional de Desarrollo 2012-2018 (PND), con el Programa Sectorial de Desarrollo Social 2016-2022 (PS) y con los Objetivos de Desarrollo Sustentable agenda 20-30. Aspectos susceptibles de mejora: Sin recomendación. 3. Análisis de la Población potencial y objetivo y mecanismos de elegibilidad: Resultado: Moderado Dimensionando como población potencial a la población total que presenta la necesidad y/o problema que justifica la existencia del programa y, que por lo tanto, pudiera ser elegible para su atención; así como población objetivo a la población que el programa tiene planeado o programado atender y que cumple con los criterios de elegibilidad establecidos en su normatividad 2, se encontró lo siguiente: Se identificó que las poblaciones potencial y objetivo no están cuantificadas, Se detectó que no se cuenta con algún documento o metodología para ello, No se establece la periodicidad con la que debe actualizarse. Aspectos susceptibles de mejora: 1. Definir la población potencial y población objetivo conforme a las características establecidas por el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL). 2. Cuantificar la población potencial y objetivo documentando la metodología para su cálculo, las fuentes de información utilizadas y estableciendo la periodicidad con que esta información se actualizará. 3. Incluir un apartado sobre la metodología utilizada para cuantificar a la población potencial y objetivo. 2 www.coneval.org.mx/evaluacion/paginas/glosario.aspx 10
4. Incorporar en las Reglas de Operación (ROP), en el apartado referente al Padrón de Beneficiarios, la existencia y el nombre de los formatos de bases de datos que son necesarios emplear, donde se incorpore la definición de las variables que integra, campos obligatorios de captura, periodos de actualización, uso de la información y, de considerarse necesario, mecanismos sobre la transparencia de información. 5 Verificar la pertinencia de incorporar un mínimo de variables socioeconómicas que permitan identificar estrategias de atención, distinguiendo la heterogeneidad que existe entre la población (por sexo, edad, tipo de familia, etcétera). En caso de incluirlas, se deben enlistar las variables consideradas, los periodos de actualización de su medición y procedimiento para su levantamiento. 11
4. Padrón de Beneficiarios y Mecanismos de Atención Resultado: Adecuado En cuanto al Padrón de Beneficiarios, la información que se incorporó fue la del Padrón Único de Beneficiarios (PUB) que concentra la SEDESO de manera institucional, la cual se encuentra sistematizada e incluye información sobre 3 aspectos: información del solicitante, tipo de apoyo y beneficiario. No obstante, la información no cuenta con variables socioeconómicas. En el Padrón Único de Beneficiarios existe información que permite conocer quiénes reciben los apoyos del programa en este: a) Incluye las características de los beneficiarios, sin embargo no cuenta con un documento normativo que dicte lineamientos o requisitos que debe contener y que sea de dominio público. b) Incluye el tipo de apoyo otorgado. c) Se encuentra sistematizado por el área concentradora, sin embargo no incluye una clave única de identificación por beneficiario que no cambie en el tiempo. d) No cuenta con mecanismos documentados para su depuración y actualización. Aspectos susceptibles de mejora: 1. Se sugiere generar un documento normativo del Padrón Único de Beneficiarios que permita conocer y transparentar la finalidad de este insumo. 2. Incorporar en el Padrón una clave única que permita identificar al beneficiario y que este último tenga conocimiento de esta clave para dar seguimiento oportuno. 3. Implementar mecanismos que permitan documentar su depuración y actualización del Padrón Único de Beneficiarios del cual se generen antecedentes para futuras evaluaciones. 5. Matriz de Indicadores para Resultados (MIR): Resultado: Adecuado De la lógica vertical: Actividades. Están claramente especificadas, inician con un verbo en infinitivo. Están ordenadas de manera cronológica y todas son necesarias, por lo que su realización lleva al cumplimiento de los componentes. Componentes. Son los bienes o servicios que produce el proyecto, están redactados como resultados logrados. 12
Propósito. Está redactado como una actividad al mencionar: fortalecer, y no como algo ya logrado. El concepto de atención incluido en el Propósito de la MIR, sugiere que si la población atendida genera bienestar, estos consiguen: 1) Resolver los problemas que se presentan; 2) Encontrar la mejor solución tomando en cuenta sus necesidades; 3) Valiéndose (o valerse) de los recursos que dispone y; 4) Buscar estrategias que les permitan el logro de sus objetivos. Sin embargo, dicha información no pudo ser comprobada ya que no se encontró como medir o materializar esos aspectos, aunado a que en ningún documento normativo se hace referencia al logro de éstos, incluso el indicador de este nivel de objetivos mide el número de personas beneficiadas que atiende el programa y no la generación de bienestar. Fichas técnicas de los indicadores. Se identificó que el contenido de un campo de la ficha de indicadores del proyecto no es correcto. En el campo línea base, se reporta en cero, cuando en realidad el dato que debe aparecer es el resultado del primer cálculo del indicador, que servirá de base para la comparación de cálculos posteriores. Metas. Al no existir línea base no se pueden determinar si las metas están orientadas a impulsar el desempeño o son laxas. Medios de verificación. Se identificó que el nombre de los documentos coincide con el nombre plasmado en la MIR y en la mayoría de los casos, provee la información que necesita para que el indicador pueda ser calculado; sin embargo en los casos donde el indicador no contó con presupuesto se carece de información alguna. Aspectos susceptibles de mejora: 1. Verificar la pertinencia de cada una de las frecuencias de medición de los indicadores, principalmente a nivel actividades, ya que se han establecido en algunos casos de manera anual, cuando es recomendable que no sea mayor a seis meses para una mejor evaluación y seguimiento. 2. Debe modificarse el campo de línea base. Este se refiere al cálculo del indicador que servirá de base para la comparación de cálculos posteriores. Por ejemplo, si el indicador es porcentaje de personas beneficiadas respecto a la población total de localidades de alto y muy alto grado de marginación, siendo el cálculo ((1000/100,000)*100)=10, entonces la línea base sería 10% de personas beneficiarias del total de localidades de alto y muy alto grado de marginación. 2.1. Una vez que se ha calculado la línea base de cada indicador, se deben establecer las metas pertinentes, capturándolas en el apartado meta de la ficha de los indicadores. Así, si por ejemplo la línea base es 10% de población atendida, la meta para el año sería: 20% de población atendida o 20% de cobertura de atención. 2.2. Una vez generada la línea base se debe verificar si las metas están orientadas a mejorar el desempeño (que no sean laxas o bien con pocas posibilidades de alcanzar). En caso de no ser así, se debe establecer una nueva meta. 13
6. Complementariedades y Coincidencias con Otros Proyectos Federales y Estatales. Resultado: Sin información No se encontró evidencia de la identificación de proyectos que tengan coincidencias o complementariedades. Sin embargo, tomando como criterio si se entregan o no apoyos similares conforme a lo establecido en los Términos de Referencia (TdR) de la Evaluación en Materia de Diseño, el personal evaluador identificó 1 proyecto complementario que para este caso es el programa federal de 3x1 para migrantes. Aspectos susceptibles de mejora: 1. Realizar una investigación complementaria sobre los posibles proyectos (federales, estatales o que provengan de una fuente de financiamiento internacional) con los que el Programa de Atención a Migrantes, pueda tener complementariedades o coincidencias. Se sugiere que incluya además de los que los responsables crean pertinente, el nombre del proyecto, tipo de apoyos otorgados, monto, requisitos y contacto. 2. Elaborar un catálogo de los proyectos con los cuales se tienen coincidencias y complementariedades, el cual será útil a la población atendida para solicitar otros apoyos que permitan contribuir al logro del Fin. 14
CONCLUSIONES. La presente Evaluación de Diseño al Programa Atención a Migrantes se ha elaborado mediante trabajo de gabinete. Dicha evaluación se realizó conforme a los Términos de Referencia para la Evaluación en Materia de Diseño (TdR) emitidos por el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL). La evaluación consistió en analizar los documentos normativos y evaluar 6 aspectos del diseño del programa. Al analizar la justificación de la creación y del diseño del programa, se consideró que este debe dar sustento al problema y cuantificarlo. En cuanto a la contribución a los objetivos nacionales, estatales y sectoriales, es importarte señalar que existe un fuerte vínculo entre el Programa y el Plan Estatal de Desarrollo del Estado de Hidalgo 2016-2022, con el Plan Nacional de Desarrollo 2012-2018 y con los Objetivos de Desarrollo Sustentable (ODS), información que es necesario plasmar en sus documentos normativos. Por otra parte, existe evidencia sobre la población objetivo, pero es preciso definirla correctamente y hacer una distinción con la población potencial homologando su término en todos los documentos existentes. También se identificó información sobre los beneficiarios y tipos de apoyo entregados, los cuales están sistematizados en el Padrón Único de Beneficiarios (PUB), en el que se deben incluir los periodos de actualización y mecanismos de depuración que es necesario incluir en las Reglas de Operación (ROP). En cuanto a la Matriz de Indicadores para Resultados (MIR), se deben realizar modificaciones a su periodicidad de los indicadores, es necesario que los de nivel componente y actividades sean trimestrales o máximo semestrales para una mejor medición de metas del programa. De acuerdo a la información proporcionada, se puede observar que no cuenta con documentos normativos y descriptivos en donde se definan las necesidades específicas del programa, la población potencial y objetivo. Tampoco cuenta con planeación estratégica con objetivos y acciones a corto, mediano o largo plazo, que contribuyan al cumplimiento de los indicadores de la MIR. 15
FORTALEZAS Finalmente en esta evaluación encontramos las siguientes fortalezas del programa: I. El Programa, está completamente alineado al Plan Nacional de Desarrollo así como al Plan Estatal de Desarrollo y al Programa Sectorial. II. El programa, presenta para 2016 una Matriz de Indicadores para Resultados totalmente alineada con los lineamientos generales para la construcción de la MIR 2016. III. El programa se encuentra alineado a los indicadores sectoriales y define indicadores a nivel fin, propósito, componente y actividad. IV. El programa reporta los avances de sus metas de indicadores en el Sistema Integrador de Información, Programación y Presupuesto de Evaluación del Desempeño (SIIPPED) para su seguimiento y evaluación. V. Cuenta con un sistema de registro de beneficiarios interno que se denomina Padrón Único de Beneficiarios (PUB) 16
III. ANEXOS Los anexos son los siguientes: Descripción General del Programa Metodología para la cuantificación de las poblaciones potencial y objetivo Anexo 3 Procedimiento para la actualización de la base de datos de beneficiarios. Padrón de Beneficiarios Anexo 4 Matriz de Indicadores para Resultados del programa. Anexo 5 Formato de Indicadores. Anexo 6 Metas del Programa Anexo 7 Propuesta de mejora de la Matriz de Indicadores para Resultados Anexo 8 Medios de Verificación Anexo 9 Complementariedad y coincidencias con otros programas PACHUCA DE SOTO, HIDALGO, NOVIEMBRE 2017 17