ÍNDICE. Resumen Ejecutivo. 2

Transcripción

1

2 ÍNDICE Resumen Ejecutivo. 2 Resumen Aspectos Susceptibles de Mejora (ASM)... 5 Informe General de Resultados de Evaluación en Materia de Diseño... 7 Objetivos de la Evaluación... 7 Objetivo general... 7 Objetivos específicos... 7 Metodología... 8 Resultados Globales por Apartados 10 Apartados de la Evaluación De Diseño I.- Justificación de la Creación y del Diseño del Proyecto II. Contribución del Proyecto a los Objetivos Nacionales, Estatales y Sectoriales III. Población Potencial y Objetivo IV. Matriz de Indicadores para Resultados De la lógica vertical de la Matriz de Indicadores para Resultados De la lógica horizontal de la Matriz de Indicadores para resultados V. Análisis de Posibles Complementariedades y Coincidencias con Otros Proyectos Federales y Estatales Valoración Final del Diseño del Programa VI. Fortalezas, Oportunidades, Debilidades y Amenazas 58 Conclusiones Anexo 1. Descripción General del Proyecto Anexo 2. Metodología para la cuantificación de las poblaciones potencial y objetivo Anexo 3. Padrón de Beneficiarios Anexo 4. Matriz de Indicadores para Resultados del Proyecto Anexo 5. Formato de indicadores Anexo 6. Metas del proyecto Anexo 7. Medios de Verificación Anexo 8. Complementariedad y coincidencias entre programas federales Anexo 9. Principales Fortalezas, retos y recomendaciones Anexo 10. Árbol de Problemas Anexo 11. Fuentes de Información y referencias bibliográficas Anexo 12. Ficha técnica con los datos generales de la instancia evaluadora Dirección de Evaluación y Seguimiento a los Programas Asistenciales 1

3 R E S U M E N E J E C U T I V O. EVALUACIÓN EN MATERIA DE DISEÑO HACIA UNA VIDA MEJOR TIPO DE EVALUACIÓN. Diseño OBJETIVO GENERAL DE LA EVALUACIÓN. Evaluar el diseño del proyecto Hacia una Vida Mejor con la finalidad de proveer información que retroalimente su diseño, gestión y resultados. PERIODO DE EVALUACIÓN. Al Primer Semestre de 2015 METODOLOGÍA. La establecida en los Términos de Referencia para la Evaluación en Materia de Diseño del Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) vigente al Se calificaron 5 aspectos conforme a la información documentada bajo los siguientes criterios: Criterio Valoración Destacado La información o evidencia presentada se encuentra completa, por lo que no requiere modificación. Adecuado Existe información o evidencia suficiente sobre el cumplimiento del apartado, pero es necesario realizar alguna modificación. Moderado Existe información o evidencia sobre el cumplimiento del apartado, pero es necesario realizar modificaciones. Oportunidad Existe información escasa sobre el cumplimiento de la categoría, de Mejora y por tanto, se deben realizar modificaciones importantes. Sin Información No hay suficiente información para emitir una valoración sobre la categoría. Resultados: Dirección de Evaluación y Seguimiento a los Programas Asistenciales 2

4 JUSTIFICACIÓN DE LA CREACIÓN Y DISEÑO DEL PROYECTO. OPORTUNIDAD DE MEJORA Existe el árbol de problemas, pero el problema planteado no es congruente con lo plasmado en el propósito de la MIR. Mientras que en el primero menciona que el problema es el desempleo, en la MIR se espera incrementar los ingresos de las personas, y ambos son aspectos distintos. (Global ASM 1) No se define la población potencial, y aunque defina a la población objetivo, ésta no se encuentra homologada en los documentos del proyecto. (Global ASM 2 Y 3) No se han incorporado los elementos de la MIR a los documentos normativos. Por ejemplo, el diagnóstico situacional no se mencionan las causas del árbol de problemas. (Global ASM 6) Existe una Carta Descriptiva con información, pero hace falta la justificación teórica o empírica que justifique la entrega de proyectos productivos en lugar de transferencias monetarias, u otros componentes. (Global ASM 8) COMPLEMENTARIEDADES Y COINCIDENCIAS CON OTROS PROYECTOS. SIN INFORMACIÓN No se encontró evidencia de la identificación de proyectos que tengan coincidencias o complementariedades, sin embargo, el personal evaluador identificó los 3 programas complementarios: Centros de Atención para Personas con discapacidad (CAED), Programa de Oportunidades para el Empleo a través de la Tecnología en las Américas (POETA) y Cursos de Capacitación para el Trabajo de la Dirección General de Centros de Formación para el Trabajo (DGCFT). (Global ASM 16) CONTRIBUCIÓN A LOS OBJETIVOS NACIONALES, ESTATALES Y SECTORIALES. ADECUADO. El proyecto se vincula con el Plan Estatal de Desarrollo, bajo la Línea de Acción que dice Entregar proyectos productivos para el autoempleo de personas con discapacidad, además de promover su contratación en el sector empresarial, donde el Componente "proyectos productivos" forma parte del proyecto. Asimismo, el propósito del proyecto esta vinculado con el Plan Nacional de Desarrollo en la inclusión en el mercado laboral de los grupos sociales vulnerables y la mejora de sus condiciones de trabajo. El logro de lo anterior contribuirá al cumplimiento de la meta del milenio 1B. Sin embargo, no se encuentra documentada esta información, por lo que no se considera como información valida para contemplarse en la valoración. (Global ASM 9) POBLACIÓN POTENCIAL Y OBJETIVO. OPORTUNIDAD DE MEJORA No se hace mención de la población potencial. (Global ASM 2) Existen diferentes definiciones de población objetivo como: 1) Personas con discapacidad permanente que radiquen en el estado de Hidalgo, 2) Personas con alguna discapacidad como: física, intelectual, sensorial (auditivavisual) y mental, y 3) Personas con discapacidad permanente en situación de vulnerabilidad que radiquen en el Estado. (Global ASM 3) Existen criterios de elegibilidad pero no coinciden con al MIR ni con la normatividad vigente. (Global ASM 4) Dirección de Evaluación y Seguimiento a los Programas Asistenciales 3

5 MATRIZ DE INDICADORES PARA RESULTADOS (MIR). ADECUADO. De manera general la MIR cumple con la lógica vertical y horizontal, es decir, existen relaciones de causalidad bien identificadas entre los distintos niveles de objetivos y existen indicadores que miden los resultados, sin embargo, se encontró lo siguiente: a) Las actividades cuentan con algunos supuestos que no son factores externos y por tanto, no son los adecuados para generar los componentes. (Global ASM 11) b) El Fin no posee un sólo objetivo, ya que hace mención de dos aspectos: 1) El mejoramiento de su salud y 2) El mejoramiento de su condición de discapacidad, los cuales son aspectos distintos, sin embargo se justifica su existencia ya que es parte de la MIR de un Eje Estratégico que se comparte con un grupo de proyectos. Los indicadores presentan las siguientes características: a) El 86% de los indicadores son claros (precisos e inequívocos); b) El 86% de los indicadores son relevantes, con excepción del indicador de Propósito por que no mide un aspecto relevante de su resumen narrativo. c) El 71% de los indicadores son económicos. El indicador de Fin no lo es debido a que se considera que no está disponible a un costo razonable, es decir, que el costo de generar el cálculo del indicador es mayor que su beneficio, ya que no es un indicador cuyo resumen narrativo se relacione directamente con el propósito, d) Los indicadores que son adecuados corresponden al 57% y el 43% no aportan una base suficiente para evaluar el desempeño; y e) Ninguno de los indicadores son monitoreables, ya que sus medios de verificación no han sido requisitados, y por tanto, no pueden ser sujetos de una verificación independiente. Es importante mencionar que todos los indicadores deben ser monitoreables, como parte de los mecanismos de transparencia y para poder medir sus resultados de manera externa. (Global ASM 13). No existe línea base, es decir, el primer cálculo del indicador que se toma de referencia para comparar mediciones subsecuentes y verificar el desempeño del proyecto. (Global ASM 15) Al no existir línea base no se puede determinar si las metas están orientadas a impulsar el desempeño, o son laxas, es decir, muy fáciles de alcanzar. (Global ASM 15). Esta línea base deberá plasmarse a partir del Primer año de aplicación de la MIR. Los Medios de verificación, no cuentan con todas las características establecidas en los Términos de Referencia de CONEVAL la información del contenido de los formatos AT-MML/2015 y HVM-MML/2015, y las siglas de los nombres no especifican su contenido. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 4

6 RESUMEN DE LOS ASPECTOS SUSCEPTIBLES DE MEJORA (ASM) ASM Global Descripción ASM 1 Modificar el problema central del proyecto plasmado en el árbol de problemas, de tal manera que sea congruente con lo establecido en el propósito de la MIR Establecer la definición de población potencial del proyecto, y la metodología para su cálculo, la cual deberá contar con la referencia bibliográfica o fuente de información utilizada. Dicha información deberá aparecer tanto en las Reglas de Operación (ROP s) como en la Carta Descriptiva. Todo ello debe aparecer en la Carta Descriptiva y la definición en las Reglas de Operación 3 Homologar la definición de población objetivo del proyecto conforme a lo plasmado en el propósito del proyecto, y establecer la metodología para su cálculo, la cual deberá contar con la referencia bibliográfica o fuente de información utilizada. Todo ello debe aparecer en la Carta Descriptiva y la definición en las Reglas de Operación Determinar los criterios de elegibilidad que la población objetivo deberá tener para ser beneficiaria. Dicha información deberá aparecer tanto en las Reglas de Operación (ROP s) como en la Carta Descriptiva Estudiar la factibilidad de Incorporar a las ROP s, un apartado referente al padrón de beneficiarios, mencionando la información relacionada al funcionamiento del Registro de Beneficiarios de los Programas Asistenciales (REBEPA), las variables socioeconómicas utilizadas Incorporar el contenido de la MIR en los distintos apartados de las ROP s y Carta Descriptiva Incluir en el apartado Diagnóstico de la Carta Descriptiva, las causas y efectos plasmados en el árbol de problemas, así como la periodicidad con la que se actualiza la información presentada y las fuentes de información de los datos estadísticos utilizados Plasmar en la Carta descriptiva la evidencia correspondiente que justifique el tipo de intervención realizada Dirección de Evaluación y Seguimiento a los Programas Asistenciales 5

7 9 En cuanto a la relación del proyecto con los objetivos nacionales y sectoriales, se recomienda Incluir en la Carta Descriptiva los ejes temáticos y los objetivos del Plan Nacional de Desarrollo; quitar las líneas de acción y del Plan Estatal de Desarrollo (PED); e incorporar la vinculación con el Programa Institucional del Sistema DIF Hidalgo (PID). Asimismo, estudiar la viabilidad de Incorporar los aspectos a que se refieren los Objetivos de Desarrollo del Milenio Estudiar la factibilidad de incorporar en la MIR, una actividad que indique la elección del tipo de proyecto a otorgar, así como otra actividad con la cual se dé seguimiento al componente Proyecto productivo entregado Replantear los supuestos de la MIR a nivel actividades del componente Estudiar la factibilidad de considerar componentes complementarios o determinar si con los componentes actuales que aparecen en la MIR se logra el nivel de ingresos deseados que se mencionan en el propósito Realizar la modificación de los indicadores de la MIR conforme las observaciones de la pregunta 15 y el Manual para el Diseño y la Construcción de Indicadores de CONEVAL En cuanto a los Medios de Verificación, se debe realizar el llenado de los formatos AT- MML/2015 y HVM-MML/2015 en los cuales se deben establecer un nombre claro, fecha de elaboración, periodo al que corresponde y anexar el nombre y firma o rúbrica de quien revisa, valida y/o autoriza la información presentada. Asimismo anotar la referencia bibliográfica con el nombre de la fuente de información y de la institución que lo respalda Realizar modificaciones a las Fichas Técnicas en los campos de: metas y periodo de cumplimiento, línea base y comportamiento del indicador, conforme al Instructivo para el llenado de la Ficha Técnica del Indicador. 16 Estudiar la factibilidad generar una carpeta que indique los proyectos que complementan o coindicen con el proyecto Hacia una Vida Mejor Dirección de Evaluación y Seguimiento a los Programas Asistenciales 6

8 INFORME GENERAL DE RESULTADOS DE EVALUACIÓN EN MATERIA DE DISEÑO PROYECTO HACIA UNA VIDA MEJOR DEL PERÍODO DEL PRIMER SEMESTRE DE 2015 Desde su creación en el año de 1999, el proyecto Hacia una vida mejor ha contribuido a que las personas con discapacidad se incorporen al sector productivo, mediante acciones coordinadas con los DIF municipales, otorgándoles insumos materiales y mobiliario necesario para iniciar proyectos productivos de acuerdo a sus habilidades. Desde el 2013, se ha venido trabajando la Matriz de Indicadores para Resultados (MIR) con la finalidad de conocer por una parte la pertinencia en la lógica del proyecto, es decir, si el diseño del proyecto es congruente con los resultados esperados y por otra parte, medir dichos resultados. A inicios de este 2015, se realizaron modificaciones a la MIR, las cuales intentan mejorar el diseño del proyecto, por lo que la dirección de Evaluación y Seguimiento a los Programas Asistenciales siguiendo con la dinámica de la evaluación a proyectos del Sistema DIF Hidalgo, realiza la presente evaluación a los documentos vigentes al primer semestre de OBJETIVOS DE LA EVALUACIÓN Objetivo general Evaluar el diseño del proyecto Hacia una Vida Mejor, con la finalidad de proveer información que retroalimente su diseño, gestión y resultados. Objetivos específicos Analizar la justificación de la creación y diseño del proyecto, Identificar y analizar su vinculación con la planeación sectorial y nacional, Analizar la consistencia entre su diseño y la normatividad aplicable e Identificar posibles complementariedades y/o coincidencias con otros proyectos federales. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 7

9 METODOLOGÍA La evaluación se realizó conforme a los Términos de Referencia en Materia de Diseño (CONEVAL, 2010), mediante un análisis de gabinete, el cual involucra el acopio, la organización y la valoración de información concentrada en registros administrativos, bases de datos, evaluaciones internas y/o externas, documentación pública de la información proporcionada por el área responsable del proyecto, y la información adicional que la institución evaluadora consideró necesaria para justificar su análisis. Además, se realizaron las entrevistas que se consideraron necesarias a los responsables del proyecto, para precisar algunos aspectos relacionados con el funcionamiento de éste. Lo anterior se llevó a cabo conforme a los Términos de Referencia en Materia de Diseño, publicados en 2010 por el Consejo Nacional de Evaluación de la Política de Desarrollo Social. De esta manera, la evaluación consistió en dar sustento a 21 preguntas organizadas en cinco apartados: 1. Justificación de la creación y del diseño del proyecto 2. Contribución a los objetivos nacionales y a los sectoriales 3. Población potencial y objetivo 4. Matriz de Indicadores para Resultados (MIR) y 5. Complementariedades y coincidencias con otros proyectos federales y estatales. De las 21 preguntas, 16 se respondieron mediante un esquema binario (SI/NO). Así, cuando el programa no contó con documentos ni evidencias para dar respuesta a la pregunta, se consideró información inexistente y por lo tanto, la respuesta fue No. Si el programa contó con información para responder la pregunta, es decir, si la respuesta es Sí, se procedió a precisar uno de los cuatro niveles de respuesta especificados. Las 21 preguntas establecidas se sustentaron con evidencia documental y haciendo explícitos los principales argumentos empleados en el análisis, y estableciendo los principales aspectos de mejora para incrementar la valoración en cada pregunta. Cabe hacer mención, que en aquellos casos en que se encontraron evidencias no documentadas sobre algún aspecto relacionado a las preguntas, no se tomó en cuenta para la valoración, pero se mencionó en la evidencia encontrada. En cuanto a la valoración final de la evaluación, no obstante que en los Términos de Referencia no se incluyen categorías de calificación, la valoración final de cada aspecto se determinó con base a los criterios establecidos por CONEVAL para la Evaluación del Dirección de Evaluación y Seguimiento a los Programas Asistenciales 8

10 Desempeño, al que corresponde un criterio de valoración que para fines de esta evaluación, quedó de la siguiente manera: Calificación Destacado Adecuado Moderado Oportunidad de Mejora Sin Información Valoración La información o evidencia presentada se encuentra completa, por lo que no requiere modificación. Existe información o evidencia suficiente sobre el cumplimiento del apartado, pero es necesario realizar alguna modificación. Existe información o evidencia sobre el cumplimiento del apartado, pero es necesario realizar modificaciones. Existe información escasa sobre el cumplimiento de la categoría, y por tanto, se deben realizar modificaciones importantes. No hay suficiente información para emitir una valoración sobre la categoría. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 9

11 RESULTADOS GLOBALES POR APARTADOS: Resultados 1) Justificación de la creación y del diseño del proyecto: Resultado: Oportunidad de Mejora No obstante a que en los documentos normativos se cuente con información referente a la justificación y antecedentes del proyecto, en éstos no se plantea el problema que dio origen a la implementación del proyecto, toda vez que no es congruente el problema plasmado en el árbol de problemas con el propósito de la Matriz (MIR); mientras que en el árbol se menciona que el problema es el desempleo, en la MIR se espera incrementar los ingresos de las personas con discapacidad, y ambos son aspectos distintos. De igual manera no se han incorporado los elementos de la MIR a los documentos normativos. Por ejemplo, el diagnóstico situacional no menciona las causas del árbol de problemas. También hace falta que en la justificación teórica o empírica se justifique la entrega de proyectos productivos en lugar de transferencias monetarias, u otros componentes. Por último, no se presentan datos sobre familias de discapacitados con bajos ingresos o niveles de desempleo. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 10

12 Aspectos susceptibles de mejora: Definir si es desempleo o la falta de ingreso el problema central del proyecto, para posteriormente homologar el árbol de problemas con lo plasmado en el propósito de la MIR Establecer la definición de población potencial del proyecto, considerando que esta se refiere a la población total que presenta la necesidad y/o problema que justifica la existencia del proyecto y que por lo tanto pudiera ser elegible para su atención. (CONEVAL, TDR diseño, 2010). Podría ser por ejemplo: Personas con alguna discapacidad como física, intelectual, sensorial (auditiva-visual) y mental que radican en la entidad Mencionar en el diagnóstico del proyecto las causas y efectos plasmados en el árbol de problemas Incluir citas bibliográficas en Carta Descriptiva del proyecto, especialmente en aquellos datos de cuantificación de la población que presenta el problema Hacer mención de la periodicidad con la que se actualiza la información presentada en el Diagnóstico, lo cual servirá como parte del seguimiento a la evolución del problema Presentar la evidencia correspondiente que justifique el tipo de intervención realizada, misma que deberá plasmarse en un apartado Justificación del proyecto. Para ello se pueden utilizar estudios o información estadística que sustente la razón de otorgar proyectos productivos y no otros bienes o servicios. 2) Contribución a los objetivos nacionales y a los sectoriales: Resultado: Adecuado El proyecto Hacia una Vida Mejor se vincula con el Plan Estatal de Desarrollo (PED), bajo la Línea de Acción que dice Entregar proyectos productivos para el autoempleo de personas con discapacidad, además de promover su contratación en el sector empresarial, donde el Componente Proyecto productivo entregado forma parte del proyecto. Asimismo el propósito del proyecto está vinculado con el plan Nacional de Desarrollo (PND) en la inclusión en el mercado laboral con los grupos sociales vulnerables y la mejora de sus condiciones de trabajo. El logro de lo anterior contribuirá al cumplimiento Dirección de Evaluación y Seguimiento a los Programas Asistenciales 11

13 de la meta 1B de los Objetivos de Desarrollo del Milenio; sin embargo, no se encuentra documentada esta información, por lo que se considera como información inexistente. Aspectos susceptibles de mejora: Quitar las líneas de acción y del Plan Estatal de Desarrollo (PED), mencionadas en la Carta Descriptiva, ya que no cumplen conceptos comunes con el proyecto al mencionar fomentar cultura preventiva de enfermedades y Promover el respeto y la tolerancia Incorporar a la Carta Descriptiva, junto a lo mencionado del PED, la vinculación con el Programa Institucional del Sistema DIF Hidalgo (PID), bajo la denominación Asistencia Social con Desarrollo Humano Incluir en la Carta Descriptiva los ejes temáticos y los objetivos del Plan Nacional de Desarrollo vigente que se relacionan con el programa en la Carta Descriptiva del Proyecto y en las Reglas de Operación (ROP) Estudiar la viabilidad de Incorporar a la Carta Descriptiva los aspectos a que se refieren los Objetivos de Desarrollo del Milenio, considerando que estos tienen su vigencia en 2015, y se esperaría su actualización. 3) Población potencial y objetivo: Resultado: Oportunidad de Mejora En ninguno de los documentos normativos del proyecto se hace mención de la población potencial. Se observan diferentes definiciones de la población objetivo como: 1). Personas con discapacidad permanente que radique en el estado de Hidalgo, 2). Persona con alguna discapacidad como: física, intelectual, sensorial (auditiva-visual) y mental, y 3). Personas con discapacidad permanente en situación de vulnerabilidad que radiquen en el Estado. Existen criterios de elegibilidad pero no coinciden con la MIR ni con la normatividad vigente. Aspectos susceptibles de mejora: Homologar la definición de la población objetivo en los documentos normativos del proyecto, conforme a la definición que aparece en la MIR: Población con discapacidad permanente que sus ingresos sean de nivel C o B*1 Dirección de Evaluación y Seguimiento a los Programas Asistenciales 12

14 Incluir en la Carta Descriptiva la cuantificación y su metodología de la población potencial y objetivo Citar las fuentes de información de los datos estadísticos mencionados en el apartado Diagnóstico Situacional de la Carta Descriptiva (página 6), para tener referencia de la información consultada Crear un anexo donde se describa la metodología para el cálculo de la población potencial y objetivo Determinar los criterios de elegibilidad que la población objetivo deberá tener para ser beneficiaria y que deberán aparecer en las Reglas de Operación (ROP s). Considerando la información que presenta el área, esta podría quedar como: 1) Personas y/o padres de familia de un menor que presente alguna discapacidad permanente y 2) que se encuentren en situación de vulnerabilidad. Sin embargo, esto debe ser congruente con lo establecido en el propósito de la MIR Estudiar la factibilidad de mencionar en las ROP s, la información relacionada al funcionamiento del Registro de Beneficiarios de los Programas Asistenciales (REBEPA) Estudiar la factibilidad de Incorporar en las ROP un apartado referente al padrón de beneficiarios, en el que se incluya la existencia y el nombre de los formatos de bases de datos que sea necesario emplear, y donde se incluya la definición de las variables que integra, campos obligatorios, periodos de actualización, mecanismos de depuración, uso de la información y si se considera necesario, mecanismos sobre la transparencia de información Estudiar la factibilidad de incorporar a las Reglas de Operación un apartado que contenga la información relacionada al REBEPA, y donde se incluyan las variables socioeconómicas de los beneficiarios, así como la temporalidad en que se actualizará la información recolectada 4) Matriz de Indicadores para Resultados (MIR): Resultado: Adecuado De manera general la MIR cumple con la lógica vertical y horizontal, es decir, existen relaciones de causalidad bien identificadas entre los distintos niveles de objetivos y existen indicadores que miden los resultados, sin embargo se encontró lo siguiente: Dirección de Evaluación y Seguimiento a los Programas Asistenciales 13

15 Se presentan algunos problemas como: a) Las actividades cuentan con algunos supuestos que no ayudan a la generación de los Componentes. b) Los Componentes si coinciden con la lógica vertical, por el Componente Asesorías otorgadas no es lo suficiente directo para el cumplimiento del Propósito c) El Fin no posee un sólo objetivo, ya que hace mención de 2 aspectos, el mejoramiento de su salud y el mejoramiento de su condición de discapacidad, los cuales son aspectos distintos. No existen Actividades que sirvan para dar seguimiento a los Componentes Asesorías Otorgadas y Proyecto Productivo entregado. Los indicadores presentan las siguientes características: a) El 86% de los indicadores son claros (precisos e inequívocos), sin embargo, en el Fin se presentan ambigüedades al mencionar población atendida que mejoró su condición de discapacidad, ya que no se entiende a qué se refiere con condición de discapacidad. b) El 86% de los indicadores son relevantes, con excepción del indicador de propósito, porque no mide un aspecto relevante de su resumen narrativo. c) El 71% de los indicadores son económicos. El indicador de Fin: Porcentaje de población atendida que mejoró su condición de discapacidad, respecto al total de población atendida no lo es, debido a que el costo de generar el cálculo del indicador es menor que su beneficio, ya que no es un indicador cuyo resumen narrativo se relacione directamente con el propósito. d) Los indicadores que son adecuados corresponden al 57% y el 43% no aportan una base suficiente para evaluar el desempeño y; e) Ninguno de los indicadores son monitoreables por lo que no puede ser sujeto de una verificación independiente. No existe línea base, es decir, el primer cálculo del indicador que se toma de referencia para comparar mediciones subsecuentes y verificar el desempeño del proyecto. Al no existir línea base ni metas no se puede determinar si éstas están orientadas a impulsar el desempeño, o son laxas, es decir, muy fáciles de alcanzar. Los medios de verificación, cuentan con el 50% de sus características, sin embargo, no cuentan con la información del contenido de los formatos AT-MML/2015 y HVM- MML/2015, y las siglas de los nombres no especifican su contenido. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 14

16 Aspectos susceptibles de mejora: Estudiar la factibilidad de incorporar en la MIR, una actividad que indique la elección del tipo de proyecto a otorgar, la cual podría ser Elegir tipo de proyecto, así como otra actividad con la cual se dé seguimiento al componente Proyecto productivo entregado, la cual podría quedar como: Realizar seguimiento a proyectos productivos Replantear los supuestos de la MIR a nivel actividades del componente 1, ya que una situación en donde los beneficiarios no cumplan los requisitos y documentación solicitada y el que no se cuente con presupuesto autorizado, son aspectos que deben cumplirse, ya que de no ser así, no funcionaría el proyecto Verificar si los componentes otorgados que se plasman en la MIR actualmente logran el nivel de ingresos deseados que se mencionan en el propósito o es necesario considerar componentes complementarios. En la mayor parte de los casos la persona solicitante requiere de apoyo inmediato y en efectivo para cubrir gastos emergentes, incluso existen casos que por necesidad de recursos malbaratan los productos que componen el proyecto productivo para salir de su contingencia. Para estos casos se deberá incorporar otro componente a fin de evitar que el proyecto desaparezca. ASM tomado del Seguimiento a Proyectos Productivos 2012 Programa Hacia una Vida Mejor, realizado del 21 de febrero al 31 de mayo de 2013 (página 7) Se sugiere incorporar a la Carta Descriptiva y Reglas de operación, el contenido de la MIR. De manera general el Árbol del problema se convierte en Introducción, el Propósito en población objetivo y objetivo general, los componentes en objetivos específicos de y características de los apoyos y las Actividades en la mecánica de operación de las ROP. Esto en base en el documento: Consejo Nacional de Evaluación de la Política de Desarrollo Social. Guía básica para vincular la Matriz de Indicadores para Resultados y las Reglas de Operación de los programas de desarrollo social. México, DF: CONEVAL. Disponible en: %B3n%20MIR-ROP.pdf Realizar la modificación de los indicadores de la MIR conforme al Manual para el Diseño y la Construcción de Indicadores. Instrumentos Principales para el Monitoreo de Programas Sociales de México publicado por CONEVAL, y disponible en la página: Evaluacion-y-monitoreo.aspx Dirección de Evaluación y Seguimiento a los Programas Asistenciales 15

17 Se sugiere, considerar lo que señala CONEVAL para realizar el llenado de las Fichas Técnicas de los indicadores de la MIR, en virtud de que no se cuenta con datos de Metas y Comportamiento del Indicador en el Instructivo para el llenado de la Ficha Técnica del Indicador, dice: Meta y periodo de cumplimiento: indica el valor que deberá alcanzar el indicador, como resultado de la ejecución del programa presupuestario en un periodo determinado. Y Comportamiento del indicador hacia la meta: se refiere al tipo de trayectoria que se espera tenga el indicador. Este elemento puede adoptar cualquiera de los siguientes valores: a) Ascendente: si se desea incrementar el valor del indicador, b) Descendente: si se desea disminuir el valor del indicador, c) Regular: si se desea mantener el valor del indicador dentro de determinado rango de valor, y d) Nominal: se tomará como un resultado independiente del historial del indicador Realizar una modificación completa en el rubro de unidades de medida de las Fichas Técnicas de los indicadores, porque éstas deben responder a lo que se está midiendo, por ejemplo, si el indicador es: Porcentaje de convenios realizados con respecto al total de convenios programados, lo que se está midiendo es el número de convenios, por lo tanto la unidad de medida sería: convenios En las Fichas Técnicas de los indicadores, especificar una línea base que sea pertinente para cada indicador. Cabe mencionar que en caso de ser un nuevo indicador y no se tenga información, es recomendable indagar en programas similares para tomarlo de referencia, o bien, tomar como línea base la primera medición del indicador Realizar un análisis para determinar las metas que aparecerán en las fichas técnicas las cuales deben especificar cantidad, magnitud o variación que se espera lograr como resultado de la intervención y señalar con qué periodicidad se calculará el indicador Para mayor información se puede consultar: CONEVAL, Guía para la elaboración de la Matriz de Indicadores, pág. 50). Para lograr lo anterior, además es necesario establecer la línea base para cada indicador (conforme a los ASM de la pregunta anterior), que permita servir como punto de referencia para especificar la meta Complementar los medios de verificación anexando nombre y firma o rúbrica de quien revisa, valida y/o autoriza la información presentada. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 16

18 En caso de que se desee que los documentos sean oficiales, deben ser publicados en una página Web o en Intranet Establecer un nombre claro de los Medios de Verificación, y en caso de utilizar siglas, explicar con una nota al pie su significado Establecer en los documentos que sirven como Medios de Verificación de la MIR la fecha de elaboración del documento, así como el periodo al que corresponde la información Anotar la referencia bibliográfica, con el nombre de la fuente de información y de la institución que lo respalda, en aquellos casos en que la información de los Medios de Verificación requiera ser respaldada con documentación de consulta o que cite alguna fuente de información Realizar el correcto llenado de los formatos AT-MML/2015 y HVM-MML/2015 de los Medios de Verificación, anotando cada una de las variables que se establecen en los indicadores de la MIR, de tal manera que cualquiera que tenga acceso a ellos, pueda generar el cálculo del indicador de manera independiente. Los formatos deben ser el primer medio para la consulta de las variables Realizar el llenado de los formatos AT-MML/2015 y HVM-MML/2015 presentados como Medios de Verificación. 5) Complementariedades y coincidencias con otros proyectos federales y estatales: Resultado: Sin información No se encontró evidencia de la identificación de proyectos que tengan coincidencias o complementariedades, sin embargo el personal evaluador identificó 3 programas complementarios dependientes de la Secretaría de Educación Pública (SEP), a través de la Subsecretaría de Educación Media Superior: Centros de Atención a Personas con Discapacidad (CAED), Programa de Oportunidades para el Empleo a través de la Tecnología en las Américas (POETA) y Cursos de Capacitación para el Trabajo de la Dirección General de Centros de Formación para el Trabajo (DGCFT) Aspectos susceptibles de mejora: Estudiar la factibilidad generar una carpeta que indique los proyectos que complementan o coindicen con el proyecto Hacia una Vida Mejor. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 17

19 APARTADOS DE LA EVALUACIÓN DE DISEÑO. I.- JUSTIFICACIÓN DE LA CREACIÓN Y DEL DISEÑO DEL PROYECTO 1. El problema o necesidad prioritaria que busca resolver el programa está identificado en un documento que cuenta con la siguiente información: a) El problema o necesidad se formula como un hecho negativo o como una situación que puede ser revertida. b) Se define la población que tiene el problema o necesidad. Respuesta: Sí Nivel de criterios: 3 Nivel Criterios El programa tiene identificado el problema o necesidad que busca resolver, y El problema no cumple con las características establecidas en la pregunta. El programa tiene identificado el problema o necesidad que busca resolver, y El problema cumple con al menos una de las características establecidas en la pregunta. El programa tiene identificado el problema o necesidad que busca resolver, y El problema cumple con todas las características establecidas en la pregunta. El programa tiene identificado el problema o necesidad que busca resolver, y El problema cumple con todas las características establecidas en la pregunta, y El programa actualiza periódicamente la información para conocer la evolución del problema. Evidencias: a) Si, el problema Familias de personas con discapacidad permanente, sin empleo se formula con un hecho negativo, sin embargo, este problema no coincide con el plasmado en la MIR que dice: Población con discapacidad permanente que sus ingresos sean de nivel C o B*1, incrementan sus ingresos al menos en un salario mínimo a la semana. La falta de empleo e bajos ingreso son situaciones cosas distintas, ya que el desempleo es una causa de la falta de ingreso en las familias, al contrario de la falta de ingreso, que no origina al menos directamente, el desempleo de las familias. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 18

20 b) Si, tanto en la Carta Descriptiva (página 9), como en las Reglas de Operación (pág. 4), se define como Población Objetivo a las Personas con alguna discapacidad como física, intelectual, sensorial (auditiva-visual) y mental que radican en la entidad, sin embargo, esta se refiere a la población que presenta la necesidad, que justifica la creación del proyecto, y por tanto corresponde a la Población Potencial y no a la Población Objetivo. Aspectos susceptibles de mejora: Modificar el problema central del proyecto plasmado en el árbol de problemas, de tal manera que sea congruente con lo establecido en el propósito de la MIR Establecer la definición de población potencial del proyecto, considerando que esta se refiere a la población total que presenta la necesidad y/o problema que justifica la existencia del proyecto y que por lo tanto pudiera ser elegible para su atención. (CONEVAL, TDR diseño, 2010). Podría ser por ejemplo: Personas con alguna discapacidad como física, intelectual, sensorial (auditiva-visual) y mental que radican en la entidad. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 19

21 2. Existe un diagnóstico del problema que atiende el programa que describa de manera específica: a) Causas, efectos y características del problema. b) Cuantificación y características de la población que presenta el problema. c) Ubicación territorial de la población que presenta el problema. Respuesta: Si Nivel de criterios: 3 Nivel Criterios El programa cuenta con documentos, información y/o evidencias que le permiten conocer la situación del problema que pretende atender, y El diagnóstico no cumple con las características establecidas en la pregunta. El programa cuenta con documentos, información y/o evidencias que le permiten conocer la situación del problema que pretende atender, y El diagnóstico cumple con una de las características establecidas en la pregunta. El programa cuenta con documentos, información y/o evidencias que le permiten conocer la situación del problema que pretende atender, y El diagnóstico cumple con dos de las características establecidas en la pregunta. El programa cuenta con documentos, información y/o evidencias que le permiten conocer la situación del problema que pretende atender, y El diagnóstico cumple con todas las características establecidas en la pregunta, y El programa actualiza periódicamente el diagnóstico. Evidencias: a) No. Existe un Diagnóstico Situacional (Carta Descriptiva, pág. 6), pero en él no se mencionan las causas del árbol de problemas. En el árbol de problemas se identifican las siguientes causas de primer nivel: 1). Poca cultura incluyente en empresas, 2). Falta educación formal y 3). Poca difusión a programas de prevención. Estas causas no se reflejan en ningún documento del proyecto. En el apartado Antecedentes de la Carta Descriptiva (pág. 2 y 3), sólo se mencionan niveles de exclusión y factores de discriminación que sufren las personas con discapacidad en escuelas, por distintos sectores de la sociedad, su permanencia en la marginación y acceso a los servicios públicos (ANEXO 10). b) Si. En el Diagnostico Situacional (pág. 7), se cuantifica a nivel nacional la población que presenta el problema, cuantificando a 10 millones de personas con alguna discapacidad; de las cuales el 82% depende económicamente de su familia y la Dirección de Evaluación y Seguimiento a los Programas Asistenciales 20

22 población que cuenta con empleo representa el 24%, no obstante, no menciona la fuente donde se obtuvo la información. Asimismo, presenta datos a nivel estatal según el Censo Poblacional y Vivienda INEGI 2010, mencionando que en Hidalgo habitan un total personas con discapacidad, de las cuales el 50.8% son hombres y el 49.2% son mujeres; no obstante no se presentan datos o se relaciona a la discapacidad con los aspectos de desempleo o nivel de ingresos. c) Si. Aunque no se muestra tal como un apartado dentro del diagnóstico, la ubicación territorial Hidalgo se puede inferir cuando en el documento se mencionan que existen datos de la población con discapacidad en el Estado de Hidalgo. Aspectos Susceptibles de Mejora: Mencionar en el diagnóstico del proyecto las causas y efectos plasmados en el árbol de problemas Incluir citas bibliográficas en Carta Descriptiva del proyecto, especialmente en aquellos datos de cuantificación de la población que presenta el problema Hacer mención de la periodicidad con la que se actualiza la información presentada en el Diagnóstico, lo cual servirá como parte del seguimiento a la evolución del problema. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 21

23 3. Existe justificación teórica o empírica documentada que sustente el tipo de intervención que el programa lleva a cabo? Respuesta: No Nivel de criterios: Ninguno Nivel Criterios El programa cuenta con una justificación teórica o empírica documentada que sustente el tipo de intervención que el programa lleva a cabo en la población objetivo, y La justificación teórica o empírica documentada no es consistente con el diagnóstico del problema El programa cuenta con una justificación teórica o empírica documentada que sustente el tipo de intervención que el programa lleva a cabo en la población objetivo, y La justificación teórica o empírica documentada es consistente con el diagnóstico del problema. El programa cuenta con una justificación teórica o empírica documentada que sustente el tipo de intervención que el programa lleva a cabo en la población objetivo, y La justificación teórica o empírica documentada es consistente con el diagnóstico del problema, y Existe(n) evidencia(s) (nacional o internacional) de los efectos positivos atribuibles a los beneficios o los apoyos otorgados a la población objetivo. El programa cuenta con una justificación teórica o empírica documentada que sustente el tipo de intervención que el programa lleva a cabo en la población objetivo, y La justificación teórica o empírica documentada es consistente con el diagnóstico del problema, y Existe(n) evidencia(s) (nacional o internacional) de los efectos positivos atribuibles a los beneficios o apoyos otorgados a la población objetivo, y Existe(n) evidencia(s) (nacional o internacional) de que la intervención es más eficaz para atender la problemática que otras alternativas. Evidencias: Si bien se presenta información teórica sobre algunos aspectos de problema, como el que se ha fomentado la actitud laboral y educativa en las personas con discapacidad (Carta Descriptiva, pág. 4), por medio de la inserción de personas al ámbito laboral y la construcción de Centros de Rehabilitación (CRIH) en diferentes municipios de la entidad, esta información no provee información que justifique el tipo de intervención que se realiza, es decir, el por qué se otorgan proyectos productivos en lugar de realizar transferencias de dinero, capacitación o algún otro componente (ANEXO 1). Aspectos susceptibles de mejora Presentar la evidencia correspondiente que justifique el tipo de intervención realizada, misma que deberá plasmarse en un apartado Justificación del proyecto. Para ello se pueden utilizar estudios o información estadística que sustente la razón de otorgar proyectos productivos y no otros bienes o servicios. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 22

24 II. CONTRIBUCIÓN DEL PROYECTO A LOS OBJETIVOS NACIONALES, ESTATALES Y SECTORIALES. 4. El Propósito del programa está vinculado con los objetivos del programa sectorial, especial o institucional considerando que: a) Existen conceptos comunes entre el Propósito y los objetivos del programa sectorial, especial o institucional por ejemplo: población objetivo. b) El logro del Propósito aporta al cumplimiento de alguna(s) de la(s) meta(s) de alguno(s) de los objetivos del programa sectorial, especial o institucional. Respuesta: Si Nivel de criterios: 4 Nivel Criterios El programa cuenta con un documento en el que se establece la relación con objetivo(s) del programa sectorial, especial o institucional, y No es posible determinar vinculación con los aspectos establecidos en la pregunta. El programa cuenta con un documento en el que se establece la relación con objetivo(s) del programa sectorial, especial o institucional, y Es posible determinar vinculación con uno de los aspectos establecidos en la pregunta. El programa cuenta con un documento en el que se establece la relación con objetivo(s) del programa sectorial, especial o institucional, y Es posible determinar vinculación con todos los aspectos establecidos en la pregunta. El programa cuenta con un documento en el que se establece la relación con objetivo(s) del programa sectorial, especial o institucional, y Es posible determinar vinculación con todos los aspectos establecidos en la pregunta, y El logro del Propósito es suficiente para el cumplimiento de alguna(s) de la(s) meta(s) de alguno(s) de los objetivos del programa sectorial, especial o institucional. Evidencias: a) Si, existen conceptos comunes entre el Propósito del proyecto: Población con discapacidad permanente que sus ingresos familiares sean de nivel C ó B*1, incrementan sus ingresos al menos en un salario mínimo a la semana con los objetivos del Plan Estatal de Desarrollo en cuanto a población objetivo y tipo de apoyo, principalmente a lo que se refiere al apoyo de personas con discapacidad. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 23

25 En la Carta Descriptiva (pág. 18) se menciona que el proyecto se plantea bajo el Eje 1 Desarrollo Social para el Bienestar de Nuestra Gente, del plan Estatal de Desarrollo (PED), en el sub eje 1.4 Asistencia Social con Desarrollo Humano, indicando 3 líneas de acción: que dice Entregar proyectos productivos para el autoempleo de personas con discapacidad, además de promover su contratación en el sector empresarial 2) Fomentar una cultura Fomentar una cultura preventiva de enfermedades tales como cáncer de mama, próstata y cérvico-uterino, así como infecciones de transmisión sexual y discapacidades congénitas, entre otras Promover el respeto y la tolerancia familiar para coadyuvar a la disminución de violencia, baja autoestima y rechazo social. De las 3 líneas de acción presentadas, la la única con la que el proyecto comparte conceptos comunes al mencionar proyectos productivos, que es el principal componente entregado a la población.. b) Si, el logro del Propósito aporta al cumplimiento del Objetivo General Salud Rehabilitación y Discapacidad, Línea de Acción que dice Entregar proyectos productivos para el autoempleo de personas con discapacidad, además de promover su contratación en el sector empresarial ; ya que por medio del incremento de los ingresos económicos (propósito de la MIR) a través del autoempleo, se contribuye a que las personas con discapacidad formen parte activa de la sociedad y al mejoramiento de su nivel de vida. Aunque no se encuentra documentado, el logro del Propósito aporta al cumplimiento al Programa Institucional del Sistema DIF Hidalgo (PID), en Asistencia Social con Desarrollo Humano en el Subprograma 05 Salud, rehabilitación y discapacidad que dice Entregar proyectos productivos para el autoempleo de personas con discapacidad, además de promover su contratación en el sector empresarial. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 24

26 Aspectos susceptibles de mejora: Quitar las líneas de acción y del Plan Estatal de Desarrollo (PED), mencionadas en la Carta Descriptiva, ya que no cumplen conceptos comunes con el proyecto al mencionar fomentar cultura preventiva de enfermedades y Promover el respeto y la tolerancia Incorporar a la Carta Descriptiva, junto a lo mencionado del PED, la vinculación con el Programa Institucional del Sistema DIF Hidalgo (PID), bajo la denominación Asistencia Social con Desarrollo Humano. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 25

27 5. Con cuáles ejes temáticos y objetivos del Plan Nacional de Desarrollo vigente está vinculado el objetivo sectorial relacionado con el programa? Nota: No procede valoración cuantitativa. Aunque no se menciona en algún documento del Proyecto Hacia una Vida Mejor, existe vinculación con el eje temático VI. Objetivos, estrategias y líneas de acción, en el sub eje VI.2 México Incluyente, en su Objetivo 2.2. Transitar hacia una sociedad equitativa e incluyente, por medio de su estrategia Proteger los derechos de las personas con discapacidad y contribuir a su desarrollo integral e inclusión plena, mediante la línea de acción: - Diseñar y ejecutar estrategias para incrementar la inclusión productiva de las personas con discapacidad, mediante esquemas de capacitación laboral y de vinculación con el sector productivo. Aspectos susceptibles de mejora Incluir en la en la Carta Descriptiva del Proyecto y en las Reglas de Operación (ROP), los ejes temáticos y los objetivos del Plan Nacional de Desarrollo vigente que se relacionan con el programa. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 26

28 6. Cómo está vinculado el Propósito del programa con las Metas del Milenio? Nota: No procede valoración cuantitativa. El proyecto aunque no lo menciona, está indirectamente vinculado con Los Objetivos de Desarrollo del Milenio en México: Informe de Avances 2010 (pág. 46), en el Objetivo 1. Erradicar la pobreza extrema y el hambre: Meta 1B Lograr empleo pleno y productivo, y trabajo decente para todos, incluyendo mujeres y jóvenes. Aquí se hace referencia al Plan Nacional de Desarrollo que a la letra dice: otro asunto que este Plan establece como necesario es la inclusión en el mercado laboral de los grupos sociales vulnerables y la mejora de sus condiciones de trabajo. El logro de lo anterior contribuirá al cumplimiento de la meta del milenio 1B. Aunque no se menciona a la población con discapacidad, ésta se podría incluir dentro de los grupos sociales vulnerables que allí se mencionan, de igual manera el otorgamiento de Proyectos Productivos se incluiría en el empleo pleno y productivo, con lo que se incrementarían los ingresos de la población con discapacidad. Aspectos Susceptibles de Mejora: Estudiar la viabilidad de Incorporar a la Carta Descriptiva los aspectos a que se refieren los Objetivos de Desarrollo del Milenio, considerando que estos tienen su vigencia en 2015, y se esperaría su actualización. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 27

29 III. POBLACIÓN POTENCIAL Y OBJETIVO 7. Las poblaciones, potencial y objetivo, están definidas en documentos oficiales y/o en el diagnóstico del problema y cuentan con la siguiente información y características: a) Definición y/o Unidad de medida. b) Están cuantificadas. c) Metodología para su cuantificación. d) Fuentes de información. Respuesta: No Nivel de criterios: No aplica Nivel Criterios El programa tiene definidas las poblaciones (potencial y objetivo), y Las definiciones no cumplen con las características establecidas. El programa tiene definidas las poblaciones (potencial y objetivo), y Las definiciones cumplen con al menos una de las características establecidas. El programa tiene definidas las poblaciones (potencial y objetivo), y Las definiciones cumplen todas las características establecidas. El programa tiene definidas las poblaciones (potencial y objetivo), y Las definiciones cumplen todas las características establecidas, y Existe evidencia de que el programa actualiza (según su metodología) y utiliza las definiciones para su planeación. Evidencias: a) Sí. Tanto en la Carta Descriptiva (pág. 9) como en las Reglas de Operación (ROP) (pág. 4), en el apartado Lineamientos, en Cobertura se menciona: El componente de cobertura del programa beneficiará prioritariamente a las personas con discapacidad permanente, que radican en el Estado de Hidalgo. En el mismo apartado en Población Objetivo menciona Personas con alguna discapacidad como: física, intelectual, sensorial (auditiva-visual) y mental, y en el mismo apartado en el punto Beneficiarios de ambos documentos dice Personas con discapacidad permanente en situación de vulnerabilidad que radiquen en el Estado (ANEXO 2). Dirección de Evaluación y Seguimiento a los Programas Asistenciales 28

30 b) En cuanto a los Criterios de elegibilidad de la Población Objetivo, en ambos documentos se menciona que para poder recibir el apoyo correspondiente, es necesario cumplir los siguientes criterios de elegibilidad: 1) Personas y/o padres de familia de un menor que presente alguna discapacidad permanente, y 2) Personas que se encuentren en situación de vulnerabilidad. Mientras que en la MIR, en una nota al pie dice: para este proyecto se determina de acuerdo al estudio socioeconómico aplicado a los solicitantes de proyecto productivo, los indicadores para determinar el nivel socioeconómico son: Nivel de estudios, ocupación actual, estado de salud del paciente, derecho a la seguridad social, dependientes económicos, ingresos familiares, tipo de vivienda, características de vivienda, material de construcción, servicios públicos y propiedad diversas; con base en lo anterior se aplica la tabla de valores: clasificación A corresponde a nivel Muy Alta, B corresponde a nivel regular y C corresponde a nivel bajo. Asimismo, en las Reglas de Operación (página 5) se mencionan 2 criterios de selección: a 1) Personas y/o padres de familia de un menor que presente alguna discapacidad permanente, y 2) Personas que se encuentren en situación de vulnerabilidad. Dado lo anterior se observa la falta de una definición unificada de la Población Objetivo. Por otra parte, cabe destacar que en el apartado Cobertura de la Carta Descriptiva (Página 4), se hace mención sobre la definición de la población potencial, describiendo como Personas con Discapacidad Permanente, que radican en el Estado de Hidalgo, sin embargo esta definición no se cita como Población Potencial propiamente. c) Si. En la Carta Descriptiva dentro del apartado Diagnóstico Situacional (pág. 6), se hace referencia de la cuantificación de la población potencial mencionando: El rango social de la discapacidad lo podemos valorar si tomamos en cuenta que en México se estima que existe al menos 10 millones de personas, el 24% cuentan con un empleo e ingreso, el 76% restante es considerado como población inactiva, también menciona: Según los resultados del XIII Censo Población del INEGI 2010, en el Estado de Hidalgo habitan 2 665,018 personas, de las cuales, presentan discapacidad (limitación en la actividad) 150,014 personas, que representan 5.6% de la población total de la entidad y se mencionan grupos de edad: de 0 a 14 años 30%; 15 a 26 años 26%; de 30 a 59 años 34%; 60 a 84 años 9%; de 85 y más 1%. Sin embargo, dicha información no enfatiza la situación actual en cuanto a la población con discapacidad que cuenta con empleo e ingreso del estado de Hidalgo. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 29

31 En relación a la cuantificación de la población objetivo, no existe evidencia sobre la cuantificación de personas del Estado de Hidalgo, con alguna discapacidad que no tengan empleo o ingresos, o bien el conteo de personas y/o padres de familia de un menor que presente alguna discapacidad permanente. d) No se hace mención de una metodología para la cuantificación de las poblaciones potencial y objetivo en ningún documento, no hay anexos donde se describa la metodología para el cálculo de ambos tipos de población, sólo se mencionan datos de INEGI, por lo que no se puede hablar de una metodología mientras que no estén bien definidas las Poblaciones potencial y objetivo. e) Parcialmente. El documento hace referencia al Censo de Población y Vivienda de INEGI para 2010 (fuente de información), sin embargo, en la primera parte del Diagnóstico Situacional de la Carta Descriptiva (Pág. 6), se mencionan datos a nivel nacional sobre la situación de la población total con discapacidad y los porcentajes por género y si cuentan con empleo e ingreso, pero no se cita alguna fuente de donde se tomó esa información. Aspectos susceptibles de mejora Establecer la definición de la población objetivo en los documentos normativos, conforme a la definición que aparece en la MIR: Población con discapacidad permanente que sus ingresos sean de nivel C o B* Incluir en la Carta Descriptiva la cuantificación y su metodología de la población potencial y objetivo Citar las fuentes de información de los datos estadísticos mencionados en el apartado Diagnóstico Situacional de la Carta Descriptiva (página 6), para tener referencia de la información consultada Crear un anexo donde se describa la metodología para el cálculo de la población potencial y objetivo Determinar los criterios de elegibilidad que la población objetivo deberá tener para ser beneficiaria y que deberán aparecer en las Reglas de Operación (ROP s). Considerando la información que presenta el área, esta podría quedar como: 1) Personas y/o padres de familia de un menor que presente alguna discapacidad permanente y 2) que se encuentren en situación de vulnerabilidad. Sin embargo, esto debe ser congruente con lo establecido en el propósito de la MIR. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 30

32 8. Existe información que permita conocer quiénes reciben los apoyos del programa (padrón de beneficiarios) que: a) Incluya las características de los beneficiarios establecidas en su documento normativo. b) Incluya el tipo de apoyo otorgado. c) Esté sistematizada, es decir que la información se encuentre en bases de datos y disponible en un sistema informático. d) Cuente con mecanismos documentados para su depuración y actualización. Respuesta: Si Nivel de criterios: 2 Nivel Criterios 1 La información de los beneficiarios cumple con una de las características establecidas. 2 La información de los beneficiarios cumple con dos de las características establecidas. 3 La información de los beneficiarios cumple con tres de las características establecidas. 4 La información de los beneficiarios cumple todas las características establecidas. Evidencia: a) No. En las Reglas de Operación (ROP), en el apartado 4.3 Beneficiarios (Página 4), menciona a Personas con Discapacidad Permanente en situación de vulnerabilidad que radiquen en el Estado. En tanto que los Criterios de elegibilidad (Página 5) del mismo documento, para poder recibir el apoyo son: Personas y/o padres de familia de un menor que presente alguna discapacidad permanente y Personas que se encuentren en situación de vulnerabilidad. Sin embargo, en la Información que se maneja en el Sistema de Registro de Beneficiarios de los Programas Asistenciales (REBEPA), no se encontró algún campo que certifique al menos uno de los criterios. b) Si, el Sistema de Registro de Beneficiarios de los Programas Asistenciales (REBEPA) es un sistema de captura en línea mediante plataforma web (.net) que opera a nivel institucional y es alimentado por el personal del proyecto, contiene información sobre el tipo de apoyo otorgado (ANEXO 3). c) Sí, la información que maneja el REBEPA, se encuentra en base de datos en un sistema informático organizada de la siguiente manera: 1) Información del Dirección de Evaluación y Seguimiento a los Programas Asistenciales 31

33 solicitante del apoyo, 2) Información del beneficiario e 3) Información del apoyo o servicio otorgado. d) No. Aunque existe un documento que presenta el área y que se denomina Anexo 3 Procedimiento para la actualización de la base de datos de beneficiarios, en este sólo se describe la manera de ingresar al Padrón de Beneficiarios de los Programas Asistenciales (REBEPA), pero no mencionan los mecanismos de depuración. Aspectos susceptibles de mejora: Estudiar la factibilidad de mencionar en las ROP s, la información relacionada al funcionamiento del Registro de Beneficiarios de los Programas Asistenciales (REBEPA) Estudiar la factibilidad de Incorporar en las ROP un apartado referente al padrón de beneficiarios, en el que se incluya la existencia y el nombre de los formatos de bases de datos que sea necesario emplear, y donde se incluya la definición de las variables que integra, campos obligatorios, periodos de actualización, mecanismos de depuración, uso de la información y si se considera necesario, mecanismos sobre la transparencia de información. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 32

34 9. Si el programa recolecta información socioeconómica de sus beneficiarios, explique el procedimiento para llevarlo a cabo, las variables que mide y la temporalidad de las mediciones. No procede valoración cuantitativa. En las Reglas de Operación del proyecto, en el apartado Requisitos, se hace mención del estudio socio-económico que debe aplicar el área como requisito para otorgar los apoyos, cuyo llenado es responsabilidad de los Sistemas DIF Municipales, sin embargo, no menciona el procedimiento que se sigue para recabar los datos, las variables que incluye, ni la temporalidad de las mediciones. Lo mismo se refleja en el Diagrama de Flujo del proyecto, en el cual no se muestra que ocurre con el estudio socioeconómico. Asimismo, en el documento enviado por el área Anexo 3: Procedimiento para la actualización de la base de datos de beneficiarios no se hace mención de la información socio-económica que se va a recolectar para otorgar el apoyo. Por otra parte, en el Sistema de Registro de Beneficiarios de los Programas Asistenciales (REBEPA), dentro de la ficha del beneficiario, se encuentran campos que registran datos socioeconómicos como: tipo de localidad, servicios de salud, personas que viven en la casa del beneficiario, condición étnica, vivienda, ingreso familiar mensual y tipo de vulnerabilidad familiar. En este sistema no se establece un periodo para la actualización de la información, sin embargo, debe modificarse cada vez que se obtenga nueva información de los beneficiarios o se detecten cambios que sea necesario incorporar. Aspectos susceptibles de mejora Estudiar la factibilidad de incorporar a las Reglas de Operación un apartado que contenga la información relacionada al REBEPA, y donde se incluyan las variables socioeconómicas de los beneficiarios, así como la temporalidad en que se actualizará la información recolectada. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 33

35 IV. MATRIZ DE INDICADORES PARA RESULTADOS (ANEXO 4). De la lógica vertical de la Matriz de Indicadores para Resultados 10. Para cada uno de los Componentes de la MIR del programa existe una o un grupo de Actividades que: a) Están claramente especificadas, es decir, no existe ambigüedad en su redacción. b) Están ordenadas de manera cronológica. c) Son necesarias, es decir, ninguna de las Actividades es prescindible para producir los Componentes. d) Su realización genera junto con los supuestos en ese nivel de objetivos los Componentes. Respuesta: Si Nivel de criterios: 3 Nivel Criterios 1 Del 0 al 49% de las Actividades cumplen con todas las características establecidas en la pregunta. 2 Del 50 al 69% de las Actividades cumplen con todas las características establecidas en la pregunta. 3 Del 70 al 84% de las Actividades cumplen con todas las características establecidas en la pregunta. 4 Del 85 al 100% de las Actividades cumplen con todas las características establecidas en la pregunta. Evidencias: a) Sí, todas las actividades que corresponden a cada componente están claramente especificadas, no existe ambigüedad en su redacción. b) Si, están ordenadas de manera cronológica, ya que es necesario que se cumpla una para pasar a la segunda. c) Sí, todas son necesarias para producir los componentes, sin embargo, es necesario mencionar que hacen falta actividades relacionadas con su seguimiento, como es la integración del padrón de beneficiarios para el componente Proyecto Productivo Entregado, o en Asesoría Otorgada. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 34

36 d) No, la realización de las actividades más sus supuestos, no generan los componentes. El supuesto Se cuenta con el presupuesto autorizado es una condición necesaria para llevar a cabo la entrega del componente; lo cual es responsabilidad de los líderes del proyecto y por tanto, al ser un factor interno, este no es un supuesto adecuado. De igual manera para la actividad Autorizar los expedientes de los proyectos productivos de los beneficiarios, es necesario que el beneficiario cumpla con los requisitos y documentación solicitada, por lo tanto tampoco es un supuesto viable. Aspectos susceptibles de mejora: Estudiar la factibilidad de incorporar en la MIR, una actividad que indique la elección del tipo de proyecto a otorgar, la cual podría ser Elegir tipo de proyecto, así como otra actividad con la cual se dé seguimiento al componente Proyecto productivo entregado, la cual podría quedar como: Realizar seguimiento a proyectos productivos Replantear los supuestos de la MIR a nivel actividades del componente 1, ya que una situación en donde los beneficiarios no cumplan los requisitos y documentación solicitada y el que no se cuente con presupuesto autorizado, son aspectos que deben cumplirse, ya que de no ser así, no funcionaría el proyecto. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 35

37 11. Los Componentes señalados en la MIR cumplen con las siguientes características: a) Son los bienes o servicios que produce el programa. b) Están redactados como resultados logrados, por ejemplo becas entregadas. c) Son necesarios, es decir, ninguno de los Componentes es prescindible para producir el Propósito. d) Su realización genera junto con los supuestos en ese nivel de objetivos el Propósito. Respuesta: Si Nivel de criterios: 4 Nivel Criterios 1 Del 0 al 49% de los Componentes cumplen con todas las características establecidas en la pregunta. 2 Del 50 al 69% de los Componentes cumplen con todas las características establecidas en la pregunta. 3 Del 70 al 84% de los Componentes cumplen con todas las características establecidas en la pregunta. 4 Del 85 al 100% de los Componentes cumplen con todas las características establecidas en la pregunta. Evidencias: a) Si. Los dos Componentes especificados en la MIR: Proyecto productivo entregado y Asesoría otorgada, son bienes y servicios que produce el proyecto. b) Si. Los componentes de la MIR están redactados como resultados logrados expresados de la siguiente manera: Proyecto productivo entregado y Asesoría otorgada. c) Si. Los Componentes son necesarios porque de acuerdo al árbol de problemas se responde al problema principal que es: Familias de personas con discapacidad permanente, sin empleo, lo que lleva a generar una fuente de ingresos por medio de Proyectos productivos entregados, y para que este apoyo sea realmente una fuente de ingresos, se otorgan Asesorías, las cuales representan un servicio también. No obstante, el Componente Asesoría Otorgada por sí sólo no produce el Propósito, es decir no proporciona el incremento de ingresos familiares, éste podría ser Actividad Dirección de Evaluación y Seguimiento a los Programas Asistenciales 36

38 del Componente Proyecto productivo entregado, dado que se complementaría la entrega de Proyectos con la asesoría para que se produzca el Propósito. d) Si. Es necesario el cumplimiento de los supuestos, así como la entrega de los Componentes para lograr el propósito. Aspectos susceptibles de mejora Verificar si los componentes otorgados que se plasman en la MIR actualmente logran el nivel de ingresos deseados que se mencionan en el propósito o es necesario considerar componentes complementarios. En la mayor parte de los casos la persona solicitante requiere de apoyo inmediato y en efectivo para cubrir gastos emergentes, incluso existen casos que por necesidad de recursos malbaratan los productos que componen el proyecto productivo para salir de su contingencia. Para estos casos se deberá incorporar otro componente a fin de evitar que el proyecto desaparezca. ASM tomado del Seguimiento a Proyectos Productivos 2012 Programa Hacia una Vida Mejor, realizado del 21 de febrero al 31 de mayo de 2013 (página 7). Dirección de Evaluación y Seguimiento a los Programas Asistenciales 37

39 12. El Propósito de la MIR cuenta con las siguientes características: a) Es consecuencia directa que se espera ocurrirá como resultado de los Componentes y los supuestos a ese nivel de objetivos. b) Su logro no está controlado por los responsables del programa. c) Es único, es decir, incluye un sólo objetivo. d) Está redactado como una situación alcanzada, por ejemplo: morbilidad en la localidad reducida. e) Incluye la población objetivo. Respuesta: Si Nivel de criterios: 4 Nivel Criterios 1 El Propósito cumple con dos de las características establecidas en la pregunta. 2 El Propósito cumple con tres de las características establecidas en la pregunta. 3 El Propósito cumple con cuatro de las características establecidas en la pregunta. 4 El Propósito cumple con todas las características establecidas en la pregunta. Evidencias: a) Sí, una vez recibidos los Componentes Proyecto productivo y Asesoría otorgada con el cumplimiento de los Supuestos El beneficiario continúa con el interés de trabajar su proyecto productivo y Las condiciones climáticas son las adecuadas respectivamente, se tendrá como consecuencia directa el Propósito. b) Si, su logro no está controlado por los responsables del proyecto, pues depende de los beneficiarios si hacen buen uso de los insumos y materiales que se les otorga, y si aprovechan la asesoría para poner en marcha su negocio y obtener resultados favorables una vez entregados los componentes. c) Sí, el Propósito es único, incluye un sólo objetivo el de incrementar los ingresos familiares. d) Sí, está redactado como una situación alcanzada al decir: incrementan sus ingresos, se entiende que el Propósito debe responder a la pregunta Qué cambios deseo lograr en la población objetivo?. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 38

40 e) Sí, el Propósito incluye a la población objetivo, la cual se describe como la Población con discapacidad permanente que sus ingresos familiares sean de nivel C ó B*1. Aspectos Susceptibles de Mejora: Ninguno. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 39

41 13. El Fin de la MIR cuenta con las siguientes características: a) Está claramente especificado, es decir, no existe ambigüedad en su redacción. b) Es un objetivo superior al que el programa contribuye, es decir, no se espera que la ejecución del programa sea suficiente para alcanzar el Fin. c) Su logro no está controlado por los responsables del programa. d) Es único, es decir, incluye un sólo objetivo. e) Está vinculado con objetivos estratégicos de la dependencia o del programa sectorial. Respuesta: Sí Nivel de criterios: 3 Nivel Criterios 1 El Fin cumple con dos de las características establecidas en la pregunta. 2 El Fin cumple con tres de las características establecidas en la pregunta. 3 El Fin cumple con cuatro de las características establecidas en la pregunta. 4 El Fin cumple con todas las características establecidas en la pregunta. Evidencias: a) Sí. A pesar de que en el Fin del proyecto Contribuir a mejorar su salud y condición de discapacidad de la población del Estado de Hidalgo, existe ambigüedad en su redacción, al incluir dos objetivos (mejorar su salud y mejorar su condición de discapacidad), se tiene evidencia de que para la realización de las MIR 2015 se estableció que se utilizaran las MIR elaboradas conforme al Programa Institucional del Sistema DIF Hidalgo , que incluye 5 ejes, dentro de los cuales se encuentra el Eje 5 Salud, rehabilitación y discapacidad, utilizando su propósito como el fin del proyecto Hacia una Vida Mejor. b) Sí. Es un objetivo superior al que el proyecto contribuye, ya que se espera que con el incremento de los ingresos de los beneficiarios, estos puedan ejercer un mayor gasto en el mejoramiento de su condición de discapacidad, ya sea en medicamentos, órtesis y prótesis o en terapias. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 40

42 c) Sí. Su logro no está controlado por los responsables del proyecto, dado que el proyecto pretende incrementar los ingresos familiares al menos en un salario mínimo a la semana, y se espera contribuya a mejorar la salud y condición de discapacidad de la población del Estado de Hidalgo. d) No. El Fin no posee un sólo objetivo, ya que hace mención de 2 aspectos: el mejoramiento de su salud y el mejoramiento de su condición de discapacidad, los cuales son aspectos distintos. No obstante, considerando los argumentos del inciso a) de esta pregunta, no es necesario realizar cambios a la MIR en este nivel de objetivo. e) Si. El Fin está vinculado con el Eje 1 Desarrollo Social para el Bienestar de Nuestra Gente, y el Objetivo General Salud, Rehabilitación y Discapacidad, que dice: Contribuir a que la población cuente a plenitud, con una buena salud y capacidades físicas y mentales para formar parte activa de la sociedad, mediante la promoción de una cultura de prevención de discapacidades y enfermedades, así como a través del otorgamiento de servicios médicos especializados y espacios para la rehabilitación ubicados cerca de los lugares de residencia. Aspectos susceptibles de mejora. Ninguno. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 41

43 14. En el documento normativo del programa es posible identificar el resumen narrativo de la MIR (Fin, Propósito, Componentes y Actividades)? Respuesta: Sí Nivel de criterios: Ninguno Nivel Criterios Algunas de las Actividades de la MIR se identifican en las ROP o documento normativo del programa. Algunas de las Actividades y todos los Componentes de la MIR se identifican en las ROP o documento normativo del programa. Algunas de las Actividades, todos los Componentes y el Propósito de la MIR se identifican en las ROP o documento normativo del programa. Algunas de las Actividades, todos los Componentes, el Propósito y el Fin de la MIR se identifican en las ROP o documento normativo del programa. Evidencias: No es posible identificar Algunas de las Actividades, todos los Componentes, el Propósito y el Fin de la MIR en los documentos normativos. Sin embargo, cabe hacer mención que en las Reglas de Operación (pág. 16) y en la Carta Descriptiva (pág. 18), se muestran en el apartado Indicadores de Gestión, siete indicadores con su método de cálculo, los cuales corresponden a los indicadores de los 4 niveles de objetivo de la MIR. Aspectos susceptibles de mejora: Se sugiere incorporar a la Carta Descriptiva y Reglas de operación, el contenido de la MIR. De manera general el Árbol del problema se convierte en Introducción, el Propósito en población objetivo y objetivo general, los componentes en objetivos específicos de y características de los apoyos y las Actividades en la mecánica de operación de las ROP. Esto en base en el documento: Consejo Nacional de Evaluación de la Política de Desarrollo Social. Guía básica para vincular la Matriz de Indicadores para Resultados y las Reglas de Operación de los programas de desarrollo social. México, DF: CONEVAL. Disponible en: %B3n%20MIR-ROP.pdf Dirección de Evaluación y Seguimiento a los Programas Asistenciales 42

44 De la lógica horizontal de la Matriz de Indicadores para resultados 15. En cada uno de los niveles de objetivos de la MIR del programa (Fin, Propósito, Componentes y Actividades) existen indicadores para medir el desempeño del programa con las siguientes características: a) Claros. b) Relevantes. c) Económicos. d) Monitoreables. e) Adecuados. Respuesta: Sí Nivel de criterios: 2 Nivel Criterios 1 Del 0% al 49% de los indicadores del programa tienen las características establecidas. 2 Del 50% al 69% de los indicadores del programa tienen las características establecidas. 3 Del 70% al 84% de los indicadores del programa tienen las características establecidas. 4 Del 85% al 100% de los indicadores del programa tienen las características establecidas. Evidencias (ANEXO 5): a) El 86% de los indicadores del Proyecto son claros, a excepción del indicador de Fin que sí presenta términos ambiguos al mencionar: población atendida que mejoró su condición de discapacidad, pues no es entendible a qué se refiere con condición de discapacidad, habrá que determinar si al recibir un proyecto productivo se mejora la discapacidad?, o como aplica el mejorar su condición de discapacidad?. b) El 86% de los indicadores son relevantes, es decir, tienen relación con el objetivo, con excepción del indicador de Propósito, en virtud de que el resumen narrativo se refiere a la población con discapacidad que incrementa sus ingresos familiares y el indicador hace referencia al número de proyectos. En este sentido, lo que se Dirección de Evaluación y Seguimiento a los Programas Asistenciales 43

45 quiere medir es el incremento de los ingresos y no en qué grado se cumplió con la entrega de proyectos entregados. c) El 71% de los indicadores son económicos. Sin embargo sólo dos indicadores no son económicos, el indicador de Fin y el de Propósito; el indicador a nivel Fin no es económico, pues sería difícil y costoso indagar en realidad cada caso y medir si es que las personas mejoraron su salud y su condición de discapacidad. Por su parte el indicador de Propósito no es económico porque no es relevante ni adecuado conforme a las condiciones establecidas: 1) que el costo de la generación del indicador no sea mayor al beneficio otorgado y 2) que el indicador sea relevante y adecuado. (CONEVAL Manual para el diseño y la construcción de indicadores, página 60), d) Ningún indicador es Monitoreable. En primer lugar porque los Medios de Verificación de la MIR que fueron presentados, son documentos que no están requisitados, y no muestran variables ni sus respectivas cantidades. En segundo lugar, la información que alimenta a los indicadores no es accesible a cualquier persona, sino que corresponden a registros administrativos que sólo conoce el encargado del proyecto, incluso en algunas ocasiones se tienen que inferir las cantidades; por ejemplo en el caso de las asesorías otorgadas, en donde no aparece esta variable pero se considera que al darse x número de proyectos, por tanto se debieron dar x número de asesorías. e) Los indicadores que son adecuados corresponden al 57%. El indicador de Propósito no es adecuado porque no mide el desempeño del proyecto en ese nivel de objetivos, ya que mide el número de proyectos entregados cuando debe medir el incremento de ingresos. Por su parte, los indicadores de Fin y el del Componente 2 denominado Asesoría Otorgada, son erróneos en virtud de que no es posible dividir porcentaje con unidades, como aparece en el numerador: No. (porcentaje de población atendida que mejoró su condición de discapacidad / total de población atendida) x 100 y (No. Porcentaje de asesorías otorgadas / No. Total de asesorías programadas) x 100 respectivamente. Aspectos susceptibles de mejora: Realizar la modificación de los indicadores de la MIR conforme al Manual para el Diseño y la Construcción de Indicadores. Instrumentos Principales para el Monitoreo de Programas Sociales de México publicado por CONEVAL, y disponible en la página: Evaluacion-y-monitoreo.aspx Dirección de Evaluación y Seguimiento a los Programas Asistenciales 44

46 16. Las Fichas Técnicas de los indicadores del programa cuentan con la siguiente información: a) Nombre. b) Definición. c) Método de cálculo. d) Unidad de Medida. e) Frecuencia de Medición. f) Línea base. g) Metas. h) Comportamiento del indicador (ascendente, descendente, regular ó nominal). Respuesta: Sí Nivel de criterios: 1 Nivel Criterios Del 0% al 49% de las Fichas Técnicas de los indicadores del programa tienen las características establecidas. Del 50% al 69% de las Fichas Técnicas de los indicadores del programa tienen las características establecidas. Del 70% al 84% de las Fichas Técnicas de los indicadores del programa tienen las características establecidas. Del 85% al 100% de las Fichas Técnicas de los indicadores del programa tienen las características establecidas. Evidencias: a) Si. Todas las Fichas Técnicas de los indicadores cumplen con un nombre de manera correcta, y éste es el mismo que aparece en la Matriz de Indicadores de Resultados (MIR). b) No. Aunque este campo contiene información, la definición plasmada en el apartado de todas las fichas no es la correcta, ya que se considera erróneo colocar en el nivel la información que corresponde al resumen narrativo. Por ejemplo, en la ficha técnica del indicador del Fin se colocó el resumen narrativo del Fin, cuando lo correcto es establecer es lo que pretende medir el indicador. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 45

47 c) Sí. El método de cálculo señalado en las Fichas Técnicas es correcto y coherente con lo plasmado en la MIR. Sin embargo, es necesario corregir un error en el indicador de Fin, en cuyo método de cálculo aparecen dividir y multiplicar por cien al mismo tiempo (/*100). d) No. La Unidad de Medida no está especificada en las Fichas Técnicas con ese nombre, ya que aparece como Unidad de Análisis, campo que no contiene información. e) No. La Frecuencia de Medición no se menciona en las Fichas Técnicas, pero si en la MIR, donde se describe de manera correcta con qué frecuencia o periodicidad se va a utilizar el indicador para determinar la medición (anual, mensual), de acuerdo con los diferentes elementos del resumen narrativo (Fin, Propósito, Componentes y Actividades). f) No. El dato plasmado en este campo, no coincide con lo que indica CONEVAL La importancia de esta línea radica en que es el punto de referencia de los indicadores a partir del cual se les dará seguimiento. Es posible que para indicadores nuevos no se tenga información anterior, por lo que se pueden buscar referencias en programas similares en otros países o en organizaciones internacionales, o bien, tomar como línea base la primera medición del indicador Guía para la Elaboración de la Matriz de Indicadores para Resultados (página 50). También se muestra en el Instructivo para el llenado de la Ficha Técnica del Indicador: señala el valor inicial del indicador y sirve de parámetro para medir el avance hacia la meta, debe incluir la fecha desagregando año y periodo. g) No. No se cuenta con información respecto a las metas, ya que éstas no están descritas el campo, por lo que no es posible hacer observaciones con respecto a estas. h) No se cuenta con información que haga referencia al comportamiento del indicador, lo que no hace posible realizar observaciones. La información contenida en las fichas técnicas no es suficiente para alcanzar más del 49% de la información total requerida, porque sólo se cumple con un 38% del total de las características que corresponden a esta pregunta, por lo que el nivel de criterios corresponde al número 1. El Nombre y Método de Cálculo son las dos características que la mayoría de las fichas cubren de manera correcta. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 46

48 Aspectos Susceptibles de Mejora Se sugiere, considerar lo que señala CONEVAL para realizar el llenado de las Fichas Técnicas de los indicadores de la MIR, en virtud de que no se cuenta con datos de Metas y Comportamiento del Indicador. En el Instructivo para el llenado de la Ficha Técnica del Indicador, dice: Meta y periodo de cumplimiento: indica el valor que deberá alcanzar el indicador, como resultado de la ejecución del programa presupuestario en un periodo determinado. Y Comportamiento del indicador hacia la meta: se refiere al tipo de trayectoria que se espera tenga el indicador. Este elemento puede adoptar cualquiera de los siguientes valores: a) Ascendente: si se desea incrementar el valor del indicador, b) Descendente: si se desea disminuir el valor del indicador, c) Regular: si se desea mantener el valor del indicador dentro de determinado rango de valor, y d) Nominal: se tomará como un resultado independiente del historial del indicador Realizar una modificación completa en el rubro de unidades de medida de las Fichas Técnicas de los indicadores, porque éstas deben responder a lo que se está midiendo, por ejemplo, si el indicador es: Porcentaje de convenios realizados con respecto al total de convenios programados, lo que se está midiendo es el número de convenios, por lo tanto la unidad de medida sería: convenios En las Fichas Técnicas de los indicadores, especificar una línea base que sea pertinente para cada indicador. Cabe mencionar que en caso de ser un nuevo indicador y no se tenga información, es recomendable indagar en programas similares para tomarlo de referencia, o bien, tomar como línea base la primera medición del indicador. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 47

49 17. Las metas de los indicadores de la MIR del programa tienen las siguientes características: a) Cuentan con unidad de medida. b) Están orientadas a impulsar el desempeño, es decir, no son laxas. c) Son factibles de alcanzar considerando los plazos y los recursos humanos y financieros con los que cuenta el programa. Respuesta: No Nivel de criterios: No aplica Nivel Criterios 1 Del 0% al 49% de las metas de los indicadores del programa tienen las características establecidas. 2 Del 50% al 69% de las metas de los indicadores del programa tienen las características establecidas. 3 Del 70% al 84% de las metas de los indicadores del programa tienen las características establecidas. 4 Del 85% al 100% de las metas de los indicadores del programa tienen las características establecidas. Evidencias (ANEXO 6): En todas las Fichas Técnicas de los indicadores no se registra información correspondiente a metas, por lo que no es posible realizar un análisis. Aspectos susceptibles de mejora Realizar un análisis para determinar las metas que aparecerán en las fichas técnicas las cuales deben especificar cantidad, magnitud o variación que se espera lograr como resultado de la intervención y señalar con qué periodicidad se calculará el indicador Para mayor información se puede consultar: CONEVAL, Guía para la elaboración de la Matriz de Indicadores, pág. 50). Para lograr lo anterior, además es necesario establecer la línea base para cada indicador (conforme a los ASM de la pregunta anterior), que permita servir como punto de referencia para especificar la meta. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 48

50 18. Cuántos de los indicadores incluidos en la MIR tienen especificados medios de verificación con las siguientes características: a) Oficiales o institucionales. b) Con un nombre que permita identificarlos. c) Permiten reproducir el cálculo del indicador. d) Públicos, accesibles a cualquier persona. Respuesta: No Nivel de criterios: Ninguno Nivel Criterios 1 Del 0% al 49% de los medios de verificación cumplen con las características establecidas en la pregunta. 2 Del 50% al 69% de los medios de verificación cumplen con las características establecidas en la pregunta. 3 Del 70% al 84% de los medios de verificación cumplen con las características establecidas en la pregunta. 4 Del 85% al 100% de los medios de verificación cumplen con las características establecidas en la pregunta. Para realizar este análisis se acudió a las oficinas de la Subdirección de Atención a Discapacidades, para conocer los documentos que dan sustento a los Medios de Verificación de los indicadores de la MIR. El resultado de dicha visita se establece en el formato (ANEXO 7) y con ello se obtuvo lo siguiente: Evidencias: a) Sí, los medios de verificación con que se cuenta consta de un documento de carácter institucional, pues es emitido por el área que opera el Proyecto: Subdirección de Atención a Discapacidades, correspondiente a la Dirección del Centro de Rehabilitación Integral Hidalgo del Sistema DIF Estatal. Es presentado impreso con logos de Gobierno del Estado y del Sistema DIF Hidalgo. b) Si cuentan con un nombre que permite identificarlos, sin embargo los nombres: Formato AT-MML/2015 y Formato HVM-MML/2015 no son claros, ya que maneja siglas que no especifican a que se refiere. c) No. Los formatos presentados no contienen la información correspondiente a los indicadores, por lo que no es posible generar su cálculo, de hecho no contienen Dirección de Evaluación y Seguimiento a los Programas Asistenciales 49

51 información alguna. Esto se debe a que los indicadores se alimentan de un formato denominado Informe Mensual (nombre que aparece en oficio y no propiamente en el formato) en el cual aparece una tabla donde se registran las cantidades de proyectos productivos otorgados, monto del financiamiento, personas, familiares y comunidades por cada municipio atendido. Al final de la tabla se realiza la sumatoria y es lo que se toma para alimentar a los indicadores. Un aspecto que se observa es el hecho de que se infieren cantidades, por ejemplo en el caso de las asesorías otorgadas, en donde no aparece esta variable pero se considera que al darse x número de proyectos, por tanto se debieron dar x número de asesorías. d) No son públicos, no son accesibles a cualquier persona, toda vez que los medios de verificación sólo son accesibles al personal involucrado en el Proyecto, incluyendo al Jefe inmediato y al Subdirector del área. Aspectos susceptibles de mejora Complementar los medios de verificación anexando nombre y firma o rúbrica de quien revisa, valida y/o autoriza la información presentada. En caso de que se desee que los documentos sean oficiales, deben ser publicados en una página Web o en Intranet Establecer un nombre claro de los Medios de Verificación, y en caso de utilizar siglas, explicar con una nota al pie su significado Establecer en los documentos que sirven como Medios de Verificación de la MIR la fecha de elaboración del documento, así como el periodo al que corresponde la información Anotar la referencia bibliográfica, con el nombre de la fuente de información y de la institución que lo respalda, en aquellos casos en que la información de los Medios de Verificación requiera ser respaldada con documentación de consulta o que cite alguna fuente de información Realizar el correcto llenado de los formatos AT-MML/2015 y HVM-MML/2015 de los Medios de Verificación, anotando cada una de las variables que se establecen en los indicadores de la MIR, de tal manera que cualquiera que tenga acceso a ellos, pueda generar el cálculo del indicador de manera independiente. Los formatos deben ser el primer medio para la consulta de las variables. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 50

52 19. Considerando el conjunto Objetivo-Indicadores-Medios de verificación, es decir, cada renglón de la MIR del programa es posible identificar lo siguiente: a) Los medios de verificación son los necesarios para calcular los indicadores, es decir, ninguno es prescindible. b) Los medios de verificación son suficientes para calcular los indicadores. c) Los indicadores permiten medir, directa o indirectamente, el objetivo a ese nivel. Respuesta: No Nivel de criterios: No aplica Nivel Criterios 1 Uno de los conjuntos Objetivo-Indicadores-Medios de verificación del programa tienen las características establecidas. 2 Dos de los conjuntos Objetivo-Indicadores-Medios de verificación del programa tienen las características establecidas. 3 Tres de los conjuntos Objetivo-Indicadores-Medios de verificación del programa tienen las características establecidas. 4 Todos los conjuntos Objetivo-Indicadores-Medios de verificación del programa tienen las características establecidas. Evidencias: Los formatos AT-MML/2015 y HVM-MML/2015, que se identifican como los medios de verificación establecidos en la MIR para los indicadores, al no contener información, no es posible realizar un análisis para determinar si estos son necesarios, suficientes y conocer si permiten medir los indicadores. Aspectos susceptibles de mejora Realizar el llenado de los formatos AT-MML/2015 y HVM-MML/2015 presentados como Medios de Verificación. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 51

53 Valoración final de la MIR 20. Sugiera modificaciones en la MIR del programa o incorpore los cambios que resuelvan las deficiencias encontradas en cada uno de sus elementos a partir de sus respuestas a las preguntas de este apartado. No procede valoración cuantitativa. Para sugerir modificaciones en la MIR e incorporar cambios que resuelvan las deficiencias encontradas, de acuerdo al análisis de las evidencias registradas, se sugiere considerar los Aspectos Susceptibles de Mejora, plasmados en cada una de las preguntas de esta evaluación, que en general es resumida de la siguiente manera: 1. Definir el Problema, de acuerdo a la metodología de CONEVAL, el cual debe coincidir con el Árbol de Objetivos, para posteriormente definir el Propósito en la MIR. 2. Describir en el Diagnóstico las causas y efectos plasmados en el Árbol de Problemas. 3. Generar el sustento teórico que respalde la entrega de los Componentes y su relación con el logro del Propósito. 4. Establecer y homologar en los distintos documentos normativos, la definición de la Población Potencial y Población Objetivo. 5. Verificar que el Propósito sea congruente con la problemática establecida, que tenga vinculación con los programas sectorial, especial o institucional. 6. Incorporar Actividades para el seguimiento de los Componentes Asesorías Otorgadas y Proyecto Productivo Entregado, así como una actividad para determinar el tipo de apoyo a otorgar. 7. Verificar si se pueden incorporar Componentes complementarios, de acuerdo a los Aspectos Susceptibles de Mejora, derivados del Resultado del Seguimiento a Proyectos Productivos 2012 Hacia una Vida Mejor. 8. Replantear el Fin, redactando un sólo objetivo para que se cumpla la Lógica Vertical. 9. Verificar los Indicadores y su Lógica Horizontal. 10. Analizar y redefinir Supuestos a nivel de Componentes. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 52

54 V. ANÁLISIS DE POSIBLES COMPLEMENTARIEDADES Y COINCIDENCIAS CON OTROS PROYECTOS FEDERALES Y ESTATALES (ANEXO 8). 21. Con cuáles programas federales y en qué aspectos el programa evaluado podría tener complementariedad y/o coincidencias? Nota: No procede valoración cuantitativa. Evidencia: No se identificó algún proyecto federal ni estatal que tenga coincidencias con el de Hacia una Vida Mejor (propósitos u objetivos similares), sin embargo se encontraron proyectos complementarios, cuya población objetivo es similar pero sus componentes son distintos. Son proyectos dependientes de la Secretaría de Educación Pública, a través de la Subsecretaría de Educación Media Superior, y van encaminados a ofrecer apoyo en materia de educación a las personas que tienen algún tipo de discapacidad que puede ser auditiva, motriz, visual o intelectual. Estos proyectos son: 1. Centros de Atención para Personas con discapacidad (CAED). Ofrece estudios de nivel medio superior, para quienes tienen algún tipo de discapacidad y desean continuar sus preparación académica, a través de apoyos con recursos didácticos. 2. Programa de Oportunidades para el Empleo a través de la Tecnología en las Américas (POETA). Capacita a las personas con discapacidad en el uso de Tecnologías de información, y les proporciona, a través de la educación, acceso a posibilidades de empleo y una participación social más activa. 3. Cursos de Capacitación para el Trabajo de la Dirección General de Centros de Formación para el Trabajo (DGCFT). Dirigido a personas con discapacidad, mediante la impartición de cursos de corta duración que abarcan 55 especialidades en las áreas de agropecuario, electricidad, turismo, salud, educación, administración y comunicación. Aspectos Susceptibles de Mejora: Estudiar la factibilidad generar una carpeta que indique los proyectos que complementan o coindicen con el proyecto Hacia una Vida Mejor. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 53

55 V. VALORACIÓN FINAL DEL DISEÑO DEL PROGRAMA La evaluación de diseño al proyecto Hacia una Vida Mejor, permitió realizar un ejercicio de evaluación que consistió en analizar la información del proyecto, donde se plasmaron las observaciones que el personal de evaluación consideró pertinentes para mejorar cada uno de los niveles de objetivos que fueron calificados. Los resultados se presentaron en 5 apartados que fueron calificados según la evidencia encontrada y conforme a los criterios establecidos en la presente evaluación: De las 21 preguntas: en 5 preguntas no procede una valoración cuantitativa, 5 resultaron con respuesta No y 11 preguntas resultaron con respuesta Si según nivel de criterios mostrado en el cuadro siguiente: Apartado 1. Justificación de la creación y del diseño del programa; 2. Contribución a los objetivos nacionales y a los sectoriales; 3. Población potencial y objetivo; 4. Matriz de Indicadores para Resultados (MIR); 5. Complementariedades y coincidencias con otros proyectos federales y estatales. Respuesta Si Nivel de Criterios Ninguno Respuesta No No procede valoración cuantitativa Calificación / / / /40 Calificación final 1 De esta manera con base en la evidencia presentada se determinó la siguiente valoración: Apartado Valoración 1. Justificación de la creación y del diseño del programa; Oportunidad de Mejora 2. Contribución a los objetivos nacionales y a los sectoriales; Adecuado 3. Población potencial y objetivo; Oportunidad de Mejora 4. Matriz de Indicadores para Resultados (MIR); Adecuado 5. Complementariedades y coincidencias con otros proyectos Sin Información federales y estatales. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 54

56 1) Justificación de la creación y del diseño del proyecto: Resultado: Oportunidad de Mejora No obstante a que en los documentos normativos se cuente con información referente a la justificación y antecedentes del proyecto, en éstos no se plantea el problema que dio origen a la implementación del proyecto, toda vez que no es congruente el problema plasmado en el árbol de problemas con el propósito de la Matriz (MIR); mientras que en el árbol se menciona que el problema es el desempleo, en la MIR se espera incrementar los ingresos de las personas con discapacidad, y ambos son aspectos distintos. De igual manera no se han incorporado los elementos de la MIR a los documentos normativos. Por ejemplo, el diagnóstico situacional no menciona las causas del árbol de problemas. También hace falta que en la justificación teórica o empírica se justifique la entrega de proyectos productivos en lugar de transferencias monetarias, u otros componentes. Por último, no se presentan datos sobre familias de discapacitados con bajos ingresos o niveles de desempleo. 2) Contribución a los objetivos nacionales y a los sectoriales: Resultado: Adecuado El proyecto Hacia una Vida Mejor se vincula con el Plan Estatal de Desarrollo (PED), bajo la Línea de Acción que dice Entregar proyectos productivos para el autoempleo de personas con discapacidad, además de promover su contratación en el sector empresarial, donde el Componente Proyecto productivo entregado forma parte del proyecto. Asimismo el propósito del proyecto está vinculado con el plan Nacional de Desarrollo (PND) en la inclusión en el mercado laboral con los grupos sociales vulnerables y la mejora de sus condiciones de trabajo. El logro de lo anterior contribuirá al cumplimiento de la meta 1B de los Objetivos de Desarrollo del Milenio; sin embargo, no se encuentra documentada esta información, por lo que se considera como información inexistente. 3) Población potencial y objetivo: Resultado: Oportunidad de Mejora Dirección de Evaluación y Seguimiento a los Programas Asistenciales 55

57 En ninguno de los documentos normativos del proyecto se hace mención de la población potencial. Se observan diferentes definiciones de la población objetivo como: 1). Personas con discapacidad permanente que radique en el estado de Hidalgo, 2). Persona con alguna discapacidad como: física, intelectual, sensorial (auditiva-visual) y mental, y 3). Personas con discapacidad permanente en situación de vulnerabilidad que radiquen en el Estado. Existen criterios de elegibilidad pero no coinciden con la MIR ni con la normatividad vigente. 4) Matriz de Indicadores para Resultados (MIR): Resultado: Adecuado De manera general la MIR cumple con la lógica vertical y horizontal, es decir, existen relaciones de causalidad bien identificadas entre los distintos niveles de objetivos y existen indicadores que miden los resultados, sin embargo se encontró lo siguiente: Se presentan algunos problemas como: d) Las actividades cuentan con algunos supuestos que no ayudan a la generación de los Componentes. e) Los Componentes si coinciden con la lógica vertical, por el Componente Asesorías otorgadas no es lo suficiente directo para el cumplimiento del Propósito f) El Fin no posee un sólo objetivo, ya que hace mención de 2 aspectos, el mejoramiento de su salud y el mejoramiento de su condición de discapacidad, los cuales son aspectos distintos. No existen Actividades que sirvan para dar seguimiento a los Componentes Asesorías Otorgadas y Proyecto Productivo entregado. Los indicadores presentan las siguientes características: f) El 86% de los indicadores son claros (precisos e inequívocos), sin embargo, en el Fin se presentan ambigüedades al mencionar población atendida que mejoró su condición de discapacidad, ya que no se entiende a qué se refiere con condición de discapacidad. g) El 86% de los indicadores son relevantes, con excepción del indicador de propósito, porque no mide un aspecto relevante de su resumen narrativo. h) El 71% de los indicadores son económicos. El indicador de Fin no lo es debido a que se considera que no está disponible a un costo razonable. i) Los indicadores que son adecuados corresponden al 57% y el 43% no aportan una base suficiente para evaluar el desempeño y; Dirección de Evaluación y Seguimiento a los Programas Asistenciales 56

58 j) Ninguno de los indicadores son monitoreables, ya que sus medios de verificación no se encuentran requisitados, y por tanto no puede ser sujeto de una verificación independiente. No existe línea base, es decir, el primer cálculo del indicador que se toma de referencia para comparar mediciones subsecuentes y verificar el desempeño del proyecto. Al no existir línea base ni metas no se puede determinar si éstas están orientadas a impulsar el desempeño, o son laxas, es decir, muy fáciles de alcanzar. Los medios de verificación, cuentan con el 50% de sus características, sin embargo, no cuentan con la información del contenido de los formatos AT-MML/2015 y HVM- MML/2015, y las siglas de los nombres no especifican su contenido. 5) Complementariedades y coincidencias con otros proyectos federales y estatales: Resultado: Sin información No se encontró evidencia de la identificación de proyectos que tengan coincidencias o complementariedades, sin embargo el personal evaluador identificó 3 programas complementarios dependientes de la Secretaría de Educación Pública (SEP), a través de la Subsecretaría de Educación Media Superior: Centros de Atención a Personas con Discapacidad (CAED), Programa de Oportunidades para el Empleo a través de la Tecnología en las Américas (POETA) y Cursos de Capacitación para el Trabajo de la Dirección General de Centros de Formación para el Trabajo (DGCFT) Dirección de Evaluación y Seguimiento a los Programas Asistenciales 57

59 VI. FORTALEZAS, OPORTUNIDADES, DEBILIDADES Y AMENAZAS (ANEXO 9). Tema de evaluación Contribución al fin en la Matriz de Indicadores de Resultados Contribución a los objetivos nacionales y a los sectoriales Complementariedad es y coincidencias con otros proyectos federales Población potencial y objetivo Justificación de la creación y del diseño del proyecto Fortaleza y Oportunidades/Debilidad o amenaza Fortalezas El propósito del proyecto está encaminado a incrementar los ingresos de las personas con discapacidad, a través del inicio de un negocio que signifique su autoempleo. Oportunidades El proyecto está vinculado con los objetivos institucionales, estatales y nacionales. Este proyecto se complementa con algunos proyectos a nivel federal que pueden ser de apoyo para los beneficiarios, en materia de educación y capacitación para el trabajo. El proyecto cuenta con un padrón sistematizado que incluye información sobre los beneficiarios y los apoyos otorgados Debilidades No está cuantificada a nivel estatal la población con discapacidad sin empleo, en el Diagnóstico. Referenci a (pregunta ) Apartado II Preguntas 4, 5 y 6 Apartado V Pregunta 21 Apartado III Pregunta 7,8 y 9 Apartado I Preguntas 1,2 y 3 Recomendación Incorporar la información a los documentos normativos. Crear un catálogo de proyectos que se les proporcione a los beneficiarios como una de las alternativas del proyecto, esto en su momento podría llegar a formar parte de los componentes. Es necesario implementar mecanismos de actualización y depuración de información, lo cual se deberá documentar en las reglas de operación Realizar investigación sobre la cuantificación de la población con discapacidad sin empleo Dirección de Evaluación y Seguimiento a los Programas Asistenciales 58

60 Tema de evaluación Población potencial y objetivo Matriz de indicadores para resultados MIR Matriz de indicadores para resultados MIR Fortaleza y Oportunidades/Debilidad o amenaza No está homologado el problema establecido en el árbol del problema con el Propósito de la MIR. Las causas y efectos del árbol de problemas no están descritos en el diagnóstico. No existe justificación teórica ni empírica documentada en el proyecto que sustente la intervención, es decir de la entrega de sus componentes. La población potencial y la población objetivo no están definidas ni homologadas en los documentos normativos. Muy poca de la información plasmada en la MIR se encuentra en los documentos normativos Amenazas Sólo el 57% de los indicadores es adecuado y ninguno es Monitoreable, esto pone en riesgo la medición de los resultados del proyecto. Referenci a (pregunta ) Apartado III Preguntas 7,8 y 9 Apartado V Preguntas 10 a la 20 Apartado V Preguntas 10 a la 20 Recomendación en el estado de Hidalgo y plasmar la información en el Diagnóstico. Definir el problema y hacer las modificaciones en todos los documentos. Revisar el árbol de problemas, y hacer las modificaciones pertinentes en el Diagnóstico. Realizar una investigación y documentación que respalde la intervención, principalmente de los componentes Definir y homologar los tipos de población, y redactar adecuadamente en los documentos normativos. Integrar la información conforme a la pregunta 14 Modificar los indicadores, así como sus medios de verificación conforme al Manual para el Diseño y Construcción de Indicadores de CONEVAL. Disponible en: x/informes/coordinacion/ Publicaciones%20oficiale Dirección de Evaluación y Seguimiento a los Programas Asistenciales 59

61 Tema de evaluación Fortaleza y Oportunidades/Debilidad o amenaza No existen actividades para el seguimiento de los Componentes. No se ha calculado ninguna línea base, por lo cual no se pueden establecer las metas adecuadamente. Referenci a (pregunta ) Recomendación s/manual_para_el_di SENO_Y_CONTRUCCIO N_DE_INDICADORES.pd f Considerar estrategias para evitar que los beneficiarios malbaraten sus proyectos por salir de su contingencia. Una vez modificados los indicadores se debe realizar el primer cálculo a fin de establecer las metas Dirección de Evaluación y Seguimiento a los Programas Asistenciales 60

62 VII. CONCLUSIONES Es mediante el proyecto Hacia una Vida Mejor, con más de 15 años de operación, que el Sistema DIF Hidalgo mantiene un apoyo a las personas que presentan alguna discapacidad, haciéndolo de una manera corresponsable con el beneficiario, para que mediante su trabajo genere los ingresos que habrán de ser utilizados para mejorar su condición de discapacidad. Ante esta labor, la evaluación de diseño permite identificar aquellas inconsistencias que se pudieran estar presentando en la planeación del proyecto y que constituyan un obstáculo en el cumplimiento de los objetivos. Si bien es una evaluación de gabinete, ésta aporta información que retroalimentará su diseño, gestión y resultados, cumpliendo así con el propósito de este ejercicio. El proyecto muestra algunas observaciones que es necesario modificar para que dé cumplimiento a esa lógica vertical donde el otorgamiento de los bienes y servicios, genera el cambio que se desea producir en la población objetivo, en este caso, generar ingresos para los beneficiarios. Es necesario incorporar información inexistente como lo referente a la Línea de Acción del Plan Nacional de Desarrollo, a la que el proyecto contribuye. Asimismo, realizar un catálogo de los proyectos que pudieran tener complementariedades o coincidencias, y que sea una opción más para generar sinergias en alcance a propósito que presenta el proyecto. Por otra parte, es necesario realizar modificaciones importantes en la población potencial y objetivo, las cuales no se establecen apropiadamente en los documentos, así como incorporar su cuantificación y periodos de actualización. Un aspecto importante, es generar la evidencia teórica y/o empírica necesaria, que respalde el por qué se otorgan proyectos productivos y no otro tipo de apoyos como transferencias de dinero, capacitaciones o talleres en vez de proyectos productivos, que según el seguimiento del 2013 realizado por la Dirección de Evaluación, arrojó que una parte de los beneficiarios venden sus proyectos para obtener un ingreso inmediato. En cuanto a la MIR, es necesario verificar la incorporación de actividades que den seguimiento a los apoyos otorgados, asimismo, considerar la posibilidad de añadir otros componentes que permitan incrementar el ingreso de la población atendida. Respecto a los indicadores hace falta cambiar el indicador de propósito, el cual no es relevante para dicho nivel de objetivo. En cuanto a los medios de verificación además de algunos Dirección de Evaluación y Seguimiento a los Programas Asistenciales 61

63 aspectos de redacción, es necesario contar con la información disponible en el área, organizada y plasmada conforme a las variables de la MIR que se reportan. Además los supuestos a nivel actividades deben cambiarse. Con ello, se da por concluida la evaluación, y sólo se esperan sean incorporados los Aspectos Susceptibles de Mejora en el rediseño del proyecto, que lo ayuden a reorientar sus objetivos o estrategias y con ello alcanzar mejores resultados. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 62

64 ANEXOS. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 63

65 ANEXO 1. Descripción General del Proyecto. Nombre y siglas del proyecto: Hacia una Vida Mejor Dependencia coordinadora: Sistema para el Desarrollo Integral de la Familia Hidalgo Unidad Responsable: Dirección del Centro de Rehabilitación Integral, Subdirección de Atención a Discapacidades. Tipo de Evaluación: Diseño Año de Evaluación: Identificación del Proyecto Nombre y siglas del proyecto: Hacia una Vida Mejor Dependencia coordinadora: Sistema para el Desarrollo Integral de la Familia Hidalgo Unidad Responsable: Dirección del Centro de Rehabilitación Integral, Subdirección de Atención a Discapacidades Año de inicio de operación: Problema o necesidad que pretende atender Familias de personas con discapacidad permanente, sin empleo. 3. Objetivos conforme a la MIR El proyecto Hacia una Vida Mejor tiene como propósito que la Población con discapacidad permanente que sus ingresos familiares sean de nivel C ó B*1 incrementen sus ingresos al menos en un salario mínimo a la semana, mediante el otorgamiento de proyectos productivos y Asesoría para la operación de los mismos. El proyecto a través de su principal línea: Integración al ámbito laboral de las personas con discapacidad permanente; pretende contribuir a la equidad y a la igualdad de oportunidades para este sector de la población. 4. Descripción general de los principales procesos Proceso 1: Proceso para la integración a Hacia una Vida Mejor Primero el proyecto recibe una carta por parte del solicitante, mencionando la situación familiar, económica, tipo de discapacidad y el proyecto productivo que desea emprender, anexando a esta el Dictamen Médico original, precisando el tipo de discapacidad que presenta. Posteriormente se aplica un estudio socioeconómico en el Sistema DIF Municipal a la que corresponda la solicitud. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 64

66 Proceso 2: El área de la Subdirección de Atención a Discapacitados analiza la solicitud y verifica si cumple con los requisitos, de otra manera se canaliza a alguna otra área del Sistema DIF o alguna otra dependencia de Gobierno. Proceso 3. Una vez que se acepta la solicitud se integra su expediente y se define el tipo de apoyo con el que se apoyará. Proceso 4: Una vez evaluada la solicitud se realizan los trámites administrativos correspondientes, para realizar la compra de los insumos y se procede a la entrega de los proyectos productivos. 5. Cobertura 2015 Durante el primer trimestre de 2015, se entregaron 31 Proyectos productivos de 24 municipios del Estado de Hidalgo, beneficiando a 31 familias con 31 Asesorías otorgadas para la operación del Proyecto Productivo. 6. Presupuesto aprobado: $ 4 080, pesos 00/100 M.N. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 65

67 ANEXO 2. Metodología para la cuantificación de las poblaciones potencial y objetivo. Nombre y siglas del proyecto: Hacia una Vida Mejor Dependencia coordinadora: Sistema para el Desarrollo Integral de la Familia Hidalgo Unidad Responsable: Dirección del Centro de Rehabilitación Integral, Subdirección de Atención a Discapacidades. Tipo de Evaluación: Diseño Año de Evaluación: 2015 Tipo Definición Metodología de cuantificación Potencial Debe revisarse conforme a los aspectos susceptibles de mejora de la pregunta 7. Personas que presentan discapacidad en el Estado de Hidalgo. Conforme a lo establecido en el Censo de Población del Estado de Hidalgo (INEGI, 2010). Objetivo Debe revisarse conforme a los aspectos susceptibles de mejora de la pregunta 7. No se documenta. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 66

68 ANEXO 3. Padrón de Beneficiarios. Nombre y siglas del proyecto: Hacia una Vida Mejor Dependencia coordinadora: Sistema para el Desarrollo Integral de la Familia Hidalgo Unidad Responsable: Dirección del Centro de Rehabilitación Integral, Subdirección de Atención a Discapacidades. Tipo de Evaluación: Diseño Año de Evaluación: 2015 El ReBePa (Registro de Beneficiarios de los Programas Asistenciales), es un sistema de captura del Sistema DIF Hidalgo, en el que cada área responsable de los Programas Asistenciales registra los datos de cada uno de los beneficiarios y los tipos de apoyo otorgado. La información que contiene el padrón de beneficiarios, se presenta de la siguiente manera: a) Gráfico 1. Información del solicitante Dirección de Evaluación y Seguimiento a los Programas Asistenciales 67

69 Gráfico 2. Información del beneficiario Dirección de Evaluación y Seguimiento a los Programas Asistenciales 68

70 Gráfico 3. Información sobre el apoyo o servicio otorgado Dirección de Evaluación y Seguimiento a los Programas Asistenciales 69

71 ANEXO 4. Matriz de Indicadores para Resultados del Proyecto. Nombre y siglas del proyecto: Hacia una Vida Mejor Dependencia coordinadora: Sistema para el Desarrollo Integral de la Familia Hidalgo Unidad Responsable: Dirección del Centro de Rehabilitación Integral, Subdirección de Atención a Discapacidades. Tipo de Evaluación: Diseño Año de Evaluación: 2015 PENDIENTE RESUMEN NARRATIVO Nombre del indicador FIN: Contribuir a mejora su salud y condición de Porcentaje de discapacidad de la población atendida población del Estado que mejoró su de Hidalgo* condición de discapacidad, *Conforme a los respecto al total de criterios de población atendida. elegibilidad establecidos en las reglas de operación Método de cálculo INDICADOR (porcentaje de población atendida que mejoró su condición de discapacidad / total de población atendida) / * 100 Frecuencia de Medición Unidad de Medida Dimensión Anual Porcentaje Eficacia Medios de Verificación Supuestos Las Formato ATinstituciones de MML/2015 Emitido asistencia por la Subdirección social realizan de atención a acciones en discapacidades apoyo de la correspondientes población al periodo Enerovulnerable del Diciembre 2015 Estado. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 70

72 de los proyectos del DIF Hidalgo. (no. de Porcentaje de proyectos proyectos PROPÓSITO: productivos que productivos que Población con ayudaron a ayudaron a discapacidad incrementar los incrementar los permanente que sus ingresos ingresos familiares ingresos familiares familiares con al con al menos un sean de nivel C ó B*1, menos un salario salario mínimo a la incrementan sus mínimo a la semana con ingresos al menos en semana / no. total respecto al total de un salario mínimo a la de los proyectos los proyectos semana. productivos productivos entregados) x entregados COMPONENTE 1 Proyecto productivo entregado Porcentaje de proyectos productivos entregados con respecto al total de proyectos productivos programados 100 (no. de proyectos productivos entregados / no. total proyectos productivos programados) 100 de X Anual Porcentaje Eficacia Anual Porcentaje Eficacia Formato HVM- MML/2015 Emitido El beneficiario por la Subdirección administra de atención a adecuadamente discapacidades el proyecto correspondientes productivo al periodo Enero- Diciembre 2015 Formato HVM- MML/2015 Emitido el beneficiario por la Subdirección continua con el de atención a interés de discapacidades trabajar su correspondientes al periodo Enero- Diciembre 2015 proyecto productivo Dirección de Evaluación y Seguimiento a los Programas Asistenciales 71

73 COMPONENTE 2 Asesoría otorgada Porcentaje de capacitaciones otorgadas con respecto a las capacitaciones programadas COMPONENTE 1 Porcentaje de ACTIVIDAD 1 Autorizar expedientes los autorizados con expedientes de los respecto al total de proyectos productivos expedientes de los beneficiarios recibidos COMPONENTE 1 ACTIVIDAD 2 Realizar la adquisición de los proyectos productivos COMPONENTE 2 ACTIVIDAD 1 Realizar convenio con instancias capacitadoras Porcentaje de proyectos productivos adquiridos con respecto al total de proyectos productivos programados Porcentaje de convenios realizados con respecto al total de convenios programados (No. Porcentaje de asesorías otorgadas /no. Total de asesorías programadas) X 100 (no. de expedientes autorizados/ no. total de expedientes recibidos) X 100 (no. de proyectos productivos adquiridos/no. total de proyectos productivos programados) X 100 (no. de convenios realizados / no. total de convenios programados) X 100 Anual Porcentaje Eficacia Mensual Porcentaje Eficacia Mensual Porcentaje Eficacia Mensual Porcentaje Eficacia Formato HVM- MML/2015.Emitido por la Subdirección las condiciones de atención a climáticas son discapacidades las adecuadas correspondientes al periodo Enero- Diciembre 2015 Formato HVM- MML/2015 Emitido El beneficiario por la Subdirección cumple con los de atención a requisitos y discapacidades documentación correspondientes solicitada al periodo Enero- Diciembre 2015 Formato HVM- MML/2015 Emitido por la Subdirección Se cuenta con de atención a el presupuesto discapacidades autorizado correspondientes al periodo Enero- Diciembre 2015 Formato HVM- MML/2015 Emitido la institución por la Subdirección capacitadora de atención a continua con el discapacidades interés de correspondientes apoyar en la al periodo Enero- capacitación Diciembre 2015 Dirección de Evaluación y Seguimiento a los Programas Asistenciales 72

74 Claro Relevante Económico Monitoreable Adecuado Definición Unidad de medida (unidad de análisis) Frecuencia de medición Línea base Metas Comportamie nto del indicador INFORME FINAL DE L A EVALUAC IÓN EN M ATERI A DE ANEXO 5. Formato de indicadores. Nombre y siglas del proyecto: Hacia una Vida Mejor Dependencia coordinadora: Sistema para el Desarrollo Integral de la Familia Hidalgo Unidad Responsable: Dirección del Centro de Rehabilitación Integral, Subdirección de Atención a Discapacidades. Tipo de Evaluación: Diseño Año de Evaluación: 2015 Nivel de objetivo Nombre del indicador Método de cálculo Fin Porcentaje de población atendida que mejoró su condición de discapacidad, respecto al total de población atendida. (porcentaje de población atendida que mejoró su condición de discapacidad / total de población atendida) / * 100 No Si No Si No Si No Si No No No Dirección de Evaluación y Seguimiento a los Programas Asistenciales 73

75 Claro Relevante Económico Monitoreable Adecuado Definición Unidad de medida (unidad de análisis) Frecuencia de medición Línea base Metas Comportamie nto del indicador INFORME FINAL DE L A EVALUAC IÓN EN M ATERI A DE Nivel de objetivo Nombre del indicador Método de cálculo Propósito Componente 1 Componente 2 Porcentaje de proyectos productivos que ayudaron a incrementar los ingresos familiares con al menos un salario mínimo a la semana con respecto al total de los proyectos productivos entregados Porcentaje de proyectos productivos entregados con respecto al total de proyectos productivos programados Porcentaje de capacitaciones otorgadas con respecto a las capacitaciones programadas (no. de proyectos productivos que ayudaron a incrementar los ingresos familiares con al menos un salario mínimo a la semana / no. total de los proyectos productivos entregados) x 100 (no. de proyectos productivos entregados / no. total de proyectos productivos programados) X 100 (no. Porcentaje de asesorías otorgadas /no. Total de asesorías programadas) X 100 Si No No Si No Si No Si No No No Si Si Si Si Si Si No Si No No No Si Si Si Si No Si No Si No No No Dirección de Evaluación y Seguimiento a los Programas Asistenciales 74

76 Claro Relevante Económico Monitoreable Adecuado Definición Unidad de medida (unidad de análisis) Frecuencia de medición Línea base Metas Comportamie nto del indicador INFORME FINAL DE L A EVALUAC IÓN EN M ATERI A DE Nivel de objetivo Nombre del indicador Método de cálculo Componente 1 Actividad 1 Componente 1 Actividad 2 Componente 2 Actividad 1 Porcentaje de expedientes autorizados con respecto al total de expedientes recibidos Porcentaje de proyectos productivos adquiridos con respecto al total de proyectos productivos programados Porcentaje de convenios realizados con respecto al total de convenios programados (no. de expedientes autorizados/ no. total de expedientes recibidos) X 100 (no. de proyectos productivos adquiridos/no. total de proyectos productivos programados) X 100 (no. de convenios realizados / no. total de convenios programados) X 100 Si Si Si Si Si Si No Si No No No Si Si Si Si Si Si No Si No No No Si Si Si Si Si Si No Si No No No Dirección de Evaluación y Seguimiento a los Programas Asistenciales 75

77 ANEXO 6. Metas del proyecto. Nombre y siglas del proyecto: Hacia una Vida Mejor Dependencia coordinadora: Sistema para el Desarrollo Integral de la Familia Hidalgo Unidad Responsable: Dirección del Centro de Rehabilitación Integral, Subdirección de Atención a Discapacidades. Tipo de Evaluación: Diseño Año de Evaluación: 2015 Fin Nivel de objetivo Propósito Nombre del indicador Porcentaje de población atendida que mejoró su condición de discapacidad, respecto al total de población atendida. Porcentaje de proyectos productivos que ayudaron a incrementar los Meta No No Unidad de medida No No Justificac ión El formato no cuenta con ese dato. El formato no cuenta Orientada a impulsar el desempeño Se desconoce Se desconoce Justificación Al no contar con Línea Base, se desconoce si impulsa el desempeño Al no contar con Línea Base, se desconoce si Factible Se descono ce Se descono ce Justificació n Al no contar con Línea Base, se desconoce si puede ser factible. Al no contar con Línea Base, se Propuesta de mejora de la meta Determinar Línea Base y asignarle valor a la Meta Determinar Línea Base y asignarle valor a la Meta Dirección de Evaluación y Seguimiento a los Programas Asistenciales 76

78 Nivel de objetivo Componente 1 Componente 2 Componente 1 Actividad 1 Nombre del indicador ingresos familiares con al menos un salario mínimo a la semana con respecto al total de los proyectos productivos entregados Porcentaje de proyectos productivos entregados con respecto al total de proyectos productivos programados Porcentaje de capacitaciones otorgadas con respecto a las capacitaciones programadas Porcentaje de expedientes autorizados con respecto al total de expedientes recibidos Meta No No No Unidad de medida No No No Justificac ión con ese dato. El formato no cuenta con ese dato. El formato no cuenta con ese dato. El formato no cuenta con ese Orientada a impulsar el desempeño Se desconoce Se desconoce Se desconoce Justificación impulsa el desempeño Al no contar con Línea Base, se desconoce si impulsa el desempeño Al no contar con Línea Base, se desconoce si impulsa el desempeño Al no contar con Línea Base, se desconoce si impulsa el Factible Se descono ce Se descono ce Se descono ce Justificació n desconoce si puede ser factible. Al no contar con Línea Base, se desconoce si puede ser factible. Al no contar con Línea Base, se desconoce si puede ser factible. Al no contar con Línea Base, se desconoce Propuesta de mejora de la meta Determinar Línea Base y asignarle valor a la Meta Determinar Línea Base y asignarle valor a la Meta Determinar Línea Base y asignarle valor a la Meta Dirección de Evaluación y Seguimiento a los Programas Asistenciales 77

79 Nivel de objetivo Componente 1 Actividad 2 Componente 2 Actividad 1 Nombre del indicador Porcentaje de proyectos productivos adquiridos con respecto al total de proyectos productivos programados Porcentaje de convenios realizados con respecto al total de convenios programados Meta No No Unidad de medida No No Justificac ión Orientada a impulsar el desempeño Justificación Factible Justificació n dato. desempeño si puede ser factible. El formato no cuenta con ese dato. El formato no cuenta con ese dato. Se desconoce Se desconoce Al no contar con Línea Base, se desconoce si impulsa el desempeño Al no contar con Línea Base, se desconoce si impulsa el desempeño Se descono ce Se descono ce Al no contar con Línea Base, se desconoce si puede ser factible. Al no contar con Línea Base, se desconoce si puede ser factible. Propuesta de mejora de la meta Determinar Línea Base y asignarle valor a la Meta Determinar Línea Base y asignarle valor a la Meta Dirección de Evaluación y Seguimiento a los Programas Asistenciales 78

80 a) Nombre del área que genera el reporte b) Nombre del documento c) Contiene logos institucionales (DIF Hidalgo y Gobierno del Estado de Hidalgo) d) Fecha de elaboración del documento e) Periodo que reporta f) Se presenta impreso (ej. informe, reporte, padrón) g) Se encuentra sistematizado, es decir en archivo digital (Ej. Word, Excel) h) Publicado en página WEB o Intranet i) Última Fecha de revisión en Internet o Intranet j) Nombre y firma o rúbrica de quien revisa, valida y/o autoriza la información presentada k) Referencia bibliográfica (ej. Libros, Diario Oficial, Revista.) l) Nombre de la fuente de información (Ej. Censo General de Población y vivienda 2010) m) Nombre de la Institución que respalda la fuente de información (ej. INEGI) Especificar el nombre de la columna o fila en que aparece el dato o cantidad que se reporta Indicar como obtiene la cantidad que se reporta en la Unidad de Medida a) Jefe inmediato b) Director del área c) Público d) Otro INFORME FINAL DE L A EVALUAC IÓN EN M ATERI A DE ANEXO 7. Medios de Verificación. Nombre y siglas del proyecto: Hacia una Vida Mejor Dependencia coordinadora: Sistema para el Desarrollo Integral de la Familia Hidalgo Unidad Responsable: Dirección del Centro de Rehabilitación Integral, Subdirección de Atención a Discapacidades. Tipo de Evaluación: Diseño Año de Evaluación: Los Medios de Verificación son oficiales o institucionales, es decir cumplen con algunas de las siguientes características?: 2. El Medio de Verificación permite reproducir el cálculo del indicador de la MIR, es decir, el dato o cantidad que se reporta aparece de manera directa?: 3. La información reportada en los Medios de Verificación es accesible a Medios de Verificación a). El dato o cantidad que se reporta aparece de manera directa en el medio de verificación Si No Formato AT- MML/2015 emitido por la Subdirección de atención a discapacidades correspondientes al periodo Enero- Diciembre 2015.* Dirección de Evaluación y Seguimiento a los Programas Asistenciales 79

81 a) Nombre del área que genera el reporte b) Nombre del documento c) Contiene logos institucionales (DIF Hidalgo y Gobierno del Estado de Hidalgo) d) Fecha de elaboración del documento e) Periodo que reporta f) Se presenta impreso (ej. informe, reporte, padrón) g) Se encuentra sistematizado, es decir en archivo digital (Ej. Word, Excel) h) Publicado en página WEB o Intranet i) Última Fecha de revisión en Internet o Intranet j) Nombre y firma o rúbrica de quien revisa, valida y/o autoriza la información presentada k) Referencia bibliográfica (ej. Libros, Diario Oficial, Revista.) l) Nombre de la fuente de información (Ej. Censo General de Población y vivienda 2010) m) Nombre de la Institución que respalda la fuente de información (ej. INEGI) Especificar el nombre de la columna o fila en que aparece el dato o cantidad que se reporta Indicar como obtiene la cantidad que se reporta en la Unidad de Medida a) Jefe inmediato b) Director del área c) Público d) Otro INFORME FINAL DE L A EVALUAC IÓN EN M ATERI A DE 1. Los Medios de Verificación son oficiales o institucionales, es decir cumplen con algunas de las siguientes características?: 2. El Medio de Verificación permite reproducir el cálculo del indicador de la MIR, es decir, el dato o cantidad que se reporta aparece de manera directa?: 3. La información reportada en los Medios de Verificación es accesible a Medios de Verificación a). El dato o cantidad que se reporta aparece de manera directa en el medio de verificación Si No Formato HVM- MML/2015 emitido por la Subdirección de atención a discapacidades correspondientes al periodo Enero- Diciembre Si Si Si No Si Si Sí No No No No No No X X El Formato AT-MML/2015, es utilizado para las variables del Método de Calculo que integran el FIN: Porcentaje de población atendida que mejoró su condicion de discapacidad y Total de población atendida El Formato HVM-MML/2015, es para las variables que integran el Método de Calculo: Porcentaje de proyectos productivos que ayudaron a incrementar los ingresos familiares con al menos un salario mínimo a la semana (Propósito); Total de los proyectos productivos entregados (Propósito); Porcentaje de proyectos productivos entregados Componente 1); Total de proyectos productivos programados (Componente 1); Porcentaje de capacitaciones otorgadas (Componente 2); Capacitaciones programadas (Componente 2); Porcentaje de expedientes autorizados (A1C1); Total de expedientes recibidos (A1C1); Porcentaje de proyectos productivos adquiridos (A2C1); Total de proyectos productivos programados (A2C1); Porcentaje de convenios realizados (A1C2);Total de convenios programados (A1C2) * El documento no es generado por el área. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 80

82 ANEXO 8. Complementariedad y coincidencias entre programas federales. Nombre y siglas del proyecto: Hacia una Vida Mejor Dependencia coordinadora: Sistema para el Desarrollo Integral de la Familia Hidalgo Unidad Responsable: Dirección del Centro de Rehabilitación Integral, Subdirección de Atención a Discapacidades. Tipo de Evaluación: Diseño Año de Evaluación: 2015 Nombre del Programa Centros de Atención para personas con discapacid ad (CAED Modalid ad Federal Dependen cia/entida d Secretaría de Educación Pública Subsecret aría de Educación Media Superior Propósito Población Objetivo Tipo de Apoyo Es un programa que ofrece estudios de nivel medio superior, para quienes tienen algún tipo de discapacidad y desean continuar su preparación académica. Personas que tienen algún tipo de discapacidad: auditiva, motriz, visual o intelectual. Recursos didácticos, como hojas para imprimir textos en Braille, regletas, punzones, materiales educativos, termo formado, recursos multimedia y software especializados. Becas de un monto de mil quinientos pesos mensuales y se entregan a quienes acreditan, por los menos, dos materias cada seis meses. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 81

83 Cobertura Geográfica Los CAED están ubicados en el Distrito Federal o en las Aulas Gilberto Rincón Gallardo, que se encuentran en los estados de la República Mexicana. Fuentes de Informac ión Coincide n Se compleme ntan X Justificación La Reforma Educativa se realiza para que la educación sea de calidad, otorgue igualdad de oportunidades a los mexicanos. El plan de estudios es el mismo que se cursa en la preparatoria abierta, la diferencia radica en la metodología. Por ejemplo, en el bachillerato no escolarizado las asesorías se imparten en lenguaje de señas para las personas con discapacidad auditiva, o bien, se trabaja con el sistema de Braille o con software especializado para atender a las personas con discapacidad visual. Observaciones La población objetivo es similar a la del Proyecto Hacia una Vida Mejor, pero los apoyos de este programa se complementan, aunque los objetivos sean diferentes. Nombre del Programa Programa de Oportunida des para el Empleo a través de la Tecnología en las Américas (POETA) Modalid ad Federal Dependenc ia/ Entidad Secretaría de Educación Pública Subsecretar ía de Educación Media Superior Propósito El Programa POETA, creado por The Trust for the Américas en el año 2004, Fundación de la Organización de Estados Americanos (OEA), capacita a las personas con discapacidad en el uso de Tecnologías de Información, y les Población Objetivo Personas con discapacidad Tipo de Apoyo POETA no sólo capacita a los participantes en computación básica, también les ofrece el desarrollo de habilidades que les permitirán desempeñarse mejor en el campo laboral como: interacción social, preparación para el trabajo, relación con clientes, resolución de conflictos, liderazgo, trabajo en equipo y autoestima. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 82

84 proporciona, a través de la educación, acceso a posibilidades de empleo y una participación social más activa. Cobertura Geográfica En México está conformada por 42 Centros Accesibles (existe uno en el estado de Hidalgo), lo cual convierte a nuestro país en el de mayor número de Centros en América Latina. Fuemtes de Información Coinciden Se complementan X Justificación El Programa tiene 134 centros operando en 20 países de América. En nuestro país, inicia operaciones en el año 2005 en la Universidad Pedagógica de Campeche y, cuatro años más tarde, el Gobierno de México, en Alianza con The Trust for the Americas y la empresa Microsoft, fortalecen el Programa POETA con la creación de 45 Aulas POETA, apoyados por fondos del Congreso de la Unión a través de la Secretaría de Educación Pública (SEP). Observaciones Parte de los objetivos y de los apoyos es similar al proyecto "Hacia una vida mejor", toda vez que otorga capacitación para el trabajo a la población con discapacidad. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 83

85 Nombre del Programa Cursos de Capacitación para el Trabajo Modalidad Dependencia/Entidad Secretaría de Educación Pública Federal Subsecretaría de Educación Media Superior Propósito La Dirección General de Centros de Formación para el Trabajo capacita a los sectores sociales y económicos del país utilizando la práctica como principal método de enseñanza. Así, estudiantes construyen los conocimientos y desarrollo de las habilidades necesarias que permiten mejorar en el trabajo, incorporar a un empleo o crear un negocios, con un elevado margen de éxito. Población Objetivo Personas con discapacidad Tipo de Apoyo La DGCFT imparte 246 cursos de corta duración, en horarios flexibles, que abarcan 55 especialidades de las áreas siguientes: Agropecuario, Electricidad, Turismo, Salud, Educación, Administración y comunicación, entre otras. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 84

86 Cobertura Geográfica Fuentes de Información Coinciden Se complementan Justificación Observaciones Estos cursos se imparten en 199 Centros de Capacitación para el Trabajo Industrial (CECATI) y 27 Institutos Descentralizados de Capacitación para el Trabajo (ICAT) con 279 Unidades de Capacitación, distribuidos en toda la República Mexicana. X La DGCFT ofrece: Cursos presenciales y en línea, que se derivan de una oferta educativa; Cursos de Extensión (CE), para actualizar, especializar o incorporar nuevas tecnologías en la práctica laboral; Capacitación Acelerada Específica (CAE), mejora la productividad de los trabajadores; Reconocimiento Oficial de la Competencia Ocupacional (ROCO), con el que se otorga, previa evaluación, un diploma oficial a las personas que adquirieron conocimientos y habilidades a partir de la experiencia en el campo laboral; formación de Emprendedores, para introducirse al mundo de los negocios; y Acciones Móviles (AM) se capacita a las comunidades que lo soliciten y se ubiquen en lugares de difícil acceso. Parte de los objetivos y de los apoyos es similar al proyecto "Hacia una vida mejor", toda vez que otorga capacitación para el trabajo a la población con discapacidad. Dirección de Evaluación y Seguimiento a los Programas Asistenciales 85

87 ANEXO 9. Principales Fortalezas, retos y recomendaciones. Nombre y siglas del proyecto: Hacia una Vida Mejor Dependencia coordinadora: Sistema para el Desarrollo Integral de la Familia Hidalgo Unidad Responsable: Dirección del Centro de Rehabilitación Integral, Subdirección de Atención a Discapacidades. Tipo de Evaluación: Diseño Año de Evaluación: 2015 Tema de evaluación Fortaleza y Oportunidades/Debilidad o amenaza Referencia (pregunta) Recomendación Fortalezas Contribución al fin en la Matriz de Indicadores de Resultados El propósito del proyecto está encaminado a incrementar los ingresos de las personas con discapacidad, a través del inicio de un negocio que signifique su autoempleo. Oportunidades Contribución a los objetivos nacionales y a los sectoriales El proyecto está vinculado con los objetivos institucionales, estatales y nacionales. Apartado II Preguntas 4, 5 y 6 Incorporar la información a los documentos normativos. Complementariedades y coincidencias con otros proyectos federales Este proyecto se complementa con algunos proyectos a nivel federal que pueden ser de apoyo para los beneficiarios, en materia de educación y capacitación para el trabajo. Apartado V Pregunta 21 Crear un catálogo de proyectos que se les proporcione a los beneficiarios como una de las alternativas del proyecto, esto en su momento podría Dirección de Evaluación y Seguimiento a los Programas Asistenciales 86

88 Tema de evaluación Fortaleza y Oportunidades/Debilidad o amenaza Referencia (pregunta) Recomendación llegar a formar parte de los componentes. Población potencial y objetivo El proyecto cuenta con un padrón sistematizado que incluye información sobre los beneficiarios y los apoyos otorgados Apartado III Pregunta 7,8 y 9 Es necesario implementar mecanismos de actualización y depuración de información, lo cual se deberá documentar en las reglas de operación Debilidades No está cuantificada a nivel estatal la población con discapacidad sin empleo, en el Diagnóstico. Realizar investigación sobre la cuantificación de la población con discapacidad sin empleo en el estado de Hidalgo y plasmar la información en el Diagnóstico. Justificación de la creación y del diseño del proyecto No está homologado el problema establecido en el árbol del problema con el Propósito de la MIR. Las causas y efectos del árbol de problemas no están descritos en el diagnóstico. Apartado I Preguntas 1,2 y 3 Definir el problema y hacer las modificaciones en todos los documentos. Revisar el árbol de problemas, y hacer las modificaciones pertinentes en el Diagnóstico. No existe justificación teórica ni empírica documentada en el proyecto que sustente la intervención, es decir de la entrega de sus componentes. Realizar una investigación y documentación que respalde la intervención, principalmente de los componentes Dirección de Evaluación y Seguimiento a los Programas Asistenciales 87

89 Tema de evaluación Fortaleza y Oportunidades/Debilidad o amenaza Referencia (pregunta) Recomendación Población potencial y objetivo Matriz de indicadores para resultados MIR Matriz de indicadores para resultados MIR La población potencial y la población objetivo no están definidas ni homologadas en los documentos normativos. Muy poca de la información plasmada en la MIR se encuentra en los documentos normativos Amenazas Sólo el 57% de los indicadores es adecuado y ninguno es Monitoreable, esto pone en riesgo la medición de los resultados del proyecto. No existen actividades para el seguimiento de los Componentes. No se ha calculado ninguna línea base, por lo cual no se pueden establecer las metas adecuadamente. Apartado III Preguntas 7,8 y 9 Apartado V Preguntas 10 a la 20 Apartado V Preguntas 10 a la 20 Definir y homologar los tipos de población, y redactar adecuadamente en los documentos normativos. Integrar la información conforme a la pregunta 14 Modificar los indicadores, así como sus medios de verificación conforme al Manual para el Diseño y Construcción de Indicadores de CONEVAL. Disponible en: oordinacion/publicaciones%20oficiales /MANUAL_PARA_EL_DISENO_Y_CO NTRUCCION_DE_INDICADORES.pdf Considerar estrategias para evitar que los beneficiarios malbaraten sus proyectos por salir de su contingencia. Una vez modificados los indicadores se debe realizar el primer cálculo a fin de establecer las metas Dirección de Evaluación y Seguimiento a los Programas Asistenciales 88

90 ANEXO 10. Árbol de Problemas. DEPENDENCIA ECONÓMICA FAMILIAR TIEMPO Y DEDICACIÓN DETERIORO DE SU SALUD AISLAMIENTO SOCIAL RECURSOS FAMILIARES DESTINADOS AL DISCAPACITADO NO CUBREN SUS NECESIDADES BÁSICAS DETERIORO DE LA AUTOESTIMA FAMILIAS DE PERSONAS CON DISCAPACIDAD PERMANENTE, SIN EMPLEO POCA CULTURA INCLUYENTE EN EMPRESAS FALTA EDUCACION FORMAL POCO DIFUSIÓN A PROGRAMAS DE PREVENCIÓN FALTA DE INFRAESTRUCTURA ADECUADA FALTA DE ACCESIBILIDAD (DISCRIMINACIÓN) DESERCIÓN PROGRAMA EDUCATIVO INADECUADO FALTA DE CAPACITACIÓN PARA EL TRABAJO FOCALIZACIÓN DE APOYO A DISCAPACIDAD Y NO A PREVENCIÓN Dirección de Evaluación y Seguimiento a los Programas Asistenciales 89