EVALUACIÓN DE LA MATRIZ DE INDICADORES PARA RESULTADOS MÁS OPORTUNIDADES DE DESARROLLO PARA LOS JÓVENES

Transcripción

1 EVALUACIÓN DE LA MATRIZ DE INDICADORES PARA RESULTADOS MÁS OPORTUNIDADES DE DESARROLLO PARA LOS JÓVENES DEL PROGRAMA PRESUPUESTARIO: APOYO A LA JUVENTUD Evaluación Socioeconómica de Programas y Proyectos, S.C.

2 Contenido I. Introducción...2 II. Evaluación...2 III. Temas de Evaluación...3 A. Vinculación y Contribución del Programa... 4 B. Evaluación y Análisis de la Matriz de Indicadores para Resultados (MIR)... 6 FIN...6 PROPÓSITO...8 COMPONENTES ACTIVIDADES C. Evaluación de Indicadores por nivel de la MIR IV. Fortalezas, Retos y Recomendaciones V. Conclusiones VI. Responsabilidades y compromisos Referencias [ Secretaría de Finanzas y Tesorería General del Estado ] Página 1 de 28

3 I. Introducción Como parte del proceso que el Gobierno del Estado de Nuevo León ha llevado a cabo para la implementación y consolidación de un Presupuesto basado en Resultados (PbR) y un Sistema de Evaluación del Desempeño (SED) y, en cumplimiento a la estrategia elaborada para tal fin, se realizó la Evaluación de la Matriz de Indicadores para Resultados (MIR) Más oportunidades de desarrollo para los jóvenes. Ello, con el propósito de identificar si dicha matriz está construida con base en la Metodología de Marco Lógico (MML), cumple con los elementos que deben conformarla y con base en este análisis, emitir las recomendaciones que se consideren pertinentes, que permitan mejorar el proceso de elaboración, diseño y contenido de la misma. II. Evaluación El análisis y evaluación de la MIR comprende la vinculación del programa presupuestario Apoyo a la Juventud con los objetivos de planeación estatal y programas sectoriales que se deriven de éste, la evaluación de la lógica vertical y horizontal de la misma, así como de los indicadores que miden el desempeño que corresponde a cada uno de los niveles que la conforman. Las preguntas que conforman esta Evaluación son respondidas a través de un sistema binario (1=Cumple; 0=No Cumple), de acuerdo a la importancia de cada uno de los elementos de la MIR, cuya ponderación se presenta de manera anexa. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 2 de 28

4 III. Temas de Evaluación A. Características del programa Presentar en tres cuartillas una breve descripción del programa que contenga como mínimo los siguientes elementos: - Antecedentes del Programa - Alineación del Programa - Identificación de la problemática a atender (Árbol del problema) - Objetivo General - Objetivo Específico - Población Potencial - Población Objetivo - Cobertura - Tipos de Apoyo En caso de ser necesario, se podrá incluir de manera concisa, información adicional sobre el programa que se considere relevante. Apoyo a la Juventud es un programa que lleva a cabo el Gobierno del Estado de Nuevo León a través del Instituto Estatal de la Juventud, tiene por objetivo central que los jóvenes de Nuevo León reduzcan sus niveles de deserción escolar y desempleo, lo cual se llevará a cabo mediante el otorgamiento y/o prestación de los siguientes bienes y servicios: Otorgamiento de becas de estudio Impartición de pláticas y talleres de salud juvenil Implementación de proyectos juveniles de tipo social Implementación de proyectos juveniles de tipo emprendimientos Vinculación para el empleo A través de dicho programa se intenta dar cumplimiento a lo establecido en el Plan Estatal de Desarrollo del Estado de Nuevo León (PED), en el objetivo estratégico Más oportunidades de desarrollo para los jóvenes, del eje de política pública Desarrollo Social y Calidad de Vida. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 3 de 28

5 A. Vinculación y Contribución del Programa 1. El Programa está alineado y/o vinculado con algún objetivo del eje de política pública del PED? Respuesta = SI La MIR Más apoyo de desarrollo para los jóvenes se encuentra vinculada al Plan Estatal de Desarrollo en el objetivo estratégico Más oportunidades de desarrollo para los jóvenes, cuya finalidad o propósito es: Generar condiciones para que los jóvenes puedan desarrollarse en el marco de las actuales condiciones económicas y sociales, su estrategia: Vincular los esfuerzos de los jóvenes y las organizaciones públicas y privadas, con la finalidad de unir esfuerzos en la construcción de una sociedad corresponsable y sus líneas de acción: Establecer una política transversal de atención a las necesidades específicas de los jóvenes, en las dependencias y entidades de la administración pública estatal, en los ámbitos de educación, cultura, salud reproductiva, prevención de adicciones, deporte y empleo, con especial énfasis en los jóvenes en situación de riesgo. Fomentar la colaboración entre instituciones privadas, universidades, Organizaciones No Gubernamentales (ONG) y dependencias públicas, para generar proyectos que apoyen el desarrollo de los jóvenes. Promover entre los jóvenes puntos de encuentro que les permitan conocer las oportunidades y riesgos que enfrentan. Fortalecer los esquemas de vinculación laboral que faciliten el acceso de los jóvenes a las oportunidades de trabajo. Incentivar la cultura emprendedora en los jóvenes dotándolos de las herramientas y conocimientos necesarios para crear una empresa o una organización social. 2. El Programa está alineado y/o vinculado con algún objetivo sectorial o especial? Respuesta = SI La MIR Más oportunidades de desarrollo para los jóvenes se encuentra vinculada al Programa Especial Juventud, vinculada al objetivo estratégico 2 Vincular los esfuerzos de los jóvenes y las organizaciones públicas y privadas, con la finalidad de unir esfuerzos en la construcción de una sociedad corresponsable. Las estrategias y líneas de acción asociadas al citado objetivo estratégico, aplicables al programa, son las siguientes: [ Secretaría de Finanzas y Tesorería General del Estado ] Página 4 de 28

6 Estrategia 1. Establecer una política transversal de atención a las necesidades específicas de los jóvenes, en las dependencias y entidades de la administración pública estatal, y en los ámbitos de educación, cultura, salud reproductiva, prevención de adicciones, deporte y empleo, con especial énfasis en los jóvenes en situación de riesgo. Líneas de Acción: Conformar una plataforma en Internet que ofrezca un espacio de encuentro entre los jóvenes, donde podrán compartir contenidos, además de poder acceder en línea a servicios diversos. Estrategia 2. Fomentar la colaboración entre instituciones privadas, universidades, Organizaciones No Gubernamentales (ONG) y dependencias públicas, para generar proyectos que apoyen el desarrollo de los jóvenes. Líneas de Acción: Promover un sistema de becas y diversos estímulos educativos, que motiven la formación académica de los jóvenes. Estrategia 3. Promover entre los jóvenes puntos de encuentro que les permitan conocer las oportunidades y riesgos que enfrentan. Líneas de Acción: Generar espacios de socialización entre diversos grupos de jóvenes, en razón de su situación económica, social, educativa, cultural, religiosa, etcétera; a partir de los cuales se humanice, integre y ciudadanice a la juventud del estado. Generar espacios de encuentro para las culturas urbanas, a partir de los cuales se les integre al desarrollo de su sociedad. Estrategia 4. Fortalecer los esquemas de vinculación laboral que faciliten el acceso de los jóvenes a las oportunidades de trabajo. Líneas de Acción: Elevar la calidad del servicio de la bolsa de empleo joven convirtiéndola en una agencia especializada que ayude a vincular de manera efectiva a los jóvenes, generando una plataforma de perfiles de alto nivel mediante la cual el Instituto Estatal de la Juventud impulse la colocación de jóvenes en puestos estratégicos y con proyección laboral. Estrategia 5. Incentivar la cultura emprendedora en los jóvenes dotándolos de las herramientas y conocimientos necesarios para crear una empresa o una organización social. Líneas de Acción: Fomentar la cultura emprendedora en los jóvenes dotándolos de la capacitación, herramientas y conocimientos necesarios para crear una empresa o una organización social, que contribuya al desarrollo económico y social del Estado. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 5 de 28

7 B. Evaluación y Análisis de la Matriz de Indicadores para Resultados (MIR) En esta sección se evaluará y analizará si la MIR Más oportunidades de desarrollo para los jóvenes del programa presupuestario Apoyo a la juventud está construida a partir de la Metodología de Marco Lógico, si está relacionada y diseñada de acuerdo al problema y/o necesidad que se espera resolver con la ejecución del programa (Fin y Propósito), así como su lógica interna; es decir, la relación de causa efecto que existe entre los diferentes niveles de la matriz, la definición de objetivos, indicadores y metas y la evaluación de los resultados esperados en cada nivel de la misma. Lógica Vertical y Horizontal de la MIR FIN 3. La sintaxis del resumen narrativo del objetivo de FIN es correcta y cumple con las siguientes características? a. Se identifica claramente la contribución del programa al logro de un objetivo estratégico de orden superior con el que está alineado, ya sea del Programa Estatal de Desarrollo (PED), Sectorial o especial? b. El resumen narrativo utiliza las palabras mediante / a través para hacer referencia a la solución del problema? Sintaxis: Contribuir a (objetivo superior) mediante (complemento = Propósito u objetivo central del programa) c. El resumen narrativo especifica cómo se logrará la solución al problema? Respuesta = SI El resumen narrativo del objetivo de Fin Contribuir a generar más oportunidades de desarrollo mediante los mecanismos de vinculación para que los jóvenes puedan desarrollarse integralmente con igualdad y equidad, en el marco de las actuales condiciones económicas y sociales, identifica la contribución del programa al logro de un objetivo estratégico de orden superior, el cual se encuentra alineado al Programa Estatal de Desarrollo , utiliza la palabra mediante para hacer referencia a la solución del problema y especifica la manera en la que se logrará la solución. 4. El (los) indicador (es) de Fin permite (n) conocer lo siguiente: a. Dar seguimiento de los avances y evaluar si el programa contribuye al logro de un objetivo estratégico de orden superior con el que esté alineado (Objetivo de la Dependencia, del Sector o del PED)? b. Identificar y medir el impacto final que tendrá el programa? Respuesta = SI [ Secretaría de Finanzas y Tesorería General del Estado ] Página 6 de 28

8 Aún cuando el indicador definido a nivel de Fin Mecanismos de vinculación permite evaluar la contribución del programa al logro de un objetivo estratégico de orden superior y el impacto final que tendrá el programa, el nombre del indicador no presenta relación con las variables, por lo que se recomienda cambiar el nombre y especificar la unidad de medida como se sugiere a continuación: Porcentaje de jóvenes que estudian y trabajan de Nuevo León. 5. El (los) indicador (es) de Fin cumple (n) con las siguientes características? a. Las propiedades conocidas como SMART: Es (son) claro (s)? Es (son) relevante (s)? Es (son) económico (s)? Es (son) monitoreable (s)? b. Cuenta (n) con una ficha técnica que contenga los elementos que lo (s) componen: Nombre Descripción Tipo Dimensión Método de cálculo Unidad de medida Frecuencia de medición Línea base Metas Comportamiento del indicador Semáforos c. El método de cálculo del (los) indicador (es) de FIN cumple con las siguientes características: Tiene especificada correctamente su fórmula de cálculo? Utiliza únicamente expresiones aritméticas y/o símbolos matemáticos que representen una relación de variables? d. El tipo del (los) indicador (es) a este nivel es preferentemente estratégico y su dimensión es de eficacia? e. La unidad de medida del (los) indicador (es) corresponde con el método de cálculo, la línea base y las metas? f. La periodicidad del (los) indicador (es) permite (n) contar con al menos una medición sexenal y/o anual? g. El (los) indicador (es) cuenta (n) con línea base? El indicador definido para evaluar el objetivo de Fin es claro, relevante, económico y monitoreable. Permite medir la contribución del programa al objetivo estratégico y/o el impacto final que de éste se espera, formula correctamente su método de cálculo, utilizando expresiones aritméticas que representen una relación de variables e incorpora toda la información cualitativa y cuantitativa del [ Secretaría de Finanzas y Tesorería General del Estado ] Página 7 de 28

9 mismo, como descripción de la meta, desagregación geográfica, tipo, dimensión, frecuencia de medición y unidad de medida, entre otros. 6. Con la intención de evaluar el objetivo de FIN, se incorporan los medios de verificación que contengan la siguiente información, que permita obtener los datos requeridos para el cálculo del (los) indicador (es) definido (s)? a. Se incluye el nombre o título del documento, reporte, registro o informe de la fuente de información? b. Se incluye la fecha de emisión de la fuente de información? c. Se incluye el área emisora y/o responsable de su emisión? La MIR Más oportunidades de desarrollo para los jóvenes incluye los medios de verificaciones suficientes y necesarias, que permiten obtener los datos requeridos para el cálculo del indicador definido a nivel de Fin, como; nombre o título del documento o reporte, fecha de emisión y área emisora o responsables de la información. 7. El nivel de FIN incorpora supuestos que contengan las siguientes características? a. La redacción del supuesto está expresada en términos positivos? b. La redacción del supuesto expresa el (los) riesgo (s) o condición (es) (externa) que enfrenta el programa y que está (n) fuera de su control? c. El (los) riesgo (s)/condición (es) expuesta (s) tiene (n) una probabilidad razonable de ocurrencia? d. El (los) riesgo (s)/condición (es) expuesta (s) es (son) susceptible (s) de ser solventada para el cumplimiento del objetivo de FIN? e. Es (son) lo suficientemente preciso (s) para estar en posibilidad de ser monitoreado (s)? Respuesta = SI Se considera que el supuesto diseñado a nivel de Fin Las condiciones socio-económicas a nivel nacional y estatal se mantienen estables está redactado en términos positivos, expresa una condición externa (fuera del control del programa), tiene probabilidad de ocurrencia, es susceptible de ser solventada y es lo suficientemente preciso para ser monitoreado. PROPÓSITO 8. La sintaxis del resumen narrativo del objetivo de PROPÓSITO es correcta y cumple con las siguientes características? a. Como sujeto de la oración, se identifica claramente la población objetivo o área de enfoque? b. El verbo de la oración está expresado en tiempo presente? c. El complemento de la oración establece claramente el resultado que se espera lograr mediante la ejecución del programa? [ Secretaría de Finanzas y Tesorería General del Estado ] Página 8 de 28

10 Respuesta = NO El resumen narrativo a nivel de Propósito menciona a la población atendida y no a la población objetivo o área de enfoque del programa, tampoco describe el resultado que se espera lograr mediante su ejecución. Se recomienda identificar la población objetivo que pretende impactar el programa y el resultado que se espera lograr mediante su ejecución como se sugiere a continuación: Los Jóvenes de Nuevo León cuentan con servicios y programas para desarrollarse integralmente. 9. El objetivo de PROPÓSITO expresa claramente el efecto directo esperado sobre la población objetivo o área de enfoque y/o la aportación específica (resultado esperado) a la solución del problema identificado por el programa? Respuesta = NO El efecto esperado sobre la población objetivo referido en el objetivo de Propósito: Mejorar sus condiciones de vida, no se encuentra descrito detalladamente. Por lo que, se sugiere ser más específico en el resultado esperado, por ejemplo: Cuentan con servicios y programas para desarrollarse integralmente. 10. Se cuenta con al menos un indicador que permita conocer lo siguiente? El cambio producido en la población objetivo, atribuible a la ejecución del programa El resultado que espera alcanzar el programa Respuesta = NO La MIR no presenta, al menos, un indicador que permita evaluar el objetivo de Propósito; por lo que se recomienda definir un indicador estratégico, preferentemente de eficacia o eficiencia, que permita evaluar el cambio producido en la población objetivo y/o el resultado alcanzado por la ejecución del programa, el cual puede ser de cobertura, que mida la proporción o tasa de crecimiento de la población beneficiada por el programa respecto al total de la población objetivo. Indicador Establecido a Nivel Propósito Indicador Propuesto a Nivel Propósito Jóvenes atendidos por el INJUVE (Jóvenes atendidos por el IEJ/ Total de Jóvenes atendidos por el INJUVE)*100 Porcentaje de Jóvenes atendidos por el IEJ (Jóvenes atendidos por el IEJ/ Total de Jóvenes en Nuevo León)*100 [ Secretaría de Finanzas y Tesorería General del Estado ] Página 9 de 28

11 11. El (los) indicador (es) de PROPÓSITO cumple (n) con las siguientes características? a. Las propiedades conocidas como SMART: Es (son) claro (s)? No Es (son) relevante (s)? No Es (son) económico (s)? Es (son) monitoreable (s)? b. Cuenta (n) con una ficha técnica que contenga los elementos que lo (s) componen: Nombre Descripción Tipo Dimensión Método de cálculo Unidad de medida Frecuencia de medición Línea base Metas Comportamiento del indicador Semáforos c. El método de cálculo del (los) indicador (es) de PROPÓSITO cumple con las siguientes características: Tiene especificada correctamente su fórmula de cálculo? Utiliza únicamente expresiones aritméticas y/o símbolos matemáticos que representen una relación de variables? d. El tipo del (los) indicador (es) a este nivel es preferentemente estratégico y su dimensión es de eficacia y/o eficiencia? e. La unidad de medida del (los) indicador (es) corresponde con el método de cálculo, la línea base y las metas? f. La periodicidad del (los) indicador (es) permite (n) contar con al menos una medición anual y/o semestral? g. El (los) indicador (es) cuenta (n) con línea base? Como se comentó en la respuesta a la pregunta anterior, no se tiene definido un indicador para evaluar el objetivo de Propósito; por lo que es fundamental definir un indicador estratégico a este nivel, preferentemente de eficacia o eficiencia, que sea claro, relevante, económico y monitoreable, su método de cálculo esté correctamente formulado y utilice expresiones aritméticas que representan una relación de variables y que su frecuencia de medición sea la recomendada a este nivel (Anual o semestral). Asimismo, éste debe contar con toda la información cualitativa y cuantitativa que lo conforma, a fin de de evaluar el impacto o resultado que se espera alcanzar. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 10 de 28

12 12. Se incorporan los medios de verificación suficientes y necesarios para obtener los datos requeridos para el cálculo del (los) indicador (es) definido (s), que permitan evaluar el objetivo de PROPÓSITO y contengan, al menos, la siguiente información? a. Se incluye el nombre o título del documento, reporte, registro o informe de la fuente de información? b. Se incluye la fecha de emisión de la fuente de información? c. Se incluye el área emisora y/o responsable de su emisión? La MIR Más oportunidades de desarrollo para los jóvenes incorpora los medios de verificación suficientes y necesarios para obtener los datos requeridos para el cálculo del indicador definido a nivel Propósito, como el nombre del documento, reporte o informe, la fecha o frecuencia y el área emisora o responsable de la información. 13. El nivel de PROPÓSITO incorpora supuestos que contengan las siguientes características? a. La redacción del supuesto está expresada en términos positivos? b. La redacción del supuesto expresa el (los) riesgo (s) o condición (es) (externa) que enfrenta el programa y que está (n) fuera de su control? c. El (los) riesgo (s)/condición (es) expuesta (s) tiene (n) una probabilidad razonable de ocurrencia? d. El (los) riesgo (s)/condición (es) expuesta (s) es (son) susceptible (s) de ser solventada para el cumplimiento del objetivo de PROPÓSITO? e. Es (son) lo suficientemente preciso (s) para estar en posibilidad de ser monitoreado (s)? f. Se considera (n) suficiente (s) y necesario (s) para el logro del objetivo propuesto y que la ejecución del programa contribuya al logro de un objetivo de orden superior? Se considera que el supuesto diseñado a este nivel Los jóvenes que acuden al Instituto Estatal de la Juventud se encuentran motivados y son beneficiarios de los bienes y servicios del INJUVE N.L, está redactado en términos positivos, tiene probabilidad razonable de ocurrencia y es susceptible de ser solventada para el cumplimiento del objetivo y expresa una condición externa y que está fuera de su control. Sin embargo se sugiere modificar el supuesto de la siguiente manera: Los jóvenes que acuden al Instituto Estatal de la Juventud se encuentran motivados y se interesan en los mecanismos de vinculación. COMPONENTES 14. Los COMPONENTES de la matriz de indicadores para resultados especifican claramente cuáles son los bienes y/o servicios públicos que debe producir o entregar el programa durante su ejecución para cumplir con su Propósito? Respuesta = SI [ Secretaría de Finanzas y Tesorería General del Estado ] Página 11 de 28

13 Los Componentes diseñados en la MIR especifican los servicios que debe entregar el programa durante su ejecución, para estar en posibilidad de cumplir con el Propósito definido. Sin embargo, se sugiere fusionar los servicios que son similares, por ejemplo: Componentes Propuestos en la MIR Premios y Becas de estudio otorgadas Campañas de salud realizadas Vinculación y capacitación laboral otorgada Servicios y proyectos juveniles otorgados Componentes Establecidos en la MIR Becas de estudio del programa "Pro-Educación" otorgadas Premios y reconocimientos a jóvenes otorgados Consultas en salud nutricional y psicológica del programa "Mente sana, joven sano" brindadas Cartas de vinculación joven-empresa del programa "Pro-empleo" otorgadas Capacitaciones laborales por el programa "Pro-empleo" brindadas Jóvenes del programa "Tú decides" beneficiados Proyectos juveniles de tipo social del programa "Creenlace Joven" implementados Servicios del programa "Espacios Urbanos" otorgados Servicios en la red estatal de "Espacios Poder Joven" brindados Número de talleres y conferencias del programa Inclusión Joven impartidas Jóvenes del programa "Coach Joven" beneficiados 15. La sintaxis del resumen narrativo de los COMPONENTES es correcta y cumple con las siguientes características? a. El sujeto de la oración se refiere a los productos terminados y/o servicios proporcionados para el logro del Propósito del programa? b. La oración contiene un verbo en pasado participio que permita relacionar los bienes y servicios producidos por el programa? Se considera que el resumen narrativo de cada uno de los componentes diseñados en la MIR cumple con la sintaxis establecida a este nivel, toda vez que el sujeto de la oración se refiere a los servicios proporcionados por el programa para el logro del Propósito y contiene un verbo en pasado participio para relacionar los bienes diseñados. 16. Se considera que los COMPONENTES diseñados, son los suficientes y necesarios para el logro del Propósito? Respuesta = SI Se considera que los componentes descritos en la MIR Más oportunidades de desarrollo para los jóvenes" y que a continuación se describen, representan los productos y/o servicios suficientes y necesarios para el logro del Propósito: [ Secretaría de Finanzas y Tesorería General del Estado ] Página 12 de 28

14 C1. Becas de estudio del programa Pro-Educación, otorgadas. C2. Jóvenes del programa Tú Decides, beneficiados. C3. Número de talleres y conferencias del programa Inclusión Joven, impartidas. C4. Consultas e salud nutricional y psicológica del programa Mente sana, Joven sano, brindadas. C5. Proyectos juveniles de tipo social del programa Creenlace Joven, implementados. C6. Servicios del programa Espacios Urbanos, otorgados. C7. Servicios en la red estatal de Espacios Poder Joven, brindados. C8. Premios y reconocimientos a jóvenes, otorgados. C9. Cartas de vinculación joven-empresa del programa Pro-empleo, otorgadas. C10. Capacitaciones laborales por el programa Pro-empleo, brindadas. C11. Jóvenes del programa Coach Joven, beneficiados. No obstante, se sugiere fusionar los servicios que son similares como se mencionó anteriormente. 17. Los indicadores definidos para cada COMPONENTE permiten medir si los bienes y/o servicios producidos y/o entregados por el programa a los beneficiarios se realizan en la cantidad y calidad necesaria, de acuerdo con los resultados esperados? Respuesta = SI Los indicadores definidos, en su mayoría, permiten evaluar el desempeño del programa en cuanto a la calidad de los servicios proporcionados por el programa. Sin embargo, se recomienda incluir o adicionar al menos un indicador de calidad que permita conocer el nivel de satisfacción de la población beneficiada respecto de los servicios proporcionados por el Programa. También se sugiere especificar el método de cálculo del indicador correspondiente al Componente 8 Premios y reconocimientos, ya que carece de fórmula. 18. Los indicadores definidos para cada COMPONENTE cumplen con las siguientes características? a. Las propiedades conocidas como SMART: Son claros? Son relevantes? Son económicos? Son monitoreables? b. Cuentan con una ficha técnica que contenga los elementos que los componen? Nombre Descripción Tipo Dimensión Método de cálculo Unidad de medida [ Secretaría de Finanzas y Tesorería General del Estado ] Página 13 de 28

15 Frecuencia de medición Línea base Metas Comportamiento del indicador Semáforos c. El método de cálculo de los indicadores de cada COMPONENTE cumple con las siguientes características: Tiene especificada correctamente su fórmula de cálculo? Utiliza únicamente expresiones aritméticas y/o símbolos matemáticos que representen una relación de variables? d. Se incluye al menos un indicador de calidad que permita conocer el nivel de satisfacción de los beneficiarios? No e. La unidad de medida de los indicadores corresponde con el método de cálculo, la línea base y las metas? f. La periodicidad de los indicadores permite contar con al menos una medición semestral y/o trimestral? g. Los indicadores cuentan con línea base? Los indicadores definidos para evaluar los Componentes son claros, relevantes, económicos y monitoreables; su método de cálculo está correctamente formulado y utilizan expresiones aritméticas que representan una relación de variables; sin embargo, el octavo Componente no cuenta con un indicador que mida su desempeño y tampoco se cuenta con un indicador que permita medir el nivel de satisfacción de los beneficiarios; por lo que se recomienda lo siguiente: 1. Definir un indicador que permita evaluar el desempeño del octavo Componente e incorporar toda la información cualitativa y cuantitativa del mismo. 2. Incluir un indicador de calidad que evalúe el nivel de satisfacción de los beneficiarios. 3. En el caso de los indicadores cuarto, quinto, sexto y octavo, modificar la frecuencia del indicador que permita contar con al menos una medición semestral y/o trimestral. 4. Corregir el nombre de los indicadores, el cual debe estar precedido por Porcentaje, Variación porcentual, Tasa de variación, de la siguiente forma: Nombre Establecidos en la MIR Pro-Educación Beneficiarios "Tú Decides" Número de talleres y conferencias impartidas Consultas en salud nutricional y psicología brindada satisfactoriamente Nombre Propuesto en la MIR Variación porcentual de beneficiados por el Injuve Variación porcentual de beneficiados por el programa "Tú decides" Porcentaje de talleres y conferencias impartidas Porcentaje de avance de consultas en salud [ Secretaría de Finanzas y Tesorería General del Estado ] Página 14 de 28

16 Nombre Establecidos en la MIR Proyectos juveniles de tipo social implementados Servicios otorgados Red estatal de Espacios Poder Joven Premios y reconocimientos Cartas de vinculación Pro-Empleo Capacitaciones laborales del programa "Pro- Educación" Beneficiarios por el programa Coach Joven y Proyectos Sociales productivos Nombre Propuesto en la MIR Variación porcentual de Proyectos juveniles de tipo social implementados Variación porcentual de servicios "Espacios Urbanos" otorgados Porcentaje de servicios "Espacio Poder Joven" otorgados Porcentaje de jóvenes premiados y reconocidos Variación porcentual de cartas de vinculación otorgadas Variación de capacitaciones laborales Pro-Empleo otorgadas Porcentaje de beneficiados Coach Joven 19. Se incorporan los medios de verificación suficientes y necesarios para obtener los datos requeridos para el cálculo de los indicadores definidos, que permitan evaluar el objetivo de cada COMPONENTE y contengan, al menos, la siguiente información? a. Se incluye el nombre o título del documento, reporte, registro o informe de la fuente de información? b. Se incluye la fecha de emisión de la fuente de información? c. Se incluye el área emisora y/o responsable de su emisión? Respuesta = SI Los indicadores definidos a este nivel incluyen los medios de verificación necesarios y suficientes para obtener los datos requeridos para el cálculo de los indicadores definidos, como; el nombre o título del documento, reporte, registro o informe, fecha de emisión y área emisora o responsable de la emisión de la información. 20. El nivel de COMPONENTES incorpora supuestos que contengan las siguientes características? a. La redacción del supuesto está expresada en términos positivos? b. La redacción del supuesto expresa el (los) riesgo (s) o condición (es) (externa) que enfrenta el programa y que está (n) fuera de su control? c. El (los) riesgo (s)/condición (es) expuesta (s) tiene (n) una probabilidad razonable de ocurrencia? d. El (los) riesgo (s)/condición (es) expuesta (s) es (son) susceptible (s) de ser solventada para el cumplimiento del objetivo? e. Es (son) lo suficientemente preciso (s) para estar en posibilidad de ser monitoreado (s)? f. De cumplirse el supuesto definido a este nivel, es posible alcanzar el Propósito? [ Secretaría de Finanzas y Tesorería General del Estado ] Página 15 de 28

17 Respuesta = SI Se considera que los supuestos diseñados a nivel de Componente expresan condiciones externas, con probabilidad de ocurrencia, susceptibles a ser solventadas y son lo suficientemente precisos para ser monitoreados. Sin embargo, se observa que los siguientes componentes no representan condiciones externas ni se expresan en forma positiva: C1. Los becarios no viven situaciones ni comenten errores con que se vean forzados o motivados a abandonar los estudios. C2. Dotar de información necesaria a los jóvenes de Nuevo León de las problemáticas que enfrentan para que puedan tomar sus propias decisiones. C5. Las condiciones presupuestales no varían en medida de proyectos propuestos. C7. Acercar herramientas a los jóvenes de tal forma que puedan acceder a una educación pertinente y de calidad mediante su acceso y aprovechamiento en condiciones equitativas. Por lo que, se recomienda que los supuestos se expresen de manera positiva y que señalen condiciones externas, es decir, fuera del control del programa, a fin de que sean considerados suficientes y necesarios para el logro del objetivo propuesto y alcanzar el objetivo central del programa. ACTIVIDADES 21. El resumen narrativo de las ACTIVIDADES de la matriz de indicadores para resultados contiene las siguientes características? a. Detalla claramente todas las acciones necesarias para producir los bienes y/o servicios (componentes) que debe producir o entregar el programa? No b. Las actividades están agrupadas o estructuradas de manera que permitan identificar a que componente corresponden? Las Actividades descritas están agrupadas de manera que pueden ser identificadas al componente que corresponden. Pese a que se mencionan actividades necesarias para producir los bienes y servicios del programa, estos no se detallan claramente. 22. La sintaxis del resumen narrativo de las ACTIVIDADES es correcta y cumple con la siguiente característica? a. El inicio de la oración contiene un sustantivo derivado de un verbo (acción), acompañado de un complemento, que permita relacionarse con los componentes del programa? Respuesta = NO [ Secretaría de Finanzas y Tesorería General del Estado ] Página 16 de 28

18 Las actividades descritas no cumplen con la sintaxis recomendada a este nivel; es decir, el inicio de la oración del resumen narrativo de éstas contiene un sustantivo derivado de un verbo, aunque el complemento de la oración de todas las Actividades corresponde a los elementos necesarios para la producción de los bienes y/o servicios que se relacionan con cada componente. Por tal motivo, se sugiere modificar la redacción de las Actividades, conforme a la sintaxis recomendada, utilizando sustantivos como; impartición, seguimiento, gestión y búsqueda. Por ejemplo: Sintaxis Establecida en la MIR A1. Convenios suscritos con instituciones educativas A2.1. Pláticas y talleres de prevención universal impartidas A2.2 Municipios del estado de Nuevo León beneficiados con la "gira joven" Sintaxis Propuesta en la MIR Gestión de convenios con instituciones educativas Impartición de pláticas y talleres de prevención universal Seguimiento de municipios beneficiados A4.2 Número de campañas de salud juvenil realizadas Implementación de campañas de salud juvenil A5.3 Campañas de voluntariado realizadas Implementación de campañas de voluntariado A.6.1 Horas de cursos del programa "Espacios Urbano" brindadas Impartición de cursos "Espacios Urbanos" A6.2 Horas de Grabación y edición musical por parte programa "Espacios Urbanos" otorgadas Grabación y edición musical del programa "Espacios Urbanos" A6.3 Espacios públicos rehabilitados Rehabilitación de espacios públicos A6.4 Jóvenes impactados Seguimiento del programa "Espacios Urbanos" A7.1 Facilitar el acceso de los jóvenes a herramientas de tecnología Seguimiento de beneficiarios "Espacios Poder Joven" 8.1 Jóvenes participantes Inscripción de jóvenes participantes A11.1 Gestores Administración del padrón de gestores "Coach Joven" A11.2 Proyectos socio-productivos Gestión de proyectos socio-productivos 23. Se considera que las ACTIVIDADES descritas son las suficientes y necesarias para producir cada uno de los Componentes propuestos. Respuesta = NO Las actividades descritas por la MIR Más oportunidades de desarrollo para los jóvenes no son las suficientes para producir cada uno de los bienes y servicios del programa. Tomando los componentes sugeridos, las actividades podrían ser las siguientes: [ Secretaría de Finanzas y Tesorería General del Estado ] Página 17 de 28

19 Actividades Propuestas de la MIR Gestión de convenios con instituciones educativas Recepción de solicitudes Selección de solicitudes Otorgamiento de premios y becas Administración del padrón beneficiario Implementación de campañas de salud Asesoría en salud nutricional y psicología Seguimiento de beneficiarios Gestión de convenios empresariales Recepción de solicitudes Capacitación laboral Seguimiento de beneficiarios Coordinación de instituciones Impartición de pláticas y talleres Seguimiento de beneficiarios Impartición de asesorías y cursos Gestión de apoyos y fondos Seguimiento de proyectos Implementación de campañas Componentes Propuestos de la MIR Premios y Becas de estudio otorgadas Campañas de salud realizadas Vinculación y capacitación laboral otorgada Servicios y proyectos juveniles otorgados 24. Los indicadores definidos para cada ACTIVIDAD permiten medir el esfuerzo administrativo aplicado a las actividades principales y a los insumos para obtener los bienes y servicios? Respuesta = SI Se considera que los indicadores definidos para las Actividades permiten dar seguimiento a las mismas; sin embargo, se recomienda verificar la definición de los siguientes indicadores, a fin de que permitan medir el esfuerzo administrativo aplicado a las actividades y a los insumos para obtener los bienes y servicios. Componente 1. A2. Otorgamiento de becas Componente 2 A2. Gira Joven Componente 6 A2. Ahorro social cabina Componente 11 A1. Acciones ejecutadas por los gestores [ Secretaría de Finanzas y Tesorería General del Estado ] Página 18 de 28

20 25. Los indicadores definidos para cada ACTIVIDAD cuentan con las siguientes características? a. Las propiedades conocidas como SMART: Son claros? No Son relevantes? Son económicos? Son monitoreables? b. Una ficha técnica que contenga los elementos que los componen: Nombre Descripción Tipo Dimensión Método de cálculo Unidad de medida Frecuencia de medición Línea base Metas Comportamiento del indicador Semáforos c. El método de cálculo de los indicadores de cada ACTIVIDAD cumple con las siguientes características: Tiene especificada correctamente su fórmula de cálculo? Utiliza únicamente expresiones aritméticas y/o símbolos matemáticos que representen una relación de variables? d. La unidad de medida de los indicadores corresponde con el método de cálculo, la línea base y las metas? e. La periodicidad de los indicadores permite contar con al menos una medición trimestral y/o mensual? No f. Los indicadores cuentan con línea base? Los indicadores definidos para evaluar las actividades son relevantes, económicos y monitoreables, especifican el método de cálculo correctamente; sin embargo, los siguientes indicadores no son claros y carecen de fórmula de cálculo Componente 1 Componente 2 Componente 6 A2. Otorgamiento de becas A2. Gira joven A2. Ahorro social cabina [ Secretaría de Finanzas y Tesorería General del Estado ] Página 19 de 28

21 Por tal motivo, se recomienda definir indicadores que permitan dar seguimiento a estas Actividades e incorporar la información cualitativa y cuantitativa de los indicadores. 26. Se incorporan los medios de verificación suficientes y necesarios para obtener los datos requeridos para el cálculo de los indicadores definidos, que permitan evaluar el objetivo de cada ACTIVIDAD y contengan, al menos, la siguiente información? a. Se incluye el nombre o título del documento, reporte, registro o informe de la fuente de información? b. Se incluye la fecha de emisión de la fuente de información? c. Se incluye el área emisora y/o responsable de su emisión? Respuesta = SI Los indicadores definidos a este nivel incluyen los medios de verificación necesarios y suficientes para obtener los datos requeridos para el cálculo de los indicadores definidos, como; el nombre o título del documento, reporte, registro o informe, fecha de emisión y área emisora o responsable de la emisión de la información. 27. El nivel de ACTIVIDAD incorpora supuestos que contengan las siguientes características? a. La redacción del supuesto está expresada en términos positivos? b. La redacción del supuesto expresa el (los) riesgo (s) o condición (es) (externa) que enfrenta el programa y que está (n) fuera de su control? c. El (los) riesgo (s)/condición (es) expuesta (s) tiene (n) una probabilidad razonable de ocurrencia? d. El (los) riesgo (s)/condición (es) expuesta (s) es (son) susceptible (s) de ser solventada para el cumplimiento del objetivo? e. Es (son) lo suficientemente preciso (s) para estar en posibilidad de ser monitoreado (s)? f. De cumplirse el supuesto definido a este nivel, es posible el logro de cada COMPONENTE? Respuesta = SI Se considera que los supuestos descritos a este nivel cumplen con las características establecidas; es decir, están redactados en términos positivos; representan riesgos o condiciones que enfrenta el programa que están fuera de su control, tienen una probabilidad de ocurrencia, son susceptibles de ser solventadas para el logro de la Actividad a la que corresponden y son lo suficientemente precisos para ser monitoreados. Sin embargo, se sugiere modificar los siguientes supuestos de acuerdo a las características mencionadas; A1.1 Las instituciones no sufren de cambios en la organización o premisas institucionales que afecten el cumplimiento de los acuerdos. A1.3 Existe disposición para otorgar información para el seguimiento del becario. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 20 de 28

22 A2.1 Los jóvenes no están inmersos en conflictos sociales que nuble su razonamiento y/o prejuicios en relación a su condición de vida. A3.1 El Instituto Estatal de la juventud y las instituciones educativas y de la sociedad civil fortalecen sus lazos institucionales para mejorar las condiciones de inclusión social. A4.2 Se dota de información práctica y oportuna a los jóvenes beneficiados por los talleres impartidos por el programa Mente sana, joven sano. A4.3 Se brinda información oportuna y de calidad a los jóvenes que la solicitan en temas de nutrición y psicología. A7.1 Dotar a los jóvenes de las herramientas necesarias para potenciar su desarrollo y disminuir la brecha digital. C. Evaluación de Indicadores por nivel de la MIR [ Secretaría de Finanzas y Tesorería General del Estado ] Página 21 de 28

23 [ Secretaría de Finanzas y Tesorería General del Estado ] Página 22 de 28

24 Recomendaciones: Identificar la población objetivo que pretende impactar el programa y el resultado que se espera lograr mediante su ejecución. Definir un indicador estratégico a nivel Propósito, preferentemente de eficacia o eficiencia, que permita evaluar el cambio producido en la población objetivo y/o el resultado alcanzado por la ejecución del programa (Por ejemplo, un indicador de cobertura, que mida la proporción o tasa de crecimiento de la población beneficiada por el programa respecto al total de la población objetivo), y que su frecuencia de medición sea la recomendada a este nivel (Anual o semestral). Modificar el supuesto de Propósito por ejemplo: Los jóvenes de Nuevo León se interesan en los mecanismos de vinculación escolar y laboral que ofrece el Instituto Estatal de la Juventud, a fin de cumplir con las características; expresa, de manera positiva, una condición externa y que está fuera de su control, tiene probabilidad razonable de ocurrencia y es susceptible de ser solventada para el cumplimiento del objetivo. Se sugiere fusionar los servicios que son similares, por ejemplo: difusión, capacitación, vinculación. Incluir o adicionar a nivel de Componente, al menos un indicador de calidad que permita conocer el grado de satisfacción de la población beneficiada respecto de los servicios proporcionados por el Programa. Modificar los supuestos a nivel Componente, es decir, que se expresen de manera positiva y que señalen condiciones externas, es decir, fuera del control del programa, a fin de que sean considerados suficientes y necesarios para el logro del objetivo propuesto y alcanzar el objetivo central del programa. Modificar la redacción de las Actividades, conforme a la sintaxis recomendada; El inicio de la oración contiene un sustantivo derivado de un verbo (acción), acompañado de un complemento, que permita relacionarse con los componentes del programa. Especificar el nombre de los indicadores de todos los niveles, comenzando por Porcentaje, Variación porcentual, Tasa de crecimiento, etc., según sea el caso. Verificar la definición de los indicadores a nivel Actividad, a fin de que permitan medir el esfuerzo administrativo aplicado a las actividades y a los insumos para obtener los bienes y servicios. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 23 de 28

25 IV. Fortalezas, Retos y Recomendaciones FORTALEZAS Vinculación al objetivo estratégico del Plan Estatal de Desarrollo y al Programa Sectorial. Medios de verificación suficientes para el calculo de indicadores OPORTUNIDADES Definición de población objetivo o área de enfoque Definición de Componentes DEBILIDADES Imprecisión en el nombre de los indicadores de la MIR Supuestos expresados en forma negativa y relacionados a factores internos AMENAZAS Indicador que no permiten medir la contrbución del programa y resultado o impacto que se espera alcanzar sobre la población objetivo a nivel de Propósito. Fortalezas. La Matriz de Indicadores para Resultados (MIR) Más oportunidades de desarrollo para los jóvenes, en términos generales permite tener una visión clara de lo que el programa representa; es decir, lo que ofrece y el resultado que espera alcanzar, así como los medios para alcanzarlo; toda vez que se describen los bienes y/o servicios suficientes y necesarios para el logro del Propósito; lo que permite que operen las relaciones de causalidad por las que se define esta herramienta analítica, entre los distintos niveles de la MIR. Se encuentra vinculada al objetivo estratégico Más oportunidades de desarrollo para los jóvenes del Plan Estatal de Desarrollo , así como al Programa Especial de Juventud. Además, cuenta con los medios de verificación suficientes para cada indicador, los cuales incluyen el nombre o título del documento o reporte, fecha de emisión y el área o responsable de la emisión de la información. Oportunidades De acuerdo con las guías metodológicas especializadas en la Metodología de Marco Lógico (MML) y la elaboración de Matriz de Indicadores para Resultados (MIR) (SCHP, SFP & CONEVAL, 2010; SHCP, 2012), la dependencia o entidad deberá describir la población o área de enfoque que presenta el problema, necesidad u oportunidades que justifica al programa, es decir, la que se ha elegido o pudiera ser elegible para ser beneficiaria del mismo. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 24 de 28

26 Sin embargo, el resumen narrativo del objetivo de Propósito describe a la población atendida y no a la población objetivo. En este sentido, la oportunidad que se presenta es identificar a la población que el programa pretende atender, pudiendo corresponder a la totalidad de la población potencial o a una parte de ella. Debilidades Como resultado de la valoración a la estructura de la MIR, se identifican ciertas carencias e imprecisiones en la definición de los diversos elementos que la conforman y que se describen a continuación: 1. El resumen narrativo del objetivo descrito a nivel Actividad, no cumple con la sintaxis recomendada para cada nivel. 2. Existe imprecisión en el nombre de los indicadores en todos los niveles de la MIR; el nombre se debe expresar la denominación precisa con la que se distingue al indicador (no repite al objetivo), además de ser precedido por las palabras; porcentaje, variación porcentual, tasa de crecimiento, según sea el caso. 3. Existen supuestos expresados en formas negativas o relacionadas directamente a factores internos. Tomando en cuenta la metodología, estos supuestos deberán expresar condiciones externas, con probabilidad de ocurrencia, susceptibles a ser solventadas y deben ser lo suficientemente precisos para ser monitoreados. Amenazas. El problema identificado y que constituye una amenaza, tiene que ver con el hecho de que el indicador a nivel de Propósito no permite medir adecuada y eficazmente su objetivo, como se especifica a continuación: El indicador descrito a nivel Propósito: Jóvenes atendidos por el INJUVE no permite evaluar el cambio el cambio producido en la población objetivo, atribuible al programa. Las variables definidas para el indicador miden el total de jóvenes atendidos por el Instituto Estatal de la Juventud respecto al total de jóvenes atendidos por el INJUVE, lo cual no permite medir la cobertura o alcance del programa. Eso representa un gran riesgo; toda vez que el no contar con una medición clara, real y adecuada del resultado que se espera alcanzar, dificulta presentar una adecuada rendición de cuentas, así como la justificación del uso de los recursos públicos ante la ciudadanía y las instancias correspondientes. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 25 de 28

27 En este sentido, es esencial definir al menos un indicador, que evalúe e incorpore aspectos de certeza jurídica en la interacción entre personas, empresas y gobierno en la economía y en la sociedad como base fundamental para lograr una mejora en el bienestar de la población, con la firme intención de contribuir eficazmente al desarrollo del estado. V. Conclusiones En términos generales, la MIR Más oportunidades de desarrollo para los jóvenes del programa Apoyo a la juventud que actualmente implementa el Instituto Estatal de la Juventud presenta carencias e imprecisiones en su estructura, lo que resulta, en un grado de avance relativamente bajo. En virtud de lo anterior, se recomienda enriquecer la matriz, principalmente mediante la redefinición e incorporación de los diversos elementos que la conforman, entre ellos, identificar la población objetivo o área de enfoque, definir indicadores que permitan evaluar el objetivo de Propósito, redefinir los Componentes, englobando los servicios similares, modificar el resumen narrativo de las Actividades para cumplir con la sintaxis señalada y definir supuestos que se expresen de manera positiva y que señalen condiciones externas. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 26 de 28

28 VI. Responsabilidades y compromisos La presente Evaluación de la MIR Más oportunidades de desarrollo para los jóvenes estará sujeta a la revisión y análisis por parte de la unidad coordinadora de la evaluación y por la unidad administrativa que opera el programa, así como de la concertación de posibles modificaciones, basadas en información soporte que fundamente las mismas. Por lo anterior, la Unidad Responsable deberá revisar el informe borrador que representa este informe y entregar oportunamente los comentarios que de la revisión resulten, a fin de que sean incorporadas las observaciones pertinentes en la versión final del informe. Nombre del programa presupuestario: Apoyo a la Juventud Nombre de la MIR: Más oportunidades de desarrollo para los jóvenes Área Responsable y/o ejecutora: Instituto Estatal de la Juventud Fecha: Nombre Cargo Firma -cargo- Lic. Eduardo Sánchez Rosete Lic. Alejandra González Sosa Coordinador de la Evaluación Evaluación Socioeconómica de Programas y Proyectos, S.C. Evaluador Evaluación Socioeconómica de Programas y Proyectos, S.C. Referencias Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES) Metodología Del Marco Lógico. Boletín Del Instituto, No. 15. Secretaría de Hacienda y Crédito Público (SHCP), Secretaría de la Función Pública (SFP), Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) Guía para la Construcción de la Matriz de Indicadores para Resultados. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 27 de 28