EVALUACIÓN DE LA MATRIZ DE INDICADORES PARA RESULTADOS DEL PROGRAMA PRESUPUESTARIO FORMACION INTEGRAL: SALUD, CULTURA, DEPORTE

Transcripción

1 EVALUACIÓN DE LA MATRIZ DE INDICADORES PARA RESULTADOS DEL PROGRAMA PRESUPUESTARIO FORMACION INTEGRAL: SALUD, CULTURA, DEPORTE Evaluación Socioeconómica de Programas y Proyectos, S.C.

2 Contenido I. Introducción...2 II. Evaluación...2 III. Temas de Evaluación...2 A. Características del programa... 2 B. Vinculación y Contribución del Programa... 5 C. Evaluación y Análisis de la Matriz de Indicadores para Resultados (MIR)... 6 FIN...6 PROPÓSITO...9 COMPONENTES ACTIVIDADES D. Evaluación de Indicadores por nivel de la MIR IV. Fortalezas, Retos y Recomendaciones V. Conclusiones VI. Responsabilidades y compromisos [ Secretaría de Finanzas y Tesorería General del Estado ] Página 1 de 26

3 I. Introducción Como parte del proceso que el Gobierno del Estado de Nuevo León ha llevado a cabo para la implementación y consolidación de un Presupuesto basado en Resultados (PbR) y un Sistema de Evaluación del Desempeño (SED) y, en cumplimiento a la estrategia elaborada para tal fin, se realizó la Evaluación de la Matriz de Indicadores para Resultados (MIR) Matriz de alto rendimiento. Ello, con el propósito de identificar si dicha matriz está construida con base en la Metodología de Marco Lógico (MML), cumple con los elementos que deben conformarla y con base en este análisis, emitir las recomendaciones que se consideren pertinentes, que permitan mejorar el proceso de elaboración, diseño y contenido de la misma. II. Evaluación El análisis y evaluación de la MIR comprende la vinculación del programa presupuestario Cultura Física y Deporte de Alto Rendimiento con los objetivos de planeación estatal y programas sectoriales que se deriven de éste, la evaluación de la lógica vertical y horizontal de la misma, así como de los indicadores que miden el desempeño que corresponde a cada uno de los niveles que la conforman. Las preguntas que conforman esta Evaluación son respondidas a través de un sistema binario (1=Cumple; 0= Cumple), de acuerdo a la importancia de cada uno de los elementos de la MIR, cuya ponderación se presenta de manera anexa. III. Temas de Evaluación A. Características del programa Cultura Física y Deporte de Alto Rendimiento es un programa que lleva a cabo el Gobierno del Estado de Nuevo León a través del Instituto Estatal de Cultura Física y Deporte (INDE), el cual planea, desarrolla, fomenta y coordina los programas deportivos y de cultura física en Nuevo León; adicionalmente, impulsa la participación de la sociedad civil, en coordinación con los sectores públicos, social y privado para el diseño de una política que permita a la población en general la práctica del deporte. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 2 de 26

4 El programa Cultura Física y Deporte de Alto Rendimiento tiene como objetivo central que los atletas de alto rendimiento mejoren su desempeño en las distintas competencias; lo cual se busca lograr por medio del siguiente servicio: Programa para atletas de alto rendimiento implementado. Con él es posible apoyar a los atletas de alto rendimiento del estado para que puedan continuar practicando el deporte en que se desarrollan. Población: El programa Cultura Física y Deporte de Alto Rendimiento tiene identificada la siguiente Población: Potencial.- Los atletas de alto rendimiento de Nuevo León Objetivo.- Los atletas de alto rendimiento de Nuevo León Atendida.- Los atletas de alto rendimiento de Nuevo León que se beneficien directa o indirectamente mediante los procesos de preparación de los deportistas, el control del rendimiento deportivo, la organización y apoyo a eventos deportivos nacionales e internacionales desarrollados en Nuevo León, el apoyo a eventos deportivos nacionales e internacionales. Vinculación a la Planeación Estratégica: A través de dicho programa se intenta dar cumplimiento a lo establecido en el Plan Estatal de Desarrollo del Estado de Nuevo León (PED), en concordancia con el objetivo estratégico Promoción de la actividad física, el deporte y el desarrollo de deportistas de alto rendimiento, del eje de política pública Desarrollo Social y Calidad de Vida. La estrategia asociada a este objetivo a la cual se encuentra alineado el programa Cultura Física y Deporte de Alto Rendimiento es la número 3: Impulsar el deporte de alto rendimiento. Asimismo y, conforme a los servicios que el programa Cultura Física y Deporte de Alto Rendimiento proporciona a la ciudadanía, las líneas de acción del PED al cual se encuentra directamente relacionado, son las siguientes: Fomentar la participación de deportistas nuevoleoneses en eventos estatales, nacionales e internacionales. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 3 de 26

5 Crear y promover esquemas de apoyo y patrocinio de deportistas, así como fortalecer la vinculación con programas nacionales e internacionales, públicos y privados. Fortalecer el grupo de directivos y entrenadores de deportistas de alto rendimiento. Organizar eventos estatales, nacionales e internacionales para la participación de deportistas de alto rendimiento. Impulsar la creación del centro de ciencias aplicadas al deporte y la actividad física [ Secretaría de Finanzas y Tesorería General del Estado ] Página 4 de 26

6 B. Vinculación y Contribución del Programa 1. El Programa está alineado y/o vinculado con algún objetivo del eje de política pública del PED? Respuesta = SI El Programa Presupuestario Cultura Física y Deporte de Alto Rendimiento se encuentra alineado al Eje de política pública del PED Desarrollo Social y Calidad de Vida, a su objetivo estratégico 3.6. Promoción de la actividad física, el deporte y el desarrollo de deportistas de alto rendimiento. 2. El Programa está alineado y/o vinculado con algún objetivo sectorial o especial? Respuesta = SI El Programa Presupuestario Protección de los Derechos Humanos se encuentra alineado al Programa Especial Desarrollo Social, en su objetivo estratégico: 15. Impulsar el deporte de alto rendimiento. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 5 de 26

7 C. Evaluación y Análisis de la Matriz de Indicadores para Resultados (MIR) En esta sección se evaluará y analizará si la MIR del programa presupuestario Cultura Física y Deporte de Alto Rendimiento está construida a partir de la Metodología de Marco Lógico, si está relacionada y diseñada de acuerdo al problema y/o necesidad que se espera resolver con la ejecución del programa (Fin y Propósito), así como su lógica interna; es decir, la relación de causa efecto que existe entre los diferentes niveles de la matriz, la definición de objetivos, indicadores y metas y la evaluación de los resultados esperados en cada nivel de la misma. Lógica Vertical y Horizontal de la MIR FIN 3. La sintaxis del resumen narrativo del objetivo de FIN es correcta y cumple con las siguientes características? a. Se identifica claramente la contribución del programa al logro de un objetivo estratégico de orden superior con el que está alineado, ya sea del Programa Estatal de Desarrollo (PED), Sectorial o especial? SI b. El resumen narrativo utiliza las palabras mediante / a través para hacer referencia a la solución del problema? Sintaxis: Contribuir a (objetivo superior) mediante (complemento = Propósito u objetivo central del programa) c. El resumen narrativo especifica cómo se logrará la solución al problema? SI Respuesta = SI Se considera que el resumen narrativo del nivel de Fin, Contribuir a la promoción de la actividad física, el deporte y el desarrollo de deportistas de alto rendimiento, mediante el fortalecimiento de las prácticas deportivas permite identificar claramente la contribución del programa al logro de un objetivo estratégico de orden superior (PED). Se utiliza la sintaxis recomendada por la Metodologia de Marco Lógico (MML) utilizando las palabras Contribuir y mediante. Mientras que la solución al problema se espera lograr mediante el fortalecimiento de las prácticas deportivas. 4. El (los) indicador (es) de Fin permite (n) conocer lo siguiente: a. Dar seguimiento de los avances y evaluar si el programa contribuye al logro de un objetivo estratégico de orden superior con el que esté alineado (Objetivo de la Dependencia, del Sector o del PED)? NO b. Identificar y medir el impacto final que tendrá el programa? NO [ Secretaría de Finanzas y Tesorería General del Estado ] Página 6 de 26

8 Respuesta = NO Se considera que el indicador a nivel de Fin, Lugar obtenido en la olimpiada nacional no permite dar seguimiento de los avances y evaluar si el programa contribuye al logro de un objetivo estratégico de orden superior con el que este alineado. Tampoco permite medir el impacto final que tendrá el programa. Se considera que es un indicador de gestión que no utiliza relaciones de variables. Se recomienda incluir un indicador estratégico, preferentemente de eficacia o eficiencia mediante el cual pueda medirse el grado de cumplimiento de las metas previstas por el programa, por ejemplo: Porcentaje de medallas conseguidas en la olimpiada nacional respecto a las planeadas, o Porcentaje de atletas llevados a la olimpiada nacional respecto a lo planeado. 5. El (los) indicador (es) de Fin cumple (n) con las siguientes características? a. Las propiedades conocidas como SMART: Es (son) claro (s)? Es (son) relevante (s)? Es (son) económico (s)? Es (son) monitoreable (s)? b. Cuenta (n) con una ficha técnica que contenga los elementos que lo (s) componen: mbre Definición Tipo Dimensión Método de cálculo Unidad de medida Frecuencia de medición Línea base Metas Comportamiento del indicador Semáforos c. El método de cálculo del (los) indicador (es) de FIN cumple con las siguientes características: Tiene especificada correctamente su fórmula de cálculo? Utiliza únicamente expresiones aritméticas y/o símbolos matemáticos que representen una relación de variables? d. El tipo del (los) indicador (es) a este nivel es preferentemente estratégico y su dimensión es de eficacia? e. La unidad de medida del (los) indicador (es) corresponde con el método de cálculo, la línea base y las metas? f. La periodicidad del (los) indicador (es) permite (n) contar con al menos una medición sexenal y/o anual? g. El (los) indicador (es) cuenta (n) con línea base? [ Secretaría de Finanzas y Tesorería General del Estado ] Página 7 de 26

9 El indicador definido para el nivel de Fin es claro, económico y monitoreable, puesto que su interpretación es univoca y se puede monitorear a un bajo costo. Sin embargo, no es representativo de lo que se debe medir en el objetivo. El indicador no utiliza relaciones de variables y no tiene por tanto una fórmula de cálculo. Como se menciona anteriormente, es un indicador de gestión, por lo que se recomienda incorporar un indicador estratégico que permita medir el cumplimiento de objetivos. 6. Con la intención de evaluar el objetivo de FIN, se incorporan los medios de verificación que contengan la siguiente información, que permita obtener los datos requeridos para el cálculo del (los) indicador (es) definido (s)? a. Se incluye el nombre o título del documento, reporte, registro o informe de la fuente de información? b. Se incluye la fecha de emisión de la fuente de información? c. Se incluye el área emisora y/o responsable de su emisión? se incluyen medios de verificación para este nivel en lo absoluto. Se recomienda que se incluyan los medios de verificación adecuadas con su nombre, periodicidad y área responsable de la emisión. 7. El nivel de FIN incorpora supuestos que contengan las siguientes características? a. La redacción del supuesto está expresada en términos positivos? NO b. La redacción del supuesto expresa el (los) riesgo (s) o condición (es) (externa) que enfrenta el programa y qua está (n) fuera de su control? NO c. El (los) riesgo (s)/condición (es) expuesta (s) tiene (n) una probabilidad razonable de ocurrencia? NO d. El (los) riesgo (s)/condición (es) expuesta (s) es (son) susceptible (s) de ser solventada para el cumplimiento del objetivo de FIN? NO e. Es (son) lo suficientemente preciso (s) para estar en posibilidad de ser monitoreado (s)? NO Respuesta = NO Se considera que el supuesto diseñado para el nivel de Fin, La motivación de los atletas, así como los deportes y categorías convocadas no se encuentra expresada en términos positivos, no expresa riesgos o condiciones externas fuera del control del programa y no se encuentra bien redactado. Se recomienda que se modifique por: Los atletas se encuentran motivados y se declaran listos de cara a la competencia, que permita estar expresados en términos positivos, represente una condición externa del programa, tenga probabilidad razonable de ocurrencia y sea suficientemente preciso para ser monitoreado. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 8 de 26

10 PROPÓSITO 8. La sintaxis del resumen narrativo del objetivo de PROPÓSITO es correcta y cumple con las siguientes características? a. Como sujeto de la oración, se identifica claramente la población objetivo o área de enfoque? SI b. El verbo de la oración está expresado en tiempo presente? SI c. El complemento de la oración establece claramente el resultado que se espera lograr mediante la ejecución del programa? SI Respuesta = SI Se considera que la sintaxis del resumen narrativo del nivel de Proposito, Los atletas de alto rendimiento mejoran su desempeño en las distintas competencias es correcta; se identifica el sujeto de la oración Los atletas de alto rendimiento, verbo en presente, mejoran, y el complemento estable el resultado que se espera lograr, los atletas mejoran su desempeño. 9. El objetivo de PROPÓSITO expresa claramente el efecto directo esperado sobre la población objetivo o área de enfoque y/o la aportación específica (resultado esperado) a la solución del problema identificado por el programa? Respuesta = SI El objetivo de Propósito describe claramente la aportación específica del programa o efecto esperado sobre la población objetivo; es decir, que Los atletas de alto rendimiento mejoran su desempeño. 10. Se cuenta con al menos un indicador que permita conocer lo siguiente? El cambio producido en la población objetivo, atribuible a la ejecución del programa SI El resultado que espera alcanzar el programa SI Respuesta = SI Se considera que se cuenta con indicadores que permiten conocer el cambio producido en la poblacion objetivo que es atribuible a la ejecución del programa, el indicador Tasa de variación en deportistas participantes en olimpiada nacional ; y el resultado que espera alcanzar el programa con Porcentaje de atletas de Nuevo Leon que forman parte de selecciones mexicanas para eventos internacionales. Aunque el indicador Tasa de variación en deportistas participantes en olimpiada nacional es un indicador de gestión que solamente mide el avance en el numero de deportistas participantes en olimpiada nacional, por lo que se recomienda incluir o modificar para convertirlo en un indicador estratégico que permita medir el grado de cumplimiento de objetivo, como Porcentaje de atletas que acuden a olimpiada nacional con respecto a los que aplican. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 9 de 26

11 11. El (los) indicador (es) de PROPÓSITO cumple (n) con las siguientes características? a. Las propiedades conocidas como SMART: Es (son) claro (s)? Es (son) relevante (s)? Es (son) económico (s)? Es (son) monitoreable (s)? b. Cuenta (n) con una ficha técnica que contenga los elementos que lo (s) componen: mbre Definición Tipo Dimensión Método de cálculo Unidad de medida Frecuencia de medición Línea base Metas Comportamiento del indicador Semáforos c. El método de cálculo del (los) indicador (es) de PROPÓSITO cumple con las siguientes características: Tiene especificada correctamente su fórmula de cálculo? Utiliza únicamente expresiones aritméticas y/o símbolos matemáticos que representen una relación de variables? d. El tipo del (los) indicador (es) a este nivel es preferentemente estratégico y su dimensión es de eficacia y/o eficiencia? e. La unidad de medida del (los) indicador (es) corresponde con el método de cálculo, la línea base y las metas? f. La periodicidad del (los) indicador (es) permite (n) contar con al menos una medición anual y/o semestral? Si g. El (los) indicador (es) cuenta (n) con línea base? Los indicadores definidos para el nivel de Proposito son claros, relevantes, económicos y monitoreables. Sin embargo, solamente uno Porcentaje de atletas de Nuevo Leon que forman parte de selecciones mexicanas para eventos internacionales tiene especificada correctamente su fórmula de cálculo; el resto de los indicadores tienen una unidad de medida de Tasa de variación, pero su método de cálculo es incorrecto; si se busca estimar una tasa de variación, la fórmula correcta para hacerlo es ((Numero de atletas participantes en año t / Numero de atletas participantes en año t-1) 1 ) * 100. Adicionalmente, los indicadores son de gestión, por lo que se recomienda utilizar indicadores estratégicos preferentemente estrategicos que permitan medir el [ Secretaría de Finanzas y Tesorería General del Estado ] Página 10 de 26

12 grado de cumplimiento de los objetivos y no tanto el avance; un ejemplo podría ser en el Indicador 4: (Numero de atletas participantes en ON en el año t / Numero planeado de atletas participantes en ON en el año t) * Se incorporan los medios de verificación suficientes y necesarios para obtener los datos requeridos para el cálculo del (los) indicador (es) definido (s), que permitan evaluar el objetivo de PROPÓSITO y contengan, al menos, la siguiente información? a. Se incluye el nombre o título del documento, reporte, registro o informe de la fuente de información? b. Se incluye la fecha de emisión de la fuente de información? c. Se incluye el área emisora y/o responsable de su emisión? Los medios de verificación descritos a este nivel cumplen con los elementos mínimos necesarios para la obtención del cálculo del indicador definido para evaluar el objetivo de Propósito; es decir, el nombre del registro o informe es Informe mensual de Unidad de Evaluacion Capullos, su periodicidad es Trimestral y el área responsable de su emisión es la Coordinacion de Planeacion, Evaluacion e Innovacion. Sin embargo, el Indicador 1 carece de medio de verificación, por lo que se recomienda incluir uno con su nombre, periodicidad y área responsable. 13. El nivel de PROPÓSITO incorpora supuestos que contengan las siguientes características? a. La redacción del supuesto está expresada en términos positivos? NO b. La redacción del supuesto expresa el (los) riesgo (s) o condición (es) (externa) que enfrenta el programa y qua está (n) fuera de su control? NO c. El (los) riesgo (s)/condición (es) expuesta (s) tiene (n) una probabilidad razonable de ocurrencia? NO d. El (los) riesgo (s)/condición (es) expuesta (s) es (son) susceptible (s) de ser solventada para el cumplimiento del objetivo de PROPÓSITO? NO e. Es (son) lo suficientemente preciso (s) para estar en posibilidad de ser monitoreado (s)? NO f. Se considera (n) suficiente (s) y necesario (s) para el logro del objetivo propuesto y que la ejecución del programa contribuya al logro de un objetivo de orden superior? NO Se considera que los supuestos definidos para los indicadores no están expresados en términos positivos, no representan condiciones externas al programa y que estén fuera de su control, no tienen probabilidad razonable de ocurrencia, no están bien redactados. Se recomienda incorporar supuestos que cumplan con las recomendaciones de la MML, por ejemplo, para el Indicador 3: Los atletas de Nuevo Leon son tomados en cuenta para integrar a la Selección Mexicana en su disciplina. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 11 de 26

13 COMPONENTES 14. Los COMPONENTES de la matriz de indicadores para resultados especifican claramente cuáles son los bienes y/o servicios públicos que debe producir o entregar el programa durante su ejecución para cumplir con su Propósito? Respuesta = SI El Componente diseñado en la MIR especifica claramente los servicios que debe entregar el programa durante su ejecución, para estar en posibilidad de cumplir con el Propósito definido. 15. La sintaxis del resumen narrativo de los COMPONENTES es correcta y cumple con las siguientes características? a. El sujeto de la oración se refiere a los productos terminados y/o servicios proporcionados para el logro del Propósito del programa? b. La oración contiene un verbo en pasado participio que permita relacionar los bienes y servicios producidos por el programa? Se considera que la sintaxis del resumen narrativo de este nivel, Programa para atletas de alto rendimiento implementado es correcta, toda vez que el sujeto de la oración se refiere al servicio proporcionado para lograr el propósito del programa, mientras que contiene un verbo en pasado participio que relacione los servicios producidos por el programa. 16. Se considera que los COMPONENTES diseñados, son los suficientes y necesarios para el logro del Propósito? Respuesta = Se considera que el Componente diseñado para el nivel de COMPONENTE es necesario pero no es suficiente, puesto que el desempeño de los atletas de alto rendimiento en las distintas competencias implica también cuidado médico, adecuada alimentación, entre otros. 17. Los indicadores definidos para cada COMPONENTE permiten medir si los bienes y/o servicios producidos y/o entregados por el programa a los beneficiarios se realizan en la cantidad y calidad necesaria, de acuerdo con los resultados esperados? Respuesta = SI Los indicadores definidos para cada Componente permiten evaluar el desempeño del programa en cuanto a la cantidad y calidad de los servicios proporcionados por el programa. 18. Los indicadores definidos para cada COMPONENTE cumplen con las siguientes características? a. Las propiedades conocidas como SMART: [ Secretaría de Finanzas y Tesorería General del Estado ] Página 12 de 26

14 Son claros? Son relevantes? Son económicos? Son monitoreables? b. Cuentan con una ficha técnica que contenga los elementos que los componen? mbre Definición Tipo Dimensión Método de cálculo Unidad de medida Frecuencia de medición Línea base Metas Comportamiento del indicador Semáforos c. El método de cálculo de los indicadores de cada COMPONENTE cumple con las siguientes características: Tiene especificada correctamente su fórmula de cálculo? Utiliza únicamente expresiones aritméticas y/o símbolos matemáticos que representen una relación de variables? d. Se incluye al menos un indicador de calidad que permita conocer el nivel de satisfacción de los beneficiarios? e. La unidad de medida de los indicadores corresponde con el método de cálculo, la línea base y las metas? f. La periodicidad de los indicadores permite contar con al menos una medición semestral y/o trimestral? SI g. Los indicadores cuentan con línea base? Los indicadores son claros, relevantes, económicos y monitoreables, excepto el Indicador 5 Porcentaje de efectividad en el apoyo científico del deporte. Los indicadores 1, 2 y 3 tienen especificada correctamente su fórmula de cálculo, y su unidad de medida corresponde. Sin embargo, el método de cálculo en el Indicador 4 es incorrecta, debe de decir: ((Numero de atletas clasificados según evento que corresponda en el año t / Número de atletas participantes en evento en el año t-1) 1) * 100. Mientras que el Indicador 5 no es claro en su redacción, se recomienda revisar las variables utilizadas en la fórmula de cálculo. Se incluye el indicador 3, un indicador de calidad, Porcentaje de deportes olímpicos con instalaciones estatales que cumplan con medidas oficiales. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 13 de 26

15 19. Se incorporan los medios de verificación suficientes y necesarios para obtener los datos requeridos para el cálculo de los indicadores definidos, que permitan evaluar el objetivo de cada COMPONENTE y contengan, al menos, la siguiente información? a. Se incluye el nombre o título del documento, reporte, registro o informe de la fuente de información? SI b. Se incluye la fecha de emisión de la fuente de información? SI c. Se incluye el área emisora y/o responsable de su emisión? SI Los medios de verificación descritos a este nivel cumplen con los elementos mínimos necesarios para la obtención del cálculo de los indicadores definidos para evaluar los Componentes; es decir, los nombres de los registros o informes son Informe mensual de Unidad de Evaluacion Capullos, la periodicidad es trimestral y el área responsable es la Coordinacion de Planeacion, Evalucion e Innovacion. 20. El nivel de COMPONENTES incorpora supuestos que contengan las siguientes características? a. La redacción del supuesto está expresada en términos positivos? NO b. La redacción del supuesto expresa el (los) riesgo (s) o condición (es) (externa) que enfrenta el programa y qua está (n) fuera de su control? NO c. El (los) riesgo (s)/condición (es) expuesta (s) tiene (n) una probabilidad razonable de ocurrencia? NO d. El (los) riesgo (s)/condición (es) expuesta (s) es (son) susceptible (s) de ser solventada para el cumplimiento del objetivo? NO e. Es (son) lo suficientemente preciso (s) para estar en posibilidad de ser monitoreado (s)? NO f. De cumplirse el supuesto definido a este nivel, es posible alcanzar el Propósito? NO Respuesta = NO Se considera que los supuestos incorporados en el nivel de COMPONENTE no están expresados en términos positivos, no expresan condiciones externas que enfrente el programa y que están fuera de su control, ni son lo suficientemente precisos para estar en posibilidad de ser monitoreados. En general, los supuestos están mal redactados y no cumplen con las recomendaciones sugeridas por la MML. ACTIVIDADES 21. El resumen narrativo de las ACTIVIDADES de la matriz de indicadores para resultados contiene las siguientes características? a. Detalla claramente todas las acciones necesarias para producir los bienes y/o servicios (componentes) que debe producir o entregar el programa? [ Secretaría de Finanzas y Tesorería General del Estado ] Página 14 de 26

16 b. Las actividades están agrupadas o estructuradas de manera que permitan identificar a que componente corresponden? Las Actividades descritas están agrupadas de manera que pueden ser identificadas al componente que corresponden y el resumen narrativo de cada una de ellas describe claramente las acciones necesarias para producir cada uno de los componentes (bienes y/o servicios que el programa proporciona). 22. La sintaxis del resumen narrativo de las ACTIVIDADES es correcta y cumple con la siguiente característica? a. El inicio de la oración contiene un sustantivo derivado de un verbo (acción), acompañado de un complemento, que permita relacionarse con los componentes del programa? Respuesta = SI El inicio de la oración del resumen narrativo de las Actividades, en general, contiene un sustantivo derivado de un verbo (detección, proceso, control, organizacion) y el complemento de la oración corresponde a los elementos necesarios para la producción de los bienes y/o servicios que se relacionan con cada componente. Sin embargo, la sintaxis de la Actividad 5 no sigue las recomendaciones de la MML, se recomienda modificar por: Apoyo a eventos deportivos nacionales e internacionales. 23. Se considera que las ACTIVIDADES descritas son las suficientes y necesarias para producir cada uno de los Componentes propuestos. Respuesta = SI Se considera que las actividades descritas en la MIR Cultura Física y Deporte de Alto Rendimiento", representan las tareas (acciones) suficientes y necesarias para producir cada uno de los Componentes diseñados. 24. Los indicadores definidos para cada ACTIVIDAD permiten medir el esfuerzo administrativo aplicado a las actividades principales y a los insumos para obtener los bienes y servicios? Respuesta = SI Los indicadores definidos para el nivel de ACTIVIDAD en general permiten medir el esfuerzo administrativo aplicado para obtener los bienes y servicios del programa; hay algunos indicadores que relacionan el avance a través de tasas de variación, se recomienda modificarlos para que puedan indicar el esfuerzo administrativo aplicado en obtener los bienes y servicios del programa. 25. Los indicadores definidos para cada ACTIVIDAD cuentan con las siguientes características? [ Secretaría de Finanzas y Tesorería General del Estado ] Página 15 de 26

17 a. Las propiedades conocidas como SMART: Son claros? Son relevantes? SÍ Son económicos? Son monitoreables? b. Una ficha técnica que contenga los elementos que los componen: mbre Si Definición Tipo Dimensión Método de cálculo Unidad de medida Frecuencia de medición Línea base Metas Comportamiento del indicador Semáforos c. El método de cálculo de los indicadores de cada ACTIVIDAD cumple con las siguientes características: Tiene especificada correctamente su fórmula de cálculo? Utiliza únicamente expresiones aritméticas y/o símbolos matemáticos que representen una relación de variables? d. La unidad de medida de los indicadores corresponde con el método de cálculo, la línea base y las metas? e. La periodicidad de los indicadores permite contar con al menos una medición trimestral y/o semestral? f. Los indicadores cuentan con línea base? Los indicadores definidos para el nivel de ACTIVIDAD son por lo general claros, relevantes, económicos y monitoreables; tienen especificada correctamente su fórmula de cálculo y la unidad de medida de los indicadores corresponde con el método de cálculo. Sin embargo, los Indicadores 2,3,5,6 y 8 de la Actividad 3 no tienen correcto su método de cálculo, pues utilizan una tasa de variación y la fórmula debe ser como la siguiente: (( Numero de participantes del año t / Numero de participantes en el año t-1) 1) *100. Misma situación sucede con el indicador de la Actividad Se incorporan los medios de verificación suficientes y necesarios para obtener los datos requeridos para el cálculo de los indicadores definidos, que permitan evaluar el objetivo de cada ACTIVIDAD y contengan, al menos, la siguiente información? a. Se incluye el nombre o título del documento, reporte, registro o informe de la fuente de información? SI [ Secretaría de Finanzas y Tesorería General del Estado ] Página 16 de 26

18 b. Se incluye la fecha de emisión de la fuente de información? SI c. Se incluye el área emisora y/o responsable de su emisión? SI Respuesta = SI Los medios de verificación descritos a este nivel cumplen con los elementos mínimos necesarios para la obtención del cálculo de los indicadores definidos para evaluar las Actividades, es decir, se indica el nombre o título de la fuente de información es Informe mensual de Unidad de Evaluacion Capullos, la frecuencia de emisión es Trimestral y el área responsable de la emisión es la Coordinación de Planeación, Evaluación e Innovación. 27. El nivel de ACTIVIDAD incorpora supuestos que contengan las siguientes características? a. La redacción del supuesto está expresada en términos positivos? NO b. La redacción del supuesto expresa el (los) riesgo (s) o condición (es) (externa) que enfrenta el programa y qua está (n) fuera de su control? NO c. El (los) riesgo (s)/condición (es) expuesta (s) tiene (n) una probabilidad razonable de ocurrencia? NO d. El (los) riesgo (s)/condición (es) expuesta (s) es (son) susceptible (s) de ser solventada para el cumplimiento del objetivo? NO e. Es (son) lo suficientemente preciso (s) para estar en posibilidad de ser monitoreado (s)? NO f. De cumplirse el supuesto definido a este nivel, es posible el logro de cada COMPONENTE? NO Respuesta = NO Los supuestos considerados para el nivel de Actividad no cumplen con las recomendaciones sugeridas por la MML; no son claros, relevantes, económicos ni monitoreables; no están bien redactados. Debe de modificarse por supuestos redactados en términos positivos, que expresen condiciones externas, que sean lo suficientemente precisos para ser monitoreados y que tengan probabilidad razonable de ocurrencia. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 17 de 26

19 D. Evaluación de Indicadores por nivel de la MIR Tabla 1. Evaluación de Indicadores por Nivel (parte 1) mbre del Programa: Cultura Física y Deporte de Alto Rendimiento Dependencia/Entidad: Instituto Estatal de Cultura Física y Deporte Unidad Responsable: Instituto Estatal de Cultura Física y Deporte Nivel de Objetivo Fin Propósito mbre del Indicador Lugar obtenido en la olimpiada nacional Tasa de variacion de eficiencia por deporte Olimpiada Nacional Tasa de variacion en numero de atletas participantes en eventos internacionales Porcentaje de atletas de Nuevo Leon que forman parte de selecciones mexicanas para eventos internacionales Tasa de variacion en deportistas participantes en Olimpiada Nacional Método de Cálculo Definición Claro Relevante Económico Monitoreable Adecuado Tipo Unidad de Medida NO NO NO NO SI SI NO Gestión NO NO NO NO NO NO NO NO Gestión NO NO SI SI SI SI SI SI Gestión NO NO SI SI SI SI SI SI Gestión Nivel de Objetivo Componente 1 mbre del Indicador Porcentaje de entrenadores calificados para el alto rendimiento Porcentaje de atletas de alto rendimiento beneficiarios del programa de becas Porcentaje de deportes olimpicos con instalaciones estatales que cumplan con medidas oficiales Tasa de variacion de atletas clasificados a eventos de ciclo olimpico según corresponda en el año Porcentaje de efectividad en el apoyo cientifico del deporte Tabla 1. Evaluación de Indicadores por Nivel (parte 2) Método de Definición Claro Relevante Económico Monitoreable Adecuado Cálculo Tipo Unidad de Medida NO NO SI SI SI SI SI Gestión NO NO NO NO NO NO NO NO Gestión NO [ Secretaría de Finanzas y Tesorería General del Estado ] Página 18 de 26

20 [ Secretaría de Finanzas y Tesorería General del Estado ] Página 19 de 26

21 Nivel de Objetivo Actividad 1.1 Actividad 1.2 Actividad 1.3 Actividad 1.4 Actividad 1.5 mbre del Indicador Porcentaje de atletas detectados en la Olimpiada Nuevo Leon en relacion a la cantidad de atletas que integran preselecciones estatales Porcentaje de atletas detectados en los diferentes deportes en relacion a los atletas que integran pre selecciones estatales Porcentaje de atletas detectados en el día indetalento en relacion a los atletas que inegran preselecciones estatales Porcentaje de planes de entrenamiento documentados en relaciones al numero de deportes de Olimpiada Nacional Porcentaje de participacion de deportes en las competencias clasificatorias y fundamentales en relacion a las establecidas en el calendario oficial Porcentaje de cumplimiento de la participacion de los deportes en campamentos, concentraciones y fogueos en relacion a lo establecido Porcentaje de atletas que integran preselecciones estatales en relacion a los participantes en selectivos estatales Tasa de variacion de atletas participantes en olimpiada regional en relacion al año anterior Tasa de variacion de deportes participantes en olimpiada regional en relacion al año anterior Porcentaje de atletas clasificados a olimpiada nacional en relaciones a los participantes en olimpiada regional Tasa de variacion de puntos obtenidos en olimpiada nacional en relacion al año anterior Tasa de variacion de medallas obtenidas en olimpiada nacional en relacion al año anterior Porcentaje de medallistas de oro en relacion al total de atletas participantes en olimpiada nacional Tasa de variacion de atletas medallistas de oro en relacion al año anterior Tasa de variacion de deportistas participantes nacionales y/o extranjeros Porcentaje de eventos apoyados en relacion al numero de eventos deportivos en los que se participó Tabla 1. Evaluación de Indicadores por Nivel (parte 3) Método de Definición Claro Relevante Económico Monitoreable Adecuado Cálculo [ Secretaría de Finanzas y Tesorería General del Estado ] Página 20 de 26 Tipo Unidad de Medida NO SI SI SI SI SI SI Gestión NO NO SI SI SI SI SI SI Gestión NO NO SI SI SI SI SI SI Gestión NO NO SI SI SI SI SI SI Gestión NO NO SI SI SI SI SI SI Gestión NO NO SI SI SI SI SI SI Gestión NO

22 Recomendaciones: Definir un indicador de tipo estratégico para el nivel de Fin de manera que se pueda medir el grado de cumplimiento de los objetivos del programa, preferentemente de eficacia o eficiencia. Revisar el método de calculo de aquellos indicadores que tengan como unidad de medida tasa de variación, puesto que en todos los indicadores la fórmula no es correcta. Revisar el indicador 1 del nivel de Propósito, Tasa de variación de eficiencia por deporte Olimpiada Nacional, puesto que no se especifica a que se refiere con eficiencia. Misma situación debe atenderse con el indicador 5 del nivel de Componente, Porcentaje de efectividad en el apoyo científico del deporte. Revisar y modificar la sintaxis del resumen narrativo de la Actividad 1.5 Eventos deportivos apoyados nacionales e internacionales, se sugiere modificarlo por Apoyos en eventos deportivos nacionales e internacionales. Agregar medios de verificación con su nombre, periodicidad y área responsable de la emisión a los indicadores del nivel de Fin y al indicador 1 del nivel de Propósito. Modificar los supuestos de todos los niveles de manera que estén expresados en términos positivos y cumplan con las recomendaciones sugeridas por la MML. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 21 de 26

23 IV. Fortalezas, Retos y Recomendaciones FORTALEZAS OPORTUNIDADES * Medios de verificacion * Sintaxis resumen narrativo actividad 1.5 * Indicadores suficientes y necesarios en nivel de * Definir "eficiencia" en indicadores de proposito y Actividad componente * Definir medios de verificacion para nivel de Fin y Proposito DEBILIDADES AMENAZAS * Indicador tipo estrategico para el nivel de Fin * Supuestos en todos los niveles * Metodo de cálculo de indicadores que tengan "tasa de variacion" como unidad de medida Fortalezas. Las actividades descritas son suficientes y necesarias para producir los bienes y servicios que otorga el Programa y estos (Componentes) son suficientes y necesarios para el logro del Propósito. Oportunidades Revisar y modificar la sintaxis del resumen narrativo de la Actividad 1.5 de manera que se cumpla con las recomendaciones realizadas por la Metodología de Marco Lógico. Los indicadores 1 del nivel de Propósito y 5 del nivel de Componente incluyen la palabra eficiencia, pero no se especifica a que se refiere y las variables utilizadas en el método de cálculo no dan proveen una explicación. Incluir medios de verificación con su nombre, periodicidad y área responsable de su emisión en los niveles de Fin y Propósito. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 22 de 26

24 Debilidades Definir un indicador estratégico preferentemente de eficacia o eficiencia para el nivel Fin que permita medir el grado de cumplimiento de los objetivos del programa y los esfuerzos administrativos por lograr el cumplimiento de ese objetivo. Se incluyen indicadores que tienen como unidad de medida tasa de variación ; sin embargo, la fórmula utilizada en el método de cálculo no es correcta, por lo que se recomienda revisar y modificar para que efectivamente pueda medirse una tasa de variación porcentual. Amenazas. Se deben incluir supuestos en todos los niveles y todos sus indicadores que cumplan con las recomendaciones sugeridas por la MML. Los supuestos incluidos en la MIR no están expresados en términos positivos, no expresan condiciones externas al programa ni son lo suficientemente precisos para ser monitoreables. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 23 de 26

25 V. Conclusiones En términos generales, la MIR del programa Cultura Física y Deporte de Alto Rendimiento que actualmente implementa el Instituto Estatal de Cultura Física y Deporte está estructurada bajo la metodología de marco lógico que permite una lógica vertical y horizontal, lo que deriva en una relación causal entre los distintos niveles de la misma. obstante lo anterior, se recomienda enriquecer la matriz, principalmente, mediante la redefinición de los siguientes aspectos: 1) Especificar los supuestos necesarios que puedan comprometer el cumplimiento de los objetivos del programa y 2) revisión del método de cálculo de aquellos indicadores que utilicen tasa de variación como su unidad de medida. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 24 de 26

26 VI. Responsabilidades y compromisos La presente Evaluación de la MIR Cultura Física y Deporte de Alto Rendimiento estará sujeta a la revisión y análisis de por parte de la unidad coordinadora de la evaluación y por la unidad administrativa que opera el programa, así como de la concertación de posibles modificaciones, basadas en información soporte que fundamente las mismas. Por lo anterior, la Unidad Responsable deberá revisar el informe borrador que representa este informe y entregar oportunamente los comentarios que de la revisión resulten, a fin de que sean incorporadas las observaciones pertinentes en la versión final del informe. mbre del programa presupuestario: mbre de la MIR: Área Responsable y/o ejecutora: Fecha: Cultura Física y Deporte de Alto Rendimiento Matriz de alto rendimiento Instituto Estatal de Cultura Física y Deporte mbre Cargo Firma - cargo- Instituto Estatal de Cultura Física y Deporte Lic. Eduardo Sánchez Rosete Lic. Adriana Sánchez Coordinador de la Evaluación Evaluación Socioeconómica de Programas y Proyectos, S.C. Evaluador Evaluación Socioeconómica de Programas y Proyectos, S.C. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 25 de 26