EVALUACIÓN DE LA MATRIZ DE INDICADORES PARA RESULTADOS DEL PROGRAMA PRESUPUESTARIO PROTECCIÓN CIVIL DIRECCIÓN DE PROTECCIÓN CIVIL

Transcripción

1 EVALUACIÓN DE LA MATRIZ DE INDICADORES PARA RESULTADOS DEL PROGRAMA PRESUPUESTARIO PROTECCIÓN CIVIL DIRECCIÓN DE PROTECCIÓN CIVIL Evaluación Socioeconómica de Programas y Proyectos, S.C.

2 Contenido I. Introducción...2 II. Evaluación...2 III. Temas de Evaluación...2 A. Características del programa... 2 B. Vinculación y Contribución del Programa... 6 C. Evaluación y Análisis de la Matriz de Indicadores para Resultados (MIR)... 8 FIN...8 PROPÓSITO COMPONENTES ACTIVIDADES D. Evaluación de Indicadores por nivel de la MIR IV. Fortalezas, Retos y Recomendaciones V. Conclusiones VI. Responsabilidades y compromisos [ Secretaría de Finanzas y Tesorería General del Estado ] Página 1 de 27

3 I. Introducción Como parte del proceso que el Gobierno del Estado de Nuevo León ha llevado a cabo para la implementación y consolidación de un Presupuesto basado en Resultados (PbR) y un Sistema de Evaluación del Desempeño (SED) y, en cumplimiento a la estrategia elaborada para tal fin, se realizó la Evaluación de la Matriz de Indicadores para Resultados (MIR) Protección Civil. Ello, con el propósito de identificar si dicha matriz está construida con base en la Metodología de Marco Lógico (MML), cumple con los elementos que deben conformarla y con base en este análisis, emitir las recomendaciones que se consideren pertinentes, que permitan mejorar el proceso de elaboración, diseño y contenido de la misma. II. Evaluación El análisis y evaluación de la MIR comprende la vinculación del programa presupuestario Protección Civil con los objetivos de planeación estatal y programas sectoriales que se deriven de éste, la evaluación de la lógica vertical y horizontal de la misma, así como de los indicadores que miden el desempeño que corresponde a cada uno de los niveles que la conforman. Las preguntas que conforman esta Evaluación son respondidas a través de un sistema binario (1=Cumple; 0= Cumple), de acuerdo a la importancia de cada uno de los elementos de la MIR, cuya ponderación se presenta de manera anexa. III. Temas de Evaluación A. Características del programa El Programa Protección Civil es llevado a cabo por la Dirección de Protección Civil, la cual depende de la Secretaría General de Gobierno y que, de acuerdo con la Ley de Protección Civil para el Estado de Nuevo León, entre sus principales funciones se encuentran: Conducir y operar el Sistema Estatal de Protección Civil; así como fungir como órgano de consulta y de coordinación de acciones del Gobierno del Estado para integrar, concertar e inducir las actividades de los diversos participantes e interesados en la protección civil, con la finalidad de garantizar el objetivo fundamental del Sistema Estatal de Protección Civil; promover el estudio, la investigación y la capacitación en materia de protección civil; elaborar, publicar y distribuir material informativo de protección civil a efecto de difundirlo con fines [ Secretaría de Finanzas y Tesorería General del Estado ] Página 2 de 27

4 de prevención y orientación; elaborar el inventario de recursos humanos y materiales disponibles en la Entidad para hacer frente a un riesgo, alto riesgo, emergencia o desastre, vigilar su existencia y coordinar su manejo; organizar y llevar a cabo acciones de capacitación para la sociedad en materia de protección civil; entre otras. El objetivo central del programa es que la población de Nuevo León cuente con servicios eficientes y oportunos de protección civil ante la presencia de cualquier contingencia, lo cual se pretende lograr por medio de: Capacitación a habitantes del Estado Supervisiones a inmuebles en materia de protección civil Atención en servicios de emergencia. Alineación del Programa: De conformidad con las funciones atribuibles a la Dirección de Protección Civil, el programa Protección Civil se encuentra alineado con el eje rector del PED Seguridad Integral, específicamente en el objetivo estratégico 8.3.9: Protección civil eficiente y oportuna. Las estrategias asociadas a este objetivo vinculadas al programa son las siguientes: 1. Fortalecer la cultura de la protección civil en los nuevoleoneses. 2. Actualizar el equipo y mejorar las estrategias para atender los riesgos naturales y siniestros. Asimismo y con base en los bienes y servicios relacionados con capacitación, supervisiones y atención a emergencias en materia de protección civil, que el programa proporciona a la ciudadanía, las líneas de acción del PED a las que se encuentra directamente vinculado, son las siguientes: 1.1. Organizar y capacitar a la sociedad civil para enfrentar y prevenir siniestros y riesgos naturales, mediante programas de difusión y cursos de entrenamiento Establecer protocolos que disminuyan los tiempos de respuesta; 2.1. Dotar a las áreas de gobierno responsables de la protección civil, con equipo moderno y recursos para la atención oportuna y eficiente de los riesgos Mantener un programa continuo de capacitación para el personal de protección civil y participar con las organizaciones de la sociedad civil dedicadas a esta labor Celebrar convenios con los municipios para establecer protocolos de actuación ante eventualidades Mantener actualizados la base de datos y los mapas de riesgos, en coordinación con los municipios. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 3 de 27

5 Población: El programa define los siguientes tipos de población: Población potencial: La población del Estado de Nuevo León Población objetivo: La población de Nuevo León que habita o se desenvuelve habitualmente en zonas de riesgo ante posibles contingencias naturales o antropogénicas, inclusive las personas que constituyen la afluencia regular de espacios e instituciones como aquellos de tipo laboral, educativo, comercial, cultural o religioso, entre otros, que también podrían estar sujetos a distintos tipos de emergencias en materia de protección civil Población atendida: La población descrita en el punto anterior que se beneficie con las acciones ofrecidas por la Dirección en materia de capacitación, supervisiones a los inmuebles en que se desenvuelven dichas personas y atención en emergencias. Focalización: Los segmentos de la población que se pueden beneficiar a través del programa Protección Civil, han sido identificados mediante estrategias de focalización, a fin de dirigir las acciones hacia grupos de población que presentan características específicas o que se encuentran habitando en zonas delimitadas territorialmente. Los tipos de focalización aplicables del programa Protección Civil son: Procesos de Autofocalización, que están relacionados con programas abiertos a toda la población, aun cuando estén diseñados para que su aceptación sea mayor entre los más necesitados; ya que el programa puede brindar apoyo a aquellos miembros de la comunidad que se acerquen a las autoridades para manifestar y tomar acción con respecto a focos de riesgo que allí detecten; así como Focalización Demográfica, cuya elegibilidad está determinada por el género, la edad y otras características demográficas y la Focalización Comunitaria, en el que el líder o un grupo de miembros de una comunidad deciden qué miembros de esta podrían recibir los beneficios. Análisis del Problema Causas La principal situación que se identifica, dentro del PED, como origen de la problemática detectada mediante el programa, es que si bien Nuevo León se destaca por la eficacia que en diversas contingencias han mostrado sus instancias de protección civil, el crecimiento de la población, [ Secretaría de Finanzas y Tesorería General del Estado ] Página 4 de 27

6 especialmente del área metropolitana, plantea un mayor volumen de riesgos y la necesidad de actualizar constantemente el atlas correspondiente. Tanto lo anterior, como los avances en las técnicas y los medios usados en los servicios de protección civil, demandan la capacitación permanente del personal y la adecuación de las instalaciones y el equipamiento. También, como resultado del aumento poblacional, se encuentra el incremento en la cantidad de inmuebles que deben de ser supervisados en materia de protección civil. Esto constituye una causa inmediata del problema central que se pretende resolver a través del programa, a la cual, se suman las siguientes: La falta de cobertura, en cuanto a la capacitación a la población en materia de protección civil y, La dificultad de brindar atención oportuna y eficiente ante emergencias. Efectos La prevalencia de una situación caracterizada por la vulnerabilidad ante posibles desastres naturales o antropogénicos, tiene las siguientes consecuencias inmediatas: Un descontento generalizado con respecto a los servicios que proporciona el gobierno del Estado, en virtud del reconocimiento que se tiene de: asegurar la capacidad del Estado para salvaguardar la integridad de la población, mediante acciones para prevenir contingencias que puedan poner en riesgo a la ciudadanía y estrategias para auxiliar a la población del estado que así lo requiera, con plena confianza en la capacitación y el profesionalismo del personal de protección civil, así como el uso de equipos y materiales con nuevas tecnologías, y el empleo de procesos de calidad y mejora continua, para reducir los riesgos de la población y atenderla en situaciones de emergencia 1. La pérdida de activos esenciales para la supervivencia de las personas. Una posible desaceleración económica de las zonas afectadas, así como sus áreas de influencia, causada por daños a la población o a la tierra, los medios o los diversos insumos de la producción. Las consecuencias recién enlistadas, influyen directamente en el bienestar de las personas, ya que representan una merma o disminución de los diversos activos que, de acuerdo con el enfoque multidimensional del desarrollo económico que se utiliza en la actualidad, conforman el conjunto de capacidades que permiten al ser humano desenvolverse conforme a su libre elección y así realizarse como personas. 1 Plan Sectorial de Gobernación y Participación Ciudadana. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 5 de 27

7 B. Vinculación y Contribución del Programa 1. El Programa está alineado y/o vinculado con algún objetivo del eje de política pública del PED? El Programa Presupuestario Protección Civil se encuentra alineado al Eje de política pública del PED Seguridad Integral, a su objetivo estratégico 3.9 Protección civil eficiente y oportuna. Estrategias asociadas al Programa: Mejorar los mecanismos para una protección civil eficiente y oportuna, Actualizar el equipo y mejorar las estrategias para atender los riesgos naturales y siniestros Líneas de acción: Fortalecer la cultura de la protección civil en los nuevoleoneses Organizar y capacitar a la sociedad civil para enfrentar y prevenir siniestros naturales mediante programas de difusión y cursos de entrenamiento. Dotar a las áreas de gobierno responsables de la protección civil, con equipo moderno y recursos para la atención oportuna y eficiente de los riesgos Mantener un programa continuo de capacitación para el personal de protección civil y participar con las organizaciones de la sociedad civil dedicadas a esta labor. Celebrar convenios con los municipios para establecer protocolos de actuación ante eventualidades. Mantener actualizados la base de datos y los mapas de riesgo, en coordinación con los municipios. 2. El Programa está alineado y/o vinculado con algún objetivo sectorial o especial? El Programa Presupuestario Protección Civil se encuentra alineado al Programa Sectorial Gobernación y participación ciudadana, en su objetivo estratégico: Fortalecer y desarrollar programas que mejoren la calidad de los servicios que se ofrecen al ciudadano, proporcionando certeza jurídica y atención legal a los más necesitados. Estrategias: Organizar y capacitar a la sociedad civil para enfrentar y prevenir siniestros y riesgos naturales. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 6 de 27

8 Establecer protocolos que disminuyan los tiempos de respuesta. Dotar a las áreas de gobierno responsables de la protección civil, con equipo moderno y recursos para la atención oportuna y eficiente de los riesgos. Líneas de Acción: Realizar cursos de capacitación a personal de empresas y comunidad. Impulsar la cultura de la protección civil en planteles escolares de todos los niveles académicos. Activar los Comités de Contingencias integrados por dependencias federales, estatales y municipales, en atención a los fenómenos perturbadores. Difundir campañas de prevención a través de distintos medios por los cuales se pueda llegar a la comunidad. Fortalecer la coordinación con instituciones privadas y públicas como el Consejo Nacional Forestal (CONAFOR), la Secretaría de la Defensa Nacional (SEDENA), cuerpos de bomberos y las Direcciones de Protección Civil municipales, a fin de optimizar los tiempos de respuesta. Acordar convenios de cooperación con los estados de la región y los municipios del estado en situaciones de contingencia que afectan a la comunidad. Establecer convenios con universidades para proyectos de investigación de riesgos en el estado. Mantener actualizada la base de datos y los mapas de riesgos. Distribución de equipo adecuado para la atención de riesgo a los comités municipales de protección civil en sus zonas, de acuerdo a las características de los fenómenos perturbadores. Realizar convenios de apoyos y equipamiento en el ámbito federal que contribuyan a una mejor cobertura en la entidad. Mantener un programa continuo de capacitación para el personal de protección civil y participar con las organizaciones de la sociedad civil dedicadas a esta labor. Efectuar congresos y cursos de Atención de Emergencias para el personal de las diferentes dependencias estatales y municipales. Fortalecer la especialización en la atención de los fenómenos perturbadores a fin de contar con personal altamente capacitado y certificado [ Secretaría de Finanzas y Tesorería General del Estado ] Página 7 de 27

9 C. Evaluación y Análisis de la Matriz de Indicadores para Resultados (MIR) En esta sección se evaluará y analizará si la MIR del programa presupuestario Protección Civil está construida a partir de la Metodología de Marco Lógico, si está relacionada y diseñada de acuerdo al problema y/o necesidad que se espera resolver con la ejecución del programa (Fin y Propósito), así como su lógica interna; es decir, la relación de causa efecto que existe entre los diferentes niveles de la matriz, la definición de objetivos, indicadores y metas y la evaluación de los resultados esperados en cada nivel de la misma. Lógica Vertical y Horizontal de la MIR FIN 3. La sintaxis del resumen narrativo del objetivo de FIN es correcta y cumple con las siguientes características? a. Se identifica claramente la contribución del programa al logro de un objetivo estratégico de orden superior con el que está alineado, ya sea del Programa Estatal de Desarrollo (PED), Sectorial o especial? b. El resumen narrativo utiliza las palabras mediante / a través para hacer referencia a la solución del problema? Sintaxis: Contribuir a (objetivo superior) mediante (complemento = Propósito u objetivo central del programa) c. El resumen narrativo especifica cómo se logrará la solución al problema? Respuesta = NO Se considera que, aún cuando el resumen narrativo del objetivo de Fin Contribuir fortalecer la cultura de la protección civil en los nuevoleoneses especifica cómo se logrará la solución al problema; sin embargo, no identifica el objetivo estratégico de orden superior al cual contribuye el programa; por lo que se recomienda redactar el objetivo, conforme a la sintaxis establecida a este nivel: Contribuir a (Objetivo estratégico de orden superior al cual se vincula el programa) mediante (objetivo central del programa o solución del problema), por ejemplo: Contribuir a una protección civil eficiente y oportuna mediante el fortalecimiento de la cultura de protección civil en los nuevoleoneses. 4. El (los) indicador (es) de Fin permite (n) conocer lo siguiente: a. Dar seguimiento de los avances y evaluar si el programa contribuye al logro de un objetivo estratégico de orden superior con el que esté alineado (Objetivo de la Dependencia, del Sector o del PED)? b. Identificar y medir el impacto final que tendrá el programa? [ Secretaría de Finanzas y Tesorería General del Estado ] Página 8 de 27

10 Respuesta = NO Se considera que el indicador definido a nivel de Fin Porcentaje de acciones de prevención es un indicador de gestión que solo relaciona las acciones de prevención realizadas, respecto de las acciones de prevención programadas (realizadas/programadas), más no permite evaluar la contribución del programa al objetivo estratégico al cual se encuentra vinculado, ni el impacto final que tendrá el programa; por lo que se recomienda incluir un indicador estratégico, preferentemente de eficacia o eficiencia, mediante el cual, se pueda dar seguimiento de los avances logrados y/o evolución del impacto, con la ejecución del programa. 5. El (los) indicador (es) de Fin cumple (n) con las siguientes características? a. Las propiedades conocidas como SMART: Es (son) claro (s)? Es (son) relevante (s)? Es (son) económico (s)? Es (son) monitoreable (s)? b. Cuenta (n) con una ficha técnica que contenga los elementos que lo (s) componen: mbre Definición Tipo Dimensión Método de cálculo Unidad de medida Frecuencia de medición Línea base Metas Comportamiento del indicador Semáforos c. El método de cálculo del (los) indicador (es) de FIN cumple con las siguientes características: Tiene especificada correctamente su fórmula de cálculo? Utiliza únicamente expresiones aritméticas y/o símbolos matemáticos que representen una relación de variables? d. El tipo del (los) indicador (es) a este nivel es preferentemente estratégico y su dimensión es de eficacia? e. La unidad de medida del (los) indicador (es) corresponde con el método de cálculo, la línea base y las metas? f. La periodicidad del (los) indicador (es) permite (n) contar con al menos una medición sexenal y/o anual? g. El (los) indicador (es) cuenta (n) con línea base? [ Secretaría de Finanzas y Tesorería General del Estado ] Página 9 de 27

11 El indicador definido para evaluar el objetivo de Fin es claro, económico y monitoreable; sin embargo no es relevante, ya que, aún cuando su método de cálculo está correctamente formulado y utiliza expresiones aritméticas que representan una relación de variables, como se mencionó en la respuesta a la pregunta anterior (4), es un indicador de gestión que no permite medir la contribución del programa al objetivo estratégico, ni el impacto final que de éste se espera, además que, a este nivel se recomienda un indicador de tipo estratégico. Adicionalmente, se requiere establecer la información cuantitativa del mismo (línea base, metas, comportamiento del indicador, semáforos, etc.), con objeto de evaluar la evolución del impacto del programa. 6. Con la intención de evaluar el objetivo de FIN, se incorporan los medios de verificación que contengan la siguiente información, que permita obtener los datos requeridos para el cálculo del (los) indicador (es) definido (s)? a. Se incluye el nombre o título del documento, reporte, registro o informe de la fuente de información? b. Se incluye la fecha de emisión de la fuente de información? c. Se incluye el área emisora y/o responsable de su emisión? Los medios de verificación descritos a este nivel cumplen con los elementos mínimos necesarios para la obtención del cálculo del indicador definido para evaluar el objetivo de Fin; es decir, el nombre del registro o informe es Informe Mensual de Actividades, su emisión es mensual y el área emisora y responsable de la información es la Dirección de Protección Civil de Nuevo León. 7. El nivel de FIN incorpora supuestos que contengan las siguientes características? a. La redacción del supuesto está expresada en términos positivos? b. La redacción del supuesto expresa el (los) riesgo (s) o condición (es) (externa) que enfrenta el programa y qua está (n) fuera de su control? c. El (los) riesgo (s)/condición (es) expuesta (s) tiene (n) una probabilidad razonable de ocurrencia? d. El (los) riesgo (s)/condición (es) expuesta (s) es (son) susceptible (s) de ser solventada para el cumplimiento del objetivo de FIN? e. Es (son) lo suficientemente preciso (s) para estar en posibilidad de ser monitoreado (s)? Se considera que el supuesto diseñado a nivel de Fin La población de Nuevo León cuenta con una sólida cultura de la protección civil está redactado en términos positivos, expresa una condición externa (fuera del control del programa), tiene una probabilidad de ocurrencia, es susceptible de ser solventada y es lo suficientemente preciso para ser monitoreado. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 10 de 27

12 PROPÓSITO 8. La sintaxis del resumen narrativo del objetivo de PROPÓSITO es correcta y cumple con las siguientes características? a. Como sujeto de la oración, se identifica claramente la población objetivo o área de enfoque? b. El verbo de la oración está expresado en tiempo presente? c. El complemento de la oración establece claramente el resultado que se espera lograr mediante la ejecución del programa? Se considera que el resumen narrativo de Propósito cumple con la sintaxis establecida a este nivel, identifica claramente la población objetivo que pretende impactar el programa La población de Nuevo León y establece el resultado que se espera alcanzar durante su ejecución cuenta con servicios eficientes y oportunos de protección civil ante la presencia de cualquier contingencia. 9. El objetivo de PROPÓSITO expresa claramente el efecto directo esperado sobre la población objetivo o área de enfoque y/o la aportación específica (resultado esperado) a la solución del problema identificado por el programa? El objetivo de Propósito describe claramente la aportación específica del programa o efecto esperado sobre la población objetivo; es decir, que La población de Nuevo León cuente con servicios eficientes y oportunos de protección civil ante la presencia de cualquier contingencia. 10. Se cuenta con al menos un indicador que permita conocer lo siguiente? El cambio producido en la población objetivo, atribuible a la ejecución del programa El resultado que espera alcanzar el programa Se considera que el indicador definido a nivel de Propósito Porcentaje de servicios brindados permite evaluar los avances del programa respecto del resultado esperado. 11. El (los) indicador (es) de PROPÓSITO cumple (n) con las siguientes características? a. Las propiedades conocidas como SMART: Es (son) claro (s)? Es (son) relevante (s)? Es (son) económico (s)? Es (son) monitoreable (s)? [ Secretaría de Finanzas y Tesorería General del Estado ] Página 11 de 27

13 b. Cuenta (n) con una ficha técnica que contenga los elementos que lo (s) componen: mbre Definición Tipo Dimensión Método de cálculo Unidad de medida Frecuencia de medición Línea base Metas Comportamiento del indicador Semáforos c. El método de cálculo del (los) indicador (es) de PROPÓSITO cumple con las siguientes características: Tiene especificada correctamente su fórmula de cálculo? Utiliza únicamente expresiones aritméticas y/o símbolos matemáticos que representen una relación de variables? d. El tipo del (los) indicador (es) a este nivel es preferentemente estratégico y su dimensión es de eficacia y/o eficiencia? e. La unidad de medida del (los) indicador (es) corresponde con el método de cálculo, la línea base y las metas? f. La periodicidad del (los) indicador (es) permite (n) contar con al menos una medición anual y/o semestral? g. El (los) indicador (es) cuenta (n) con línea base? El indicador definido para evaluar el objetivo de Propósito es claro, económico y monitoreable; su método de cálculo está correctamente formulado y utiliza expresiones aritméticas que representan una relación de variables; sin embargo, es conveniente especificar la información cuantitativa del mismo (línea base, metas, semáforos, comportamiento del indicador, etc.), a fin de evaluar el resultado que se espera alcanzar. 12. Se incorporan los medios de verificación suficientes y necesarios para obtener los datos requeridos para el cálculo del (los) indicador (es) definido (s), que permitan evaluar el objetivo de PROPÓSITO y contengan, al menos, la siguiente información? a. Se incluye el nombre o título del documento, reporte, registro o informe de la fuente de información? b. Se incluye la fecha de emisión de la fuente de información? c. Se incluye el área emisora y/o responsable de su emisión? [ Secretaría de Finanzas y Tesorería General del Estado ] Página 12 de 27

14 Los medios de verificación descritos a este nivel cumplen con los elementos mínimos necesarios para la obtención del cálculo del indicador definido para evaluar el objetivo de Propósito; es decir, el nombre del registro o informe es Informe Mensual de Actividades, su emisión es mensual y el área emisora y responsable de la información es la Dirección de Protección Civil de Nuevo León. 13. El nivel de PROPÓSITO incorpora supuestos que contengan las siguientes características? a. La redacción del supuesto está expresada en términos positivos? b. La redacción del supuesto expresa el (los) riesgo (s) o condición (es) (externa) que enfrenta el programa y qua está (n) fuera de su control? c. El (los) riesgo (s)/condición (es) expuesta (s) tiene (n) una probabilidad razonable de ocurrencia? d. El (los) riesgo (s)/condición (es) expuesta (s) es (son) susceptible (s) de ser solventada para el cumplimiento del objetivo de PROPÓSITO? e. Es (son) lo suficientemente preciso (s) para estar en posibilidad de ser monitoreado (s)? f. Se considera (n) suficiente (s) y necesario (s) para el logro del objetivo propuesto y que la ejecución del programa contribuya al logro de un objetivo de orden superior? Se considera que el supuesto diseñado a este nivel Las contingencias en materia de protección civil son atendidas rápida y eficientemente, está redactado en términos positivos; expresa una condición externa (fuera del control del programa), que tiene probabilidad de ocurrencia, es susceptible de ser solventada y es lo suficientemente preciso para ser monitoreado. COMPONENTES 14. Los COMPONENTES de la matriz de indicadores para resultados especifican claramente cuáles son los bienes y/o servicios públicos que debe producir o entregar el programa durante su ejecución para cumplir con su Propósito? Los Componentes diseñados en la MIR especifican claramente los servicios que debe entregar el programa durante su ejecución, para estar en posibilidad de cumplir con el Propósito definido. 15. La sintaxis del resumen narrativo de los COMPONENTES es correcta y cumple con las siguientes características? a. El sujeto de la oración se refiere a los productos terminados y/o servicios proporcionados para el logro del Propósito del programa? b. La oración contiene un verbo en pasado participio que permita relacionar los bienes y servicios producidos por el programa? [ Secretaría de Finanzas y Tesorería General del Estado ] Página 13 de 27

15 Se considera que el resumen narrativo de cada uno de los componentes diseñados en la MIR cumple con la sintaxis establecida a este nivel, toda vez que el sujeto de la oración se refiere a los servicios proporcionados por el programa para el logro del Propósito y contiene un verbo en pasado participio para relacionar los bienes diseñados. 16. Se considera que los COMPONENTES diseñados, son los suficientes y necesarios para el logro del Propósito? Se considera que los componentes descritos en la MIR Protección Civil" y que a continuación se describen, representan los productos y/o servicios suficientes y necesarios para el logro del Propósito: C1. Habitantes del estado capacitados C2. Revisiones avaladas C3. Servicios de emergencia atendidos 17. Los indicadores definidos para cada COMPONENTE permiten medir si los bienes y/o servicios producidos y/o entregados por el programa a los beneficiarios se realizan en la cantidad y calidad necesaria, de acuerdo con los resultados esperados? Los indicadores definidos para cada Componente permiten evaluar el desempeño del programa en cuanto a la cantidad de los servicios proporcionados por el programa; no obstante, se sugiere incluir un indicador de calidad a este nivel que permita evaluar el nivel de satisfacción de los beneficiarios. 18. Los indicadores definidos para cada COMPONENTE cumplen con las siguientes características? a. Las propiedades conocidas como SMART: Son claros? Son relevantes? Son económicos? Son monitoreables? b. Cuentan con una ficha técnica que contenga los elementos que los componen? mbre Definición Tipo Dimensión Método de cálculo Unidad de medida [ Secretaría de Finanzas y Tesorería General del Estado ] Página 14 de 27

16 Frecuencia de medición Línea base Metas Comportamiento del indicador Semáforos c. El método de cálculo de los indicadores de cada COMPONENTE cumple con las siguientes características: Tiene especificada correctamente su fórmula de cálculo? Utiliza únicamente expresiones aritméticas y/o símbolos matemáticos que representen una relación de variables? d. Se incluye al menos un indicador de calidad que permita conocer el nivel de satisfacción de los beneficiarios? e. La unidad de medida de los indicadores corresponde con el método de cálculo, la línea base y las metas? f. La periodicidad de los indicadores permite contar con al menos una medición semestral y/o trimestral? g. Los indicadores cuentan con línea base? Los indicadores definidos para evaluar los componentes son claros, relevantes, económicos y monitoreables; su método de cálculo está correctamente formulado y utilizan expresiones aritméticas que representan una relación de variables. Se recomienda analizar la conveniencia de que la frecuencia de medición de éstos (anual) sea menor a la establecida, a fin de evaluar el desempeño de éstos durante el transcurso del año (semestral o trimestral), así como incluir un indicador de calidad que permita conocer el nivel de satisfacción de los beneficiados, respecto de los servicios proporcionados por el programa. Adicionalmente, se conveniente especificar la información cuantitativa de los indicadores (línea base, metas, semáforos, comportamiento, etc.) a fin de evaluar el desempeño de los mismos. 19. Se incorporan los medios de verificación suficientes y necesarios para obtener los datos requeridos para el cálculo de los indicadores definidos, que permitan evaluar el objetivo de cada COMPONENTE y contengan, al menos, la siguiente información? a. Se incluye el nombre o título del documento, reporte, registro o informe de la fuente de información? b. Se incluye la fecha de emisión de la fuente de información? c. Se incluye el área emisora y/o responsable de su emisión? Los medios de verificación descritos a este nivel cumplen con los elementos mínimos necesarios para la obtención del cálculo de los indicadores definidos para evaluar los Componentes; es decir, [ Secretaría de Finanzas y Tesorería General del Estado ] Página 15 de 27

17 el nombre del registro o informe es Informe Mensual de Actividades, la emisión es anual y el área emisora y/o responsable de la información es la Dirección de Protección Civil de Nuevo León. 20. El nivel de COMPONENTES incorpora supuestos que contengan las siguientes características? a. La redacción del supuesto está expresada en términos positivos? b. La redacción del supuesto expresa el (los) riesgo (s) o condición (es) (externa) que enfrenta el programa y qua está (n) fuera de su control? c. El (los) riesgo (s)/condición (es) expuesta (s) tiene (n) una probabilidad razonable de ocurrencia? d. El (los) riesgo (s)/condición (es) expuesta (s) es (son) susceptible (s) de ser solventada para el cumplimiento del objetivo? e. Es (son) lo suficientemente preciso (s) para estar en posibilidad de ser monitoreado (s)? f. De cumplirse el supuesto definido a este nivel, es posible alcanzar el Propósito? Se considera que los supuestos diseñados para los componentes que integran la MIR están redactados en términos positivos; expresan condiciones externas (fuera del control del programa) con probabilidad de ocurrencia, susceptibles de ser solventadas y son lo suficientemente precisos para ser monitoreados. ACTIVIDADES 21. El resumen narrativo de las ACTIVIDADES de la matriz de indicadores para resultados contiene las siguientes características? a. Detalla claramente todas las acciones necesarias para producir los bienes y/o servicios (componentes) que debe producir o entregar el programa? b. Las actividades están agrupadas o estructuradas de manera que permitan identificar a que componente corresponden? Las Actividades descritas están agrupadas de manera que pueden ser identificadas al componente que corresponden y el resumen narrativo de cada una de ellas describe claramente las acciones necesarias para producir cada uno de los componentes (bienes y/o servicios que el programa proporciona). 22. La sintaxis del resumen narrativo de las ACTIVIDADES es correcta y cumple con la siguiente característica? a. El inicio de la oración contiene un sustantivo derivado de un verbo (acción), acompañado de un complemento, que permita relacionarse con los componentes del programa? [ Secretaría de Finanzas y Tesorería General del Estado ] Página 16 de 27

18 En la mayoría de las Actividades el inicio de la oración del resumen narrativo contiene un sustantivo derivado de un verbo (capacitación, registro, reuniones, inspección, respuesta, emisión, entre otros) y el complemento de la oración corresponde a los elementos necesarios para la producción de los bienes y/o servicios que se relacionan con cada componente; sin embargo, se sugiere modificar la redacción del resumen narrativo de la primera Actividad del Componente 1 (Menores atendidos en capacitación) y de las Actividades 2, 3, 4 y 5 del Componente 3 (Incendios atendidos, personas atendidas, operativos carrusel implementados y personas atendidas en temporada invernal), conforme a la sintaxis establecida a este nivel (Por ejemplo: A1C1.- Capacitación a menores brindada u otorgada; A2C3.- Atención de incendios; A3C3.- Atención de personas; A4C3.- Implementación de operativos carrusel y A5C3.- Atención de personas en temporada invernal). 23. Se considera que las ACTIVIDADES descritas son las suficientes y necesarias para producir cada uno de los Componentes propuestos. Se considera que las actividades descritas en la MIR Protección Civil", representan las tareas (acciones) suficientes y necesarias para producir cada uno de los Componentes diseñados; aún cuando se considera conveniente analizar si existen actividades adicionales a las descritas para el Componente 1 (capacitaciones: A1.- A menores, A2.- Personal operativo y A3.- Área pública y privada) que puedan incidir en la producción de este componente (como registro o padrón de beneficiarios, por ejemplo). 24. Los indicadores definidos para cada ACTIVIDAD permiten medir el esfuerzo administrativo aplicado a las actividades principales y a los insumos para obtener los bienes y servicios? Los indicadores definidos para cada una de las Actividades permiten dar seguimiento a las mismas, al medir el esfuerzo administrativo aplicado y los insumos para obtener los bienes y servicios. 25. Los indicadores definidos para cada ACTIVIDAD cuentan con las siguientes características? a. Las propiedades conocidas como SMART: Son claros? Son relevantes? Son económicos? Son monitoreables? b. Una ficha técnica que contenga los elementos que los componen: mbre Si Definición [ Secretaría de Finanzas y Tesorería General del Estado ] Página 17 de 27

19 Tipo Dimensión Método de cálculo Unidad de medida Frecuencia de medición Línea base Metas Comportamiento del indicador Semáforos c. El método de cálculo de los indicadores de cada ACTIVIDAD cumple con las siguientes características: Tiene especificada correctamente su fórmula de cálculo? Utiliza únicamente expresiones aritméticas y/o símbolos matemáticos que representen una relación de variables? d. La unidad de medida de los indicadores corresponde con el método de cálculo, la línea base y las metas? e. La periodicidad de los indicadores permite contar con al menos una medición trimestral y/o semestral? f. Los indicadores cuentan con línea base? Los indicadores definidos para evaluar las actividades son claros, relevantes, económicos y monitoreables; el método de cálculo de la mayoría de los indicadores definidos a este nivel está correctamente formulado y utilizan expresiones aritméticas que representan una relación de variables; aunque se recomienda: 1) Revisar si la primera variable del método de cálculo del indicador de la segunda Actividad del primer Componente [Porcentaje de personal operativo de protección civil capacitado = (Número de cursos impartidos a personal operativo / total de personal operativo)*100] es congruente con el objetivo que se pretende medir; toda vez que se considera que, de acuerdo al nombre del indicador, la primera variable podría ser Personal operativo capacitado ; es decir (Personal operativo capacitado/total de personal operativo)*100 y 2) Anteponer al nombre de los indicadores de las Actividades 1 y 3 (Variación de ) del primer Componente el término Tasa de. Asimismo y, como se sugirió a nivel de Componentes, a este nivel es recomendable determinar una frecuencia de medición menor a la establecida (anual), con objeto de dar seguimiento al desempeño de los objetivos descritos en cada Actividad durante la ejecución del programa en el transcurso del ejercicio fiscal. Por último, se requiere incorporar toda la información cuantitativa de cada uno de los indicadores de la MIR (como línea base, metas anuales, valores de los semáforos y comportamiento del indicador). 26. Se incorporan los medios de verificación suficientes y necesarios para obtener los datos requeridos para el cálculo de los indicadores definidos, que permitan evaluar el objetivo de cada ACTIVIDAD y contengan, al menos, la siguiente información? [ Secretaría de Finanzas y Tesorería General del Estado ] Página 18 de 27

20 a. Se incluye el nombre o título del documento, reporte, registro o informe de la fuente de información? b. Se incluye la fecha de emisión de la fuente de información? c. Se incluye el área emisora y/o responsable de su emisión? Los medios de verificación descritos a este nivel cumplen con los elementos mínimos necesarios para la obtención del cálculo de los indicadores definidos para evaluar las Actividades, es decir, se indica el nombre o título de la fuente de información es Informe Mensual de Actividades, la frecuencia de emisión es Mensual y el área responsable de la emisión es la Dirección de Protección Civil. 27. El nivel de ACTIVIDAD incorpora supuestos que contengan las siguientes características? a. La redacción del supuesto está expresada en términos positivos? b. La redacción del supuesto expresa el (los) riesgo (s) o condición (es) (externa) que enfrenta el programa y qua está (n) fuera de su control? c. El (los) riesgo (s)/condición (es) expuesta (s) tiene (n) una probabilidad razonable de ocurrencia? d. El (los) riesgo (s)/condición (es) expuesta (s) es (son) susceptible (s) de ser solventada para el cumplimiento del objetivo? e. Es (son) lo suficientemente preciso (s) para estar en posibilidad de ser monitoreado (s)? f. De cumplirse el supuesto definido a este nivel, es posible el logro de cada COMPONENTE? Se considera que los supuestos descritos a este nivel cumplen con las características establecidas; es decir, están redactados en términos positivos; representan riesgos o condiciones que enfrenta el programa que están fuera de su control, tienen una probabilidad de ocurrencia, son susceptibles de ser solventadas para el logro de la Actividad a la que corresponden y son lo suficientemente precisos para ser monitoreados. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 19 de 27

21 D. Evaluación de Indicadores por nivel de la MIR A continuación, se presenta un cuadro resumen de todos los indicadores definidos para evaluar el logro de los objetivos de cada nivel que integra la MIR Protección Civil, que contiene una valoración de los elementos que los conforman, así como las recomendaciones que se emiten para los mismos. Tabla 1. Evaluación de Indicadores por Nivel (parte 1) mbre del Programa: Protección Civil Dependencia/Entidad: Dirección de Protección Civil Unidad Responsable: Dirección de Protección Civil Fin Nivel de Objetivo mbre del Indicador Porcentaje de acciones de prevención Método de Cálculo Definición Claro Relevante Económico Monitoreable Adecuado Tipo Unidad de Medida Gestión Propósito Porcentaje de servicios brindados Gestión Tabla 1. Evaluación de Indicadores por Nivel (parte 2) Nivel de Método de Unidad de mbre del Indicador Definición Claro Relevante Económico Monitoreable Adecuado Tipo Objetivo Cálculo Medida Componente 1 Porcentaje de capacitación Gestión Promedio de supervisiones a Componente 2 inmuebles en materia de protección civil Estratégico Componente 3 Porcentaje de servicios atendidos Estratégico Nivel de Objetivo mbre del Indicador Tabla 1. Evaluación de Indicadores por Nivel (parte 3) Método de Definición Claro Relevante Económico Monitoreable Adecuado Cálculo Actividad 1.1 Variación de población infantil capacitada en temas de Gestión protección civil Actividad 1.2 Porcentaje de personal operativo de protección civil capacitado Gestión Actividad 1.3 Variación de cursos d prevención, combate de incendios y Gestión evacuación Actividad 2.1 Porcentaje de UIRIS activadas Gestión Actividad 2.2 Porcentaje de asistencia a reuniones de los CLAM Gestión Actividad 2.3 Porcentaje de inspecciones realizadas Gestión Actividad 3.1 Porcentaje de servicios de auxilio atendidos Gestión Actividad 3.2 Tasa de variación de incendios atendidos Gestión Si Actividad 3.3 Promedio de personas atendidas en eventos masivos agendados Gestión Actividad 3.4 Porcentaje de días en que se implementó el operativo Carrusel Gestión en temporada invernal Actividad 3.5 Promedio de personas atendidas para su salvaguarda Gestión Actividad 3.6 Porcentaje de días con boletines hidrometereológicos Gestión Tipo Unidad de Medida [ Secretaría de Finanzas y Tesorería General del Estado ] Página 20 de 27

22 Recomendaciones: Definir un indicador estratégico a nivel de Fin, preferentemente de eficacia o eficiencia, que permita dar seguimiento de los avances y evaluar la contribución del programa al objetivo estratégico de orden superior al cual se encuentra alineado y/o el impacto final que tendrá el programa. Evaluar la posibilidad de incluir un indicador de calidad a nivel de Componentes que permita medir el nivel de satisfacción de los beneficiarios. Incorporar la información cuantitativa de todos los indicadores de la MIR (Línea base, metas, valores de los semáforos, así como el comportamiento de cada indicador. Analizar la posibilidad de que la frecuencia de los indicadores definidos a nivel de Componentes y Actividades sea menor a la establecida (anual); por ejemplo: Semestral o trimestral y Trimestral o mensual, respectivamente. Revisar si la primera variable del método de cálculo del indicador correspondiente a la segunda Actividad del primer Componente (Número de cursos impartidos a personal operativo) permite obtener el resultado que espera evaluar el indicador (porcentaje de personal operativo de protección civil capacitado). Establecer los valores históricos de las variables de la MIR a fin de poder obtener el cálculo de los avances y metas y tener en cuenta que los valores para el ejercicio fiscal 2013 deberán ser actualizados al cierre del informe de la cuenta Pública. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 21 de 27

23 IV. Fortalezas, Retos y Recomendaciones Con base en las respuestas descritas en la presente Evaluación y como resultado de las mismas, a continuación se presenta un análisis FODA (Fortalezas, Oportunidades, Debilidades y Amenazas) de los temas o elementos que integran la MIR Protección Civil evaluados: FORTALEZAS Resultado que se espera alcanzar y población objetivo que se pretende impactar, claramente identificados Lógica vertical y horizontal en la estructura de la MIR Resumen narrativo conforme sintaxis recomendada Actividades y Componentes suficientes y necesarios Supuestos adecuados OPORTUNIDADES Clara identificación del objetivo estratégico de orden superior al cual contribuye el Programa. Indicador estratégico que permita evaluar efectivamente el objetivo de Fin. DEBILIDADES AMENAZAS Carencia de información cuantitativa Fortalezas. En términos generales y con base en la valoración ponderada que se hace de la MIR, se puede observar un grado considerable de avance en la elaboración de la misma. Ello se debe principalmente a que, como la matriz lo refleja, en su elaboración se han tenido claros los principios por los que se rige, bajo una metodología de marco lógico, con relaciones de causalidad entre los distintos niveles; lo que permite tener una visión clara y resumida de lo que el Programa representa, como se describe a continuación: Permite identificar claramente, la población objetivo que pretende impactar el Programa (la población de Nuevo León) y el resultado que espera alcanzar durante su ejecución (servicios eficientes y oportunos de protección civil ante la presencia de cualquier contingencia). El resumen narrativo descrito para cada nivel de la MIR, con excepción del objetivo de Fin, cumple con la sintaxis recomendada e identifica claramente el objetivo de cada uno de éstos. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 22 de 27

24 Las actividades descritas son suficientes y necesarias para producir los bienes y servicios que otorga el Programa y estos (Componentes) son suficientes y necesarios para el logro del Propósito. Los medios de verificación incorporados cumplen con los elementos mínimos necesarios para obtener la información requerida que permita el cálculo de los indicadores definidos en la MIR. Los supuestos diseñados representan condiciones externas que enfrenta el Programa, fuera de su control y pudieran poner en riesgo el éxito del mismo, tienen probabilidad de ocurrencia, son susceptibles de ser solventados para el cumplimiento de los objetivos propuestos y son lo suficientemente precisos para ser monitoreados. Oportunidades De acuerdo con las guías metodológicas especializadas en la Metodología de Marco Lógico (MML) y la elaboración de Matriz de Indicadores para Resultados (MIR) (SCHP, SFP & CONEVAL, 2010; SHCP, 2012) el Fin de esta última debería servir para reflejar la contribución del Programa a un objetivo de orden superior, que suele estar asociado a una mejora en el bienestar de la población. Si bien, se tiene claramente identificada la alineación del Programa al noveno objetivo estratégico del PED (Protección civil eficiente y oportuna) del Eje rector Seguridad Integral y cuarto objetivo estratégico del Programa Sectorial de Gobernación y Participación Ciudadana (Fortalecer y desarrollar programas que mejoren la calidad de los servicios que se ofrecen al ciudadano, proporcionando certeza jurídica y atención legal a los más necesitados); sin embargo, el resumen narrativo del objetivo de Fin: Contribuir a fortalecer la cultura de la protección civil en los nuevoleoneses solo hace referencia al impacto o resultado que espera alcanzar el Programa, más no especifica, en su redacción, el objetivo estratégico de orden superior al cual contribuye o se vincula el Programa. En este sentido, la oportunidad que se presenta, se relaciona con el hecho de especificar, en la primera parte del resumen narrativo del objetivo de Fin (sujeto de la oración), el objetivo estratégico, estatal o sectorial, al cual se decida vincular el Programa ( Contribuir ya sea, a la protección civil eficiente y oportuna, o bien, a fortalecer y desarrollar programas que mejoren la calidad de los servicios que se ofrecen al ciudadano, proporcionando certeza jurídica y atención legal a los más necesitados), de manera que pueda identificarse claramente, la contribución del Programa al logro del objetivo estratégico al cual se vincula. Por otra parte, se considera que el indicador definido para evaluar el objetivo de Fin Porcentaje de acciones de prevención NO es lo suficientemente relevante o adecuado para evaluar este objetivo, [ Secretaría de Finanzas y Tesorería General del Estado ] Página 23 de 27

25 por tratarse de un indicador de gestión que solamente relaciona lo realizado, respecto de lo programado; siendo que a este nivel, es conveniente definir un indicador estratégico, preferentemente de eficacia o eficiencia, que permita medir la forma en que la ejecución del programa contribuye al logro de un objetivo estratégico, lo cual facilitará presentar una adecuada rendición de cuentas, así como la justificación del uso de los recursos públicos ante la ciudadanía y las instancias correspondientes, acción que se identifica como segunda oportunidad de este análisis. Debilidades La mayoría de los indicadores definidos en la MIR carecen de información cuantitativa, principalmente línea base, metas anuales y valores de los semáforos; información que se considera necesaria para dar seguimiento y evaluar el desempeño de los indicadores. Asimismo y como se señaló en las recomendaciones del punto D. Evaluación de indicadores por Nivel de la MIR, en términos generales, se carece de, al menos, un indicador de calidad a nivel de Componentes que permita medir el nivel de satisfacción de los beneficiarios, la frecuencia de medición de los indicadores definidos a nivel de Componentes y Actividades (anual) NO es la recomendada para los mismos (semestral o trimestral a nivel de Componentes y trimestral o mensual para Actividades). [ Secretaría de Finanzas y Tesorería General del Estado ] Página 24 de 27