EVALUACIÓN DE LA MATRIZ DE INDICADORES PARA RESULTADOS DEL PROGRAMA PRESUPUESTARIO APOYO DIRECTO AL ADULTO MAYOR

Transcripción

1 EVALUACIÓN DE LA MATRIZ DE INDICADORES PARA RESULTADOS DEL PROGRAMA PRESUPUESTARIO APOYO DIRECTO AL ADULTO MAYOR Evaluación Socioeconómica de Programas y Proyectos, S.C.

2 Contenido I. Introducción...2 II. Evaluación...2 III. Temas de Evaluación...2 A. Características del programa... 2 B. Vinculación y Contribución del Programa... 7 C. Evaluación y Análisis de la Matriz de Indicadores para Resultados (MIR)... 9 FIN...9 PROPÓSITO COMPONENTES ACTIVIDADES D. Evaluación de Indicadores por nivel de la MIR IV. Fortalezas, Retos y Recomendaciones V. Conclusiones VI. Responsabilidades y compromisos [ Secretaría de Finanzas y Tesorería General del Estado ] Página 1 de 36

3 I. Introducción Como parte del proceso que el Gobierno del Estado de Nuevo León ha llevado a cabo para la implementación y consolidación de un Presupuesto basado en Resultados (PbR) y un Sistema de Evaluación del Desempeño (SED) y, en cumplimiento a la estrategia elaborada para tal fin, se realizó la Evaluación de la Matriz de Indicadores para Resultados (MIR) Apoyo Directo al Adulto Mayor. Ello, con el propósito de identificar si dicha matriz está construida con base en la Metodología de Marco Lógico (MML), cumple con los elementos que deben conformarla y con base en este análisis, emitir las recomendaciones que se consideren pertinentes, que permitan mejorar el proceso de elaboración, diseño y contenido de la misma. II. Evaluación El análisis y evaluación de la MIR comprende la vinculación del Programa Presupuestario Apoyo Directo al Adulto Mayor con los objetivos de planeación estatal y programas sectoriales que se deriven de éste, la evaluación de la lógica vertical y horizontal de la misma, así como de los indicadores que miden el desempeño que corresponde a cada uno de los niveles que la conforman. Las preguntas que conforman esta Evaluación son respondidas a través de un sistema binario (1=Cumple; 0=No Cumple), de acuerdo a la importancia de cada uno de los elementos de la MIR, cuya ponderación se presenta de manera anexa. III. Temas de Evaluación A. Características del programa Apoyo Directo al Adulto Mayor es un Programa que lleva a cabo la Secretaría de Desarrollo Social, a través de la Dirección de Atención a Grupos Vulnerables, Adulto Mayor y Participación Social, quien, de acuerdo a lo señalado en la página web del Gobierno del Estado de Nuevo León, tiene a su cargo las siguientes funciones y atribuciones: Administrar la información proporcionada por la Unidad de Planeación e Informática, relativa a las condiciones de vida y necesidades de la población adulta mayor en el Estado; [ Secretaría de Finanzas y Tesorería General del Estado ] Página 2 de 36

4 Participar en las actividades de la Secretaría de Desarrollo Social con la Federación, con los organismos paraestatales y dependencias del Gobierno del Estado, con los Municipios, con las instituciones públicas y privadas, y con los particulares en materia de investigación y apoyo a personas adultos mayores, con discapacidad y vulnerabilidad social; Llevar a cabo la planeación, programación y operación de las acciones encaminadas a la atención de los grupos vulnerables; Establecer mecanismos de coordinación y colaboración necesarios en materia de atención a los grupos vulnerables y participación social; Coordinar la realización de consultas públicas para la formulación de los programas de apoyo a los grupos vulnerables; Impulsar programas en materia de salud, derechos humanos, educación, cultura, de atención a la familia y de atención a la farmacodependencia, violencia intrafamiliar, así como promover la equidad entre los grupos más vulnerables; Proponer y ejecutar programas de apoyo a los adultos mayores y personas con discapacidad, así como los criterios generales y reglas de operación para la asignación de los apoyos que se destinen a estos programas; Acercar a los sectores más necesitados los servicios que en materia de desarrollo social brindan las instituciones públicas y privadas; Concertar con las diversas instituciones y con la sociedad civil su participación en el diseño e implementación de brigadas; Ser enlace con las áreas del Gobierno Central para la realización de eventos, giras de trabajo y campañas promociónales que involucre a la Secretaria de Desarrollo Social; Coordinar los procesos de comunicación interna y externa de la Secretaría de Desarrollo Social; Apoyar a los municipios en el establecimiento de mecanismos que contribuyan a fomentar la participación ciudadana responsable y organizada en los proyectos de desarrollo social, y Las demás que le confiera el Secretario de Desarrollo Social. Objetivo Central de Programa El Programa Apoyo directo al Adulto Mayor tiene como objetivo central: Incrementar el ingreso económico de las personas adultas mayores, así como su acceso a otros apoyos sociales. Tal objetivo se pretende lograr mediante el otorgamiento y/o prestación de los siguientes bienes y servicios: Apoyo económico directo a las personas adultas mayores (PAM) Vinculación con otras dependencias y con Organizaciones de la Sociedad Civil Acciones transversales [ Secretaría de Finanzas y Tesorería General del Estado ] Página 3 de 36

5 Población: El Programa Apoyo Directo al Adulto Mayor tiene identificaos, los siguientes tipos de Población: Potencial: Personas adultas mayores en situación de pobreza. Objetivo: Personas adultas mayores en situación de pobreza. Atendida: Personas adultas mayores en situación de pobreza que se benefician con los servicios ofrecidos por la Dirección de Atención a Grupos Vulnerables, Adulto Mayor y Participación Social. Los requisitos que deben cumplir las personas adultas mayores (PAM) que deseen recibir un apoyo, son los siguientes: Tener 70 años o más. No percibir ingresos por concepto de pensión o jubilación. Presentar condiciones de pobreza y vulnerabilidad. Tener residencia mayor de 10 años en el Estado de Nuevo León. Con base en los datos publicados en el Programa Operativo Anual de la Secretaría de Desarrollo Social para el año 2013, se benefició a un total de 57,436 adultos mayores en situación de pobreza, mediante el otorgamiento de apoyo económico para éstos. Vinculación a la Planeación Estratégica: Con base en las funciones que la Dirección de Atención a Grupos Vulnerables, Adulto Mayor y Participación Social desarrolla, el Programa Apoyo Directo al Adulto Mayor se encuentra en concordancia con el segundo objetivo estratégico Atención a grupos vulnerables y en situación de riesgo del eje rector Desarrollo Social y Calidad de Vida del Plan Estatal de Desarrollo del Estado de Nuevo León (PED). La estrategia asociada a este objetivo, a la cual se encuentra alineado el Programa, es la número 5: Mejorar la calidad de vida de los adultos mayores que viven en situación de pobreza, brindándoles apoyo económico y realizando acciones que permitan su desarrollo e integración social. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 4 de 36

6 Asimismo y, con base en los bienes y servicios que el Programa Apoyo Directo al Adulto Mayor proporciona a los adultos mayores para incrementar su ingreso económico y su acceso a otros apoyos sociales, éste se encuentra directamente relacionado con las siguientes líneas de acción del PED: Proteger los derechos de las personas adultas mayores mediante programas de asistencia jurídica y social. Ampliar la cobertura y la calidad de los servicios institucionales de atención que se les ofrecen. Ofrecer opciones de capacitación, actualización profesional y segundas carreras, así como de empleo, orientadas a ampliar su vida activa. Profesionalizar el servicio en los asilos y casas de cuidado de día. Reconocer las capacidades y talentos de este segmento de la población, a través de eventos, estímulos y reconocimientos. Problemática Causas La principal situación que, dentro del Programa Sectorial de Desarrollo Social, se identifica como origen de la problemática detectada mediante el Programa es el envejecimiento de la sociedad en su conjunto, en virtud de que el tema del envejecimiento y su relación con los aspectos del desarrollo, actualmente cobra relevancia como problema demográfico. Esto se debe a que, en los países de la región latinoamericana se verifica un proceso de aumento generalizado de la población mayor de 60 años, evento que con frecuencia va acompañado de una persistencia o incremento en los niveles de pobreza y de una aguda desigualdad social. Esta dinámica se espera que agudice los problemas de pobreza entre los grupos más vulnerables, ya que los adultos mayores son uno de estos grupos. De acuerdo con el Programa Sectorial citado, la evidencia disponible denota que las mujeres, los niños y los adultos mayores, así como los sectores menos calificados, son el universo fundamental que compone las filas de la población en situación de pobreza y vulnerable en América Latina. Es más, los niños y las niñas junto con las mujeres y adultos mayores representan los grupos más vulnerables al recibir mayor tipo de agresiones, como maltrato verbal y físico reiterado, hostigamiento, confinamiento y privación de recursos físicos, financieros y personales. Así pues, el aumento en el número de adultos mayores pone de manifiesto las siguientes necesidades, mismas que constituyen las siguientes causas inmediatas del problema central que se pretende resolver a través del Programa: Aumento de la incidencia de la pobreza por ingresos entre los adultos mayores. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 5 de 36

7 Los esfuerzos de apoyo a los adultos mayores resultan insuficientes, debido a que los organismos impulsores de los mismos no se encuentran coordinados, de modo que se pueda maximizar su impacto e incluso evitar la duplicación de labores. Que los esfuerzos para apoyar a los adultos mayores sean de bajo impacto, problema derivado no solo de la necesidad de atender a un número mayor de personas, sino de la falta de difusión, de capacitación del personal empleado y de seguimiento y monitoreo de los estándares de calidad necesarios. Efectos La prevalencia de una situación social caracterizada, entre otras cosas, por el acceso limitado de un grupo vulnerable como son los adultos mayores, a medios para incrementar su ingreso económico y a otros apoyos sociales, tiene las siguientes consecuencias inmediatas: Un descontento generalizado con respecto a los servicios que proporciona el gobierno del Estado; esto, en virtud del reconocimiento de la función de este último como agente que debería de contribuir a garantizar la seguridad y el libre acceso de los ciudadanos a los medios y el entorno que les permitan desarrollar plenamente sus facultades y derechos básicos. Un aumento en la pobreza multidimensional, en este caso impulsado principalmente por la dimensión del ingreso y dado por la incapacidad de empoderar a los grupos vulnerables de modo que cuenten con las capacidades para aumentar sus ingresos. Ello, en virtud de que los grupos vulnerables en situación de pobreza se encuentran en desventaja con respecto a otros miembros de la sociedad, al no con los medios suficientes para generar ingresos y desarrollar sus capacidades y así superar su condición. De las consecuencias recién enlistadas, la primera influye directamente en el bienestar de las personas, afectando negativamente el contexto social y territorial en el que se desarrollan las capacidades individuales. Ello bajo una definición similar a la del índice de percepción de redes sociales utilizado por CONEVAL, el cual se define como el grado de percepción que las personas tienen acerca de la dificultad o facilidad de contar con apoyo de redes sociales o, en este caso del gobierno, para poder afrontar distintas situaciones adversas. Así, junto con el segundo factor, en última instancia sería difícil cumplir con el principal objetivo planteado acerca del tema en el Programa Sectorial de Desarrollo Social, que consiste en mejorar la calidad de vida de los adultos mayores que viven en situación de pobreza, realizando acciones que permitan su desarrollo e integración social. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 6 de 36

8 B. Vinculación y Contribución del Programa 1. El Programa está alineado y/o vinculado con algún objetivo del eje de política pública del PED? Respuesta = SI El Programa Presupuestario Apoyo Directo al Adulto Mayor se encuentra alineado al segundo objetivo estratégico del Eje de política pública Desarrollo Social y Calidad de Vida del Plan Estatal de Desarrollo (PED): Atención a grupos vulnerables y en situación de riesgo, el cual, consiste en Atender y fortalecer a las familias en situación de vulnerabilidad o riesgo social, ofreciendo apoyos, herramientas y el desarrollo de competencias que propicien su desarrollo integral. A su vez, este Programa se encuentra asociado a la estrategia 5 y respectivas líneas de acción, que de este objetivo se derivan: Estrategia 5. Mejorar la calidad de vida de los adultos mayores que viven en situación de pobreza, brindándoles apoyo económico y realizando acciones que permitan su desarrollo e integración social. Líneas de Acción: Proteger los derechos de las personas adultas mayores mediante programas de asistencia jurídica y social. Ampliar la cobertura y la calidad de los servicios institucionales de atención que se les ofrecen. Ofrecer opciones de capacitación, actualización profesional y segundas carreras, así como de empleo, orientadas a ampliar su vida activa. Profesionalizar el servicio en los asilos y casas de cuidado de día. Reconocer las capacidades y talentos de este segmento de la población, a través de eventos, estímulos y reconocimientos. 2. El Programa está alineado y/o vinculado con algún objetivo sectorial o especial? Respuesta = SI El Programa Presupuestario Apoyo Directo al Adulto Mayor se encuentra vinculado al Programa Sectorial Desarrollo Social, cuyo objetivo general es: Mejorar la calidad de vida de la población, [ Secretaría de Finanzas y Tesorería General del Estado ] Página 7 de 36

9 especialmente de los más pobres y vulnerables, por medio de una política social integral, eficiente y transparente ; específicamente en su octavo objetivo estratégico: Mejorar la calidad de vida de los adultos mayores que viven en situación de pobreza, realizando acciones que permitan su desarrollo e integración social. Asimismo, el Programa se encuentra asociado a la estrategia que de este objetivo estratégico se deriva y respectivas líneas de acción que se enlistan a continuación: Estrategia 1. Lograr más desarrollo personal e integración social del adulto mayor fomentando su participación en la vida económica, cultural y política de la sociedad. Líneas de Acción: Brindar apoyo económico a los adultos mayores de 70 años y más que viven en situación de pobreza. Impulsar actividades culturales, recreativas, de convivencia y de activación física dirigidas a adultos mayores en los Centros Comunitarios de Desarrollo Social y Centros DIF. Promover la creación de condiciones que faciliten a la población adulta mayor la obtención de ingresos mediante empleos que permitan recuperar su experiencia a favor de las nuevas generaciones y el desarrollo de proyectos productivos. Proteger los derechos de las personas adultas mayores mediante programas de asistencia jurídica. Ampliar la cobertura y la calidad de los servicios institucionales de atención que se les ofrecen. Mejorar las condiciones de salud de las personas adultas mayores en condiciones de pobreza. Profesionalizar los asilos y casas de cuidado de día. Reconocer las capacidades y talentos de las personas adultas mayores a través de eventos, estímulos y reconocimientos. Convocar a las personas adultas mayores para que participen con propuestas que favorezcan su protección social y su desarrollo personal, familiar y comunitario. Fortalecer los trabajos interdisciplinarios en el seno del Comité Técnico para los Adultos Mayores para integrar el tema en la formulación de políticas públicas. Seguir apoyando a las OSC activas en el ámbito de atención a los adultos mayores a fin de promover un óptimo ejercicio de sus competencias en la materia. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 8 de 36

10 C. Evaluación y Análisis de la Matriz de Indicadores para Resultados (MIR) En esta sección se evaluará y analizará si la MIR del Programa presupuestario Apoyo Directo al Adulto Mayor está construida a partir de la Metodología de Marco Lógico, si está relacionada y diseñada de acuerdo al problema y/o necesidad que se espera resolver con la ejecución del Programa (Fin y Propósito), así como su lógica interna; es decir, la relación de causa efecto que existe entre los diferentes niveles de la matriz, la definición de objetivos, indicadores y metas y la evaluación de los resultados esperados en cada nivel de la misma. Lógica Vertical y Horizontal de la MIR FIN 3. La sintaxis del resumen narrativo del objetivo de FIN es correcta y cumple con las siguientes características? a. Se identifica claramente la contribución del programa al logro de un objetivo estratégico de orden superior con el que está alineado, ya sea del Programa Estatal de Desarrollo (PED), Sectorial o especial? b. El resumen narrativo utiliza las palabras mediante / a través para hacer referencia a la solución del problema? Sintaxis: Contribuir a (objetivo superior) mediante (complemento = Propósito u objetivo central del programa) c. El resumen narrativo especifica cómo se logrará la solución al problema? El resumen narrativo del objetivo de Fin Contribuir a mejorar el bienestar de las Personas Adultas Mayores (PAM) en situación de pobreza, mediante la entrega de apoyo económico y otros apoyos sociales identifica claramente la contribución del Programa presupuestario Apoyo Directo al Adulto Mayor al logro del octavo objetivo estratégico del Programa Sectorial de Desarrollo Social (Mejorar la calidad de vida de los adultos mayores que viven en situación de pobreza, realizando acciones que permitan su desarrollo e integración social); cumple con la sintaxis establecida a este nivel (Contribuir a (objetivo estratégico estatal o sectorial) mediante (complemento: Propósito u objetivo central del Programa) y hace referencia a la solución del problema (entrega de apoyos). 4. El (los) indicador (es) de Fin permite (n) conocer lo siguiente: a. Dar seguimiento de los avances y evaluar si el programa contribuye al logro de un objetivo estratégico de orden superior con el que esté alineado (Objetivo de la Dependencia, del Sector o del PED)? b. Identificar y medir el impacto final que tendrá el programa? Respuesta = NO [ Secretaría de Finanzas y Tesorería General del Estado ] Página 9 de 36

11 Se considera que, tanto el nombre, como el método de cálculo del indicador definido para evaluar el objetivo de Fin Impacto del PADAM en los aspectos claves del bienestar de las PAM: salud, nutrición, recreación, etc. NO son lo suficientemente claros, lo que impide evaluar la contribución del Programa al objetivo estratégico al cual se encuentra vinculado y/o impacto final que éste tendrá, por los siguientes motivos: 1. El nombre de éste no especifica la relación aritmética que representa (Índice, tasa, promedio, porcentaje, etc.) 2. El método de cálculo no representa una relación de variables (Variable A / Variable B) 3. Se desconoce a qué se refieren los términos o siglas IBi e IBih, que son los dos únicos elementos que conforman el método de cálculo. 4. Carece de frecuencia de medición En virtud de lo anterior, se recomienda: Especificar, en el nombre del indicador, la relación aritmética que, con base en el método de cálculo a formular, éste represente; Formular correctamente su método de cálculo, de manera que simbolice una relación de variables y que éstas expresen con claridad los elementos que se pretenden relacionar; así como establecer su frecuencia de medición, la cual deberá basarse en la periodicidad recomendada a este nivel (sexenal o anual). Por ejemplo: Tasa de crecimiento o variación del índice de bienestar 1/ de las personas adultas mayores (PAM); método de cálculo (MC) = ((índice de bienestar de PAM en t / Índice de bienestar de PAM en t-1)-1)*100 o Tasa de variación de PAM en situación de pobreza y/o vulnerabilidad; MC = (Número de adultos mayores en situación de pobreza en t / Número de adultos mayores en situación de pobreza en t-1)-1)*100 o Porcentaje de PAM en situación de pobreza y/o vulnerabilidad; MC = (Número de adultos mayores en situación de pobreza / Total de adultos mayores en el Estado)*100, entre otros. 1/ Entendiéndose que el índice de bienestar incluye aspectos de: salud, nutrición, recreación, etc. 5. El (los) indicador (es) de Fin cumple (n) con las siguientes características? a. Las propiedades conocidas como SMART: Es (son) claro (s)? No Es (son) relevante (s)? Es (son) económico (s)? Es (son) monitoreable (s)? b. Cuenta (n) con una ficha técnica que contenga los elementos que lo (s) componen: Nombre Definición Tipo Dimensión Método de cálculo [ Secretaría de Finanzas y Tesorería General del Estado ] Página 10 de 36

12 Unidad de medida Frecuencia de medición Línea base Metas Comportamiento del indicador Semáforos No c. El método de cálculo del (los) indicador (es) de FIN cumple con las siguientes características: Tiene especificada correctamente su fórmula de cálculo? No Utiliza únicamente expresiones aritméticas y/o símbolos matemáticos que representen una relación de variables? No d. El tipo del (los) indicador (es) a este nivel es preferentemente estratégico y su dimensión es de eficacia? e. La unidad de medida del (los) indicador (es) corresponde con el método de cálculo, la línea base y las metas? No f. La periodicidad del (los) indicador (es) permite (n) contar con al menos una medición sexenal y/o anual? No g. El (los) indicador (es) cuenta (n) con línea base? El indicador definido para evaluar el objetivo de Fin es relevante, económico y monitoreable; sin embargo no es lo suficientemente claro, ya que se observa lo siguiente: 1) No especifica la relación aritmética que representa y por lo tanto, no se cuenta con unidad de medida 2) Su método de cálculo NO está correctamente formulado, NI representa una relación de variables y 3) Carece de frecuencia de medición. 6. Con la intención de evaluar el objetivo de FIN, se incorporan los medios de verificación que contengan la siguiente información, que permita obtener los datos requeridos para el cálculo del (los) indicador (es) definido (s)? a. Se incluye el nombre o título del documento, reporte, registro o informe de la fuente de información? No b. Se incluye la fecha de emisión de la fuente de información? No c. Se incluye el área emisora y/o responsable de su emisión? No La MIR Apoyo Directo al Adulto Mayor NO presenta medios de verificación a este nivel; por lo que es conveniente incorporar los medios de verificación que cumplan con los elementos mínimos necesarios para obtener los datos que permitan el cálculo del indicador definido para evaluar el objetivo de Fin; es decir, que éstos incluyan el nombre del reporte, registro o informe que genera o emite la fuente informativa, la fecha o frecuencia de emisión y el área emisora y/o responsable de esta información. 7. El nivel de FIN incorpora supuestos que contengan las siguientes características? [ Secretaría de Finanzas y Tesorería General del Estado ] Página 11 de 36

13 a. La redacción del supuesto está expresada en términos positivos? b. La redacción del supuesto expresa el (los) riesgo (s) o condición (es) (externa) que enfrenta el programa y qua está (n) fuera de su control? c. El (los) riesgo (s)/condición (es) expuesta (s) tiene (n) una probabilidad razonable de ocurrencia? d. El (los) riesgo (s)/condición (es) expuesta (s) es (son) susceptible (s) de ser solventada para el cumplimiento del objetivo de FIN? e. Es (son) lo suficientemente preciso (s) para estar en posibilidad de ser monitoreado (s)? Respuesta = SI El supuesto diseñado a nivel de Fin La dinámica económica de Nuevo León se mantiene estable está redactado en términos positivos, expresa una condición externa (fuera del control del Programa), tiene probabilidad de ocurrencia, es susceptible de ser solventada para el logro del objetivo propuesto y es lo suficientemente preciso para ser monitoreado. Sin embargo, en lo que se refiere al segundo supuesto establecido a este nivel: El PADAM se mantiene estable, se considera que en la estabilidad del Programa intervienen muchos factores y gran parte de ellos son atribuibles al mismo y por lo tanto es responsabilidad de éste; es decir, puede considerarse una condición propia, más no externa. Por tal motivo, se sugiere omitir este último supuesto y dejar solamente el primero. PROPÓSITO 8. La sintaxis del resumen narrativo del objetivo de PROPÓSITO es correcta y cumple con las siguientes características? a. Como sujeto de la oración, se identifica claramente la población objetivo o área de enfoque? b. El verbo de la oración está expresado en tiempo presente? c. El complemento de la oración establece claramente el resultado que se espera lograr mediante la ejecución del programa? Respuesta = SI Se considera que el resumen narrativo del objetivo de Propósito cumple con la sintaxis establecida a este nivel, identifica claramente la población objetivo que pretende impactar el programa PAM en situación de pobreza y establece el resultado que se espera alcanzar durante su ejecución Incrementar su ingreso económico y acceso a otros apoyos sociales. 9. El objetivo de PROPÓSITO expresa claramente el efecto directo esperado sobre la población objetivo o área de enfoque y/o la aportación específica (resultado esperado) a la solución del problema identificado por el programa? Respuesta = SI [ Secretaría de Finanzas y Tesorería General del Estado ] Página 12 de 36

14 El objetivo de Propósito describe claramente la aportación específica del programa o efecto esperado sobre la población objetivo; es decir, que El desarrollo e integración social de las personas adultas mayores (PAM) al Incrementar su ingreso económico y el acceso a otros apoyos sociales. 10. Se cuenta con al menos un indicador que permita conocer lo siguiente? El cambio producido en la población objetivo, atribuible a la ejecución del programa El resultado que espera alcanzar el programa Respuesta = NO Se considera que los indicadores definidos a nivel de Propósito Porcentaje de PAM que perciben poca o mucha mejoría en sus ingresos con el apoyo económico recibido, Porcentaje de PAM que perciben poca o mucha mejoría en el consumo de alimentos y Porcentaje de PAM que perciben poca o mucha mejoría en la adquisición de medicamentos son indicadores de calidad que miden la percepción de la población beneficiada respecto de los bienes y servicios proporcionados por el Programa y por consiguiente, son más adecuados para evaluar los Componentes (bienes y servicios producidos y entregados por el Programa). Por tal motivo, se recomienda trasladar a nivel de Componentes estos indicadores y a este nivel, definir al menos, un indicador que permita evaluar el cambio producido en la población objetivo, como resultado de la ejecución del Programa, como podría ser un indicador que mida la cobertura del Programa, similar al primer indicador del Componente 1, pero que incluya todos los bienes y servicios otorgados. Por ejemplo: Porcentaje de PAM beneficiarias del Programa. Método de cálculo = (Número de PAM que recibieron algún tipo de apoyo / Total de PAM que viven en situación de pobreza)* El (los) indicador (es) de PROPÓSITO cumple (n) con las siguientes características? a. Las propiedades conocidas como SMART: Es (son) claro (s)? Es (son) relevante (s)? No Es (son) económico (s)? Es (son) monitoreable (s)? b. Cuenta (n) con una ficha técnica que contenga los elementos que lo (s) componen: Nombre Definición Tipo Dimensión Método de cálculo Unidad de medida Frecuencia de medición Línea base Metas [ Secretaría de Finanzas y Tesorería General del Estado ] Página 13 de 36

15 Comportamiento del indicador Semáforos c. El método de cálculo del (los) indicador (es) de PROPÓSITO cumple con las siguientes características: Tiene especificada correctamente su fórmula de cálculo? Utiliza únicamente expresiones aritméticas y/o símbolos matemáticos que representen una relación de variables? d. El tipo del (los) indicador (es) a este nivel es preferentemente estratégico y su dimensión es de eficacia y/o eficiencia? e. La unidad de medida del (los) indicador (es) corresponde con el método de cálculo, la línea base y las metas? f. La periodicidad del (los) indicador (es) permite (n) contar con al menos una medición anual y/o semestral? g. El (los) indicador (es) cuenta (n) con línea base? Los indicadores definidos para evaluar el objetivo de Propósito son claros, económicos y monitoreables; sin embargo, se considera que no son relevantes a este nivel, por ser indicadores de calidad que miden la percepción de los beneficiarios respecto de los apoyos recibidos y por tanto, son más adecuados para evaluar los Componentes. Su método de cálculo está correctamente formulado y utiliza símbolos matemáticos que representan una relación de variables. Contienen gran parte de la información relativa a los elementos que los conforman. Asimismo, su tipo, dimensión y frecuencia de medición es la recomendada a este nivel (estratégico, eficacia y anual, respectivamente) y cuenta con línea base. 12. Se incorporan los medios de verificación suficientes y necesarios para obtener los datos requeridos para el cálculo del (los) indicador (es) definido (s), que permitan evaluar el objetivo de PROPÓSITO y contengan, al menos, la siguiente información? a. Se incluye el nombre o título del documento, reporte, registro o informe de la fuente de información? b. Se incluye la fecha de emisión de la fuente de información? c. Se incluye el área emisora y/o responsable de su emisión? Los medios de verificación descritos a este nivel cumplen con los elementos mínimos necesarios para el cálculo de los indicadores definidos para evaluar el objetivo de Propósito y contienen los siguientes elementos: El Nombre del registro, reporte o informe es Encuesta y Registros Administrativos, la frecuencia de emisión es Anual y el área emisora y/o responsable de la información es la Secretaría de Desarrollo Social. 13. El nivel de PROPÓSITO incorpora supuestos que contengan las siguientes características? [ Secretaría de Finanzas y Tesorería General del Estado ] Página 14 de 36

16 a. La redacción del supuesto está expresada en términos positivos? b. La redacción del supuesto expresa el (los) riesgo (s) o condición (es) (externa) que enfrenta el programa y qua está (n) fuera de su control? c. El (los) riesgo (s)/condición (es) expuesta (s) tiene (n) una probabilidad razonable de ocurrencia? d. El (los) riesgo (s)/condición (es) expuesta (s) es (son) susceptible (s) de ser solventada para el cumplimiento del objetivo de PROPÓSITO? e. Es (son) lo suficientemente preciso (s) para estar en posibilidad de ser monitoreado (s)? f. Se considera (n) suficiente (s) y necesario (s) para el logro del objetivo propuesto y que la ejecución del programa contribuya al logro de un objetivo de orden superior? Se considera que los supuestos diseñados a este nivel: Las PAM pueden efectuar el cobro del apoyo económico a pesar de la ocurrencia de eventos aleatorios y/o emergentes y Las PAM modifican sus comportamientos de consumo y utilizan una parte importante del ingreso adicional, proveniente del apoyo, en el consumo de alimentos y medicinas, están redactados en términos positivos; expresan una condición externa (fuera del control del programa), tienen probabilidad de ocurrencia, son susceptibles de ser solventadas para el logro del objetivo propuesto y son lo suficientemente precisos para ser monitoreados. COMPONENTES 14. Los COMPONENTES de la matriz de indicadores para resultados especifican claramente cuáles son los bienes y/o servicios públicos que debe producir o entregar el programa durante su ejecución para cumplir con su Propósito? Respuesta = SI Los Componentes 1 y 2 diseñados en la MIR (C1. Apoyo económico directo a las PAM entregado y C2. Vinculación con otras dependencias y con OSC realizada) especifican claramente los bienes y servicios que debe producir y entregar el Programa durante su ejecución, para estar en posibilidad de cumplir con el Propósito definido; sin embargo, se considera que el Componente 3 (Acciones transversales realizadas) NO representa un servicio que reciba directamente el beneficiario; por lo que se sugiere analizar la procedencia de que este Componente y en consecuencia las Actividades que lo conforman, formen parte de las Actividades correspondientes al primer Componente; ya que, como su nombre lo indica (Acciones ) y las Actividades que lo integran (A3.1 Difusión del Programa, A3.2 Capacitación al personal del Programa y A3.3 Monitoreo del Programa) son acciones que podrían formar parte del proceso para la producción u obtención del primer Componente y que representa el factor fundamental de este Programa. 15. La sintaxis del resumen narrativo de los COMPONENTES es correcta y cumple con las siguientes características? [ Secretaría de Finanzas y Tesorería General del Estado ] Página 15 de 36

17 a. El sujeto de la oración se refiere a los productos terminados y/o servicios proporcionados para el logro del Propósito del programa? b. La oración contiene un verbo en pasado participio que permita relacionar los bienes y servicios producidos por el programa? Se considera que el resumen narrativo de cada uno de los Componentes diseñados en la MIR cumple con la sintaxis establecida a este nivel, toda vez que el sujeto de la oración se refiere a los servicios proporcionados por el Programa para el logro del Propósito (C1. Apoyo económico directo a las PAM, C2. Vinculación con otras dependencias y con OSC y C3. Acciones transversales) y contiene un verbo en pasado participio para relacionar los bienes y servicios diseñados (entregado y realizada (s), respectivamente). 16. Se considera que los COMPONENTES diseñados, son los suficientes y necesarios para el logro del Propósito? Respuesta = SI Se considera que los Componentes descritos en la MIR Apoyo Directo al Adulto Mayor" y que a continuación se describen, representan los productos y/o servicios suficientes y necesarios para el logro del Propósito: C1. Apoyo económico directo a las PAM entregado C2. Vinculación con otras dependencias y con OSC realizada C3. Acciones transversales realizadas No obstante lo anterior y como se comentó en la respuesta a la pregunta 14, se sugiere analizar la conveniencia de que el Componente 3 y por consiguiente sus Actividades, formen parte de las Actividades del Componente Los indicadores definidos para cada COMPONENTE permiten medir si los bienes y/o servicios producidos y/o entregados por el programa a los beneficiarios se realizan en la cantidad y calidad necesaria, de acuerdo con los resultados esperados? Respuesta = NO Aún cuando los indicadores definidos para cada Componente podrían evaluar el desempeño del Programa, en cuanto a la cantidad de los servicios proporcionados por el mismo; sin embargo, solamente el indicador definido para el segundo Componente tiene formulado su método de cálculo; mientras que los restantes (dos del C1 y uno del C3) carecen de método de cálculo; lo que impide que el sistema pueda calcular la medición que se pretende evaluar. Adicionalmente, los dos indicadores del C1 carecen de frecuencia de medición y la establecida para el indicador del C2 (anual) no es la recomendada a este nivel (semestral o trimestral) y en cuanto a la dimensión de los primeros (C1) se presume, podrían ser de eficiencia, en lugar de eficacia. Asimismo y como se [ Secretaría de Finanzas y Tesorería General del Estado ] Página 16 de 36

18 comentó en la respuesta a la pregunta 10, se considera que los indicadores definidos para evaluar el objetivo de Propósito son más adecuados para evaluar la calidad de los servicios otorgados; es decir, son más apropiados a nivel de Componentes. Derivado de lo anterior, se recomienda lo siguiente: 1. Formular el método de cálculo de los indicadores definidos para los Componentes 1 y 3 (que represente una relación de variables y éstas sean multiplicadas por cien). Por ejemplo: C1.1 Porcentaje de beneficiarios que reciben apoyo. Método de cálculo = (Número de PAM que reciben apoyo / Total de PAM que residen en hogares pobres y solicitaron apoyo)* Establecer la frecuencia de medición de los indicadores definidos para esos Componentes (C1 y C3) y reducir la establecida para el de C2 (anual), a fin de que la frecuencia de medición de todos los indicadores de Componentes sea la recomendada a este nivel (semestral o trimestral). 3. Revisar la dimensión de los indicadores del Componente 1, que podrían ser de eficiencia. 4. Trasladar los indicadores definidos para evaluar el objetivo de Propósito a este nivel o, en su caso, incluir al menos, un indicador de calidad para Componentes, que permita conocer el nivel de satisfacción de la población beneficiada, respecto de los bienes y servicios proporcionados por el Programa. 18. Los indicadores definidos para cada COMPONENTE cumplen con las siguientes características? a. Las propiedades conocidas como SMART: Son claros? No Son relevantes? Son económicos? Son monitoreables? b. Cuentan con una ficha técnica que contenga los elementos que los componen? Nombre Definición Tipo Dimensión Método de cálculo Unidad de medida Frecuencia de medición No Línea base Metas Comportamiento del indicador Semáforos c. El método de cálculo de los indicadores de cada COMPONENTE cumple con las siguientes características: Tiene especificada correctamente su fórmula de cálculo? No [ Secretaría de Finanzas y Tesorería General del Estado ] Página 17 de 36

19 Utiliza únicamente expresiones aritméticas y/o símbolos matemáticos que representen una relación de variables? No d. Se incluye al menos un indicador de calidad que permita conocer el nivel de satisfacción de los beneficiarios? No e. La unidad de medida de los indicadores corresponde con el método de cálculo, la línea base y las metas? No f. La periodicidad de los indicadores permite contar con al menos una medición semestral y/o trimestral? No g. Los indicadores cuentan con línea base? Los indicadores definidos para evaluar los Componentes son relevantes, económicos y monitoreables; sin embargo no son claros; toda vez que carecen de método de cálculo. Aún cuando contienen gran parte de la información relativa a los elementos que los conforman, carecen de frecuencia de medición, con excepción de definido para C2, cuya frecuencia de medición (anual) no es la recomendada a este nivel. Tampoco se cuenta con un indicador de calidad. En consecuencia, se recomienda lo siguiente: a) Formular el método de cálculo de los indicadores definidos para los Componentes 1 y 3; así como establecer su frecuencia de medición. b) Revisar, si la dimensión de los indicadores del primer Componente es de eficacia o realmente es de eficiencia. c) Reducir la frecuencia de medición establecida para el indicador del segundo Componente (anual), conforme a la periodicidad recomendada a este nivel (semestral o trimestral) d) Incluir, al menos, un indicador de calidad que permita conocer el nivel de satisfacción de la población beneficiada o en su caso, trasladar o utilizar los definidos para evaluar el objetivo de Propósito, que como ya se comentó, son más adecuados para evaluar el desempeño de los Componentes. e) Incorporar la información faltante, relativa a los elementos que conforman cada indicador. 19. Se incorporan los medios de verificación suficientes y necesarios para obtener los datos requeridos para el cálculo de los indicadores definidos, que permitan evaluar el objetivo de cada COMPONENTE y contengan, al menos, la siguiente información? a. Se incluye el nombre o título del documento, reporte, registro o informe de la fuente de información? b. Se incluye la fecha de emisión de la fuente de información? c. Se incluye el área emisora y/o responsable de su emisión? Respuesta = NO [ Secretaría de Finanzas y Tesorería General del Estado ] Página 18 de 36

20 Solamente se presentan medios de verificación para el segundo Componente; los cuales cumplen con los elementos mínimos necesarios para la obtención del cálculo del indicador definido para éste y contienen los siguientes elementos: El nombre del registro es Registros Administrativos, la frecuencia de emisión es Anual y el área emisora y/o responsable de la información es la Secretaría de Desarrollo Social. Sin embargo los Componentes 1 y 3 carecen de éstos. En virtud de lo anterior, se recomienda incorporar los medios de verificación que contengan la información necesaria para obtener el cálculo de los indicadores definidos para los Componentes 1 y 3, que incluyan el nombre del registro, reporte o informe, fecha o frecuencia de emisión y el área emisora y/o responsable de la información. 20. El nivel de COMPONENTES incorpora supuestos que contengan las siguientes características? a. La redacción del supuesto está expresada en términos positivos? b. La redacción del supuesto expresa el (los) riesgo (s) o condición (es) (externa) que enfrenta el programa y qua está (n) fuera de su control? c. El (los) riesgo (s)/condición (es) expuesta (s) tiene (n) una probabilidad razonable de ocurrencia? d. El (los) riesgo (s)/condición (es) expuesta (s) es (son) susceptible (s) de ser solventada para el cumplimiento del objetivo? e. Es (son) lo suficientemente preciso (s) para estar en posibilidad de ser monitoreado (s)? f. De cumplirse el supuesto definido a este nivel, es posible alcanzar el Propósito? Respuesta = NO Se considera que, de los supuestos diseñados para los Componentes que integran la MIR, solamente el que corresponde al Componente 2 (Las actividades del programa cuentan con el apoyo de las instituciones de gobierno y de la sociedad civil involucradas) cumple con las características antes requeridas. Por el contrario, los supuestos de los Componentes restantes no cumplen con estas características; toda vez que el supuesto que se incorpora para el Componente 1: Las PAM pueden efectuar el cobro del apoyo económico a pesar de la ocurrencia de eventos aleatorios y/o emergentes es el mismo que el diseñado a nivel de Propósito y, en lo que se refiere al supuesto diseñado para el tercer Componente (Existen los recursos humanos y financieros adecuados y suficientes para realizar las actividades), se recomienda NO condicionar la operación del Programa a la disponibilidad de recursos. Derivado de lo anterior, es conveniente modificar o incorporar nuevos supuestos para estos dos Componentes (1 y 3); los cuales deberán estar redactados en términos positivos; expresar una situación o condición externa (fuera del control del Programa), tener probabilidad de ocurrencia, ser susceptibles de ser solventadas, lo suficientemente precisos para ser monitoreados, NO estar sujetos a disponibilidad de recursos y diferentes a los establecidos en cualquier otro nivel de la MIR. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 19 de 36

21 ACTIVIDADES 21. El resumen narrativo de las ACTIVIDADES de la matriz de indicadores para resultados contiene las siguientes características? a. Detalla claramente todas las acciones necesarias para producir los bienes y/o servicios (componentes) que debe producir o entregar el programa? No b. Las actividades están agrupadas o estructuradas de manera que permitan identificar a que componente corresponden? Aún cuando las Actividades descritas están agrupadas de manera que pueden ser identificadas al Componente que corresponden; sin embargo, se considera que el resumen narrativo de éstas NO detalla claramente todas las acciones necesarias para producir cada uno de los Componentes (bienes y/o servicios que el Programa proporciona). 22. La sintaxis del resumen narrativo de las ACTIVIDADES es correcta y cumple con la siguiente característica? a. El inicio de la oración contiene un sustantivo derivado de un verbo (acción), acompañado de un complemento, que permita relacionarse con los componentes del programa? Respuesta = SI El inicio de la oración del resumen narrativo de las Actividades de los Componentes 1 y 3 contiene un sustantivo derivado de un verbo (Identificación, transferencia, presupuestación e integración; difusión, capacitación y monitoreo) y el complemento de la oración de éstas corresponde a los elementos necesarios para la producción de los bienes y/o servicios que se relacionan con cada Componente. Sin embargo, esta sintaxis no se cumple para las Actividades del segundo Componente; por lo que se recomienda modificar su redacción, a fin de que el inicio de la oración del resumen narrativo de estas Actividades (del C2) exprese un sustantivo derivado de un verbo, como se muestra en el siguiente ejemplo: ACTIVIDAD DESCRITA EN LA MIR ACTIVIDAD PROPUESTA A2.1 PAM canalizadas al Seguro Popular Canalización de PAM al Seguro Popular A2.2 PAM canalizadas al INAPAM Canalización de PAM al INAPAM A2.3 PAM canalizadas a la Secretaría de Salud Canalización de PAM a la Secretaría de Salud A2.4 PAM canalizadas al DIF Canalización de PAM al DIF A2.5 PAM canalizadas a las OSC Canalización de PAM a las OSC 23. Se considera que las ACTIVIDADES descritas son las suficientes y necesarias para producir cada uno de los Componentes propuestos. [ Secretaría de Finanzas y Tesorería General del Estado ] Página 20 de 36

22 Respuesta = NO Aún cuando las Actividades descritas en la MIR Apoyo Directo al Adulto Mayor", representan las tareas (acciones) necesarias para producir los Componentes diseñados en la misma; sin embargo, es posible que NO sean suficientes para el logro de cada uno de los Componentes; ya que podrían existir acciones adicionales o complementarias que puedan incidir en el proceso para producir cada uno de ellos. Por ejemplo: Recepción y registro de solicitud de apoyo, selección, aprobación y/o autorización / rechazo de solicitud de apoyo, como Actividades adicionales para el primer Componente; Recepción, registro, selección y clasificación de solicitudes, registro y/o seguimiento de acciones de interacción realizadas (PAM canalizados), para el Componente 2 y, Selección e integración de propuestas provenientes de las Consultas públicas o del Comité Técnico para Adultos Mayores en la elaboración de Programas; así como Planeación, Programación y Operación de acciones para el Componente 3, entre otras. 24. Los indicadores definidos para cada ACTIVIDAD permiten medir el esfuerzo administrativo aplicado a las actividades principales y a los insumos para obtener los bienes y servicios? Respuesta = SI Los indicadores definidos para cada Actividad (con excepción del primero) permiten medir el esfuerzo administrativo aplicado y los insumos para obtener los bienes y servicios; sin embargo, presentan algunas inconsistencias, para las que se efectúan las siguientes recomendaciones: a) El indicador definido para la primera Actividad del C1 Porcentaje de solicitantes rechazados que deberían recibir el apoyo no se relaciona con la Actividad (Identificación de los hogares en situación de pobreza donde reside una PAM) y en consecuencia, no permite evaluar este objetivo. Adicionalmente, se desconoce a qué se refiere la segunda variable que integra su método de cálculo (PP) y por lo tanto, qué elemento se pretende medir (Solicitantes rechazados cumplen / PP). En este sentido, se recomienda redefinir este indicador, de manera que permita evaluar su objetivo. Por ejemplo: Porcentaje de hogares en situación de pobreza identificados (respecto de los hogares visitados o verificados). b) Los indicadores definidos para las Actividades 1, 2 (primero) y 4 del Componente 1 carecen de frecuencia de medición; por lo que es conveniente establecer la frecuencia de medición de éstos, acorde con la periodicidad recomendada a este nivel (semestral o trimestral). c) Revisar si la dimensión del indicador definido para la cuarta Actividad del Componente 1 es de eficacia o en realidad, es de eficiencia. d) Reducir la frecuencia de medición establecida en el indicador definido para la segunda Actividad del Componentes 1 (anual), conforme a la periodicidad recomendada a este nivel (trimestral o mensual). 25. Los indicadores definidos para cada ACTIVIDAD cuentan con las siguientes características? [ Secretaría de Finanzas y Tesorería General del Estado ] Página 21 de 36

23 a. Las propiedades conocidas como SMART: Son claros? Son relevantes? Son económicos? Son monitoreables? b. Una ficha técnica que contenga los elementos que los componen: Nombre Si Definición Tipo Dimensión Método de cálculo Unidad de medida Frecuencia de medición No Línea base Metas Comportamiento del indicador Semáforos c. El método de cálculo de los indicadores de cada ACTIVIDAD cumple con las siguientes características: Tiene especificada correctamente su fórmula de cálculo? Utiliza únicamente expresiones aritméticas y/o símbolos matemáticos que representen una relación de variables? d. La unidad de medida de los indicadores corresponde con el método de cálculo, la línea base y las metas? e. La periodicidad de los indicadores permite contar con al menos una medición trimestral y/o semestral? f. Los indicadores cuentan con línea base? Los indicadores definidos para evaluar las Actividades (con excepción del primero) son claros, relevantes, económicos y monitoreables. En lo que respecta a los elementos que componen cada indicador, contienen gran parte de esta información. Su método de cálculo está correctamente formulado y utiliza símbolos matemáticos que representan una relación de variables. Se considera que la dimensión del indicador definido para la cuarta Actividad del Componente 1 es de eficiencia, no de eficacia; los indicadores definidos para las Actividades 1, 2 (primero) y 4 del Componente 1 carecen de frecuencia de medición y la establecida para el segundo de la Actividad 2 de este componente (anual) NO es la recomendada a este nivel (trimestral o mensual). 26. Se incorporan los medios de verificación suficientes y necesarios para obtener los datos requeridos para el cálculo de los indicadores definidos, que permitan evaluar el objetivo de cada ACTIVIDAD y contengan, al menos, la siguiente información? [ Secretaría de Finanzas y Tesorería General del Estado ] Página 22 de 36