Fondo para la Atención de Problemas Estructurales de las Universidades Públicas Estatales U066 Evaluación en Materia de Diseño 2011 Junio 2012

Transcripción

1 Fondo para la Atención de Problemas Estructurales de las Universidades Públicas Estatales U066 Evaluación en Materia de Diseño 2011 Junio 2012 Evaluador: César Alfonso Velázquez Guadarrama

2 Resumen ejecutivo A pesar del avance observado en cobertura y calidad en la educación superior en la última década, diversas instituciones de educación superior (IES) enfrentan problemas financieros estructurales derivados de sus sistemas de pensiones y del incremento de su plantilla para enfrentar el crecimiento de la demanda. Es este contexto, desde 2002 las instituciones han recibido recursos para abatir estos problemas. Primeramente a través del Fondo de Apoyo a Reformas Estructurales y a partir de 2011 del Fondo aquí analizado. El objetivo del Fondo para la Atención de Problemas Estructurales de las Universidades Públicas Estatales (UPES) es ampliar las oportunidades educativas para reducir desigualdades entre grupos sociales, cerrar brechas e impulsar la equidad. El Fondo va dirigido a UPES con problemas estructurales en sus sistemas de jubilaciones y pensiones debido al envejecimiento de su personal académico y administrativo y a UPES que por razones de crecimiento, reestructuración o necesidades apremiantes debidamente justificadas, se hayan visto en la necesidad de contratar en el pasado personal de apoyo administrativo que actualmente forma parte permanente de la plantilla. Este documento contiene los resultados de la primera Evaluación de Diseño 2011 que se realiza al Fondo. Este tipo de evaluaciones se realizan mediante trabajo de gabinete con base en información proporcionada por la dependencia o entidad responsable del programa y con bibliografía adicional necesaria que determina el equipo evaluador. La evaluación está dividida en cinco temas: i) justificación de la creación y del diseño del programa, ii) contribución a los objetivos nacionales y a los sectoriales, iii) población potencial y objetivo, iv) matriz de indicadores para resultados, y v) complementariedades y coincidencias con otros programas federales. Los principales resultados que se desprenden de la evaluación por tema son: i) Justificación de la creación y del diseño del programa. El Fondo identifica, en los Lineamientos 2011 y en el Árbol de Problemas, la necesidad prioritaria como un hecho negativo y como una situación que puede ser revertida. Asimismo, existe un diagnóstico adecuado que define las causas y los efectos derivados de la situación vulnerable a la que se enfrentan las UPES. El diagnóstico se puede observar tanto en el Árbol de Problemas como en las evaluaciones internas y externas. Aun cuando el Fondo no cuenta con evidencia que sustente el apoyo directo para pensiones y plantilla, hay numerosas experiencias teóricas y empíricas sobre lo conveniente de utilizar esquemas de financiamiento basados en resultados e indicadores de desempeño como lo hace este Programa. ii) Contribución a los objetivos nacionales y a los sectoriales. El Propósito del Fondo está vinculado con el objetivo 6 del Programa Sectorial de Educación ; y por tanto con los objetivos 10, 13 y 14 del Eje 3 del Plan Nacional de Desarrollo (PND). La vinculación con el PND se da ya que al atender los problemas estructurales a los cuales se enfrentan las UPES y al regularizar su plantilla, se fortalece la institución y por tanto se crean mejores mecanismos para articular la oferta educativa y contar con una mejor coordinación y gestión ofreciendo una educación de 2

3 mejor calidad. El programa se vincula de manera indirecta con todos los objetivos de las Metas del Milenio, con excepción de la relacionada con la cobertura en educación básica. iii) Población potencial y objetivo. Los Lineamientos 2011 y las evaluaciones internas y externas del Fondo definen a la población potencial y a la objetivo. Ambas poblaciones están cuantificadas y cuentan con unidad de medida, con una metodología para su cuantificación y con fuentes de información. Con la finalidad de conocer quiénes reciben los apoyos del Fondo, los Lineamientos 2011 describen las características de las UPES beneficiarias y las evaluaciones internas y externas cuentan con información del padrón de beneficiarios. iv) Matriz de Indicadores para Resultados (MIR). En los Lineamientos 2011 del Fondo no es posible encontrar el resumen narrativo de la MIR. La MIR del Fondo no presenta una lógica vertical adecuada, la Actividad aún cuando está claramente especificada, no es necesaria para producir el Componente y este a su vez aún cuando es necesario para producir el Propósito, no es el resultado de lo que se espera ocurrirá si se cumple con la Actividad de la MIR. Para contar con una mayor congruencia vertical, se recomienda invertir la Actividad por el Componente y considerar el cambiar a indicadores que sean responsabilidad directa del Fondo. La MIR únicamente hace referencia a los problemas estructurales por el pago de pensiones, dejando fuera el tema de la regularización de la plantilla. El Fin de la MIR es un objetivo único, pero no es superior, se cree que más bien podría formar parte del Propósito. En cuanto a la lógica horizontal, se recomienda reforzar los niveles. El resumen narrativo es corto y poco descriptivo para todos los indicadores. Las fichas técnicas de los indicadores están completas, únicamente les hace falta el comportamiento del indicador. Las metas de los indicadores de Propósito, Componente y Actividad están orientadas a impulsar el desempeño y son factibles de alcanzar. No es posible realizar un análisis de la meta del Fin pues no se sabe qué significa estado crítico. Los medios de verificación de los indicadores de Fin, Componente y Actividad son oficiales, conocidos, públicos y suficientes para calcular los indicadores de la MIR. Los medios de verificación del Propósito no son claros. v) Complementariedades y coincidencias con otros programas federales. El Fondo se complementa con el Fondo de Apoyo para Saneamiento Financiero de las Universidades Públicas Estatales por Debajo de la Media Nacional en Subsidio por Alumno. Los dos Fondos tienen objetivo y población objetivo similares, y tienen cobertura a nivel nacional. 3

4 Índice Lista de Acrónimos... 5 Introducción... 6 I. Justificación de la creación y del diseño del programa... 7 II. Contribución a los objetivos nacionales y a los sectoriales III. Población potencial y objetivo IV. Matriz de Indicadores para Resultados (MIR) V. Complementariedades y coincidencias con otros programas federales Valoración del Diseño del programa Análisis de Fortalezas, Oportunidades, Debilidades y Amenazas Conclusiones Bibliografía Anexos

5 Lista de Acrónimos CONEVAL Consejo Nacional de Evaluación de la Política de Desarrollo Social DGESU Dirección General de Educación Superior Universitaria IES Instituciones de Educación Superior MIR Matriz de Indicadores para Resultados PND Plan Nacional de Desarrollo SEP Secretaría de Educación Pública SES Subsecretaría de Educación Superior SHCP Secretaría de Hacienda y Crédito Público SFP Secretaría de la Función Pública TDR Términos de Referencia UPES Universidades Públicas Estatales 5

6 Introducción El presente trabajo muestra la Evaluación en Materia de Diseño del Fondo para la Atención de Problemas Estructurales de las Universidades Públicas Estatales U066 de acuerdo a los Términos de Referencia (TdR) emitidos por el Consejo Nacional de Evaluación de la Política de Desarrollo Social (Coneval). La evaluación tiene como objetivo proveer información que retroalimente el diseño, la gestión y los resultados del Fondo. Los objetivos específicos de acuerdo con los TdR de Coneval son: Analizar la justificación y diseño del programa. Identificar y analizar su vinculación con la planeación sectorial y nacional. Analizar la consistencia entre su diseño y la normatividad aplicable. Identificar posibles complementariedades y/o coincidencias con otros programas federales La Evaluación de Diseño se realizó mediante trabajo de gabinete con base en la información proporcionada por la unidad responsable del programa y con bibliografía adicional necesaria a juicio del equipo evaluador. La Evaluación consta de 21 preguntas divididas en cinco temas. De las 21 preguntas, 16 se responden de forma binaria Sí o No argumentando la respuesta y seleccionando uno de los cuatro niveles de respuesta definidos para cada pregunta. Las otras 5 preguntas se respondieron en formato libre con base en evidencia documental. Además de las 21 preguntas, el documento, siguiendo siempre los TdR, cuenta con un análisis FODA así como con una sección de conclusiones y 11 anexos, todo lo cual permite un entendimiento completo del Fondo en su parte de Diseño. El Fondo para la Atención de Problemas Estructurales de las Universidades Públicas Estatales U066 busca atender los problemas ocasionados por los pasivos contingentes derivados de pensiones y jubilaciones así como del reconocimiento de nuevos trabajadores dado el crecimiento de la matrícula y la cobertura. 6

7 I. Justificación de la creación y del diseño del programa 1. El problema o necesidad prioritaria que busca resolver el programa está identificado en un documento que cuenta con la siguiente información: a) El problema o necesidad se formula como un hecho negativo o como una situación que puede ser revertida. b) Se define la población que tiene el problema o necesidad. Si Nivel: 4 El programa tiene identificado el problema o necesidad que busca resolver, y El problema cumple con todas las características establecidas en la pregunta, y El programa actualiza periódicamente la información para conocer la evolución del problema. El Árbol de Problemas identifica la necesidad prioritaria que atiende el Fondo para la Atención de Problemas Estructurales de las Universidades Públicas Estatales (UPES), la cual es la situación vulnerable a la que se enfrentan las Instituciones de Educación Superior (IES) tanto para abatir pasivos contingentes derivados de pensiones y jubilaciones, como el problema de reconocimiento de plantilla derivado del crecimiento significativo en matrícula y cobertura. El problema está formulado como un hecho negativo. En los Lineamientos 2011 se establece que el Fondo va dirigido a UPES con problemas estructurales en sus sistemas de jubilaciones y pensiones debido al envejecimiento de su personal académico y administrativo (Modalidad A) y a UPES que por razones de crecimiento, reestructuración o necesidades apremiantes debidamente justificadas, se hayan visto en la necesidad de contratar en el pasado personal de apoyo administrativo que actualmente forma parte permanente de la plantilla, cuenta con una antigüedad mínima de cinco años y su contratación ha sido financiada con ingresos distintos al subsidio federal, y que, en consecuencia, no se encuentra registrado en la plantilla oficial autorizada por la Secretaría de Educación Pública (SEP) para estos efectos (Modalidad B). El programa actualiza periódicamente la información para conocer la evolución del problema a resolver pues cada año las UPES interesadas en recibir apoyos del Fondo deben presentar un proyecto acompañado de un estudio actuarial actualizado elaborado por un despacho de auditoría externa donde presenten sus avances y necesidades actuales. Fuentes: Árbol de Problemas y Lineamientos

8 2. Existe un diagnóstico del problema que atiende el programa que describa de manera específica: a) Causas, efectos y características del problema. b) Cuantificación y características de la población que presenta el problema. c) Ubicación territorial de la población que presenta el problema. Si Nivel: 4 El programa cuenta con documentos, información y/o evidencias que le permiten conocer la situación del problema que pretende atender, y El diagnóstico cumple con todas de las características establecidas en la pregunta, El programa actualiza periódicamente el diagnóstico. Sí existe un diagnóstico del problema que atiende el Fondo para la Atención de Problemas Estructurales de las Universidades Públicas Estatales (UPES). En el Árbol de Problemas se definen las causas y los efectos que resultan de la situación vulnerable a la que se enfrentan las UPES. Entre las diferentes causas se mencionan las siguientes: Insuficiencia presupuestaria para cubrir obligaciones. Aumento de personal derivado del incremento de la matrícula y de los programas de estudio. Proceso de envejecimiento del personal de las instituciones. Entre los diferentes efectos se mencionan los siguientes: Disfuncionalidad administrativa por falta de personal. Incremento del pasivo contingente de las Instituciones de Educación Superior. Incremento en la nómina de jubilados y pensionados. Demandas del personal por no cubrir obligaciones contractuales. Además, evaluaciones internas y externas de las dos modalidades del Fondo presentan las características del problema. En el caso de la Modalidad A, los sistemas de pensiones universitarios otorgaban pensiones por jubilación a personas en edades sumamente jóvenes (40 a 45 años de edad) por lo que se tendía a sobreproteger al trabajador y/o a su familia y perjudicar directamente al patrón. En este contexto, el incremento en la esperanza de vida, el reconocimiento de antigüedad, la insuficiencia de aportaciones, entre otros, son factores que han descapitalizado a los sistemas de pensiones universitarios. Para el caso de la Modalidad B, las plantillas de personal administrativo de las UPES no se revisaron durante un periodo de casi 20 años y por tanto dado el creciente aumento de la matrícula se contrató a personal académico y administrativo no reconocido por la Secretaría de Educación Pública (SEP) y la Secretaría de Hacienda y Crédito Público (SHCP). El problema se presenta en las 34 UPES distribuidas en todos los estados de la República Mexicana. El Fondo actualiza periódicamente el diagnóstico del problema mediante evaluaciones internas y externas, y proyectos acompañados de un estudio actuarial entregados por las UPES. Fuentes: Árbol de Problemas y evaluaciones internes y externas. 8

9 3. Existe justificación teórica o empírica documentada que sustente el tipo de intervención que el programa lleva a cabo? Si Nivel: 3 El programa cuenta con una justificación teórica o empírica que sustente el tipo de intervención que el programa lleva a cabo en la población objetivo, y La justificación teórica o empírica es consistente con el diagnóstico del problema, y Existe evidencia (nacional o internacional) de los efectos positivos atribuibles a los beneficios o los apoyos otorgados a la población objetivo. El Fondo para la Atención de Problemas Estructurales de las Universidades Públicas Estatales (UPES) se enmarca dentro de las políticas públicas que buscan apoyar financieramente a las instituciones de educación superior recurriendo a nuevos esquemas de financiamiento basados en resultados e indicadores de desempeño (Johnstone 1998) que han demostrado constituirse en herramientas eficaces para alinear incentivos y acelerar los procesos de mejora de las instituciones educativas. En América Latina, países como Argentina y Chile han instrumentado esta política de financiamiento desde los años noventa (Experton 1998), obteniendo buenos resultados. En Europa, países como Francia y España también han introducido modelos de financiamiento basados en indicadores de desempeño. Si bien estas políticas de financiamiento buscan en general mejorar el rendimiento de las instituciones educativas, no existe evidencia específica internacional que hable de problemas estructurales derivados de pensiones y jubilaciones, y de reconocimiento de plantilla. Para México existe evidencia (Aguirre 2010 y Soto 2010) de que el financiamiento a Instituciones de Educación Superior (IES) mediante valoraciones actuariales estandarizadas para resolver problemas estructurales tiene resultados exitosos. El Fondo de Apoyo para Reformas Estructurales de las IES incrementó de 2.8% a 51.2% en 9 años de existencia el nivel de financiamiento del pasivo total de cada una de las IES. Es decir, las IES disminuyeron sus pasivos de 773 a 498 millones de pesos. Además, los recursos destinados al Fondo contribuyeron a lograr acuerdos entre autoridades y trabajadores universitarios. Este Fondo cubre problemas financieros específicos (pensiones y jubilaciones y reconocimiento de plantilla) que pudieron derivarse de una mala gestión o de un diseño institucional inadecuado. En este sentido, y si bien, el apoyo que reciben las instituciones va aparejado de obligaciones para las universidades, es posible que la misma existencia del Fondo retarde la toma de decisiones (reformas) o bien, las haga menos idóneas. Es decir, tal como lo señala la literatura del presupuesto blando (soft-budget constraint) el Fondo puede estar creando incentivos perversos. Aun así, debe destacarse la importancia del mismo en la solvencia y sobrevivencia de diversas instituciones. Con la evidencia señalada no es posible establecer que la intervención sea la más eficaz, aún cuando es claro que el Fondo contribuye a mejorar la situación vulnerable a la que se enfrentan las UPES. Fuentes: Aguirre (2010), Experton (1998), Johnstone (1998) y (Soto 2010) 9

10 II. Contribución a los objetivos nacionales y a los sectoriales 4. El Propósito del programa está vinculado con los objetivos del programa sectorial, especial o institucional considerando que: a) Existen conceptos comunes entre el Propósito y los objetivos del programa sectorial, especial o institucional por ejemplo: población objetivo. b) El logro del Propósito aporta al cumplimiento de alguna(s) de la(s) meta(s) de alguno(s) de los objetivos del programa sectorial, especial o institucional. Si Nivel: 3 El programa cuenta con un documento en el que se establece la relación con objetivo del programa sectorial, especial o institucional, y Es posible determinar vinculación con todos los aspectos establecidos en la pregunta. El Propósito del Fondo es que las Universidades Públicas Estatales (UPES) puedan sanear sus finanzas y superen la situación crítica en la que se encuentran debido al envejecimiento del personal académico y administrativo. De esta manera, los Lineamientos 2011 del Fondo relacionan el Propósito del mismo con el Objetivo 6 del Programa Sectorial de Educación el cual busca fomentar una gestión escolar e institucional que fortalezca la participación de los centros escolares en la toma de decisiones, corresponsabilice a los diferentes actores sociales y educativos, y promueva la seguridad de alumnos y profesores, la transparencia y la rendición de cuentas de los centros escolares e instituciones. Específicamente, se vincula con las estrategias y líneas de acción 6.16 y La estrategia 6.16 busca conformar un nuevo modelo de financiamiento de la educación superior con esquemas de asignación objetivos y transparentes. La estrategia 6.17 pretende atender los problemas estructurales de las instituciones de educación superior que han sufrido un intenso proceso de envejecimiento del personal académico y administrativo para que puedan reducir los pasivos contingentes derivados de sus sistemas de pensiones y jubilaciones. El logro del Propósito no aporta al cumplimiento de las metas del Objetivo 6 del Programa Sectorial de Educación ya que no hay ninguna meta que se relacione con problemas estructurales. Fuentes: MIR (2011), Lineamientos 2011 y Programa Sectorial de Educación

11 5. Con cuáles ejes temáticos y objetivos del Plan Nacional de Desarrollo vigente está vinculado el objetivo sectorial relacionado con el programa? El Objetivo 6 del Programa Sectorial de Educación está vinculado con los Objetivos 10, 13 y 14 del Eje 3; y con el objetivo 5 del Eje 5 del Plan Nacional de Desarrollo (PND). De manera particular, cale la pena mencionar el Eje 3 Igualdad de Oportunidades, Tema 3.3 Transformación Educativa, Objetivo 14 el cual busca ampliar la cobertura, favorecer la equidad y mejorar la calidad y pertinencia de la educación. Se considera que el Fondo se relaciona con el PND ya que al atender los problemas estructurales a los cuales se enfrentan las Universidades Públicas Estatales (UPES) y al regularizar su plantilla se fortalece la institución y por tanto se crean mejores mecanismos para articular la oferta educativa. De esta manera, las Instituciones de Educación Superior (IES) al no tener grandes pasivos, pueden enfocarse en contar con una mejor coordinación y gestión ofreciendo una educación de mejor calidad. Fuentes: Plan Nacional de Desarrollo y Programa Sectorial de Educación

12 6. Cómo está vinculado el Propósito del programa con las Metas del Milenio? Vinculación: Indirecta Si bien el Fondo no está vinculado de manera directa con alguna de las Metas del Milenio, se relaciona de manera indirecta con casi todos los objetivos: pobreza y hambre, igualdad de género, autonomía de la mujer, salud materna, prevención de enfermedades como el VIH/SIDA y el paludismo, reducción de la mortalidad infantil, garantizar la sostenibilidad del medio ambiente y fomentar una asociación mundial para el desarrollo. Únicamente no se vincula con la cobertura de la educación básica. Con la educación, el ser humano adquiere habilidades y actitudes cruciales en todo su desarrollo. Además la educación es un proceso de aprendizaje encaminado al desarrollo intelectual y ético de las personas. Fuentes: Lineamientos 2011, Objetivos de las Metas del Milenio 12

13 III. Población potencial y objetivo 7. Las poblaciones, potencial y objetivo, están definidas en documentos oficiales y/o en el diagnóstico del problema y cuentan con la siguiente información y características: a) Unidad de medida. b) Están cuantificadas. c) Metodología para su cuantificación. d) Fuentes de información. Si Nivel: 4 El programa tiene definidas las poblaciones (potencial y objetivo), y Las definiciones cumplen todas las características establecidas, y Existe evidencia de que el programa actualiza (según su metodología) y utiliza las definiciones para su planeación. Las poblaciones potencial y objetivo se encuetran definidas en los Lineamientos 2011 y en las evaluaciones internas y externas del programa. La población potencial consiste de las treinta y cuatro Universidades Públicas Estatales (UPES) en todo el país, debido a que los recursos van dirigidos a sanear sus sistemas de jubilaciones y pensiones y a la regularización de la plantilla. La población objetivo consiste de las UPES que participan y reciben recursos (en este caso 28 UPES) para sanear sus sistemas de jubilaciones y pensiones y la regularización de la plantilla. Dado que el programa es voluntario, la población objetivo se obtiene de las UPES que solicitan el apoyo. En este sentido, la población objetivo siempre será igual a la población atendida. El programa actualiza anualmente las poblaciones y utiliza las definiciones para su planeación. Fuentes: Lineamientos 2011 y evaluaciones internas y externas 13

14 8. Existe información que permita conocer quiénes reciben los apoyos del programa (padrón de beneficiarios) que: a) Incluya las características de los beneficiarios establecidas en su documento normativo. b) Incluya el tipo de apoyo otorgado. c) Esté sistematizada. d) Cuente con mecanismos documentados para su depuración y actualización. Si Nivel: 4 La información de los beneficiarios cumple todas las características establecidas. En los Lineamientos 2011 del Fondo para la Atención de Problemas Estructurales de las Universidades Públicas Estatales (UPES) se define como beneficiarias a las UPES con problemas estructurales que afectan negativamente su viabilidad financiera de corto, mediano y largo plazos. El Fondo se divide en dos modalidades: la A y la B. La modalidad A asigna recursos no regularizables a las UPES que inciden en problemas estructurales, específicamente a los sistemas de jubilaciones y de pensiones debido al envejecimiento del personal académico y administrativo. La modalidad B atiende a UPES que por razones de crecimiento, reestructuración o necesidades apremiantes debidamente justificadas, se vieron en la necesidad de contratar personal de apoyo administrativo que actualmente forma parte permanente de la plantilla, cuenta con una antigüedad mínima de cinco años y su contratación ha sido financiada con ingresos distintos al subsidio federal, y que, en consecuencia, no se encuentra registrado en la plantilla oficial autorizada por la Secretaría de Educación Pública (SEP) para estos efectos. Además, los Lineamientos 2011 establecen que en ambas modalidades el apoyo otorgado se refiere a recursos económicos que se asignan mediante un proceso de selección. Las Universidades que requieren apoyo del Fondo para solucionar sus problemas estructurales deben presentar anualmente un proyecto ante la Dirección General de Educación Superior Universitaria (DGESU), quien será la encargada, junto con la Subsecretaría de Educación Superior (SES), de tomar la decisión final. Las evaluaciones externa e internas cuentan con información del padrón de beneficiarios de las modalidades A y B y se actualiza año con año. En el padrón de la modalidad A se encuentra el nombre de la Institución y la entidad federativa, el total de ahorro para la Institución por reformas estructurales, el incremento en reservas y aportaciones de los trabajadores y pensionados, la disminución de pasivos por reformas a los beneficios de generación actual y nuevas generaciones. Para la modalidad B la base de datos contiene el nombre de la Institución y la entidad federativa, las plazas administrativas requeridas, el apoyo otorgado en el año seleccionado dividido en número de plazas y monto aportado y el porcentaje atendido. Además se cuenta con el gasto de operación y la aportación en pesos y en porcentaje para el reconocimiento de la plantilla. El Manual de Procedimientos es el mecanismo documentado que permite que las autoridades tomen decisiones en la gestión de recursos a partir de los proyectos presentados por las Universidades. De esta manera se depura y actualiza anualmente el padrón de beneficiarios. Fuentes: Lineamientos 2011, evaluaciones internas y externas y manual de procedimientos 14

15 9. Si el programa recolecta información socioeconómica de sus beneficiarios, explique el procedimiento para llevarlo a cabo, las variables que mide y la temporalidad de las mediciones. No aplica. Al ser las Universidades Públicas Estatales (UPES) las beneficiarios del Fondo y no personas, no es posible recolectar información socioeconómica y por tanto esta pregunta no aplica. A pesar de lo anterior y como se señaló en la pregunta 8, el Programa cuenta con información de sus beneficiarios. 15

16 IV. Matriz de Indicadores para Resultados (MIR) De la lógica vertical de la Matriz de Indicadores de Resultados 10. Para cada uno de los Componentes de la MIR del programa existe una o un grupo de Actividades que: a) Están claramente especificadas, es decir, no existe ambigüedad en su redacción. b) Están ordenadas de manera cronológica. c) Son necesarias, es decir, ninguna de las Actividades es prescindible para producir los Componentes. d) Su realización genera junto con los supuestos en ese nivel de objetivos los Componentes. Si Nivel: 1 Del 0 al 49% de las Actividades cumplen con todas las características establecidas en la pregunta. Se considera que la actividad Formalización de convenios está claramente especificada. La Matriz de Indicadores para Resultados 2011 (MIR) cuenta únicamente con una actividad por lo que se puede decir que está ordenada de manera cronológica. La formalización de convenios no es necesaria para producir el Componente de la matriz, pues la firma de los convenios se lleva a cabo después de que se presentan los estudios actuariales y se asignan los recursos. Los convenios se formalizan una vez que se asignaron los recursos a las Universidades participantes. Por lo anterior su realización, aún con los supuestos, no genera el componente de la matriz. Fuentes: MIR

17 11. Los Componentes señalados en la MIR cumplen con las siguientes características: a) Son los bienes o servicios que produce el programa. b) Están redactados como resultados logrados, por ejemplo becas entregadas. c) Son necesarios, es decir, ninguno de los Componentes es prescindible para producir el Propósito. d) Su realización genera junto con los supuestos en ese nivel de objetivos el Propósito. Si Nivel: 1 Del 0 al 49% de los Componentes cumplen con todas las características establecidas en la pregunta. La Matriz de Indicadores para Resultados 2011 (MIR) únicamente cuenta con un Componente con el que pretende lograr el Propósito. Este es Estudios actuariales presentados. Se considera que el Componente Estudios actuariales presentados cuya definición es porcentaje de proyectos que incorporan un elemento fundamental para determinar los ahorros logrados en pasivos contingentes que es el estudio actuarial, no es un bien o servicio que produce el Fondo. Es un requisito que deben presentar las universidades participantes que deseen recibir apoyos del fondo. El Componente está redactado como resultado logrado. Si bien el Componente es necesario para producir el Propósito, no es el resultado de lo que se espera pasará si se cumple con la Actividad de la MIR. De igual forma, aún cuando se presenten estudios actuariales y se cumpla el supuesto de que las Universidades Públicas Estatales (UPES) conservan las reformas a sus contratos colectivos de trabajo ya realizadas, únicamente se puede generar de manera parcial el Propósito. Primero por lo arriba mencionado y segundo las UPES deben aplicar los recursos económicos de manera eficiente para que puedan sanear sus finanzas. Fuentes: MIR

18 12. El Propósito de la MIR cuenta con las siguientes características: a) Es consecuencia directa de que se espera ocurrirá como resultado de los Componentes y los supuestos a ese nivel de objetivos. b) Su logro no está controlado por los responsables del programa. c) Es único, es decir, incluye un solo objetivo. d) Está redactado como una situación alcanzada, por ejemplo: morbilidad en la localidad reducida. e) Incluye la población objetivo. Si Nivel: 3 El Propósito cumple con cuatro de las características establecidas en la pregunta. El Propósito Las Universidades Públicas Estatales sanean sus finanzas y superan situaciones críticas está bien planteado. El Propósito no es consecuencia directa de los que se espera ocurrirá como resultado del Componente y sus supuestos, es claro que la existencia de estudios actuariales no garantiza la reducción de los pasivos contingentes; la formalización de los convenios podría tener una mayor incidencia. El logro del Propósito no está controlado por el Fondo pues los responsables del saneamiento de las finanzas son los directivos de las universidades los cuales deben lograr cambios en las reformas laborales que logren la reducción de los pasivos contingentes derivados de pensiones y jubilaciones. Las Universidades Públicas Estatales (UPES) deben aplicar de manera eficiente los recursos para poder contribuir al Propósito del Fondo. El Propósito es único, incluye solamente un objetivo y está redactado como una situación alcanzada. El resumen narrativo del Propósto sí incluye a las UPES las cuales son la población objetivo del fondo. Fuentes: MIR

19 13. El Fin de la MIR cuenta con las siguientes características: a) Está claramente especificado, es decir, no existe ambigüedad en su redacción. b) Es un objetivo superior al que el programa contribuye, es decir, no se espera que la ejecución del programa sea suficiente para alcanzar el Fin. c) Su logro no está controlado por los responsables del programa. d) Es único, es decir, incluye un solo objetivo. e) Está vinculado con objetivos estratégicos de la dependencia o del programa sectorial. Si Nivel: 3 El Fin cumple con cuatro de las características establecidas en la pregunta. El Fin de la Matriz de Indicadores para Resultados 2011 (MIR) Contribuir a atender los problemas estructurales de las Universidades Públicas Estatales mediante la asignación de recursos está claramente especificado. No es un objetivo superior. Se considera que más bien podría formar parte del Propósito pues mediante la asignación de recursos monetarios se espera que las Universidades Públicas Estatales (UPES) superen el estado crítico de viabilidad financiera. De la misma manera que el Propósito, la responsabilidad del logro del Fin recae en los responsables de las Instituciones de Educación Superior (IES) las cuales tienen la obligación de aplicar de manera eficiente los recursos y de esta forma superar sus problemas estructurales. El Fin es un objetivo único. El objetivo estratégico de la dependencia es fortalecer la educación superior en cada entidad federativa, de acuerdo con las prioridades establecidas por sus planes de desarrollo. Y con el objetivo 6 del Programa Sectorial de Educación el cual busca fomentar una gestión escolar e institucional que fortalezca la participación de los centros escolares en la toma de decisiones, corresponsabilice a los diferentes actores sociales y educativos, y promueva la seguridad de alumnos y profesores, la transparencia y la rendición de cuentas de los centros escolares e instituciones. El Fin del fondo está vinculado de alguna manera con el objetivo estratégico de la dependencia y con el objetivo del programa sectorial; al superar el estado crítico de viabilidad financiera se fortalece a las instituciones y se fomenta una correcta gestión escolar e institucional. Fuentes: MIR

20 14. En el documento normativo del programa es posible identificar el resumen narrativo de la MIR (Fin, Propósito, Componentes y Actividades)? No El Fondo no tiene Reglas de Operación, tiene Lineamientos y por tanto no es posible identificar el resumen narrativo de la Matriz de Indicadores para Resultados en los Lineamientos Fuentes: Lineamientos

21 De la lógica horizontal de la Matriz de Indicadores de Resultados 15. En cada uno de los niveles de objetivos de la MIR del programa (Fin, Propósito, Componentes y Actividades) existen indicadores para medir el desempeño del programa con las siguientes características: a) Claros. b) Relevantes. c) Económicos. d) Monitoreables. e) Adecuados. Si Nivel: 1 Del 0 al 49% de los indicadores del programa tienen las características establecidas. Únicamente el indicador de Propósito de la Matriz de Indicadores para Resultados 2011 (MIR) cumple con todas las características establecidas en la pregunta. Permite medir de manera directa la saneación de las finanzas de las Universidades Públicas Estatales (UPES). El indicador de Fin si bien es relevante, económico, monitoreable y adecuado, no es claro pues se no se especifica qué significa estado crítico. Para más información ver el Anexo 4. Fuentes: MIR 2011 y fichas técnicas de los indicadores

22 16. Las Fichas Técnicas de los indicadores del programa cuentan con la siguiente información: a) Nombre. b) Definición. c) Método de cálculo. d) Unidad de Medida. e) Frecuencia de Medición. f) Línea base. g) Metas. h) Comportamiento del indicador (ascendente, descendente, regular o nominal). Sí Nivel: 1 Del 0 al 49% de las Fichas Técnicas de los indicadores del programa tienen las características establecidas. Las fichas técnicas de los indicadores están completas, únicamente les falta el comportamiento del indicador (ascendente, descendente, regular o nominal). Fuentes: MIR 2011 y fichas técnicas de los indicadores

23 17. Las metas de los indicadores de la MIR del programa tienen las siguientes características: a) Cuentan con unidad de medida. b) Están orientadas a impulsar el desempeño, es decir, no son laxas. c) Son factibles de alcanzar considerando los plazos y los recursos humanos y financieros con los que cuenta el programa. Si Nivel: 3 Del 70 al 84% de las metas de los indicadores del programa tienen las características establecidas. Todas las metas de los indicadores de la Matriz de Indicadores para Resultados 2011 (MIR) cuentan con unidad de medida. La unidad de medida es porcentaje en todos los casos. Se considera que las metas de los indicadores de Propósito, Componente y Actividad están orientadas a impulsar el desempeño y son factibles de alcanzar. Están dirigidas a cumplir los objetivos del Programa Sectorial de Educación y el Plan Nacional de Desarrollo, y se cuenta con los recursos humanos y económicos para reducir los pasivos contingentes de las Universidades, revisar los estudios actuariales y firmar los convenios para formalizar la entrega de recursos a las Instituciones. En el caso del indicador de Fin no es posible determinar si la meta está impulsada a orientar el desempeño y si es factible de alcanzar, esto ya que no es claro qué significa estado crítico. Es importante mencionar que las metas de Componente y Actividad no dependen únicamente del Fondo. Las Universidades interesadas deben realizar los estudios actuariales y deben firmar los convenios. Esto puede ocasionar que en ocasiones no se cumpla la meta. Sería recomendable tener indicadores que dependieran más del Fondo. Para más información ver el Anexo 5 y la pregunta 20. Fuentes: MIR 2011 y fichas técnicas de los indicadores 23

24 18. Cuántos de los indicadores incluidos en la MIR tienen especificados medios de verificación con las siguientes características: a) Oficiales o institucionales. b) Con un nombre que permita identificarlos. c) Permiten reproducir el cálculo del indicador. d) Públicos, accesibles a cualquier persona. Si Nivel: 3 Del 70 al 84% de los medios de verificación cumplen con las características establecidas en la pregunta. Los indicadores de Fin, Componente y Actividad de la Matriz de Indicadores de Resultados 2011 (MIR) cuentan con medios de verificación oficiales, públicos y accesibles a cualquier persona, tienen un nombre que permite identificarlos y permiten reproducir el cálculo del indicador. Los medios de verificación del indicador de Propósito no tiene no es claro. A pesar de que los medios de verificación son públicos y cualquier persona puede acceder a ellos, sería conveniente que estuvieran disponibles de manera electrónica en internet. Fuentes: MIR 2011 y fichas técnicas de los indicadores

25 19. Considerando el conjunto Objetivo-Indicadores-Medios de verificación, es decir, cada renglón de la MIR del programa es posible identificar lo siguiente: a) Los medios de verificación son los necesarios para calcular los indicadores, es decir, ninguno es prescindible. b) Los medios de verificación son suficientes para calcular los indicadores. c) Los indicadores permiten medir, directa o indirectamente, el objetivo a ese nivel. Si Nivel: 3 Tres de los conjuntos Objetivo-Indicadores-Medios de verificación del programa tienen las características establecidas. Los medios de verificación de los indicadores de Fin, Componente y Actividad de la Matriz de Indicadores para Resultados 2011 (MIR) son los necesarios y suficientes para calcular los indicadores. Dado esto y lo mencionado en la Pregunta 18 se considera que estos tres indicadores permiten medir el objetivo en cada uno de los niveles. El medio de verificación del indicador de Propósito no es claro, por lo tanto no se sabe si es necesario, suficiente y si permite medir el objetivo en ese nivel. Fuentes: MIR 2011 y fichas técnicas de los indicadores

26 Valoración final de la MIR Evaluación en Materia de Diseño Sugiera modificaciones en la MIR del programa o incorpore los cambios que resuelvan las deficiencias encontradas en cada uno de sus elementos a partir de sus respuestas a las preguntas de este apartado. De acuerdo a la lógica vertical y horizontal de de la Matriz de Indicadores para Resultados 2011 (MIR) se sugiere tomar en cuenta las siguientes anotaciones y recomendaciones: Se recomienda invertir la Actividad y el Componente ya que no se encuentra una relación consistente entre ambos niveles. Se sugiere discutir la posibilidad de incluir otra u otras actividades de tal forma que se refleje de mejor forma las acciones del Programa. Se sugiere cambiar los indicadores de Actividad y Componente por indicadores que dependan más del Fondo y no de las Universidades. El Fin puede modificarse para que refleje un fin superior. La MIR se concentra en los problemas estructurales derivados de jubilaciones y pensiones, dejando ausente la regularización de la plantilla. Debe considerarse agregar elementos relacionados con ésta última. Fuentes: MIR 2011 y fichas técnicas de los indicadores

27 V. Complementariedades y coincidencias con otros programas federales 21. Con cuáles programas federales y en qué aspectos el programa evaluado podría tener complementariedad y/o coincidencias? El Fondo para la Atención de Problemas Estructurales de las Universidades Públicas Estatales muestra complementariedades con el Fondo de Apoyo para Saneamiento Financiero de las Universidades Públicas Estatales por Debajo de la Media Nacional en Subsidio por Alumno. Ambos Fondos tienen un Propósito y una población objetivo similar. El Fondo para la Atención de Problemas Estructurales busca que las Universidades Públicas Estatales (UPES) saneen sus finanzas y superen situaciones críticas; y el Fondo de Apoyo para Saneamiento Financiero busca contribuir al saneamiento financiero de las UPES que estén por debajo de la media en subsidio por alumno. El tipo de apoyo otorgado son recursos económicos concursables otorgados a las UPES con base en su desempeño. Y ambos Fondos tienen cobertura a nivel nacional. Los dos fondos buscan sanear las finanzas de las UPES. Uno por el lado de pasivos por pensiones y jubilaciones y regularización de la plantilla administrativa; y otro por el lado de pasivos contingentes derivados de adeudos a las instituciones de la seguridad social, pagos a la Secretaría de Hacienda y Crédito Público (SHCP), liquidación de personal, entre otros. Aún cuando hoy no se encuentran duplicidades entre los Fondos, debe procurarse seguir así en los próximos años. Fuentes: Lineamientos 2011 del Fondo para la Atención de Problemas Estructurales de las UPES y Lineamientos 2011 del Fondo de Apoyo para Saneamiento Financiero de las UPES por Debajo de la Media Nacional en Subsidio por Alumno. 27

28 Valoración del Diseño del programa Tema Nivel Justificación Justificación de la creación y del diseño del programa Contribución a los objetivos nacionales y a los sectoriales Población potencial y objetivo El programa identifica el problema o necesidad prioritaria como un hecho negativo y como una situación que puede ser revertida y lo documenta bien. Las causas y los efectos derivados de la situación vulnerable a la que se enfrentan las UPES se definen en los distintos diagnósticos con los que cuenta el Fondo. No existe justificación teórica internacional que sustente el tipo de intervención, existe justificación teórica nacional. El Propósito del Fondo está vinculado con el objetivo 6 del Programa Sectorial de Educación ; y específicamente con el Objetivo 14 del Eje 3 Igualdad de Oportunidades, Tema 3.3 Transformación Educativa del Plan Nacional de Desarrollo El programa se vincula de manera indirecta con todos los objetivos de las Metas del Milenio, excepto la cobertura de educación básica. Los Lineamientos 2011 y las Evaluaciones Internas y Externas del Fondo definen a la población potencial y a la objetivo; ambas poblaciones están cuantificadas y cuentan con unidad de medida, una metodología para su cuantificación y con fuentes de información. El programa tiene información que permite conocer quiénes reciben los apoyos del programa. Matriz de indicadores para resultados 1.9 No es posible encontrar el resumen narrativo de la MIR en los Lineamientos 2011 del Fondo. El Componente y la Actividad están invertidos por lo que el Propósito no es consecuencia directa de lo que se espera ocurrirá como resultado del los Componente. Si bien el Fin de la MIR es un objetivo único, no es un objetivo superior. En la lógica horizontal, el resumen narrativo es corto y poco descriptivo para todos los indicadores. Las fichas técnicas de los indicadores están completas y sólo les hace falta el comportamiento del indicador. Las metas de Propósito, Componente y Actividad están orientadas a impulsar el desempeño y son factibles de alcanzar. No es posible realizar un análisis de la meta del Fin pues no se sabe qué significa estado crítico. Los medios de verificación de los indicadores de Fin, Componente y Actividad son oficiales, claros, públicos y suficientes para calcular los indicadores de la MIR. Se recomienda agregar información sobre la regularización de la plantilla, hoy ausente en la MIR. Complementariedades y coincidencias con otros programas federales N.A Valoración final 3.1 El Fondo se complementa con el Fondo de Apoyo para Saneamiento Financiero de las Universidades Públicas Estatales por Debajo de la Media Nacional en Subsidio por Alumno. Los dos Fondos tienen objetivos y población objetivo similares, y operan a nivel nacional El Fondo presenta un diseño adecuado y documentado. Utiliza como base los Lineamientos, Evaluaciones Externas e Internas y la MIR. Todavía existen áreas de oportunidad que es necesario cubrir, la más importante de ellas mejorar la MIR. 28

29 Análisis de Fortalezas, Oportunidades, Debilidades y Amenazas Tema de evaluación: Diseño Justificación de la creación y del diseño del programa Justificación de la creación y del diseño del programa Justificación de la creación y del diseño del programa Fortaleza y Oportunidad/Debilidad o amenaza Fortaleza y Oportunidad El programa tiene bien documentado el problema que busca resolver: la situación vulnerable a la que se enfrentan las IES tanto para abatir pasivos contingentes derivados de pensiones y jubilaciones, como el problema de reconocimiento de plantilla derivado del crecimiento significativo en matrícula y cobertura Existe un diagnóstico del problema que atiende el programa Existe evidencia que sustenta el tipo de intervención que el programa lleva a cabo Referencia (Pregunta) 1 Ninguna 2 Ninguna 3 Recomendación Buscar evidencia de que la intervención es la más eficaz para atender la problemática Justificación de la creación y del diseño del programa Contribución a los objetivos nacionales y a los sectoriales Contribución a los objetivos nacionales y a los sectoriales Población potencial y objetivo Población potencial y objetivo Población potencial y objetivo Matriz de Indicadores para Resultados Debilidad o Amenaza Ninguna Fortaleza y Oportunidad El Propósito del programa está alineado con el Plan Nacional de Desarrollo, con el Programa Sectorial de Educación y con las metas del milenio Debilidad o Amenaza Ninguna Fortaleza y Oportunidad Los Lineamientos 2011 y las Evaluaciones Externas e Internas del Fondo definen y establecen claramente la población potencial y objetivo Existen documentos oficiales sistematizados y actualizados que permiten identificar quiénes reciben los apoyos del programa Debilidad o Amenaza Ninguna Fortaleza y Oportunidad Las fichas técnicas de los indicadores están muy completas, únicamente les hace falta el comportamiento del indicador 4, 5 y 6 Ninguna 7 Ninguna 8 Ninguna 16 Agregar el comportamiento del indicador a las fichas técnicas de los indicadores 29

30 Matriz de Indicadores para Resultados El indicador de Propósito cumple con las características de ser claro, relevante, económico, monitoreable y adecuado. 15 Ninguna Matriz de Indicadores para Resultados Las metas de Propósito, Componente y Actividad están orientadas a impulsar el desempeño y son factibles de alcanzar 17 Ninguna Matriz de Indicadores para Resultados Los medios de verificación del Fin, Componente y Actividad son oficiales, claros, públicos y suficientes para calcular los indicadores de la MIR. 18 Especificar de mejor forma los medios de verificación del Propósito Debilidad o Amenaza Matriz de Indicadores para Resultados La lógica vertical de la MIR no es adecuada. La Actividad no es necesaria para producir el Componente. El Fin no es un objetivo superior 10, 11, 12 y 13 Invertir la Actividad por el Componente y cambiar el Fin para que sea un objetivo superior Matriz de Indicadores para Resultados En los Lineamientos 2011 del programa no es posible identificar el resumen narrativo de la MIR 14 Incluir en el documento normativo del programa el resumen narrativo de la MIR Matriz de Indicadores para Resultados Los indicadores de Fin, Componente y Actividad de la MIR no cumple con las características de ser claros, relevantes, económicos, monitoreables y adecuados. 15 Modificar los indicadores para que cumplan con las características Matriz de Indicadores para Resultados En el Fin no se especifica qué significa "estado crítico" No es posible realizar un análisis de la meta de Fin. No se sabe qué significa estado crítico 17 Especificar en el indicador qué se refiere superar el estado crítico de viabilidad financiera" Matriz de Indicadores para Resultados En la MIR no se establecen indicadores de regularización de la plantilla, solamente de problemas estructurales derivados de jubilaciones y pensiones 20 Agregar a la MIR elementos sobre la regularización de la plantilla para que refleje el objetivo completo del Fondo Fortaleza y Oportunidad Complementariedades y coincidencias con otros programas federales El Fondo muestra complementariedades con Fondo de Apoyo para Saneamiento Financiero de las Universidades Públicas Estatales por Debajo de la Media Nacional en Subsidio por Alumno 21 Aún cuando hoy no existen duplicidades entre los Fondos, debe procurarse que continué así Debilidad o Amenaza 30

31 Complementariedades y coincidencias con otros programas federales Ninguna 31

32 Conclusiones Este documento presenta la Evaluación en Materia de Diseño 2011 del Fondo para la Atención de Problemas Estructurales de las Universidades Públicas Estatales (UPES). La evaluación se realizó mediante trabajo de gabinete con base en información proporcionada por la dependencia o entidad responsable del programa y con bibliografía adicional necesaria para llevar a cabo un análisis riguroso. Se evaluó el programa en cinco temas: i) justificación de la creación y del diseño del programa, ii) contribución a los objetivos nacionales y a los sectoriales, iii) población potencial y objetivo, iv) matriz de indicadores para resultados, y v) complementariedades y coincidencias con otros programas federales. Con la información disponible es posible concluir que el Fondo está bien documentado y que si bien no existe una justificación internacional teórica que hable de problemas estructurales de las Instituciones de Educación Superior (IES), existe amplia información sobre el éxito de los programas de financiamiento basados en indicadores de desempeño. Además existe evidencia de que en México el financiamiento de las IES mediante valoraciones actuariales tiene resultados exitosos. La necesidad que busca atender el Fondo resulta de la situación vulnerable a la que se enfrentan las UPES. El Propósito del Fondo está vinculado con el Objetivo 14 del Eje 3 Igualdad de Oportunidades, Tema 3.3 Transformación Educativa del Plan Nacional de Desarrollo , con el Objetivo 6 del Programa Sectorial de Educación y todos los Objetivos de las Metas del Milenio, excepto la cobertura de educación básica. La población potencial son todas las Universidades Públicas Estatales (UPES), y la población objetivo son las UPES que participan con estudios actuariales para recibir recursos del Fondo. La población objetivo por tanto es igual a la población atendida. El diseño del Fondo es adecuado. Tiene como base los Lineamientos, Evaluaciones Externas e Internas y la Matriz de Indicadores para Resultados (MIR). En los Lineamientos 2011 es posible encontrar los objetivos del Fondo, la población que presenta el problema, y la metodología y reglas del proceso de entrega de recursos. Las Evaluaciones, por otro lado, presentan un padrón de beneficiarios con información relevante de las Universidades, y con los resultados logrados. La MIR contiene indicadores y metas que buscan dar seguimiento y evaluar el desempeño del Fondo. Si bien, el Fondo tiene un diseño adecuado, aún existen áreas de oportunidad. Sobre todo es de gran relevancia trabajar en mejorar la MIR. A continuación se enlistan algunos puntos importantes sobre los resultados de la evaluación. Por un lado: El Fondo está bien documentado, justificado y con un diagnóstico actualizado del problema La población potencial y objetivo se encuentran definidas y se tiene un padrón actualizado y sistematizado La MIR presenta una lógica horizontal adecuada; con metas impulsadas a orientar el desempeño y factibles, y medios de verificación claros en tres de los cuatro indicadores. Se complementa con otro Fondo para lograr sus objetivos. 32