Fondo para Ampliar y Diversificar la Oferta Educativa en Educación Superior U068 Evaluación en Materia de Diseño 2011

Transcripción

1 Fondo para Ampliar y Diversificar la Oferta Educativa en Educación Superior U068 Evaluación en Materia de Diseño 2011 Evaluador: César Alfonso Velázquez Guadarrama

2 Resumen ejecutivo La educación superior en México ha registrado avances importantes en los últimos años tanto en cobertura como en calidad. No obstante, sigue existiendo una gran proporción de jóvenes entre 19 y 23 años que no se encuentra estudiando el nivel superior. Una de las razones es la falta de oferta educativa. El Plan Nacional de Desarrollo (PND) y el Programa Sectorial de Educación reconocen en lo anterior una área de oportunidad y proponen fomentar la ampliación de la cobertura, favorecer la equidad y mejorar la calidad y pertinencia de la educación superior. Así, en 2011 se crea el Fondo para Ampliar y Diversificar la Oferta Educativa en Educación Superior cuyo objetivo es ampliar las oportunidades educativas para reducir desigualdades entre grupos sociales, cerrar brechas e impulsar equidad. Para lo anterior, se canalizan recursos a Universidades Públicas Estatales (UPES), Universidades Públicas Estatales con Apoyo Solidario (UPEAS), Universidades Tecnológicas (UT), Universidades Politécnicas (UP) y Universidades Interculturales con el objetivo de impulsar la ampliación y diversificación de la oferta educativa. Este documento contiene los resultados de la Evaluación de Diseño 2011 del Fondo, la cual se realizó mediante trabajo de gabinete con base en información proporcionada por la dependencia o entidad responsable del programa y con bibliografía adicional necesaria a juicio del equipo evaluador. Los principales resultados se anotan de acuerdo a los cinco temas establecidos en los Términos de Referencia (TdR). Estos cinco temas son: i) justificación de la creación y del diseño del programa, ii) contribución a los objetivos nacionales y a los sectoriales, iii) población potencial y objetivo, iv) matriz de indicadores para resultados, y v) complementariedades y coincidencias con otros programas federales. Los Lineamientos 2011 así como el Árbol de Problemas identifican el problema o necesidad prioritaria como un hecho negativo y como una situación que puede ser revertida. Asimismo, el Árbol de Problemas define las causas y los efectos derivados del hecho que la población de 19 y 23 años no esté estudiando educación superior. La evaluación interna del Fondo contiene información documentada que sustenta la intervención del programa. El propósito del Fondo está vinculado con los objetivo 2, 5 y 6 del Programa Sectorial de Educación ; y éste a su vez se relaciona con los objetivos 9, 10 y 14 del Eje 3 del PND que se denomina Igualdad de Oportunidades. El Programa se vincula de manera indirecta con todos los objetivos de las Metas del Milenio con excepción de la relativa a la educación primaria. La población potencial y la objetivo se encuentran definidas en los Lineamientos 2011 del Fondo. Ambas presentan una unidad de medida, están cuantificadas y cuentan con una metodología para su cuantificación y con fuentes de información. La población potencial se define como la población a la que se da respuesta y son las instituciones aglutinadas en los siguientes subsistemas que forman parte de la Subsecretaría de Educación Superior: Universidades Públicas Estatales, Universidades Públicas Estatales con Apoyo Solidario, Universidades Tecnológicas, Universidades Politécnicas y Universidades Interculturales. El programa cuenta con información detallada de las instituciones que reciben los apoyos así como de los resultados del proceso de asignación de recursos y de 2

3 los proyectos que se realizan año con año. La población objetivo se cuantifica a partir de las instituciones que solicitan apoyo. La lógica vertical de la Matriz de Indicadores para Resultados (MIR) es adecuada. La Actividad está claramente especificada y es necesaria para producir el Componente, El Componente es un bien o servicio que es responsabilidad del Programa, si bien de manera indirecta. El Propósito es único y es consecuencia de lo que se espera ocurrirá como resultado del Componente. El Fin de la MIR está claramente especificado y es un objetivo único y superior. Para que se logre el Fin es necesario la conjunción de múltiples factores y programas sociales y educativos pero es innegable la importancia de este Fondo para la consecución de la ampliación de la cobertura educativa en la educación superior. La lógica horizontal también es adecuada, si bien se sugiere una mayor especificación en los medios de verificación para el nivel de Componente. Las fichas técnicas de los indicadores están completas y las metas de Fin y Propósito están orientadas a impulsar el desempeño, no son laxas y tienen una factibilidad media. Se recomienda adecuar la redacción del Propósito a los Lineamientos 2011 con relación a el tipo de instituciones que pueden recibir apoyo e incluir algún elemento referente a la diversificación de la oferta educativa pues únicamente se habla de ampliación. El Fondo se complementa con el Programa Integral de Fortalecimiento Institucional (PIFI) y tiene coincidencias con el Fondo de Aportaciones Múltiples del Ramo 33 (FAM). Los tres programas comparten o complementan su propósito y población objetivo, y tienen cobertura a nivel nacional. 3

4 Índice Resumen ejecutivo... 2 Índice... 4 Acrónimos... 5 Introducción... 6 I. Justificación de la creación y del diseño del programa... 7 II. Contribución a los objetivos nacionales y a los sectoriales III. Población potencial y objetivo IV. Matriz de Indicadores para Resultados (MIR) V. Complementariedades y coincidencias con otros programas federales Valoración del Diseño del programa Análisis de Fortalezas, Oportunidades, Debilidades y Amenazas Conclusiones Bibliografía Anexos

5 Acrónimos CA Cuerpos Académicos CGUT Coordinación General de Universidades Tecnológicas CGEIB Coordinación General de Educación Intercultural y Bilingüe CIEES Comités Interinstitucionales para la Evaluación de la Educación Superior CONEVAL Consejo Nacional para la Evaluación de la Política de Desarrollo Social COPAES Consejo para la Acreditación de la Educación Superior DGP Dirección General de Planeación DGESU Dirección General de Educación Superior Universitaria FAM Fondo de Aportaciones Múltiples FOMEC Fondo para el Mejoramiento de la Calidad Universitaria IES Instituciones de Educación Superior MIR Matriz de Indicadores para Resultados PIFI Programa Integral de Fortalecimiento Institucional PND Plan Nacional de Desarrollo PTC Profesores de Tiempo Completo PROMEP Programa de Mejoramiento del Profesorado ROP Reglas de Operación SEP Secretaría de Educación Pública SES Subsecretaría de Educación Superior SNI Sistema Nacional de Investigadores TSU Técnico Superior Universitario UI Universidades Interculturales UPES Universidades Públicas Estatales UPEAS Universidades Públicas Estatales con Apoyo Solidario UP Universidades Politécnicas UT Universidades Tecnológicas 5

6 Introducción Este documento presenta la Evaluación de Diseño del Fondo para Ampliar y Diversificar la Oferta Educativa en Educación Superior U068 de acuerdo a los Términos de Referencia (TdR) emitidos por el Consejo Nacional para la Evaluación de la Política de Desarrollo Social (Coneval). Esta evaluación tiene como objetivo proveer información que retroalimente el diseño, la gestión y los resultados del Fondo. Los objetivos específicos son: Analizar la justificación y diseño del programa. Identificar y analizar su vinculación con la planeación sectorial y nacional. Analizar la consistencia entre su diseño y la normatividad aplicable. Identificar posibles complementariedades y/o coincidencias con otros programas federales La Evaluación de Diseño se realizó mediante trabajo de gabinete con base en la información proporcionada por la dependencia o entidad responsable del programa y con bibliografía adicional necesaria para llevar a cabo un análisis riguroso. La Evaluación se divide en cinco temas y en 21 preguntas, 16 de las cuales, de acuerdo a los TdR se respondieron de manera binaria (Sí o No) sustentando la respuesta y seleccionando uno de los cuatro niveles de respuesta definidos para cada pregunta. Las otras 5 preguntas se respondieron en formato libre con base en evidencia documental. Además de las 21 preguntas, el documento, siguiendo siempre los TdR, cuenta con un análisis FODA así como con una sección de conclusiones y 11 anexos, todo lo cual permite un entendimiento completo del Fondo en su parte de Diseño. El U068 busca ampliar y diversificar la oferta educativa en educación superior y así atender la creciente demanda. 6

7 I. Justificación de la creación y del diseño del programa 1. El problema o necesidad prioritaria que busca resolver el programa está identificado en un documento que cuenta con la siguiente información: a) El problema o necesidad se formula como un hecho negativo o como una situación que puede ser revertida. b) Se define la población que tiene el problema o necesidad. Si Nivel: 4 El programa tiene identificado el problema o necesidad que busca resolver, y El problema cumple con todas las características establecidas en la pregunta, y El programa actualiza periódicamente la información para conocer la evolución del problema. En el Árbol de Problemas se define como problema o necesidad a la población entre 19 y 23 años que no se encuentra estudiando el nivel de educación superior. El problema está definido como un hecho negativo y efectivamente define a la población que presenta el problema o necesidad. Dado el problema, en los Lineamientos 2011 se establece la necesidad de ampliar la cobertura de la educación de tipo superior con equidad, contribuir a la mejora continua de la oferta educativa, y avanzar hacia el establecimiento de un sistema de educación superior abierto, flexible, articulado e integrado. Para esto, se canalizan recursos a Universidades Públicas Estatales (UPES), Universidades Públicas Estatales con Apoyo Solidario (UPEAS), Universidades Tecnológicas (UT), Universidades Politécnicas (UP) y Universidades Interculturales (UI) con el objetivo de impulsar la ampliación y diversificación de la oferta educativa. Los recursos son concursables y pueden destinarse a los cinco tipos de modalidades. La modalidad A es para la creación de nuevas instituciones de educación superior; la modalidad B para nuevos campi, planteles o unidades foráneas; la C para nuevos programas educativos; la D para el incremento de matrícula en programas de licenciatura que aún no cuentan con al menos una generación de egresados y; la E para el incremento de matrícula en programas de licenciatura reconocidos por su buena calidad (nivel 1 de CIEES y/o acreditados por un organismo reconocido por COPAES) o en programas de posgrado reconocidos en el Programa Nacional de Posgrados de Calidad (PNPC). Es importante mencionar que el gobierno estatal tiene que aportar recursos de contrapartida equivalentes a lo que asigne la autoridad educativa federal. El Fondo es consciente de las desigualdades regionales, de género y entre grupos sociales, por lo tanto, con la ampliación de oportunidades educativas pretende reducir desigualdades entre grupos sociales, cerrar brechas e impulsar equidad. Fuente: Lineamientos 2011; Árbol de Problemas. 7

8 2. Existe un diagnóstico del problema que atiende el programa que describa de manera específica: a) Causas, efectos y características del problema. b) Cuantificación y características de la población que presenta el problema. c) Ubicación territorial de la población que presenta el problema. Si Nivel: 3 El programa cuenta con documentos, información y/o evidencias que le permiten conocer la situación del problema que pretende atender, y El diagnóstico cumple con dos de las características establecidas en la pregunta, En el Árbol de Problemas se definen las causas y los efectos del hecho que la población de 19 y 23 años no esté estudiando educación superior. La Evaluación Interna 2009 también presenta evidencia sobre las causas y efectos del problema. Se señalan las siguientes: Causas: o Eficiencia terminal de media superior deficiente. o Poca diversificación educativa. o Falta de instituciones de educación superior. o Limitado acceso de las instituciones. o Falta de becas a estudiantes. o Altos costos de transporte. o Limitada capacidad de absorción de las Universidades Públicas Estatales por falta de recursos financieros. Efectos: o Programas educativos que no responden a los programas regionales. o Entrada al sector productivo a temprana edad sin habilidades adecuadas. o Formación integral trunca. o Desempleo. o Bajas remuneraciones. o Aumento de la pobreza. o Nulas posibilidades de crecimiento laboral. La población que presenta el problema son los jóvenes a nivel nacional que no tienen la oportunidad de estudiar la educación superior, por esto, el Fondo tiene como objetivo apoyar a las Instituciones de Educación Superior (IES) a nivel nacional para que estas amplíen y diversifiquen su oferta educativa. Es necesario contar con información por regiones y estados. Fuente: Árbol de Problemas, Evaluación Interna

9 3. Existe justificación teórica o empírica documentada que sustente el tipo de intervención que el programa lleva a cabo? Si Nivel: 3 El programa cuenta con una justificación teórica o empírica documentada que sustente el tipo de intervención que el programa lleva a cabo en la población objetivo, y La justificación teórica o empírica documentada es consistente con el diagnóstico del problema. Existe(n) evidencia(s) (nacional o internacional) de los efectos positivos atribuibles a los beneficios de o los apoyos otorgados a la población objetivo. Debido a la falta de recursos económicos a la que se enfrentan las Instituciones de Educación Superior (IES) para financiar el aumento y diversificación de matrícula, países desarrollados y en desarrollo han optado por nuevos esquemas de financiamiento basados en resultados e indicadores de desempeño (Johnstone 1998). Estos esquemas han demostrado ser herramientas útiles para alinear incentivos e impulsar de una manera más rápida el logro de metas. México inició con el diseño e instrumentación de estos esquemas de incentivos hace más de una década. Estos fondos han provisto a las IES, principalmente a las Universidades Públicas Estatales (UPES), de mayores recursos para impulsar proyectos dirigidos a mejorar su desempeño en materia de calidad, cobertura y pertinencia, así como para ayudar a la solución de los problemas estructurales de estas instituciones. De manera particular, existe evidencia nacional de efectos positivos en la ampliación de la cobertura a través de programas de este tipo si bien no es posible establecer si es la forma más eficaz para atender la problemática. La evidencia también señala posibles ampliaciones en la brecha de calidad y oferta entre las diferentes instituciones pues las IES con mayores recursos y mejor preparadas suelen obtener mayores recursos. Por ejemplo, las evaluaciones de impacto del Programa Escuelas de Calidad han encontrado que en las escuelas más rezagadas no ha habido mejoras pero si en aquellas más preparadas para llevar a cabo el programa. Véase por ejemplo Shapiro y Skoufias (2006). Fuente: Evaluación Interna 2009, Johnstone (1998), Chevallier (1998), Shapiro y Skoufias (2006). 9

10 II. Contribución a los objetivos nacionales y a los sectoriales 4. El Propósito del programa está vinculado con los objetivos del programa sectorial, especial o institucional considerando que: a) Existen conceptos comunes entre el Propósito y los objetivos del programa sectorial, especial o institucional por ejemplo: población objetivo. b) El logro del Propósito aporta al cumplimiento de alguna(s) de la(s) meta(s) de alguno(s) de los objetivos del programa sectorial, especial o institucional. Si Nivel: 3 El programa cuenta con un documento en el que se establece la relación con objetivos del programa sectorial, y Es posible determinar vinculación con uno de los aspectos establecidos en la pregunta. El Fondo tiene una relación con los objetivos 2, 5 y 6 del Programa Sectorial de Educación La relación se encuentra bien establecida en los Lineamientos 2011 en los que se encuentran conceptos comunes con el Programa Sectorial. El objetivo 2 pretende ampliar las oportunidades educativas para reducir desigualdades entre grupos sociales, cerrar brechas e impulsar la equidad. Dentro de este objetivo cabe señalar las estrategias 2.12 y La primera busca aumentar la cobertura de la educación superior y diversificar la oferta educativa, mientras que la segunda fortalecer los programas, modalidades educativas y mecanismos dirigidos a facilitar el acceso y brindar atención a diferentes grupos poblacionales. El objetivo 5 se refiere a la necesidad de ofrecer servicios de calidad para formar personas con alto sentido de responsabilidad social, que participen de manera productiva y competitiva en el mercado laboral. Por último, el objetivo 6 busca fomentar una gestión escolar e institucional que fortalezca la participación de los centros escolares en la toma de decisiones, corresponsabilice a los diferentes actores sociales y educativos, y promueva la seguridad de alumnos y profesores, la transparencia y la rendición de cuentas. El hecho que las instituciones tengan que concursar por los recursos obliga a contar con una toma de decisiones colectiva al interior de los centros educativos. Es claro que el incremento de la matrícula en educación superior se debe a una multiplicidad de factores pero debe destacarse la importancia de este Fondo en el éxito alcanzado. Fuente: Lineamientos 2011, Programa Sectorial de Educación

11 5. Con cuáles ejes temáticos y objetivos del Plan Nacional de Desarrollo vigente está vinculado el objetivo sectorial relacionado con el programa? Los objetivos 2, 5 y 6 del Programa Sectorial de Educación están vinculados con los objetivos 9, 10 y 14 del Eje 3 del Plan Nacional de Desarrollo (PND). El objetivo 9 es elevar la calidad educativa. El objetivo 10 busca reducir las desigualdades regionales, de género y entre grupos sociales en las oportunidades educativas. Por último, y de manera particular el objetivo 14 está relacionado directamente con la ampliación de la cobertura, favorecer la equidad y mejorar la calidad y pertinencia de la educación superior. Fuente: Lineamientos 2011, Programa Sectorial de Educación , Plan Nacional de Desarrollo (PND). 11

12 6. Cómo está vinculado el Propósito del programa con las Metas del Milenio? Vinculación: Indirecta El Fondo analizado está vinculado de manera indirecta con todos los objetivos de las Metas del Milenio, salvo el de lograr la cobertura total en educación primaria. La educación superior es un elemento esencial para generar mayores ingresos, tener cuidados preventivos en la salud y disminuir la desigualdad de género, elementos todos ellos relacionados con las Metas del Milenio. Fuente: Lineamientos 2011, Plan Nacional de Desarrollo (PND). 12

13 III. Población potencial y objetivo 7. Las poblaciones, potencial y objetivo, están definidas en documentos oficiales y/o en el diagnóstico del problema y cuentan con la siguiente información y características: a) Unidad de medida. b) Están cuantificadas. c) Metodología para su cuantificación. d) Fuentes de información. Si Nivel: 4 El programa tiene definidas las poblaciones (potencial y objetivo), y Las definiciones cumplen todas las características establecidas, y Existe evidencia de que el programa actualiza (según su metodología) y utiliza las definiciones para su planeación. La población potencial y objetivo se encuentran definidas en los Lineamientos 2011 del programa. La población potencial se define como la población a la que se puede apoyar y son las instituciones aglutinadas en los siguientes subsistemas que forman parte de la Subsecretaría de Educación Superior. Para 2011 fueron 184 instituciones. Universidades Públicas Estatales Universidades Públicas Estatales con Apoyo Solidario Universidades Tecnológicas Universidades Politécnicas Universidades Interculturales La población objetivo se refiere a las instituciones que participan en el concurso del fondo presentando sus proyectos y que cumplen con los lineamientos establecidos para el ejercicio. Para 2011 fueron Universidades Públicas Estatales 16 Universidades Públicas Estatales con Apoyo Solidario 12 Universidades Tecnológicas 28 Universidades Politécnicas 6 Universidades Interculturales Es necesario señalar que la población objetivo depende de las instituciones que solicitan el apoyo del Fondo, es decir, la población objetivo puede cambiar año con año y no es el Fondo quien la establece. Fuente: Lineamientos

14 8. Existe información que permita conocer quiénes reciben los apoyos del programa (padrón de beneficiarios) que: a) Incluya las características de los beneficiarios establecidas en su documento normativo. b) Incluya el tipo de apoyo otorgado. c) Esté sistematizada. d) Cuente con mecanismos documentados para su depuración y actualización. Si Nivel: 4 La información de los beneficiarios cumple todas las características establecidas. En los Lineamientos 2011 del Fondo se define como beneficiarias a las Universidades Públicas Estatales (UPES), Universidades Públicas Estatales con Apoyo Solidario (UPEAS), Universidades Tecnológicas (UT), Universidades Politécnicas (UP) y Universidades Interculturales (UI) para que éstas puedan contar con recursos para ampliar u diversificar la oferta educativa. Las Universidades que requieren apoyo del Fondo para ampliar o diversificar su oferta educativa deben presentar anualmente un proyecto ante la Dirección General de Educación Superior Universitaria (DGESU), quien será la encargada, junto con la Subsecretaría de Educación Superior (SES), de tomar la decisión final. En los proyectos presentados por cada universidad se cuenta con el objetivo general, los objetivos específicos, metas, acciones, tipo de proyecto, costos, modalidades de propuesta, incremento de la matrícula, estadísticas sobre demanda no atendida y proyecciones del incremento de matrícula. En el 2011 la población atendida se compuso de la siguiente forma: 28 Universidades Públicas Estatales 7 Universidades Públicas Estatales con Apoyo Solidario 11 Universidades Tecnológicas 18 Universidades Politécnicas 2 Universidades Interculturales En el documento oficial de Asignaciones 2011 se cuenta con información de los resultados del proceso. Por tipo de institución y entidad federativa se enlistan a las 66 universidades que recibieron recursos y el monto federal solicitado y asignado. Además se tienen datos sobre los resultados intermedios del proceso: calificación evaluación externa, matrícula comprometida e inversión por alumno. Por otra parte, las instituciones que reciben los recursos deben incorporar en su página web información relacionada con los proyectos y montos autorizados y actualizar la información de manera trimestral. Fuente: Lineamientos 2011, Asignaciones

15 9. Si el programa recolecta información socioeconómica de sus beneficiarios, explique el procedimiento para llevarlo a cabo, las variables que mide y la temporalidad de las mediciones. No aplica. Dado que la población potencial se compone de instituciones educativas y no de personas, no se recolecta información socioeconómica. Como se anota en la pregunta 8, el Fondo sí cuenta con información precisa de las instituciones que reciben apoyos. Fuente: Lineamientos

16 IV. Matriz de Indicadores para Resultados (MIR) De la lógica vertical de la Matriz de Indicadores de Resultados 10. Para cada uno de los Componentes de la MIR del programa existe una o un grupo de Actividades que: a) Están claramente especificadas, es decir, no existe ambigüedad en su redacción. b) Están ordenadas de manera cronológica. c) Son necesarias, es decir, ninguna de las Actividades es prescindible para producir los Componentes. d) Su realización genera junto con los supuestos en ese nivel de objetivos los Componentes. Si Nivel: 4 Del 85 al 100% de las Actividades cumplen con todas las características establecidas en la pregunta. Se considera que la Actividad Formalización de convenios está claramente especificada, es decir, es clara en su redacción. Asimismo, la Matriz de Indicadores para Resultados (MIR) cuenta únicamente con una Actividad por lo que está ordenada de manera cronológica. La formalización de convenios es necesaria para producir el componente de la matriz, la firma de los convenios significa que los proyectos presentados han sido evaluados y por lo tanto permite que las universidades obtengan recursos económicos y así se puedan obtener nuevos espacios educativos. La realización de la Actividad junto con el supuesto de que las instituciones con proyectos apoyados formalizan los convenios genera el Componente. Fuente: MIR

17 11. Los Componentes señalados en la MIR cumplen con las siguientes características: a) Son los bienes o servicios que produce el programa. b) Están redactados como resultados logrados, por ejemplo becas entregadas. c) Son necesarios, es decir, ninguno de los Componentes es prescindible para producir el Propósito. d) Su realización genera junto con los supuestos en ese nivel de objetivos el Propósito. Si Nivel: 4 Del 85 al 100% de los Componentes cumplen con todas las características establecidas en la pregunta. La Matriz de Indicadores para Resultados (MIR) únicamente cuenta con un Componente con el que pretende lograr su Propósito. Se considera que el Componente Nuevos espacios educativos creados (campus o instituciones) es un bien o servicio que produce el Fondo pero de manera indirecta pues sólo proporciona recursos económicos y son las universidades las que llevan a cabo sus proyectos de ampliación y diversificación. El Componente está redactado como resultado logrado. Es necesario para producir el Propósito de que las universidades amplíen sus espacios para que puedan atender el incremento de la demanda en educación. Si se cumple el supuesto de que los recursos federales y las aportaciones estatales se suministran de manera oportuna y suficiente se puede decir que la creación de espacios educativos nuevos (Componente) genere el Propósito del Fondo. Fuente: MIR

18 12. El Propósito de la MIR cuenta con las siguientes características: a) Es consecuencia directa de que se espera ocurrirá como resultado de los Componentes y los supuestos a ese nivel de objetivos. b) Su logro no está controlado por los responsables del programa. c) Es único, es decir, incluye un solo objetivo. d) Está redactado como una situación alcanzada, por ejemplo: morbilidad en la localidad reducida. e) Incluye la población objetivo. Si Nivel: 4 El Propósito cumple con todas las características establecidas en la pregunta. El Propósito Las Universidades Públicas Estatales, Politécnicas y Tecnológicas atienden el incremento de la demanda de Educación Superior es consecuencia directa de lo que se espera ocurrirá como resultado del Componente pues que existan nuevas instituciones o campus de educación superior debe aumentar la capacidad de las universidades de atender el incremento de la demanda. El logro del Propósito no está totalmente controlado por los responsables del Fondo, más bien depende de los responsables de cada Universidad. El Fondo es responsable de revisar que los proyectos tengan toda la información requerida, que además sean presentados de forma correcta, asignar los recursos y llevar un proceso de revisión del desempeño de las instituciones. No obstante, las Universidades son las responsables de atender el incremento de la demanda. El Propósito es único, incluye solamente un objetivo y además está redactado como una situación alcanzada. El resumen narrativo del Propósito sí incluye a la población objetivo que son las Universidades Públicas Estatales, Politécnicas y Tecnológicas aunque debe señalarse que los Lineamientos 2011 señalan además de las anotadas líneas arriba a otros tipos de instituciones dentro de la población potencial y objetivo. Fuente: MIR 2011, Lineamientos

19 13. El Fin de la MIR cuenta con las siguientes características: a) Está claramente especificado, es decir, no existe ambigüedad en su redacción. b) Es un objetivo superior al que el programa contribuye, es decir, no se espera que la ejecución del programa sea suficiente para alcanzar el Fin. c) Su logro no está controlado por los responsables del programa. d) Es único, es decir, incluye un solo objetivo. e) Está vinculado con objetivos estratégicos de la dependencia o del programa sectorial. Si Nivel: 4 El Fin cumple con todas las características establecidas en la pregunta. El Fin de la matriz de indicadores Contribuir al fortalecimiento del sector educativo, mediante la ampliación y diversificación de la oferta educativa para los jóvenes que cursan el nivel de licenciatura está claramente especificado y es un objetivo superior. Se considera que al fortalecer el sector educativo mediante la ampliación y diversificación de la oferta educativa se contribuye a reducir desigualdades entre grupos sociales, cerrar brechas e impulsar la equidad. El logro del Fin no está controlado por los responsables del Fondo. La responsabilidad recae en cada Universidad y de la necesaria complementariedad con otros programas sociales y múltiples factores. El Fin es único, incluye un solo objetivo que es el de contribuir al fortalecimiento del sector educativo. El Fin del Fondo está vinculado a los objetivos 9, 10 y 14 del Programa Sectorial de Educación Al fortalecer el sistema educativo se amplían las oportunidades educativas de los jóvenes y se reducen entonces las desigualdades que pueda haber entre los diferentes grupos sociales. Fuente: MIR 2011, Programa Sectorial de Educación

20 14. En el documento normativo del programa es posible identificar el resumen narrativo de la MIR (Fin, Propósito, Componentes y Actividades)? No El Fondo no tiene Reglas de Operación, tiene lineamientos y en los Lineamientos 2011 no se identifica el resumen narrativo de la Matriz de Indicadores para Resultados. Fuente: MIR 2011, Lineamientos

21 De la lógica horizontal de la Matriz de Indicadores de Resultados 15. En cada uno de los niveles de objetivos de la MIR del programa (Fin, Propósito, Componentes y Actividades) existen indicadores para medir el desempeño del programa con las siguientes características: a) Claros. b) Relevantes. c) Económicos. d) Monitoreables. e) Adecuados. Si Nivel: 2 Del 50 al 69% de los indicadores del programa tienen las características establecidas El indicador de Fin cumple con las cuatro características anotadas al igual que el de Propósito. Sin embargo, se considera que los indicadores de Componente presentan áreas de oportunidad pues no mide el número potencial de alumnos que pueden tener los planteles, sino simplemente el número de nuevos espacios educativos. El indicador de Actividad cumple con las características establecidas. Ver Anexo 4 para más detalle. Fuente: MIR

22 16. Las Fichas Técnicas de los indicadores del programa cuentan con la siguiente información: a) Nombre. b) Definición. c) Método de cálculo. d) Unidad de Medida. e) Frecuencia de Medición. f) Línea base. g) Metas. h) Comportamiento del indicador (ascendente, descendente, regular o nominal). Si Nivel: 4 Del 85 al 100% de las Fichas Técnicas de los indicadores del programa tiene las características establecidas. Las fichas técnicas de los indicadores cuentan con todos los aspectos señalados en la pregunta. Tienen el nombre, la definición, el método de cálculo, la unidad de medida, la frecuencia de medición, la línea base, la meta y el comportamiento del indicador. Fuente: MIR 2011 y fichas técnicas de los indicadores 22

23 17. Las metas de los indicadores de la MIR del programa tienen las siguientes características: a) Cuentan con unidad de medida. b) Están orientadas a impulsar el desempeño, es decir, no son laxas. c) Son factibles de alcanzar considerando los plazos y los recursos humanos y financieros con los que cuenta el programa. Si Nivel: 4 Del 85 al 100% de las metas de los indicadores del programa tiene las características establecidas. Las metas de los indicadores cuentan con una unidad de medida. Para tres de los indicadores, la unidad de medida es porcentaje y para el indicador de las instituciones o campus de educación pública creadas es un valor absoluto. Las metas de Fin, Propósito, Componente y Actividad están orientadas a impulsar el desempeño y son factibles de alcanzar. Para más información ver el Anexo 5. Fuente: MIR 2011 y fichas técnicas de los indicadores 23

24 18. Cuántos de los indicadores incluidos en la MIR tienen especificados medios de verificación con las siguientes características: a) Oficiales o institucionales. b) Con un nombre que permita identificarlos. c) Permiten reproducir el cálculo del indicador. d) Públicos, accesibles a cualquier persona. Sí. Nivel: 1 Del 0 al 49% de los medios de verificación cumplen con las características establecidas en la pregunta. Los medios de verificación para el indicador de Fin no permiten reproducir el cálculo pues no se menciona la fuente de los datos de población. Es preciso anotar que en la Matriz de Indicadores para Resultados (MIR) 2012 ya se señala la fuente de los datos de población. Por su parte, los medios de verificación de los Componentes no cuentan con un nombre para identificarlos. Al igual que con los medios de verificación del Fin, para la MIR 2012 ya se especifican. Fuente: MIR 2011 y fichas técnicas de los indicadores 24

25 19. Considerando el conjunto Objetivo-Indicadores-Medios de verificación, es decir, cada renglón de la MIR del programa es posible identificar lo siguiente: a) Los medios de verificación son los necesarios para calcular los indicadores, es decir, ninguno es prescindible. b) Los medios de verificación son suficientes para calcular los indicadores. c) Los indicadores permiten medir, directa o indirectamente, el objetivo a ese nivel. Sí. Nivel: 2 Dos de los conjuntos Objetivo-Indicadores-Medios de Verificación del programa tienen las características establecidas. En congruencia con la pregunta 18, los conjuntos de Fin y Componente no cumplen con las características establecidas. Fuente: MIR 2011 y fichas técnicas de los indicadores 25

26 Valoración final de la MIR 20. Sugiera modificaciones en la MIR del programa o incorpore los cambios que resuelvan las deficiencias encontradas en cada uno de sus elementos a partir de sus respuestas a las preguntas de este apartado. En cuanto a la lógica vertical de la Matriz de Indicadores para Resultados (MIR) se encuentra una clara relación entre la Actividad y el Componente, los convenios formalizados son necesarios para la creación de nuevos espacios educativos. Asimismo el Componente es un bien o servicio que produce el Fondo al asignarle a las universidades recursos económicos para que lleven a cabo sus proyectos de ampliación y diversificación y es necesario para producir el Propósito de atender el incremento de la demanda en educación. El Propósito es consecuencia directa de lo que se espera ocurrirá como resultado del Componente. No está totalmente controlado por los responsables del Fondo pues también es responsabilidad de los responsables de las universidades. El Fin está claramente especificado y es un objetivo superior y está vinculado al objetivo del programa sectorial. En cuanto a la lógica horizontal hay claridad en la relación objetivo-indicadores. Las fichas técnicas de los indicadores son completas si bien es recomendable ser más específico en los medios de verificación para saber con mayor facilidad dónde se localiza la información para replicar el cálculo. Se sugiere añadir como supuesto el que los jóvenes tienen los recursos y las ganas suficientes para poder llenar estos espacios educativos nuevos. Asimismo, se sugiere modificar el Propósito de la MIR para que los diferentes tipos de instituciones que se mencionan en el Resumen Narrativo de este nivel coincidan con los señalados en los Lineamientos Por último, es preciso anotar que a pesar de que en los lineamientos se habla de la diversificación de la oferta educativa, en la MIR únicamente se hace referencia a la ampliación. Se recomienda incluir elementos referentes a la diversificación. Fuente: MIR 2011; Lineamientos 2011y fichas técnicas de los indicadores 26

27 V. Complementariedades y coincidencias con otros programas federales 21. Con cuáles programas federales y en qué aspectos el programa evaluado podría tener complementariedad y/o coincidencias? El muestra complementariedades con el Programa Integral de Fortalecimiento Institucional (PIFI) y coincidencias con el Fondo de Aportaciones Múltiples (FAM) perteneciente al Ramo 33 del Presupuesto de Egresos de la Federación. El busca que las instituciones educativas de educación superior atiendan el incremento de la demanda de Educación Superior. El PIFI busca que los programas educativos de nivel técnico superior y de licenciatura de las Instituciones de Educación Superior (IES) utilicen la planeación como parte integral de su toma de decisiones y por lo tanto debe considerarse en esta planeación la ampliación de la cobertura. El Fondo de Aportaciones Múltiples (FAM) también aporta recursos para la creación de infraestructura educativa en el nivel superior. Todos los Programas tienen cobertura a nivel nacional. Fuente: Programa Sectorial de Educación , Lineamientos

28 Valoración del Diseño del programa Tema Nivel Justificación Justificación de la creación y del diseño del programa Contribución a los objetivos nacionales y a los sectoriales Población potencial y objetivo El Fondo cuenta con documentos en los cuales se identifica el problema o necesidad prioritaria como un hecho negativo y como una situación que puede ser revertida. De igual forma, existe un diagnóstico del problema que define las causas y los efectos derivados del hecho que la población de 19 y 23 años no esté estudiando educación superior. La evaluación interna del Fondo contiene información documentada que sustenta la intervención del programa. El propósito del Fondo está vinculado con los objetivo 2, 5 y 6 del Programa Sectorial de Educación ; y éste a su vez se relaciona con los objetivos 9, 10 y 14 del Eje 3 del Plan Nacional de Desarrollo El programa se vincula de manera indirecta con los objetivos de las Metas del Milenio. La población potencial y la objetivo se encuentran definidas en los Lineamientos 2011 del Fondo; están cuantificadas y cuentan con unidad de medida, con una metodología para su cuantificación y con fuentes de información. El programa presenta información que permite conocer quiénes reciben los apoyos del programa. Matriz de indicadores para resultados 2.9 En los Lineamientos 2011 del Fondo no es posible encontrar el resumen narrativo de la MIR. Tanto la lógica vertical como la horizontal son adecuadas y consistentes. No obstante, es necesario especificar algunos medios de verificación y realizar algunas adecuaciones al Resumen Narrativo del Propósito para adecuarlo a los Lineamientos Las fichas técnicas de los indicadores están completas. Las metas de Fin y Propósito están orientadas a impulsar el desempeño, no son laxas y tienen una factibilidad media. Se recomienda incluir elementos referentes a la diversificación de la oferta educativa pues únicamente se habla de ampliación. Complementariedades y coincidencias con otros programas federales NA El Fondo se complementa con el Programa Integral de Fortalecimiento Institucional y presenta coincidencias con el Fondo de Aportaciones Múltiples del Ramo 33.. Valoración final 3.3 Véase lo anterior. 28

29 Análisis de Fortalezas, Oportunidades, Debilidades y Amenazas Tema de evaluación Justificación de la creación y del diseño del programa Justificación de la creación y del diseño del programa Justificación de la creación y del diseño del programa Contribución a los objetivos nacionales y a los sectoriales Contribución a los objetivos nacionales y a los sectoriales Población potencial y objetivo Población potencial y objetivo Población potencial y objetivo Fortaleza y Oportunidad/Debilidad o amenaza Fortaleza y Oportunidad El Fondo tiene bien documentado el problema que busca resolver: la población entre 19 y 23 años que no se encuentra estudiando el nivel de educación superior Existe un diagnóstico del problema que atiende el programa y evidencia que sustenta el tipo de intervención que el programa lleva a cabo Debilidad o Amenaza Referencia (Pregunta) 1 Ninguna 3 Ninguna Fortaleza y Oportunidad El Propósito del programa está alineado con el Plan Nacional de Desarrollo, con el Programa 4,5,6 Ninguna Sectorial de Educación y con las metas del milenio Debilidad o Amenaza Ninguna Fortaleza y Oportunidad La población potencial y objetivo están claramente definidas y establecidas en los Lineamientos del programa Existen documentos oficiales sistematizados y actualizados que permiten identificar quiénes reciben los apoyos del Fondo Debilidad o Amenaza Ninguna Fortaleza y Oportunidad Recomendación Se sugiere avanzar en la evaluación del programa 7 Ninguna 8 Ninguna 29

30 Matriz de Indicadores para Resultados La MIR presenta una buena lógica vertical 10, 11, 12 y 13 Ninguna Matriz de Indicadores para Resultados Matriz de Indicadores para Resultados Matriz de Indicadores para Resultados Matriz de Indicadores para Resultados El Fin es un objetivo superior y está vinculado al objetivo del programa sectorial Los indicadores de Fin, Propósito y Actividades cumplen con las características de ser claros, relevantes, económicos, monitoreables y adecuados Las fichas técnicas de los indicadores están muy completas Las metas del programa cuentan con unidad de medida, están orientadas a impulsar el desempeño y son factibles de alcanzar Debilidad o Amenaza 13 Ninguna 15 Ninguna 16 Ninguna 17 Ninguna Matriz de Indicadores para Resultados En los Lineamientos 2011 del programa no es posible identificar el resumen narrativo de la MIR 14 Incluir en el documento normativo del programa el resumen narrativo de la MIR Matriz de Indicadores para Resultados Matriz de Indicadores para Resultados Los medios de verificación presentan oportunidades de mejora En la MIR no se establecen indicadores de diversificación de la oferta educativa Fortaleza y Oportunidad Contar con medios de verificación más específicos, indicando a detalle donde se pueden encontrar, en qué liga de internet o en su caso con qué persona acudir La MIR debe reflejar indicadores de diversificación educativa 30

31 Complementariedades y coincidencias con otros programas federales El Fondo muestra complementariedades y con el PIFI 21 Ninguna Complementariedades y coincidencias con otros programas federales Debilidad o Amenaza El Fondo presenta coincidencias con el Fondo de Aportaciones Múltiples del Ramo Procurar que no existan duplicidades entre los Fondos 31

32 Conclusiones Este documento presenta la Evaluación en Materia de Diseño 2011 del Fondo para Ampliar y Diversificar la Oferta Educativa en Educación Superior U068. El trabajo se realizó con base en una revisión de documentos normativos, de información administrativa de gestión y de literatura académica relacionada con el Propósito del Fondo. Siguiendo los Términos de Referencia (TdR) desarrollados por el Consejo Nacional para la Evaluación de la Política de Desarrollo Social (Coneval) esta evaluación constó de cinco temas: i) justificación de la creación y del diseño del programa, ii) contribución a los objetivos nacionales y a los sectoriales, iii) población potencial y objetivo, iv) matriz de indicadores para resultados, y v) complementariedades y coincidencias con otros programas federales. La información disponible señala que el Fondo para Ampliar y Diversificar la Oferta Educativa en educación Superior está basado en un diagnóstico sólido del problema que busca atender, así como de las causas y efectos del mismo. Al igual que otros programas relativos a la educación superior, este Fondo se basa en esquemas de financiamiento basados en incentivos, los cuales han sido señalados como exitosos por la literatura académica y la experiencia internacional. El Fondo apoya a las instituciones de educación superior para ampliar y diversificar su oferta educativa. Las instituciones deben presentar proyectos los cuales son revisados por pares y deben contar con la concurrencia de recursos de los gobiernos estatales. El Propósito y el Fin del Fondo están perfectamente alineados al Programa Sectorial de Educación a través de los Objetivos 2, 5 y 6 y al Plan Nacional de Desarrollo en el Eje 3 Igualdad de Oportunidades. La población potencial está definida a través de las instituciones aglutinadas en los siguientes subsistemas que forman parte de la Subsecretaría de Educación Superior: Universidades Públicas Estatales Universidades Públicas Estatales con Apoyo Solidario Universidades Tecnológicas Universidades Politécnicas Universidades Interculturales El Fondo para Ampliar y Diversificar la Oferta Educativa en educación Superior presenta una Matriz de Indicadores para Resultados (MIR) 2011 con una adecuada lógica vertical y horizontal si bien existen áreas de mejora como se señala en las secciones correspondientes de esta evaluación. Las fichas de los indicadores son completas y las metas no son laxas. De acuerdo con la información analizada se desprende como conclusión general que el Fondo presenta un diseño bien pensado y trabajado. Debe destacarse como fortaleza la transparencia en la información y en la asignación de los recursos y en la evidencia que señala lo adecuado de trabajar bajo esquemas de incentivos. De igual forma la MIR 2011 es consistente con el diagnóstico y con el objetivo del Programa. Por último, debe considerarse y analizarse la posibilidad que las brechas de calidad, recursos y oferta educativa entre las universidades se ensanchen como consecuencia de las capacidades para obtener recursos del Fondo así como realizar pequeños cambios a la MIR 2011 los cuales ya se anotaron. 32

33 Bibliografía Chevallier, T. (1998). Moving away from central planning: Using contracts to steer higher education in France. European Journal of Education, 33(1), Johnstone, B. (1998). The Financing and Management of Higher Education: A status report in world wide reforms. The World Bank, Washington, DC. Musselin, C. (1997). State-university relations and how to change them: The case of France and Germany. European Journal of Education, 32(2), Shapiro, Joseph y Emmanuel Skoufias. (2006). Evaluating the Impact of México s Quality Schools Program. Word Bank Policy Research Working Paper 4036, USA. 33

34 Anexos Anexo 1 Descripción General del Programa El es coordinado por la Dirección General de Educación Superior Universitaria (DGESU) y por la Dirección de Planeación y Evaluación (DPE) e inició operación en el año De acuerdo con los Lineamientos 2011, el Fondo busca Ampliar y diversificar la oferta educativa en educación superior a través de la aportación de recursos económicos para proyectos en cinco posibles modalidades. La modalidad A es para la creación de nuevas instituciones de educación superior; la modalidad B para nuevos campi, planteles o unidades foráneas; la C para nuevos programas educativos; la D para el incremento de matrícula en programas de licenciatura que aún no cuentan con al menos una generación de egresados y; la E para el incremento de matrícula en programas de licenciatura reconocidos por su buena calidad (nivel 1 de CIEES y/o acreditados por un organismo reconocido por COPAES) o en programas de posgrado reconocidos en el Programa Nacional de Posgrados de Calidad (PNPC). Es importante mencionar que el gobierno estatal tiene que aportar recursos de contrapartida equivalentes a lo que asigne la autoridad educativa federal. Las instituciones que reciben los apoyos concursan por ellos y un requisito es que el gobierno estatal aporte una cantidad de recursos igual a la recibida. El Fondo tiene bien definidas en sus Lineamientos 2011 su población potencial y objetivo. La población potencial se define como la población a la que se da respuesta y son las instituciones aglutinadas en los siguientes subsistemas que forman parte de la Subsecretaría de Educación Superior: Universidades Públicas Estatales Universidades Públicas Estatales con Apoyo Solidario Universidades Tecnológicas Universidades Politécnicas Universidades Interculturales La población objetivo se refiere a las instituciones que participan en el concurso del fondo presentando sus proyectos y que cumplen con los lineamientos establecidos para el ejercicio. Tiene cobertura a nivel nacional. El Fondo busca ampliar las oportunidades educativas para reducir desigualdades entre grupos sociales, cerrar brechas e impulsar equidad y contribuir a fortalecer la educación superior en cada entidad federativa, de acuerdo con las prioridades establecidas por sus planes de desarrollo. Para lograr su objetivo el Fondo contó con un presupuesto aprobado en el 2011 de $955,383,633 pesos. En su concepción y diseño general el Fondo busca contribuir a los Objetivos 2, 5 y 6 del Programa Sectorial de Educación los cuales se vinculan con los objetivos 9, 10 y 14 del Eje 3 del Plan Nacional de Desarrollo (PND). 34

35 Anexo 2 Metodología para la cuantificación de las poblaciones potencial y objetivo La población potencial se define como la población a la que se da respuesta y son las instituciones aglutinadas en los siguientes subsistemas que forman parte de la Subsecretaría de Educación Superior: Universidades Públicas Estatales Universidades Públicas Estatales con Apoyo Solidario Universidades Tecnológicas Universidades Politécnicas Universidades Interculturales Para 2011 fueron 184 instituciones. La población objetivo se cuantifica a partir de las instituciones que solicitan apoyo. Las universidades que presentaron proyectos y que cumplieron con los Lineamientos 2011 fueron: 32 Universidades Públicas Estatales 16 Universidades Públicas Estatales con Apoyo Solidario 12 Universidades Tecnológicas 28 Universidades Politécnicas 6 Universidades Interculturales 35