DATOS GENERALES DEL PROGRAMA

Transcripción

1 DATOS GENERALES DEL PROGRAMA 1. Nombre del Programa: 2. Dependencia: SEP. 3.Unidad Administrativa Responsable: 4. Datos del(a) Titular 1 Nombre: Edgar Yesid Sierra Soler Teléfono: Correo electrónico: yesid.sierra.soler@gmail.com 5. Datos del(a) Responsable Operativo(a) del Programa 1 Nombre: Edgar Yesid Sierra Soler Teléfono: Correo electrónico: yesid.sierra.soler@gmail.com 6. Modalidad: S Año de inicio del programa: Presupuesto (MDP): Año Presupuesto Aprobado Autorizado Ejercido S119 1/20

2 Alineación con Planeación Nacional 1 Objetivo: Reducir la pobreza extrema y asegurar la igualdad de oportunidades y la ampliación de capacidades para que todos los mexicanos mejoren significativamente su calidad de vida y tengan garantizados alimentación, salud, educación, vivienda digna y un medio ambiente adecuado para su desarrollo tal y como lo establece la Constitución. - Eje: Igualdad de Oportunidades - Tema: Transformación Educativa Alineación con Programa Sectorial/ Institucional 1 Objetivo: Elevar la calidad de la educación para que los estudiantes mejoren su nivel de logro educativo, cuenten con medios para tener acceso a un mayor bienestar y contribuyan al desarrollo nacional. Fin Contribuir a elevar la calidad de la educación indígena que se ofrece a las niñas y niños de las escuelas primarias bilingües. Propósito Profesoras (es) indígenas de escuelas primarias bilingües realizan su práctica pedagógica en el aula en forma mejorada gracias a la asesoría recibida con enfoque en Educación Intercultural Bilingüe. Componentes 1. Asesorías para mejorar las prácticas educativas proporcionadas a profesores y profesoras indígenas de las escuelas primarias bilingües. S119 2/20

3 Resumen de Componentes Mediante asesorias al profesorado indígena con enfoque en Educación Intercultural Bilingüe, para mejorar las prácticas educativas en el aula de las escuelas primarias bilingües. Actividades 1. Evaluación del. 2. Incorporar profesores de educación primaria indígena como Asesores Técnico Pedagógicos. 3. Asesorar a los profesores y profesoras indígenas sobre la aplicación de prácticas educativas mejoradas con un enfoque intercultural bilingüe. S119 3/20

4 RESULTADOS/PRODUCTOS Principales 5 Indicadores Estratégicos - Indicador 1 1. Nombre del Indicador: Logro académico en la escuelas primarias bilingües 2. Definición: Mide el porcentaje del logro académico en las escuelas primarias bilingües. 3. Método de Cálculo: (Escuelas primarias indígenas que están en el nivel elemental o bueno de las pruebas ENLACE/ Total de escuelas de eduación primaria evaluadas)* Unidad de Medida: Porcentaje 5. Frecuencia de Medición del Indicador: Anual 6. Meta del indicador 2008: 52% 7. Valor del indicador 2008 (%): Valoración del Indicador: Consistente, confiable y relevante. Sin embargo, la fórmula no especifica cuál de los resultados de ENLACE de una determinada escuela se deben utilizar para su construcción (global, matemáticas o español) y el grado escolar que se toma como referencia. Un reto adicional es que existen otros factores que explican cambios en el aprendizaje de los alumnos, por lo que se necesita una evaluación de impacto para conocer el efecto causal del Programa. 9. Porcentaje de Avance: 2008 : Indicador 2 1. Nombre del Indicador: Porcentaje de profesoras asesoradas que aplican prácticas pedagógicas mejoradas 2. Definición: Mide el porcentaje de profesoras de escuelas primarias bilingües que aplican prácticas educativas mejoradas con el enfoque de la Educación Intercultural Bilingüe. S119 4/20

5 3. Método de Cálculo: (Número de profesoras de escuelas primarias bilingües que aplican prácticas educativas mejoradas con el enfoque de la Educación Intercultural Bilingüe/ Total de profesoras de escuelas primarias bilingües asesoradas)* Unidad de Medida: Porcentaje 5. Frecuencia de Medición del Indicador: Anual 6. Meta del indicador 2008: 12% 7. Valor del indicador 2008 (%): Valoración del Indicador: El indicador es pertinente. Sin embargo, la pregunta de la encuesta sobre la que se basa no se apegó a la fórmula establecida. Es probable que el resultado esté sesgado, ya que el instrumento de medición sólo alcanzó al 76% de la muestra, dejando fuera cuatro de los 15 estados considerados. Tomando en cuenta la tasa de no respuesta (13%), este indicador se reduciría a 76%. El cálculo no se llevó a cabo para hombres y mujeres por separado, como lo requiere la MIR, solo se reporta el agregado. 9. Porcentaje de Avance: 2008 : Indicador 3 1. Nombre del Indicador: Porcentaje de profesores asesorados que aplican prácticas pedagógicas mejoradas 2. Definición: Mide el porcentaje de profesores de escuelas primarias bilingües que aplican prácticas pedagógicas mejoradas con el enfoque de la Educación Intercultural Bilingüe. 3. Método de Cálculo: (Número de profesores de escuelas primarias bilingües que aplican prácticas pedagógicas mejoradas con el enfoque de la Educación Intercultural/ Total de profesores de escuelas primarias bilingües asesorados)* Unidad de Medida: Porcentaje S119 5/20

6 5. Frecuencia de Medición del Indicador: Anual 6. Meta del indicador 2008: 12% 7. Valor del indicador 2008 (%): Valoración del Indicador: El indicador es pertinente. Sin embargo, la pregunta de la encuesta sobre la que se basa no se apegó a la fórmula establecida. Es probable que el resultado esté sesgado, ya que el instrumento de medición solo alcanzó al 76% de la muestra, dejando fuera cuatro de los 15 estados considerados. Tomando en cuenta la tasa de no respuesta (13%), este indicador se reduciría a 76%. El cálculo no se llevó a cabo para hombres y mujeres por separado, como lo requiere la MIR, sólo se reporta el agregado. 9. Porcentaje de Avance: 2008 : Indicador 4 1. Nombre del Indicador: Porcentaje de profesoras asesoradas por el Programa en mejorar sus prácticas educativas 2. Definición: Mide el porcentaje de profesoras de escuelas primarias bilingües que aplican prácticas pedagógicas mejoradas con el enfoque de la Educación Intercultural Bilingüe. 3. Método de Cálculo: (Número de profesoras asesoradas en mejorar sus prácticas educativas/total de docentes de educación primaria indígena)* Unidad de Medida: Porcentaje 5. Frecuencia de Medición del Indicador: Mensual 6. Meta del indicador 2008: Valor del indicador 2008 (%): S119 6/20

7 8. Valoración del Indicador: Este indicador es pertinente, ya que mide el nivel de avance en el logro del componente correspondiente. También es consistente, claro, y confiable, dado que sus datos son de fácil recolección y su fórmula no presenta ambigüedades. Su construcción depende de que exista un sistema de monitoreo y evaluación que se pueda actualizar mensualmente. 9. Porcentaje de Avance: E : F : M : A : M : J : J : 0.0 A : 0.0 S : O : 80.0 N : D : Indicador 5 1. Nombre del Indicador: Porcentaje de profesores asesorados por el Programa en mejorar sus prácticas educativas 2. Definición: Mide el porcentaje de profesores de escuelas primarias bilingües que aplican prácticas pedagógicas mejoradas con el enfoque de la Educación Intercultural Bilingüe 3. Método de Cálculo: (Número de profesores asesorados en mejorar sus prácticas educativas/total de docentes de educación primaria indígena)*100 S119 7/20

8 4. Unidad de Medida: Porcentaje 5. Frecuencia de Medición del Indicador: Mensual 6. Meta del indicador 2008: Valor del indicador 2008 (%): Valoración del Indicador: Este indicador es pertinente, ya que mide el nivel de avance en el logro del componente correspondiente. También es consistente, claro, y confiable, dado que sus datos son de fácil recolección y su fórmula no presenta ambigüedades. Su construcción depende de que exista un sistema de monitoreo y evaluación que se pueda actualizar mensualmente. 9. Porcentaje de Avance: E : F : M : A : M : J : J : 0.0 A : 0.0 S : O : N : 40.0 D : Principales 5 Indicadores de Gestión S119 8/20

9 - Indicador 1 1. Nombre del Indicador: Porcentaje de docente satisfechos con la asesorías 2. Definición: Porcentaje de profesores y profesoras satisfechos en recibir asesoría. 3. Método de Cálculo: (Número de profesores y profesoras que manifiestan estar satisfechos con las asesorías recibidas a través del Programa Asesor Técnico Pedagógico/Total de profesores y profesoras de educación primaria indígena asesorados que participan en el Programa)* Unidad de Medida: Porcentaje 5. Frecuencia de Medición del Indicador: Anual 6. Meta del indicador 2008: Valor del indicador 2008 (%): Valoración del Indicador: Pertinente y relevante, ya que parte de la opinión de los beneficiarios para determinar si las asesorías cumplen con las expectativas de calidad; además de que su fórmula es clara. Su confiabilidad presenta dos retos: i) su construcción depende de encuestas a beneficiarios las cuales no siempre son factibles; ii) la percepción de calidad de las asesorías depende de juicios subjetivos de los beneficiarios lo que puede debilitar su consistencia. 9. Porcentaje de Avance: - Indicador 2 1. Nombre del Indicador: Porcentaje de docentes de primaria indígena incorporados 2. Definición: Mide el porcentaje de Asesores Técnicos Pedagógicos incorporados al Programa. 3. Método de Cálculo: Número de profesores y profesoras de educación primaria indígena incorporados como Asesores Técnico Pedagógicos/ Total de Asesores Técnico Pedagógico autorizados)*100 S119 9/20

10 4. Unidad de Medida: Porcentaje 5. Frecuencia de Medición del Indicador: Anual 6. Meta del indicador 2008: Valor del indicador 2008 (%): Valoración del Indicador: Este indicador es pertinente y relevante, ya que mide el avance de las actividades de incorporación del Programa. Su fórmula es clara y su construcción es confiable, dado que se alimenta de registros derivados de los procesos operativos. 9. Porcentaje de Avance: - Indicador 3 1. Nombre del Indicador: Porcentaje del costo de las asesorías realizadas 2. Definición: Este indicador mide las asesorías realizadas por el Asesor Técnico Pedagógico y su costo en relación al costo de las asesorías programadas. 3. Método de Cálculo: (Costo de asesorías realizadas por el Asesor Técnico Pedagógico/ Costo de asesorías programadas conforme a las Reglas de Operación)* Unidad de Medida: Porcentaje 5. Frecuencia de Medición del Indicador: Mensual 6. Meta del indicador 2008: Valor del indicador 2008 (%): Valoración del Indicador: Este indicador constituye una medida clara del avance en la ejecución del presupuesto destinado a pagar las asesorías brindadas por el Programa. Sin embargo, la definición del indicador no corresponde del todo con su fórmula, ya que ésta plantea una media para costear las asesorías. Si se asume que el costo de cada asesoría es fijo, este indicador representa una medida de cuántas asesorías se llevaron a cabo, con relación a cuántas se programaron. S119 10/20

11 9. Porcentaje de Avance: - Indicador 4 1. Nombre del Indicador: Evaluaciones realizadas 2. Definición: Mide la realización de las evaluaciones programadas 3. Método de Cálculo: (Evaluación realizada del PATP/Evaluación programada del PATP conforme a las Reglas de Operación)* Unidad de Medida: Porcentaje 5. Frecuencia de Medición del Indicador: Anual 6. Meta del indicador 2008: Valor del indicador 2008 (%): Valoración del Indicador: Este indicador es pertinente, relevante y claro, dado que refleja una medida de cumplimiento sobre si se efectuó la evaluación externa requerida por el Programa. Su construcción se hace a partir de registros administrativos. 9. Porcentaje de Avance: a. Existe evidencia de Resultados: Si 1. Tipo de Resultados Documentados 1: Fuente: Evaluación Complementaria de Percepción de Beneficiarios S119 11/20

12 Tipo de Evaluación: Otros Resultados Relevantes Institución Evaluadora: FLACSO Nombre del(a) Coordinador(a): Martín de los Heros Rondenil Año de la Evaluación: Resultados Finales Documentados: El 87% de los beneficiarios manifestó mejorar su práctica gracias a las asesorías. El PATP contribuyó a clarificar el enfoque de la Educación Bilingüe y a fortalecer sus estrategias de enseñanza. 3. Califique la evaluación de acuerdo con su rigor técnico y metodológico: Regular Valoración de los Resultados/Productos Las evaluaciones se han focalizado en diseño, y estudios de caso. Sin embargo, no se cuenta con una evaluación de impacto o de seguimiento, que mida a beneficiarios en al menos dos puntos en el tiempo. Existe una evaluación de percepción que capta los resultados planteados en la MIR: aplicación de lo aprendido por parte de los beneficiarios, así como su satisfacción con las asesorías, tanto en lo general, como en aspectos particulares (atributos del ATP, estructura de las asesorías, etc). Fuentes de Información 1.- Evaluación Complementaria. Ejercicio Fiscal Elaborada por FLACSO. 2.- Programa Asesor Técnico Pedagógico Evaluación Externa Informe Final. Evaluación de Diseño, Consistencia y Resultados. Elaborada por Universidad Pedagógica Nacional. 3.- Evaluación Externa del Programa ATP Informe Final. Elaborada por Universidad Autónoma Metropolitana Xochimilco. Comentarios y Observaciones La evaluación de percepción a beneficiarios representa un avance en la medición de resultados. Sin embargo, existen algunos retos. En primer lugar, los beneficiarios de la muestra no pudieron ser entrevistados en su totalidad. Este hecho podría sesgar los resultados. En segundo lugar, los resultados se están basando en las percepciones de los beneficiarios sobre la utilidad y la calidad de las asesorías recibidas, lo cual constituyen juicios de valor que podrían no ser comparables entre distintos individuos, siendo esto una fuente potencial de sesgo. En tercer lugar, el documento podría tener mayor utilidad si se incluyeran conclusiones y resumen ejecutivo y si los resultados se interpretaran de manera más clara. El Programa se vería beneficiado con una evaluación de impacto para conocer sus avances con respecto al Fin. También se vería beneficiado si se desarrollan instrumentos de medición periódicos y consistentes, ya que este ejercicio solo se ha llevado a cabo una vez. S119 12/20

13 VALORACIÓN GENERAL DE LOS INDICADORES Valoración de los Indicadores del Programa El indicador de fin se encuentra planteado de manera pertinente. Sin embargo, hasta el momento no se ha llevado a cabo una evaluación de impacto por lo que no se puede conocer el efecto en este rubro. Los indicadores de propósito son relevantes, pertinentes y claros, pero no existen instrumentos sistematizados para recabarlos de manera periódica y consistente. Los indicadores de componentes y actividades presentan atributos deseables, excepto el indicador que mide el costo de las asesorías. Fuentes de Información 1.- Evaluación Complementaria. Ejercicio Fiscal Elaborada por FLACSO. 2.- Programa Asesor Técnico Pedagógico Evaluación Externa Informe Final. Evaluación de Diseño, Consistencia y Resultados. Elaborada por Universidad Pedagógica Nacional. 3.- MIR del Programa Comentarios y Observaciones Hasta el momento, la matriz se ha focalizado en obtener información de la población objetivo expresada en las reglas de operación: los docentes que reciben asesorías. El proceso de evaluación se vería beneficiado si se incluye la perspectiva de los ATP, para conocer si cuentan con los insumos apropiados para llevar a cabo sus funciones; y de los padres de familia y estudiantes, para conocer si sus docentes están contribuyendo a elevar la calidad de la educación recibida. Existen retos para reportar los indicadores en la MIR. En especial, el indicador de Propósito tiene qué recabarse a través de encuestas aplicadas a los beneficiarios. Es probable que este indicador esté sesgado, dado que no fueron entrevistados todos los beneficiarios previstos por la muestra. S119 13/20

14 EVOLUCIÓN DE LA COBERTURA 4.1 Población Potencial a.se encuentra claramente definida: Si b.unidad de medida para la población potencial: Docentes frente a grupo de educación primaria del subsistema de Educación Indígena c.cuantificación de la población potencial: Población Objetivo a.se encuentra claramente definida: Si b.unidad de medida para la población objetivo: Docentes frente a grupo de educación primaria del subsistema de Educación Indígena c.cuantificación de la población objetivo: Población Atendida a.se encuentra claramente definida: Si b.unidad de medida para la población atendida: Docentes frente a grupo de educación primaria del subsistema de Educación Indígena c.cuantificación de la población atendida: Localización de la población atendida: Entidades sin atender Entidades atendidas S119 14/20

15 Municipios atendidos 4.4 Evolución de la Cobertura del Programa: 1. Población Atendida / Población Objetivo 2. Población Objetivo/ Población Potencial Año 2006: 269.2% Año 2007: 173.8% Año 2008: 92.72% Año 2008: 60.0% Valoración de la Evolución de Cobertura Han existido avances en la definición de la población objetivo con respecto a En ese año, la población objetivo abarcó al 50% de la población potencial. Para el año 2008, esta cifra fue del 60%. También, las expectativas de cobertura del Programa se han ajustado a la alza. Mientras que para los años 2006 y 2007, la población atendida fue superior al 100% de la población objetivo, esta cifra fue de 93% en Fuentes de Información 1.- Plantilla de población atendida para Evaluación Externa Informe Final. Evaluación de Diseño, Consistencia y Resultados. Elaborada por Universidad Pedagógica Nacional. 3.- Justificación de población potencial para Cobertura para Comentarios y Observaciones La población objetivo y la población potencial se encuentran claramente definidas en las Reglas de Operación del Programa. Además, en las evaluaciones revisadas existe evidencia que la población atendida pertenece a la población objetivo. Cabe mencionar que existe variación en la intensidad con la que los beneficiarios reciben asesorías. Mientras que el 45% de los docentes reciben entre una y tres asesoría durante un año, el 55% restante reciben entre cuatro y 30 en el mismo periodo. De igual manera, mientras que el 16% recibe asesorías de manera individual, el resto las recibe de manera grupal. S119 15/20

16 SEGUIMIENTO A ASPECTOS DE MEJORA a. Existe un documento de trabajo adecuado para atender o mejorar el programa: Si b. Principales 5 aspectos susceptibles de mejora contenidos en el Documento de Trabajo Aspecto 1. El fin y el propósito del PATP no están claramente definidos. Aspecto 2. No todos los indicadores son adecuados para proveer información eficaz y eficientemente. Aspecto 3. No se cuenta con estrategias de cobertura a corto, mediano y largo plazo. Aspecto 4. El Programa prevé la aplicación de una encuesta a los beneficiarios, la cual no se ha aplicado. Aspecto 5. Algunos supuestos no tienen congruencia con los elementos del resumen narrativo de la MML. Valoración de los Seguimiento a Aspectos de Mejora Los aspectos se pueden clasificar en tres rubros: Mejorar la definición de los objetivos (a nivel propósito y fin); redefinición de los indicadores de la MIR para incrementar su eficacia y eficiencia, así como sus medios de verificación; y fortalecer la planeación estratégica, en especial, aquellos relacionados con incrementar la cobertura del Programa. Se basan en recomendaciones planteadas por la evaluación externa de 2007 y las actividades relacionadas son claras y relevantes. Fuentes de Información S119 16/20

17 1.- Evaluación Externa Informe Final. Evaluación de Diseño, Consistencia y Resultados. Elaborada por Universidad Pedagógica Nacional. 2.- Documento de trabajo para Documento institucional para 2008: Seguimiento de los aspectos susceptibles de mejora derivados de los informes y evaluaciones externas a programas federales Comentarios y Observaciones En el documento institucional se mencionan los aspectos de mejora relacionados con la redefinición de objetivos de Fin y Propósito, ue han sido atendidos por el área responsable, basándose en las recomendaciones de la evaluación externa, y tomando en cuenta las lecciones aprendidas del Programa. Los indicadores también han sido redefinidos para aumentar su eficacia y eficiencia, y los supuestos de la MML se han revisado. También, se ha llevado a cabo una encuesta de percepción de los beneficiarios, que era necesaria para medir el Propósito del Programa. Sin embargo, en el mismo documento se señalan recomendaciones del evaluador que no se han considerado pertinentes: establecimiento de un plan estratégico, puesto que el ejecutor señala contar con un proceso de este tipo mencionado en su Programa Sectorial; agregar un componente en la MML del Programa, puesto que rebasa los alcances del PATP; así como recomendaciones de carácter administrativo y de medición de la eficiencia. S119 17/20

18 CONCLUSIONES DE LA EVALUACIÓN Consideraciones de la Evaluación: El indicador de Fin del Programa ha rebasado la meta planteada por el área responsable. Sin embargo, hasta el momento no se puede establecer el grado en el que el mismo ha contribuido a la consecución de tal meta, puesto que no se ha llevado a cabo una evaluación de impacto, que compare a las escuelas en donde se reciben las asesorías de los ATP, contra escuelas que no reciben este beneficio. El Programa cuenta con fuentes de información suficientes para conocer sus niveles de cobertura, avances operativos, seguimiento a aspectos de mejora y el alcance de sus metas de Propósito y Componentes. Se cuenta con indicadores adecuados para medir el avance de sus distintos niveles de objetivos planteados en la MIR. Sin embargo, en la MIR solamente se incluye el seguimiento a uno de los dos componentes establecidos en la Matriz de Marco Lógico del Programa. Fuente de Información General: 1.- Evaluación Complementaria. Ejercicio Fiscal Elaborada por FLACSO. 2.- Evaluación Externa Informe Final. Evaluación de Diseño, Consistencia y Resultados. Elaborada por Universidad Pedagógica Nacional.3.-MIR del Programa Reglas de Operación. 5.- Documentos de Cobertura. Resumen de Resultados: El Programa no cuenta con evaluaciones de impacto y/o seguimiento a beneficiarios que hagan mediciones en al menos dos puntos en el tiempo. Fortalezas: El Programa está llegando a casi a la totalidad de la población objetivo y no se han identificado errores de inclusión en su cobertura. Por lo general, los beneficiarios se encuentran satisfechos por la asesoría recibida y, en su opinión, están fortaleciendo sus competencias docentes. En cuanto al proceso de evaluación, el área responsable ha llevado a cabo los estudios para estudiar tanto el diseño del Programa, como los resultados del mismo. Además, ha dado puntual seguimiento de los aspectos de mejora. Debilidades: Hasta el momento, la MIR no incluye indicadores sobre el proceso de capacitación de los ATP. Tampoco existe información sistematizada para conocer si los ATPs cuentan con los insumos necesarios para llevar a cabo su labor. S119 18/20

19 Conclusiones del Evaluador Externo: El indicador para medir el Fin del Programa se basa en los resultados de las pruebas ENLACE, obtenidos por las escuelas de educación primaria indígena. Si bien se han observado avances en el logro educativo de dichas escuelas con respecto a años anteriores, aun no se conoce en qué medida el Programa contribuye a este logro puesto que no se ha llevado a cabo una evaluación de impacto. El indicador de Propósito, asume que una vez que se ha recibido la asesoría por parte del ATP, cada beneficiario mejora su práctica docente. En opinión de los beneficiarios, este es un supuesto plausible, puesto que afirman haber fortalecido sus competencias pedagógicas. Sin embargo, podrían existir indicadores con mayor relevancia, como pruebas aplicadas a los docentes, en donde se midan, de manera consistente y periódica, las competencias adquiridas en las asesorías. S119 19/20

20 DATOS DE LA INSTITUCIÓN EVALUADORA 1. Institución Evaluadora: C-230 Consultores, S. C. 2. Nombre del(a) Coordinador(a) de la Evaluación: Lucrecia Santibañez / Raúl Abreu 3. Correo Electrónico: rabreu@c-230.com 4. Teléfono: S119 20/20