ANEXO 1 Resultados de la Evaluación

Transcripción

1 Programa Anual de Evaluación 2015 Secretaría de Planeación y Finanzas Dirección Técnica de Evaluación del Desempeño ANEXO 1 Resultados de la Evaluación 1. DESCRIPCIÓN DE LA EVALUACIÓN 1.1 Nombre de la evaluación: PEC Evaluación de Consistencia y Resultados 1.2 Fecha de inicio de la evaluación (dd/mm/aaaa): 30/03/ Fecha de término de la evaluación (dd/mm/aaaa): 30/11/ Nombre de la persona responsable de darle seguimiento a la evaluación y nombre de la unidad administrativa a la que pertenece: Nombre: Ing. Hilario Sánchez Matamoros Unidad administrativa: Dirección Técnica de Evaluación del Desempeño 1.5 Objetivo general de la evaluación: Evaluar la consistencia y orientación a resultados del Programa Escuelas de Calidad a cargo de la Secretaría de Educación Pública del Estado de Tlaxcala, con la finalidad de proveer información que retroalimente su diseño, gestión y resultados. 1.6 Objetivos específicos de la evaluación: Analizar la lógica y congruencia en el diseño del programa, su vinculación con la planeación sectorial y nacional, la consistencia entre el diseño y la normatividad aplicable, así como las posibles complementariedades y/o coincidencias con otros programas federales; Identificar si el programa cuenta con instrumentos de planeación y orientación hacia resultados; Examinar si el programa ha definido una estrategia de cobertura de mediano y de largo plazo y los avances presentados en el ejercicio fiscal evaluado; Analizar los principales procesos establecidos en las Reglas de Operación del Programa (ROP) o en la normatividad aplicable; así como los sistemas de información con los que cuenta el programa y sus mecanismos de rendición de cuentas; Identificar si el programa cuenta con instrumentos que le permitan recabar información para medir el grado de satisfacción de los beneficiarios del programa y sus resultados, y Examinar los resultados del programa respecto a la atención del problema para el que fue creado. 1.7 Metodología utilizada en la evaluación: Modelo de Términos de para la Evaluación de Consistencia y Resultados emitidos por el Consejo Nacional para la Evaluación de la Política de Desarrollo Social (CONEVAL). Instrumentos de recolección de información: La evaluación se realizó mediante un análisis de gabinete con base en información proporcionada por la Dependencia a cargo del programa, así como información adicional que la instancia evaluadora consideró necesaria para justificar su análisis. De acuerdo a los Términos de de CONEVAL, se entiende por análisis de gabinete al conjunto de actividades que involucra el acopio, la organización y la valoración de información concentrada en registros administrativos, bases de datos, evaluaciones internas y/o externas y documentación pública, según las necesidades de información y tomando en cuenta la forma de operar de cada programa. Cuestionarios Entrevistas_x_ Formatos_x_ Otros Especifique: 1

2 En seguimiento al análisis de gabinete, la Dirección Técnica de Evaluación del Desempeño en acompañamiento con el evaluador del programa realizaron entrevistas a los evaluados (Secretaría de Educación Pública del Estado), a fin de establecer un diálogo directo con la Dependencia a cargo del programa. Las entrevistas sirvieron como instrumento de recolección de información. La presente evaluación se realizó con información oficial y oportuna proporcionada por la Secretaría de Educación Pública del Gobierno del Estado de Tlaxcala. Asimismo, el análisis se complementó con información de diversas fuentes de Instituciones nacionales e internacionales. Con un calendario y esquema preestablecido, se dio espacio y oportunidad al sujeto evaluado de proporcionar elementos e insumos adicionales de análisis en aspectos que requerían mayor fundamento y ayudaran a dar mayor claridad a su aspecto funcional, operativo y de gestión. Descripción de las técnicas y modelos utilizados: Análisis cualitativo y cuantitativo de la información relativa al Programa de Escuelas de Calidad, según el Modelo de Términos de establecidos por la instancia evaluadora del CONEVAL. 2. PRINCIPALES HALLAZGOS DE LA EVALUACIÓN 2.1 Describir los hallazgos más relevantes de la evaluación: 2.2 Señalar cuáles son las principales Fortalezas, Oportunidades, (FODA), de acuerdo con los temas del programa, estrategia o instituciones. Diseño La definición de la población objetivo es clara: todas las escuelas públicas de educación básica en todos sus niveles y modalidades (centros comunitarios del 7 CONAFE y Centros de Atención Múltiple (CAM), así como a los Centros de Desarrollo Infantil (CENDI) que proporcionen el servicio en el nivel de preescolar Se presenta evidencia que documento que el PEC reconocido internacionalmente como un programa que 3 promueve la autonomía escolar y la rendición de cuentas, mejorando la calidad de la educación. El propósito del PEC se vincula estrechamente con los objetivos del programa sectorial del Estado de Tlaxcala y con la meta nacional México con Educación de 4, 5, 6 Calidad establecido en el Plan Nacional de Desarrollo y con la meta 2 de los Objetivos de Desarrollo del Milenio. Algunas de las actividades, todos los componentes, el propósito y el fin de la Matriz de Indicadores para Resultados (MIR) se identifica en las ROP. El programa recolecta información socioeconómica de las escuelas que solicitan el apoyo. La inscripción 8 y 9 requiere llenar una solicitud y entregar las gráficas comparativas de aprovechamiento académico. Las ROP del PEC no se contraponen, ni presentan duplicidad con otros programas y acciones del 13 Gobierno Federal. Aunque, existe complementariedad con otros programas. El planteamiento del problema no refleja una situación que pueda ser revertida o mejorada. 1 Trabajar las metas y los indicadores del programa para que midan lo deseado y promuevan el desarrollo del mismo. Se sugiere utilizar el objetivo general: Contribuir al fortalecimiento de las condiciones que favorezcan el desarrollo de la autonomía de gestión de las escuelas públicas de educación básica, para la mejora de la calidad y equidad educativas en un marco de corresponsabilidad, transparencia y rendición de cuentas. 2

3 El árbol del problema resulta deficiente. La definición del problema es ambigua, puesto que las causas y efectos no están bien definidos. Las metas de los indicadores son confusas y no miden los alcances del programa. Se sugiere trabajar en el árbol del problema tomando como referencia la Metodología del Marco Lógico. Se sugiere definir nuevos indicadores que midan los beneficios obtenidos por la escuela y no sólo cuantifiquen las aportaciones. Planeación y orientación a resultados Los ejercicios de planeación institucionalizados siguen un procedimiento establecido en el Programa Operativo Anual del PEC Etapa XIV que 14 contempla el mediano plazo y establece los resultados que quieren alcanzar. El Programa recolecta información confiable, pertinente, sistematizada y oportuna concerniente a la contribución del programa a los objetivos del programa 21 y 22 sectorial, los tipos y montos de apoyo otorgados a los beneficiarios en el tiempo y las características socioeconómicas de sus beneficiarios. Los indicadores para medir los avances del programa miden inscripción a los programas y no resultados del 14 mismo. No se han hecho evaluaciones del PEC en Tlaxcala por lo que no se pueden aplicar estas evaluaciones hacia la orientación de resultados, ni identificar Aspectos Susceptibles de Mejora. No se recopila información sobre las escuelas que no son beneficiarias del programa con fines de comparación con las escuelas que lo reciben Cobertura y focalización La estrategia de cobertura documentada para atender a la población objetivo incluye la definición de la población objetivo, especifica metas de cobertura 23 anual, abarca un horizonte de mediano plazo y es congruente con el diseño del programa. El programa cuenta con mecanismos para identificar a su población objetivo puesto que en los criterios específicos se detallan los requisitos que deben de 24 cubrir las escuelas para participar como escuelas de nueva incorporación, reincorporación y escuelas con más de cinco años de permanencia. No es posible identificar la mejora que han tenido las escuelas beneficiadas. Operación Se cuenta con al menos tres fuentes que contienen información sobre el número de escuelas PEC que recibieron recursos financieros, fueron beneficiadas con apoyo técnico, recibieron acciones de la AEL para el uso eficiente de los recursos; fueron beneficiadas por el programa por cinco años y más. También existe 27 información sobre el número de equipos técnicos estatales capacitados, asesorados y acompañados en materia de gestión educativa; el número de docentes que han recibido capacitación y/o asesoría en materia de gestión y autonomía escolar el número de 21 Generar nuevos indicadores que permitan medir los cambios a lo largo del tiempo a partir de la implementación del PEC. Se recomienda realizar evaluaciones externas que permitan identificar mecanismos de mejora. Recopilar información sobre las escuelas que no reciben el programa a fin de comparar el comportamiento. Generar nuevos indicadores que permitan identificar las mejoras a partir de la implementación del PEC.

4 supervisores que han recibido capacitación y/o asesoría en materia de gestión y autonomía escolar. El programa cuenta con procedimientos para recibir, registrar y dar trámite a las solicitudes de apoyo y con mecanismos para verificar el procedimiento para recibir, registrar y dar trámite a las solicitudes de apoyo. Estos procedimientos se fundamentan en las ROP. Los procedimientos para la selección de las escuelas beneficiarias están claramente especificados en la Convocatoria PEC XIV, capítulo IV. Para dicho fin se constituye el Comité Local de Selección (CLS), responsable de seleccionar las escuelas y los apoyos considerando los criterios de prioridad de atención, los resultados de aprovechamiento académico de cada grado en las asignaturas de español y matemáticas de los 2 ciclos escolares anteriores y la disponibilidad financiera del FEEC. Como mecanismo para verificar la selección de beneficiarios hay que tomar en cuenta que la Convocatoria PEC XIV, capítulo IV establece que cada CLS es responsable de seleccionar las escuelas y los apoyos considerando los aspectos mencionados anteriormente. Los procedimientos para otorgar los apoyos a los beneficiarios, así como los mecanismos para verificar la entrega de apoyos están estandarizados y sistematizados. Son difundidos públicamente y están apegados al documento normativo del programa. Debido a que todos los solicitantes fueron aceptados, no se cuenta con información sobre la demanda potencial. No existe un documento que desglose los gastos directos, indirectos y unitarios. 28, y Se sugiere la incorporación de un mecanismo que permita conocer la demanda total de apoyos, así como sus características para fortalecer la transparencia en la elección de beneficiados. Se sugiere la elaboración de un documento que desglose los gastos directos, indirectos, de mantenimiento, de capital y unitarios. 3. CONCLUSIONES Y RECOMENDACIONES DE LA EVALUACIÓN 3.1 Describir brevemente las conclusiones de la evaluación: El Programa Escuelas de Calidad (PEC) surge en el ciclo escolar como una iniciativa de reforma de la gestión institucional y escolar que busca superar algunos de los obstáculos que se presentan en la mejora del logro educativo en México. El Programa pretende transformar el enfoque de la política educativa, de una posición centralizada, en donde se concentran todas las decisiones acerca de las prioridades, las estrategias, los recursos y su distribución, a un modelo de gestión estratégica de la escuela, que involucre a las autoridades responsables de los tres niveles de gobierno (federal, estatal y municipal). El PEC se basa en la participación de los supervisores, directivos y padres de familia. A grandes rasgos y tras revisar la información obtenida por la dependencia, se puede constatar que el PEC cumple con los objetivos y metas para los que fue trazado, y funciona adecuadamente en el estado de Tlaxcala. Como se puede observar en el Anexo 19 Valoración Final del Programa, en términos de la Evaluación de Consistencia y Resultados, obtiene una calificación igual o superior a 3 (de 4). En: Diseño 3.55, Cobertura y Focalización 4, Operación 3.75 y Percepción de la Población Atendida 3. En Planeación y Orientación a Resultados y en Resultados obtiene una calificación baja (2.33 y 0.6 respectivamente) debido a que no se han realizado evaluaciones previas que permitan comparar el desempeño del programa en etapas anteriores. Si se eliminan las preguntas que solicitan evaluaciones previas (considerando que no se han realizado por falta de presupuesto o cuestiones ajenas al personal evaluado) la calificación general del programa es A continuación se muestran las conclusiones de cada sección de la evaluación: Diseño 4

5 El programa cuenta con los documentos esenciales. En los mismos se define el problema, la población objetivo, los plazos para su revisión, así como todo lo relevante para su operación. Así mismo, se demuestra que el programa se alinea a las metas del Plan Nacional y Plan Estatal de Desarrollo así como a las metas del Milenio. Es importante mencionar que la definición del problema dentro del árbol de problemas de la planeación anual, así como los indicadores presentados, requiere ser mejorados, tal como se mencionó en las preguntas en el tema. Planeación y orientación a resultados Anualmente se elabora el documento Programa Operativo Anual a nivel estatal, con una visión a mediano plazo. Esta actividad sienta un precedente de planeación institucional actualizada en cada ciclo escolar. Contiene una base de datos actualizada de los resultados y de los avances, con mecanismos confiables. Sin embargo, los indicadores presentados más que medir la eficiencia o resultados del programa, miden la inscripción. Adicionalmente, vale la pena mencionar que la calificación resulta baja debido a las preguntas 16 a 20, que requieren de evaluaciones previas para ser contestadas. SI no se incluyeran las calificaciones de estas preguntas, la calificación de la sección sería 3.5 y no Cobertura y Focalización En los términos de referencia y en las convocatorias, se define adecuadamente a la población objetivo y potencial. Es importante mencionar que la entidad federativa diseña la estrategia conforme a la política nacional y a la propia, aprovechado la facultad de descentralización de los servicios de educación. Sin embargo, dado a que no se cuenta con un grupo control y que los indicadores no son los adecuados, no se puede medir el impacto real del programa en términos educativos. Operación Los procedimientos están estandarizados y existe un nivel de transparencia adecuado en los procesos clave de la operación. Esto permite contar con una base de datos sólida y confiable. Sin embargo, no existe información de los solicitantes. A pesar de que todos hayan sido aceptados, se sugiere guardar información sistematizada de la demanda total. Finalmente, no existe un documento que desglose los gastos directos, indirectos y unitarios, tal como se solicita en los términos de referencia de la evaluación de consistencia y resultados del CONEVAL. Percepción de la población atendida Si bien el programa cuenta con un mecanismo sólido para medir la satisfacción de la población atendida: una encuesta, la forma en que se levanta la encuesta no se detalla. Por esta razón sus resultados pueden estar sesgados. Tampoco queda claro si la cantidad de encuestas levantadas constituyen una muestra representativa de las escuelas que participan en el programa. Medición de Resultados Dejando a un lado la necesidad de otras evaluaciones, los resultados que se documentan con indicadores de la MIR, en todos los casos fueron alcanzados satisfactoriamente. Vale la pena volver a resaltar que la MIR no mide los avances de las escuelas, sino el número de inscripciones al programa. Por esta razón, es necesario realizar nuevas evaluaciones que permitan determinar si el programa es susceptible de mejoras. 3.2 Describir las recomendaciones de acuerdo a su relevancia: 1: Diseñar indicadores de desarrollo capaces de medir el impacto del programa en términos de bienestar. 2: Se sugiere trabajar en el árbol del problema tomando como referencia la Metodología del Marco Lógico. 3: Realizar evaluaciones externas que permitan identificar mecanismos de mejora. 4: Se sugiere la incorporación de un mecanismo que permita conocer la demanda total de apoyos, así como sus características para fortalecer la transparencia en la elección de beneficiados. 5: Se sugiere la elaboración de un documento que desglose los gastos directos, indirectos, de mantenimiento, de capital y unitarios. 4. DATOS DE LA INSTANCIA EVALUADORA 4.1 Nombre del coordinador de la evaluación: Dr. Alfredo Cuecuecha Mendoza 5

6 4.2 Cargo: Presidente en El Colegio de Tlaxcala A.C. 4.3 Institución a la que pertenece: El Colegio de Tlaxcala A.C. 4.4 Principales colaboradores: El Colegio de Tlaxcala A.C. 4.5 Correo electrónico del coordinador de la evaluación: alfredo.cuecuecha@coltlax.edu.mx 4.6 Teléfono (con clave lada): (01 246) / IDENTIFICACIÓN DEL (LOS) PROGRAMA(S) 5.1 Nombre del (los) programa(s) evaluado(s): Programa Escuelas de Calidad 5.2 Siglas: PEC 5.3 Ente público coordinador del (los) programa(s): Secretaría de Educación Pública del Gobierno del Estado de Tlaxcala 5.4 Poder público al que pertenece(n) el(los) programa(s): Poder Ejecutivo_X Poder Legislativo Poder Judicial Ente Autónomo 5.5 Ámbito gubernamental al que pertenece(n) el(los) programa(s): Federal Estatal_X Local 5.6 Nombre de la(s) unidad(es) administrativa(s) y de (los) titular(es) a cargo del (los) programa(s): Nombre(s) de la(s) unidad(es) administrativa(s) a cargo de (los) programa(s): Dirección General de Educación Básica. Unidad de Servicios Educativos del Estado de Tlaxcala Nombre(s) de (los) titular(es) de la(s) unidad(es) administrativa(s) a cargo de (los) programa(s) (nombre completo, correo electrónico y teléfono con clave lada): Nombre: Dr. Tomás Munive Osorno Unidad administrativa: Secretario de Educación Pública del Estado y Director General de la Unidad de Servicios Educativos del Estado de Tlaxcala. 6. DATOS DE CONTRATACIÓN DE LA EVALUACIÓN 6.1 Tipo de contratación: Convenio con institución pública educativa Adjudicación Directa Invitación a tres Licitación Pública Nacional Licitación Pública Internacional Otro: (Señalar)_X_ Convenio con institución pública educativa. 6.2 Unidad administrativa responsable de contratar la evaluación: Secretaría de Planeación y Finanzas, a través de la Dirección Técnica de Evaluación del Desempeño. 6.3 Costo total de la evaluación: $750, Fuente de Financiamiento : Estatal 7. DIFUSIÓN DE LA EVALUACIÓN 7.1 Difusión en internet de la evaluación: 6

7 7.2 Difusión en internet del formato: PDF 7