Integración Escolar de Niños y Jóvenes con Discapacidad a los Centros de Educación Secundaria y Ocupacional. Evaluación

Transcripción

1 Integración Escolar de Niños y Jóvenes con Discapacidad a los Centros de Educación Secundaria y Ocupacional Evaluación 5 de mayo de th St. N.W., Washington, DC EUA Tel.: (202) Fax: (202) gmontalvan@universalia.com

2 Página 2 Contenido Resumen Ejecutivo 3 I. Introducción. 10 II. Metodología de la evaluación.. 13 III. Eficiencia 17 IV. Efectividad. 27 V. Relevancia y Continuidad de la Justificación.. 29 VI. Conclusiones y Recomendaciones. 32 Anexo

3 Página 3 Resumen Ejecutivo 1. En el segundo semestre de 2001, el Gobierno de Perú presentó una propuesta de proyecto titulada Integración Escolar de Niños y Jóvenes con Discapacidad a los Centros de Educación Secundaria y Ocupacional a la Agencia Interamericana para la Cooperación y el Desarrollo (AICD), a ser ejecutado en tres años ( ) por los Ministerios de Educación de Bolivia, Ecuador y Perú. Dicho proyecto se planteó dentro de los marcos de la III Cumbre de las Américas, en la cual se busca fortalecer los principios de equidad, calidad, pertinencia y eficacia en todos los niveles del sector educativo, asegurando para el año 2010 el acceso universal de niños y niñas con necesidades educativas especiales, asociadas a discapacidad. Existen asimismo otros acuerdos internacionales firmados por los gobiernos de América Latina que han orientado cambios importantes en las políticas educativas para lograr avanzar en la universalización de la educación y el fomento de la equidad y, en particular, asegurar el acceso de los niños con necesidades especiales asociadas a discapacidad a todas las oportunidades de una educación integradora e inclusiva. 2. El proyecto fue planteado como una experiencia piloto, en el que participarían 10 regiones por cada uno de los tres países participantes, de continuación del proyecto ejecutado en el año 2001 titulado Impulso al Proceso de Integración Educativa de la Población con Discapacidad. La justificación principal del proyecto se basó en mandatos del Programa Interamericano de Educación, una de cuyas prioridades es de respaldar políticas públicas destinadas a universalizar la oferta de una educación de calidad con especial atención a los grupos de riesgo. 3. El financiamiento solicitado fue un total de US$129,760 para los tres años de ejecución US$18,550 para el 2002, US$31,614 para el 2003 y US$79,596 para el En la hoja de evaluación correspondiente al año 2002, la Comisión Especializada No Permanente de Educación (CENPE) le asignó un puntaje total de 84 y concluyó que se requería más financiamiento para los tres países y, consecuentemente, aprobó un total de US$25,000 para el primer año (2002). La CENPE aprobó el total de financiamiento solicitado para el año 2003, US$31,614 no obstante que el puntaje asignado al proyecto bajó sensiblemente, de 84 a 63 y que ya se sabía que había serios problemas con la participación de Bolivia. De hecho, en la hoja de evaluación de la CENPE se recomendó trabajar para mejorar la participación de Bolivia. Para el tercer año de ejecución del proyecto (2004) se había solicitado un total de US$79,596, que fue reducido a US$55,000 por la CENPE, aún cuando el puntaje asignado bajó a 53 y ya oficialmente Bolivia no era participante. Más aún, en la hoja de evaluación de la CENPE, se indica lo siguiente: Ejecución 2002 y 2003 queda aún pendiente la terminación de actividades. No especifica el número de alumnos atendidos. El presupuesto no está correctamente desglosado sobre todo en rubro de capacitación. La contrapartida no aclara su procedencia. El uso de los equipos no está

4 Página 4 debidamente explicado y relacionado con las actividades del proyecto en virtud de ello consideramos necesario suprimir los gastos en equipo (lo cual se ignoró). En el plan de ejecución 2004 se indica que la contribución OEA sería de US$53,818. Si tomamos esta última cifra como definitiva, el total aprobado para los tres años fue US$110,432 que equivale a 92.2% del total solicitado para los tres países en tres años. 4. La presente evaluación ha sido afectada por serias deficiencias en la información disponible. Los informes anuales de ejecución, todos los cuales fueron presentados con retrasos significativos, contienen inconsistencias internas, así como reportes de actividades realizadas que no parecen haber sido programadas y otras programadas que no se realizaron. No se tiene un informe final de ejecución, aunque se dispone del informe anual de la ejecución del tercer y último año del proyecto (2004, pero la ejecución se prolongó hasta mediados del 2005). Sin embargo, en la monografía intitulada Sistematización de la experiencia, publicada en julio de 2005, el primer capítulo es sobre resultados y beneficios del Proyecto de Integración de los Estudiantes con Discapacidad a la Educación Secundaria y Técnico-Productiva en Perú y Ecuador. Si se toma dicha publicación como el informe final del proyecto, también existen diferencias significativas entre los resultados allí descritos y los contenidos en los informes anuales de ejecución. 5. La eficiencia en la ejecución de un proyecto se refiere a la medida en que las actividades/insumos (tiempo, financiamiento, etc.) se convirtieron de manera económica en los productos (componentes) de la intervención. En el cuadro que aparece abajo, tenemos un resumen de la ejecución del proyecto. 6. Se considera que la ejecución del proyecto fue en extremo ineficiente, ya que la ejecución se demoró en cada uno de los tres años, los Componentes y sus indicadores correspondientes fueron mayormente incumplidos y el Componente 4, de monitoreo y evaluación, que viene a ser una piedra angular de un proyecto piloto, fue desvirtuado, ya que consistió fundamentalmente de adquisiciones de libros, textos, equipo de computación y software, ninguno de los cuales tuvo que ver con el desarrollo de un mecanismo de monitoreo y evaluación.

5 Página 5 Resumen de la Ejecución Indicadores Productos Propuesto Logrado 1. Estrategia común elaborada, acordada y aplicada. 2. Acciones de sensibilización a docentes, agentes educativos y padres de familia realizadas. 1.1 Estrategia acordada como resultado de reunión de encuentro multilateral entre Perú, Bolivia y Ecuador, sede Bolivia, para julio Visitas de intercambio de experiencias entre especialistas (1 por país) y padres de familia (1 por país), sede Ecuador, para octubre Vídeo documental producido y distribuido sobre experiencia de integración escolar. 2.1 Línea de base elaborada para sensibilización y capacitación de los centros educativos integradores 1 documento por país, para octubre talleres (4 por país) de sensibilización y capacitación en centros educativos de secundaria y ocupacional realizados, para octubre Manual de orientación y tutoría en secundaria producido y distribuido para Manual de orientación y tutoría en ocupacional producido y distribuido para Guías didácticas producidas y distribuidas de 1.1 Se realizó el encuentro en Quito 17 y 18 de junio de Bolivia asistió con una delegación incompleta. No se tiene copia del acta o informe final de la reunión No se menciona ningún resultado en el informe anual correspondiente a Parece que se financió un segundo Encuentro en Lima en agosto de BO: nada. EC: Ejerciendo mi derecho a la educación y el trabajo. (23 minutos) PE: no está claro si se produjo un video, aunque hubo un gasto al respecto. Mayormente incumplido. 2.1 EC: No realizado. PE: Realizado. 2.2 PE: Sensibilización en cascada de 540 profesionales de la educación de 10 regiones y 54 docentes de centros integradores en talleres en 2003 para padres (167 participantes). EC: 3 talleres con total de 100 personas de 3 regiones en Para agosto 2004 no estaba claro si se imprimió este manual. 2.4 Para agosto 2004 no estaba claro si se imprimió este manual. 2.5 EC: No está claro cuántas guías multicopiaron. 1 En la publicación arriba citada intitulada Sistematización de la experiencia, se indica que se discutió y acordó el marco legal y conceptual, las adaptaciones curriculares y los planes de sensibilización que debían trabajarse en cada país.

6 Página 6 evaluación psicopedagógica de educandos con necesidades especiales asociadas a: (a) déficit auditiva (50); (b) déficit visual (20); (c) déficit intelectual (80); para pasantías de formación laboral para educandos de los centros ocupacionales, para Plan de capacitación a padres de familia publicado y distribuido (50) para PE: 260 ejemplares multicopiados. 2.6 PE: 42 pasantías de formación laboral. EC: Se programó gastos de movilidad para 50 alumnos, pero no parece haberse cumplido. 2.7 No se tiene información de qué se hizo. 2.8 Un taller por país con 10 participantes realizado para Se hizo un taller en Perú, pero no está claro qué se hizo en Ecuador. 3. Redes de trabajo y apoyo interinstitucional formadas y acciones de difusión realizadas. 3.1 Un conversatorio regional por país realizado con agentes de la sociedad civil: (a) organización de Comité Consultivo Regional; y (b) producción de un manual para cada país, para Cartillas de difusión (trípticos) producidos y distribuidos en Un spot televisivo producido en Mayormente incumplido. 3.1 No se constituyeron los Comités Consultivos. 3.2 Se produjo una cuña radial y se hizo un contrato de servicios de difusión radial a nivel nacional (PE). 3.3 Se produjo un spot televisivo en cada país, pero envista del gasto tan bajo, tal vez no se pagó para colocarlo en la televisión. Mayormente incumplido. 4. Mecanismo de monitoreo y evaluación probado, validado y en funcionamiento. 4.1 Fichas de monitoreo y evaluación elaboradas, para Criterios definidos (en reunión multilateral) para asesoramiento, monitoreo e indicadores de evaluación del proyecto, para Guía de adaptaciones curriculares producida (50) y 4.1 Se dice que se elaboraron las fichas en ambos países. Sin embargo, no se incluyen gastos en el Plan de Ejecución ni en la información financiera para No se llevó a cabo la reunión. 4.3 Aparentemente no se produjeron, sino que se adquirieron 40 textos por

7 Página 7 distribuida en Guía de evaluación de aprendizajes producida (50) y distribuida en Documento de sistematización de la experiencia de integración escolar producido (50) y distribuido en país. 4.4 Aparentemente no se produjeron, sino que se adquirieron 50 guías de aprendizaje 2 por país. 4.5 Documento impreso en Perú en junio de Hubo rubro de gasto para Ecuador, pero no hubo gasto. 4.6 Computadoras y software educativo adquirido e instalado en centros integradores, en 2004, a pesar de que el CENPES indicó que no se financiaría equipo. Además, si la computadora instalada en Fe y Alegría es representativa de las demás, parece haber un problema con la licencia para el software, ya que no funcionaba. 4.7 Adquisición de otros materiales y módulos. Mayormente incumplido y desvirtuado. 7. Con relación al tiempo, las actividades del primer año del proyecto, correspondiente al 2002, se extendieron hasta el 31 de agosto de 2003, mientras que las del segundo año (2003) se extendieron hasta el 30 de junio de 2004 y las del tercer año (2004) hasta mediados del La efectividad de un proyecto está relacionada con el logro de los objetivos a nivel de Propósito y Fin en la matriz de marco lógico. Se define efectividad, o eficacia, como la medida en que se lograron o se espera lograr los objetivos de la intervención para el desarrollo, tomando en cuenta su importancia relativa. A la vez, los objetivos a que se refiere dicha definición son los efectos de la intervención los que, nuevamente, se encuentran a nivel de Propósito y Fin. 9. El efecto directo planteado en la propuesta es que los educandos con necesidades educativas especiales sean (apropiadamente) integrados a los niveles de educación secundaria y ocupacional en cada país participante. No se planteó meta específica (cuantificada) en cuanto al número de educandos a ser atendidos e integrados. Se indica que 91 estudiantes en Perú y 183 en Ecuador fueron integrados, pero se considera que no es lo mismo que hayan sido 2 Nótese que se refiere a guías de aprendizaje, no a guías de evaluación de aprendizajes, como lo especifica el proyecto.

8 Página 8 atendidos a que hayan sido integrados exitosamente y no se dispone de dicha información. 10. Con relación a la continuidad de la justificación de este proyecto, el mismo se enmarca en una larga serie de mandatos internacionales, así como en las leyes de educación vigentes de los países, especialmente en lo que se refiere a la equidad y la inclusión social. 11. Se considera que las razones principales que llevaron al desempeño deficiente del proyecto fueron, en primera instancia, que tal vez el proyecto no fue bien consultado con Bolivia y Ecuador cuando se presentó la propuesta a la OEA, es decir, que tal vez no hubo un verdadero compromiso por parte de esos dos países de participar activamente en el proyecto y de coordinar sus acciones e informar regular y oportunamente al coordinador del proyecto. Otra razón es que la gestión de la entidad coordinadora fue extremadamente deficiente, en alguna medida por cambios de personal, pero ello se evidencia en la baja calidad de la información suministrada en los informes anuales. 12. En la actualidad se suele juzgar a los proyectos en términos de calidad inicial (es decir, calidad del diseño), calidad de ejecución y supervisión y calidad de resultados. Si bien se entiende que un proyecto de esta naturaleza es muy importante y de amplia justificación, si el diseño del mismo es deficiente, se comienza mal y si la gestión también es pobre, la calidad de los resultados también será pobre. 13. Las recomendaciones van dirigidas a la CENPE y a la OEA. Con relación a la CENPE y con base en su reglamento de operación, aunque entendemos que reglamentariamente la CENPE es un cuerpo técnico, se sugiere que se considere la posibilidad de solicitar a la Secretaría General que emita un juicio técnico sobre cada propuesta de proyecto previo a la reunión de la CENPE. 14. Cuando se trata de un proyecto plurianual, se sugiere que se modifique el reglamento a fin de condicionar la aprobación de un segundo año o años sucesivos a la presentación previa a la reunión del informe detallado de las actividades del año anterior, con las pruebas documentadas correspondientes. Idealmente la OEA tendría un sistema de monitoreo adecuado, que tome en consideración la disponibilidad de personal, cuyos resultados servirían de insumo a las deliberaciones de la CENPE. 15. Se sugiere que la OEA busque una manera eficiente que traslade las recomendaciones de la CENPE a todas las partes ejecutores, oficinas de la OEA en los países y personal involucrado en la sede. 16. El reportaje de utilización del financiamiento de este proyecto es tan deficiente, que se debería considerar practicar una auditoría. Si bien puede ser cierto que realizar una auditoría de un proyecto de poco más de US$ podría

9 Página 9 parecer absurdo, consideramos que es importante divulgar el mensaje que en caso de no recibirse documentación adecuada de los gastos realizados, se hará una auditoría, con las consecuencias que ello pudiera tener. 17. Por último, todo documento o comunicación sea memorando, informe anual, hoja de evaluación de la CENPE, etc. acerca de un proyecto debe llevar su fecha a fin de establecer claramente la secuencia de acciones o actividades. Al interior de las mismas, los Informes Anuales deben incluir las fechas en que se realizaron las actividades. 18. En el cuadro siguiente se resume las calificaciones de esta evaluación respecto de los criterios establecidos. Relevancia Efectividad Eficiencia Sostenibilidad Pobre Promedio Bueno Excelente X X X X

10 Página 10 I. Introducción En el segundo semestre de 2001, el Gobierno de Perú presentó una propuesta de proyecto titulada Integración Escolar de Niños y Jóvenes con Discapacidad a los Centros de Educación Secundaria y Ocupacional a la Agencia Interamericana para la Cooperación y el Desarrollo (AICD), a ser ejecutado en tres años ( ) por los Ministerios de Educación de Bolivia, Ecuador y Perú. Dicho proyecto se planteó dentro de los marcos de la III Cumbre de las Américas, en la cual se busca fortalecer los principios de equidad, calidad, pertinencia y eficacia en todos los niveles del sector educativo, asegurando para el año 2010 el acceso universal de niños y niñas con necesidades educativas especiales, asociadas a discapacidad. Existen asimismo otros acuerdos internacionales firmados por los gobiernos de América Latina que han orientado cambios importantes en las políticas educativas para lograr avanzar en la universalización de la educación y el fomento de la equidad y, en particular, asegurar el acceso de los niños con necesidades especiales asociadas a discapacidad a todas las oportunidades de una educación integradora e inclusiva. La justificación principal del proyecto se basó en que aproximadamente un 10% de la población en general presenta diferentes tipos y grados de discapacidad. En el caso de Perú, se indicó que la población que recibió atención escolar en la modalidad de Educación Especial alcanzó a 28,372 alumnos en el año 2001, pero que dicha cifra mostraba que la cantidad de integrados a la escuela regular en sus diferentes niveles era baja, ya que solamente se venía trabajando en experiencias piloto a nivel inicial y primaria. 3 El proyecto fue planteado como un piloto a ser realizado a lo largo de tres años de ejecución en 10 regiones por país participante, con un mínimo de 5 escuelas por región. Los beneficiarios del proyecto serían alumnos con discapacidad visual, auditiva e intelectual, los alumnos de la escuela regular, compañeros de los alumnos a ser integrados, los docentes de la escuela regular, los profesionales de los servicios de atención a la diversidad (psicólogos, asistentes sociales y docentes de centros especiales que desarrollan las estrategias de integración), así como los padres de los alumnos integrados, que participarían activamente en todo el proceso. El financiamiento solicitado fue un total de US$129,760 para los tres años de ejecución US$18,550 para el 2002, US$31,614 para el 2003 y US$79,596 para el En la hoja de evaluación correspondiente al año 2002, la Comisión Especializada No Permanente de Educación (CENPE) le asignó un puntaje total de 84 y concluyó que se requería más financiamiento para los tres países y, consecuentemente, aprobó un total de US$25,000 para el primer año. En dicho año se planteó comenzar con la realización de un encuentro Multilateral en Bolivia, cuyo objetivo 3 Un antecedente en este sentido es el proyecto financiado por el FEMCIDI y coordinado por el Gobierno de México, Apoyos Pedagógicos para la Integración de Menores de 6 Años con Discapacidad a la Escuela Regular, evaluado en el año 2005.

11 Página 11 era diseñar y acordar una estrategia común y publicar la misma, tener un intercambio de experiencias en Quito entre especialistas y padres de familia, elaborar líneas de base en cada país, 4 así como realizar talleres de sensibilización, 4 en cada país. La ampliación del financiamiento para el 2002 de casi un 35% no parece haber llevado a plantear la ampliación de las actividades planeadas. En el plan de ejecución el financiamiento se distribuiría así: Bolivia - US$8,106.50; Ecuador US$8,027; y Perú US$8, En la ejecución del primer año, el Encuentro Multilateral se llevó a cabo en Quito los días 17 y 18 de junio del 2002, en el cual la delegación de Bolivia estuvo incompleta al no estar presente el responsable de educación secundaria. De hecho, desde el comienzo de la ejecución, la participación de Bolivia se vio seriamente afectada, aparentemente por razones de cambio gubernamental y de reestructuración del Ministerio de Educación, Cultura y Deportes de ese país. Al trasladarse la sede del Encuentro Multilateral de Bolivia a Quito y la del Intercambio de Experiencias de Quito a Lima, se reajustó la distribución de los recursos, de la manera siguiente: Bolivia US$4,670 5 ; Ecuador US$6,120; y Perú US$13,677. En el Informe Anual correspondiente a se señala que respecto a los productos o resultados, Bolivia no presentó ninguno Por esta razón se solicitará a la oficina de OEA se dé por concluida la participación de Bolivia. Tal vez más importante fue el hecho de que no se dispuso de información sobre la disposición de los fondos distribuidos a Bolivia, salvo que el dinero girado fue trasladado directamente al Tesoro Público, 7 razón por la cual aparentemente no llegaron al Ministerio de Educación, Cultura y Deportes. Es importante indicar que la Junta Directiva de la AICD aprobó una extensión del plazo de vigencia del Acuerdo de Ejecución del proyecto fondos aprobados en 2002 hasta el 31 de agosto de 2003, señalándose que el Informe Anual debía presentarse a más tardar el 30 de septiembre de 2003, lo cual no parece haber ocurrido. 8 La CENPE aprobó el total de financiamiento solicitado para el año 2003, US$31,614 no obstante que el puntaje asignado al proyecto bajó sensiblemente, de 84 a 63 y 4 No fue posible determinar claramente el alcance de la línea de base propuesta. 5 No hay claridad respecto del monto total girado a Bolivia, ya que en el Informe Anual correspondiente a la ejecución del año 2002 se indica que se giró un cheque por US$4,670, mientras que en el Oficio Nº ME/VMGI del 16 de abril de 2003, del Sr. Juan Chong Sánchez, Viceministro de Gestión Institucional del Ministerio de Educación de Perú al Sr. Pánfilo Yapu, Vice Ministro de Educación Escolarizada y Alternativa de Bolivia, se indica que los desembolsos efectuados a la fecha a los responsables del Proyecto en Bolivia han sido: $ por la participación del Lic. Miguel Larrazábal, Coordinador de la Dirección de Educación Especial en el Encuentro Multilateral realizado en Quito el 17 y 18 de junio 2002 y $ remitido en septiembre del 2002 al Ministerio de Educación de Bolivia para la elaboración de la guía y el video a nombre de Ivonne Quesada, Gerente General de Asuntos Administrativos del Ministerio de Educación de Bolivia. A la fecha no se ha recibido productos ni reportes de gasto. 6 Uno de los problemas generales que se tiene con la documentación de este proyecto se refiere a la fecha de cada documento. Por ejemplo, por la referencia de archivo electrónico, este Informe Anual correspondiente a la ejecución del financiamiento aprobado para el 2002, parece tener fecha 23 de octubre de Sin embargo, ello no es posible, ya que los oficios incluidos tienen fecha de enero de Oficio Nº /APCI-DE de fecha 17 de febrero de 2003 del Sr. Carlos Zapata López, Asesor de la APCI al Sr. Luis Olivera Cárdenas, Jefe de la Oficina de Cooperación Internacional del Ministerio de Educación de Perú. 8 AICD/278/03 de fecha 17 de julio de Tal como se indica en la nota al pie #4, el Informe Anual correspondiente al año 2002, no fue presentado hasta el segundo semestre del 2003.

12 Página 12 que ya se sabía que había serios problemas con la participación de Bolivia. De hecho, en la hoja de evaluación de la CENPE se recomendó trabajar para mejorar la participación de Bolivia. En el plan de ejecución 2003 (que no tiene fecha) dichos recursos se distribuirían de la manera siguiente: Bolivia US$9,000.50; Ecuador US$9,000.50; y Perú US$13,613. El 7 de enero de 2004 se comunicó que la Junta Directiva de la AICD extendió el plazo de ejecución de estos fondos hasta el 30 de junio de 2004 y el plazo para la presentación del Informe Final a más tardar el 31 de julio de Dado que se descontinuó la participación de Bolivia en este proyecto, el Ministerio de Educación de Perú comunicó el 5 de mayo de 2004 a la Oficina de la OEA en Perú que la redistribución de los fondos que habían sido asignados a Bolivia, se reasignarían a Ecuador y Perú en partes casi iguales; con dicha redistribución, el total; asignado a Ecuador fue US$13,501 y a Perú US$18, El Informe Anual correspondiente a los fondos aprobados para 2003 fue enviado por fax el 8 de septiembre de 2004 de la Oficina de la OEA en Perú al Departamento de Programas de Desarrollo de la AICD. Para el tercer año de ejecución del proyecto (2004) se había solicitado un total de US$79,596, que fue reducido a US$55,000 por la CENPE, aún cuando el puntaje asignado bajó a 53 y ya oficialmente Bolivia no era participante. Es interesante indicar que en la hoja de evaluación de la CENPE se indica lo siguiente: Ejecución 2002 y 2003 queda aún pendiente la terminación de actividades. No especifica el número de alumnos atendidos. El presupuesto no está correctamente desglosado sobre todo en rubro de capacitación. La contrapartida no aclara su procedencia. El uso de los equipos no está debidamente explicado y relacionado con las actividades del proyecto en virtud de ello consideramos necesario suprimir los gastos en equipo (el énfasis es nuestro). En el plan de ejecución 2004 se indica que la contribución OEA sería de US$53,818. Si tomamos esta última cifra como definitiva, el total aprobado para los tres años fue US$110,432 que equivale a 92.2% del total solicitado para los tres países en tres años. Esta evaluación fue preparada por George Plinio Montalván, Gerente General de Universalia-Montalván & Associates, LLC. 9 AICD/05/04 de fecha 7 de enero de Correo electrónico de fecha 6 de mayo de 2004 de María Isabel Moscol, Oficial Administrativo, OEA-PERU, a María Mellenkamp y Yacsire Cutler.

13 Página 13 II. Metodología de la Evaluación La presente evaluación descansa en cuatro elementos fundamentales: (a) la reconstrucción de una matriz de marco lógico del proyecto; (b) entrevistas realizadas en Lima, Perú a las personas actualmente a cargo del proyecto en la Dirección Nacional de Educación Nacional y Primaria y en la Unidad de Educación Especial del Ministerio de Educación de Perú; (c) entrevistas con personal directivo de la Agencia Peruana de Cooperación Internacional; y (c) documentación del proyecto entregada por el Ministerio de Educación de Perú y por la OEA. El marco lógico es una herramienta de trabajo con la cual un evaluador puede examinar el desempeño de un proyecto en todas sus etapas. Permite presentar de forma sistemática y lógica los objetivos de un proyecto y sus relaciones de causalidad. Asimismo, sirve para evaluar si se han alcanzado los objetivos y para definir los factores externos al proyecto que pueden influir en su consecución. Con relación a la reconstrucción de la matriz de marco lógico del proyecto, si bien esta metodología está explicada en diversas fuentes 11, conviene repasarla en esta sección con las modificaciones que haremos para realizar la evaluación. El Comité de Asistencia para el Desarrollo de la OCDE define el marco lógico como sigue: Herramienta que se utiliza para mejorar el diseño de las intervenciones, más frecuentemente a nivel de proyecto. Comprende la identificación de elementos estratégicos (insumos, productos, efectos, impacto) y sus relaciones causales, indicadores y los supuestos o riesgos que pueden influir en el éxito o el fracaso. De esa manera facilita la planeación, la ejecución y la evaluación de una intervención para el desarrollo 12. La matriz de marco lógico es de 4 x 4, es decir, se trata de un cuadro con 4 columnas y 4 filas. En la primera columna, Resumen Narrativo de Objetivos y Actividades, se encuentran 3 celdas que, con sus indicadores correspondientes, son pertinentes para la evaluación: Productos (bienes y servicios que financia el proyecto), Propósito (efectos directos) y Fin (impactos). Las columnas restantes son las de Indicadores, Medios de Verificación (en la evaluación se titula Logros a fin de comparar los resultados logrados con los indicadores iniciales) y la cuarta columna es la de Supuestos (riesgos). Los resultados son producidos por los insumos aportados por el proyecto (por ejemplo, financiamiento y asistencia técnica). A modo de ejemplo, los resultados se clasifican en productos/componentes, efectos directos e impactos: un producto/ componente es el resultado inmediato de los insumos (por ejemplo, edificios escolares construidos, puestos de salud establecidos, caminos mejorados); un efecto directo se 11 Por ejemplo: BID, Evaluación: una herramienta de gestión para mejorar el desempeño de los proyectos (Washington, DC: BID, 1997); y (véase el curso electrónico de marco lógico bajo la columna de Recursos ). 12 Véase OCDE-CAD, Glosario de los principales términos de evaluación y gestión basada en resultados (París: OCDE, 2000) en

14 Página 14 deriva de la utilización de los productos que se han obtenido (por ejemplo, mejoras de las tasas de alfabetización, reducción de la incidencia de ciertas enfermedades, reducción de los costos de transporte entre dos zonas) y se observa durante la ejecución, o a corto plazo después de concluida la ejecución; y un impacto es una consecuencia a más largo plazo del proyecto después de la terminación de su ejecución (aumento de los ingresos de las personas que antes eran analfabetas, mayor contribución a la economía de las personas cuya salud se ha mejorado, aumento del comercio entre zonas geográficas). Es importante señalar que esta metodología forma parte de un conjunto de herramientas y técnicas de gestión y evaluación por resultados. En la matriz de marco lógico, los resultados de un proyecto se encuentran en los niveles de Fin, Propósito y Productos (a veces llamados componentes ). En cambio, los efectos que se definen como cambios de comportamiento -- de un proyecto se encuentran en las filas de Fin y Propósito. En un proyecto relativamente pequeño, como el que nos ocupa en la presente evaluación, será muy difícil identificar los efectos de mediano y largo plazo (también llamados impactos ) a nivel de Fin que podría tener y mucho menos cuantificarlos y atribuirlos al proyecto. Por ello, la evaluación de la efectividad del proyecto se hará a nivel de Propósito, donde se encuentran los efectos directos de corto plazo. A nivel de Fin, se examinarían los objetivos del proyecto dada la magnitud del problema y las estrategias de los países para abordar dicha problemática, con objeto de examinar la continuidad de la justificación, es decir, el grado hasta el cual las condiciones que dieron lugar al proyecto continúan siendo compatibles con las prioridades de desarrollo de los países. La eficiencia es con relación a los Productos, es decir, la medida en que las actividades/insumos (tiempo, financiamiento, etc.) se han convertido económicamente en los productos de la intervención. En la matriz de marco lógico, los indicadores son las variables o factores que especifican los objetivos a nivel de Fin, Propósito y Productos. En la medida de lo posible, los indicadores de productos y efectos directos se deben expresar en términos cuantitativos, deben tener datos básicos que permitan cuantificar las mejoras derivadas del proyecto en el curso del tiempo y deben tener metas intermedias (esto es, en diversos años de la ejecución del proyecto) y metas finales (esto es, a la terminación del proyecto) que sean realistas y viables.

15 Página 15 En la actualidad se dice que la evaluabilidad de un proyecto está en función de la calidad y precisión de la matriz de marco lógico inicial. En el caso de proyectos financiados por el FEMCIDI, se puede decir que la información contenida en los documentos de proyecto, de acuerdo con el Formato para presentación de propuestas de cooperación de la AICD, constituye una base razonable para la evaluación, aún cuando sería difícil realizar la evaluación de impacto por el hecho de que estos proyectos son pequeños y se encontrarían dificultades metodológicas serias para atribuirles determinados impactos. El Cuadro 1 muestra la organización de la matriz de marco lógico con los conceptos que se aplican en las diferentes celdas de la misma.

16 Página 16 Fin Resumen Narrativo (Impactos) Cuadro 1: Matriz de Marco Lógico para Evaluación Indicadores Logros Supuestos En este nivel se identifican los impactos que puede haber tenido y se evalúa principalmente la continuidad de la justificación del proyecto. Propósito (Efectos directos) En este nivel se evalúa principalmente la efectividad (o eficacia) del proyecto. Productos (Bienes y servicios producidos con el financiamiento del proyecto) En este nivel se evalúa la eficiencia del proyecto. Actividades La información en esta celda se refiere a los recursos (financieros) para el proyecto.

17 Página 17 III. Eficiencia Como se indicó en el capítulo metodológico, la eficiencia en la ejecución de un proyecto se refiere a la medida en que las actividades/insumos (tiempo, financiamiento, etc.) se convirtieron económicamente en los productos de la intervención. En primer lugar, es importante hacer una salvedad: aunque no hay claridad en cuanto a sus fechas, todos los informes anuales de ejecución de este proyecto se presentaron con retraso significativo y son extremadamente difíciles de descifrar. Se cambian los componentes del proyecto; esto no solamente ocurre entre 2002, 2003 y 2004, sino que también se cambiaron una vez más en el documento Sistematización de la experiencia publicado en julio de También se eliminan y reemplazan actividades originalmente programadas sin explicación. Incluso, se adquirió equipo de computación y software aún cuando la CENPE indicó que consideramos necesario suprimir los gastos en equipo y parecería que la reducción de los $ solicitados, al monto aprobado de $ y después a $53.818, corresponde mayormente al equipo que se adquirió de todas maneras y con cargo al proyecto. 13 En nuestra experiencia de evaluación no hemos encontrado semejante enredo con relación a las actividades de un proyecto. Ello significa que puede haber errores en nuestra interpretación de lo acontecido, si bien se puede afirmar en general que la ejecución fue marcadamente ineficiente. En el cuadro siguiente, tenemos un resumen aproximado de la ejecución del proyecto. Cuadro 2: Resumen de la Ejecución Indicadores FEMCIDI (en US$) 15 Productos 14 Propuesto 16 Logrado Presupuestado Ejecutado 1. Estrategia común elaborada, acordada y aplicada, visitas de intercambio 1.1 Estrategia acordada como resultado de reunión de encuentro multilateral entre Perú, Bolivia y Ecuador, sede Bolivia, para junio Se realizó el encuentro en Quito 17 y 18 de junio de Bolivia asistió con una delegación incompleta. No se tiene copia del 1.1 $ $ Se gastó un total de $ en equipo de computación y software, frente a la reducción por la CENPE de $ entre lo solicitado y lo aprobado para el En el documento intitulado Sistematización de la experiencia, publicado en Perú en julio de 2005, cuyo primer capítulo resume los resultados del proyecto, hubo un cambio fundamental con relación al producto o Componente 3, para el cual el informe citado lo ha llamado Dotación de recursos materiales y tecnológicos para el nivel de Educación Secundaria y Centros Educativos Ocupacionales. En cambio, en el Plan de Ejecución (marcado aprobado ) la dotación de recursos aparece como la Actividad 1 del Componente Dado que Bolivia dejó de participar en el proyecto, en general los montos reflejan la distribución por rubro, ya que el financiamiento fue reasignado a Ecuador y Perú. Sin embargo, hubo tantos cambios en la programación y utilización del financiamiento, que los montos presentados son más bien indicativos. Por esta razón, en este cuadro no se presenta un total de los recursos programados y ejecutados. 16 Los indicadores que figuran en esta columna tienen como fuente la propuesta original presentada a la AICD. Más adelante los indicadores sufrieron modificaciones significativas, en parte por la no participación de Bolivia.

18 Página 18 realizadas y materiales producidos. 1.2 Visitas de intercambio de experiencias entre especialistas (1 por país) y padres de familia (1 por país), sede Ecuador, para octubre Un vídeo documental por país producido y distribuido sobre experiencia de integración escolar. acta o informe final de la reunión No se menciona ningún resultado en el informe anual correspondiente a Parece que se financió un segundo Encuentro en Lima en agosto de BO: nada. EC: Ejerciendo mi derecho a la educación y el trabajo. (23 minutos) PE: no está claro si se produjo un video, aunque hubo un gasto al respecto. 1.2 $ $ (BO: $4.670) 1.3 $4.038 BO:? 1.2 $0 Mayormente incumplido. 2. Acciones de sensibilización a docentes, agentes educativos y padres de familia realizadas. 2.1 Línea de base elaborada para sensibilización y capacitación de los centros educativos integradores 1 documento por país, para octubre talleres (4 por país) de sensibilización y capacitación en centros educativos de secundaria y ocupacional realizados, para octubre 2002, así como en EC: No realizado. PE: Realizado. 2.4 PE: Sensibilización en cascada de 540 profesionales de la educación de 10 regiones y 54 docentes de centros integradores en talleres en 2.1 $ $2.900 (2002) $2.896 (2003) 2.1 $ $2.706 (2002) $1.981 (2003) 17 En la publicación arriba citada intitulada Sistematización de la experiencia, se indica que se discutió y acordó el marco legal y conceptual, las adaptaciones curriculares y los planes de sensibilización que debían trabajarse en cada país. 18 En la propuesta presentada a la AICD se indica que cada país participante prepararía un video sobre su experiencia de integración, con un costo unitario de $70 para un total de $2.100! A más del error aritmético, no se explica por qué desembolsaron $4.670 a Bolivia por este concepto. 19 En el Informe Anual 2002 (presentado en enero de 2004) se indica en la información financiera, bajo Perú, que el cheque girado fue por US$ Sin embargo, bajo Ecuador, no se hace mención del Encuentro Multilateral. Por otra parte, en el Oficio No. 119 del 16 de abril de 2003, se indica que se efectuaron dos desembolsos a Bolivia, uno de US$1.237 por la participación de un funcionario en el Encuentro Multilateral y el otro de US$4.670 para la elaboración de la guía y el video, sin que se recibiera productos ni reportes de gasto. 20 En la propuesta a la AICD se indica que este proyecto piloto sería focalizado hacia 10 regiones de cada país y 5 escuelas por región. Sin embargo, en la sección de detalle de actividades, se indica que se harían 8 talleres de sensibilización en las regiones identificadas para la integración (1 taller por región) en cada país. 21 Eliminado del Plan de Ejecución 2003.

19 Página para padres (167 participantes). EC: 3 talleres con total de 100 personas de 3 regiones en Manual de orientación y tutoría en secundaria producido y distribuido para Manual de orientación y tutoría en ocupacional producido y distribuido para Guías didácticas producidas y distribuidas de evaluación psicopedagógica de educandos con necesidades especiales asociadas a: (a) déficit auditiva (50); (b) déficit visual (20); (c) déficit intelectual (80); para pasantías de formación laboral para educandos de los centros ocupacionales, para Plan de capacitación a padres de familia publicado y distribuido (50) para Un taller por país con 10 participantes realizado para Para agosto 2004 no estaba claro si se imprimió este manual. 2.4 Para agosto 2004 no estaba claro si se imprimió este manual. 2.5 EC: No está claro cuántas guías multicopiaron. PE: 260 ejemplares multicopiados. 2.6 PE: 42 pasantías de formación laboral. EC: Se programó gastos de movilidad para 50 alumnos, pero no parece haberse cumplido. 2.7 No se tiene información de qué se hizo. 2.8 Se hizo un taller en Perú, pero no está claro qué se hizo en Ecuador. 2.3 $ $ $ $ $ $ $ $ $ $ Mayormente incumplido. 22 Más adelante, en el capítulo VI de Conclusiones y Recomendaciones, se recomienda realizar una auditoría de este proyecto. Resulta que en este rubro, en ambos países, se gastó exactamente lo mismo, hasta el centavo de dólar, en el multicopiado de materiales: $ Parece haber un error en el Informe correspondiente a 2003, en la sección sobre Información Financiera, donde se indica que el monto gastado y el cheque girado para Ecuador fue de $3.226, en comparación con el monto programado de $1.196.

20 Página Redes de trabajo y apoyo interinstitucional formadas y acciones de difusión realizadas. 3.1 Un conversatorio regional por país realizado con agentes de la sociedad civil: (a) organización de Comité Consultivo Regional; y (b) producción de un manual para cada país, para Cartillas de difusión (trípticos) producidos y distribuidos en Un spot televisivo producido en No se constituyeron los Comités Consultivos. 3.2 Se produjo una cuña radial y se hizo un contrato de servicios de difusión radial a nivel nacional (PE). 3.3 Se produjo un spot televisivo en cada país, pero envista del gasto tan bajo, tal vez no se pagó para colocarlo en la televisión. 3.1 $ $ $ $0 3.2 $ $1.500 Mayormente incumplido. 4. Mecanismo de monitoreo y evaluación probado, validado y en funcionamiento. 4.1 Fichas de monitoreo y evaluación elaboradas, para Criterios definidos (en reunión multilateral) para asesoramiento, monitoreo e indicadores de evaluación del proyecto, para Guía de adaptaciones curriculares producida (50) y distribuida en Guía de evaluación de aprendizajes producida (50) y distribuida en Documento de sistematización de la 4.1 Se dice que se elaboraron las fichas en ambos países. Sin embargo, no se incluyen gastos en el Plan de Ejecución ni en la información financiera para 2004, por lo cual se concluye que no se hizo. 4.2 No se llevó a cabo la reunión. 4.3 Aparentemente no se produjeron, sino que se adquirieron 40 textos por país. 4.4 Aparentemente no se produjeron, sino que se adquirieron 50 guías de aprendizaje 24 por país. 4.5 Documento impreso en Perú en $ $ $ $ $0 4.3 $ $ $ Nótese que se refiere a guías de aprendizaje, no a guías de evaluación de aprendizajes, como lo especifica el proyecto.

21 Página 21 experiencia de integración escolar producido (50) y distribuido en junio de Hubo rubro de gasto para Ecuador, pero no hubo gasto. 4.6 Computadoras y software educativo adquirido e instalado en centros integradores, en 2004, a pesar de que el CENPES indicó que no se financiaría equipo. Además, si la computadora instalada en Fe y Alegría es representativa de las demás, parece haber un problema con la licencia para el software, ya que no funcionaba. 4.7 Adquisición de otros materiales y módulos. Mayormente incumplido y, además, desvirtuado. 4.6 $ $ $ $4.306 A. Producto 1: Estrategia común elaborada, acordada y aplicada, visitas de intercambio realizadas y materiales producidos. El Encuentro Multilateral, cuyo objetivo principal fue de establecer una estrategia común sobre la asignación de los trabajos a realizar en el marco del proyecto, se llevó a cabo en Quito los días 17 y 18 de junio de No se cuenta con un acta o informe final del Encuentro, motivo por el cual no se sabe cuántas personas asistieron ni a qué acuerdos específicos llegaron. La segunda gran actividad planteada para este componente fue la realización de visitas de intercambio de experiencias entre especialistas (1 por país) y padres de familia (1 por país), con sede Ecuador, para octubre Sin embargo, además de que ello ni se menciona en el informe correspondiente al año 2002, en el documento de Sistematización de la experiencia parece que se reemplazó con un segundo Encuentro que se llevó a cabo en Lima los días 25 y 26 de agosto de Otro ejemplo del enredo en la documentación del proyecto es que en la información financiera para el año 2002, se indica que para el segundo Encuentro Multilateral de intercambio de experiencias, se había programado

22 Página 22 Con relación a la tercera actividad importante, la producción de un video documental por cada país participante, no se sabe si solamente Ecuador lo produjo. Es decir, hubo un gasto al respecto en Perú, pero no hay detalles, siquiera del título y extensión del video. El Informe Anual correspondiente al 2002 parece tener fecha 13 de enero de 2004, lo cual significa (a) que las actividades probablemente se retrasaron, y (b) que la CENPE tomó su decisión sobre los recursos para el año 2003 sin tener información de lo acontecido en el En dicho Informe se solicita a la Oficina de la OEA se dé por concluida la participación de Bolivia. Conclusión: Mayormente incumplido. B. Producto 2: Acciones de sensibilización a docentes, agentes educativos y padres de familia realizadas. Se planteó comenzar este componente con la preparación de una línea de base, elaborada para sensibilización y capacitación de los centros educativos integradores, plasmada en un documento por país, para octubre Sin embargo, dicha actividad no se realizó en el 2002, pero se incluyó en el Plan de Ejecución 2003 a ser realizada en el mes de febrero. Parece que la línea de base se elaboró en Perú, pero no en Ecuador, aunque no se desembolsó el presupuesto correspondiente para Perú, pero sí para Ecuador. El Informe Anual correspondiente a 2002 indica que se ha logrado la sensibilización en cascada de 540 profesionales de la educación en 10 regiones de Perú, sin aclarar el significado de en cascada. Parecería que no todos los 540 fueron objeto de una acción presencial, ya que también se dice que se ha logrado sensibilizar y capacitar de manera directa, presencial, a 54 profesores de los centros integradores del nivel secundario y ocupacional. En Ecuador se realizaron tres talleres de sensibilización en tres regiones con un total de 100 participantes. Se considera que la línea de base era importante para medir el grado de sensibilización obtenida; es decir, una línea de base es útil para medir un cambio y ciertamente la sensibilización es para fomentar un cambio. Al no tener la línea de base, no se sabría si las 540 personas indicadas en el párrafo precedente de hecho fueron sensibilizadas. Además, la propuesta inicial era para ejecutar un proyecto piloto en 10 regiones de cada país participante. Como se verá más adelante, ello no se logró, aún cuando se aprobó 92% de los recursos solicitados para los tres años y Bolivia dejó de participar, asignándose los fondos correspondientes a Bolivia a Ecuador y Perú. US$4.497, se había girado un cheque por la misma cantidad y se había gastado US$4.161, pero dicho encuentro tuvo lugar en agosto de 2003.

23 Página 23 En la propuesta de proyecto se planteó preparar un plan de capacitación a padres de familia, pero ello aparentemente no se hizo y no hubo monto programado ni gastado en esta actividad. En cambio, se realizó un taller en Perú en junio de 2003 con la participación de 27 docentes y 35 padres de familia a un costo de $ Lo extraño es que no se indica qué actividad de capacitación de padres de familia se hizo en Ecuador, pero se gastó $3,226 para este concepto, cuando se había programado $ Conclusión: Mayormente incumplido. C. Producto 3: Redes de trabajo y apoyo interinstitucional formadas y acciones de difusión realizadas. Este componente, como lo indica la frase descriptiva, consistía básicamente de la creación de redes de apoyo basados en Comités Consultivos Regionales, así como la producción y difusión de materiales informativos, entre ellos trípticos y un spot televisivo. Sin embargo, no se constituyeron los Comités Consultivos (ni se gastó para ello), y en lugar de trípticos se decidió realizar publicidad radial, mediante cuñas radiales, así como televisiva con los spots indicados arriba. En el Informe Anual 2003 se indica que en Perú se produjo (una?) cuña radial, pero no se hizo en Ecuador. Se produjo un spot televisivo en cada país, pero el gasto tan bajo frente a lo programado sugeriría que no fueron colocados en la televisión. Conclusión: Mayormente incumplido. D. Producto 4: Mecanismo de monitoreo y evaluación probado, validado y en funcionamiento. El objetivo de este componente fue desarrollar acciones de monitoreo y asesoramiento permanente en los centros educativos y centros ocupacionales en las sedes seleccionadas. Dado que la intención fue de hacerlas permanente, de acuerdo con un plan regional de monitoreo y evaluación, se consideró que se trataría de desarrollar y pilotear al menos un mecanismo, si bien no instalar un sistema. Sin embargo, en la realidad éste no fue el caso, sino que de los $ programados para este componente, el 65% fue programado para adquisiciones de materiales, computadoras y software educativo, mientras que los recursos restantes se programaron para realizar visitas de asesoramiento y capacitación (17%), producir el texto sobre Sistematización de la experiencia (11%) y realizar un Tercer Encuentro entre Países Participantes (6.4%) que no tuvo lugar.

24 Página 24 La primera actividad propuesta para este Componente, que sería ejecutado en 2004, fue la preparación de fichas de monitoreo. El Informe Anual correspondiente a dicho año no da cuenta de esta actividad, ni que la misma haya sido programada ni que se efectuó ningún gasto al respecto. Sin embargo, el Capítulo 6 de la publicación de Sistematización de la experiencia, muestra fichas o cuestionarios para monitoreo y evaluación para Perú y Ecuador. Podría entonces concluirse que habiendo fichas o cuestionarios en ambos países se consideró innecesaria la producción de los mismos con cargo al proyecto, por lo cual los recursos se utilizaron mayormente en adquisiciones de textos y equipo de cómputo? La revisión de los instrumentos utilizados en ambos países presentados en la publicación arriba citada revela que la mayoría de las preguntas son abiertas y enteramente cualitativas, lo que dificultaría enormemente y encarecería su procesamiento. Por esta razón tenemos dudas si dichas fichas o cuestionarios fueron piloteados en ambos países. Con relación a la adquisición de materiales, en su mayoría libros y textos, en dos entrevistas a directores de una secundaria y un centro ocupacional (o técnicoproductivo) en Lima, se nos dijo que los docentes no leen, es decir, que gastar en materiales probablemente no tendría gran efecto. Por otra parte, si bien no se tiene un desgloce del costo de cada libro adquirido, es importante notar que en Ecuador, se adquirieron 52 textos producidos por la GTZ (entidad de cooperación internacional alemana) cuando parecería factible que la OEA gestionara la donación de los mismos. Se ha hecho referencia en este informe a la adquisición de computadoras y software educativo para discapacitados, para lo cual se programó un total de $ Por una parte, la CENPE indicó que no se debiera gastar el financiamiento en equipo. Por otra parte, el Plan de Ejecución 2004 que tenemos de los archivos de la OEA tiene escrito aprobado. Además, una de las computadoras adquiridas fue para la oficina coordinadora del proyecto, la Unidad de Educación Especial del Ministerio de Educación de Perú, para lo cual en el Informe Anual correspondiente a 2004 se indica que se consultó oportunamente al Proyecto SED/AICD/ME 164/03 Washington sobre la posibilidad de asignar un equipo de cómputo a la Unidad de Educación Especial, propuesta fue aceptada y autorizada, entendiendo las necesidades de fortalecimiento del proyecto desde la sede central. Sería procedente examinar la veracidad de lo indicado. Asimismo, nos parece importante indicar que en nuestra visita a la institución educativa Fe y Alegría No. 34, en San Borja, cerca de Lima, el software no funcionaba y se nos reportó que estaba inoperante desde hacía algún tiempo, considerándose tal vez que el paquete instalado había sido de prueba y el período de utilización había expirado. Es evidente que una observación no es representativa del universo, pero parecería sintomático de una gestión pobre, que incluye el manejo de los recursos financieros. Este sería otro elemento a investigar, es decir, cuántos de los paquetes de software educativo y cuántas máquinas de hecho funcionan y están siendo utilizadas.