Términos de Referencia Evaluación final del proyecto

Transcripción

1 Términos de Referencia Evaluación final del proyecto Evaluación Final Externa del proyecto: PROMOCIÓN DE LA ATENCIÓN INTEGRAL DE LOS NIÑOS Y NIÑAS DE 5 A12 AÑOS EN EL ÁMBITO EDUCATIVO Y COMUNITARIO Región: ONG Beneficiaria Convocatoria Ref. País beneficiario Código Convenio América Latina - Caribe Fundación Save the Children (SCE) Convenios AECID Convocatoria 2010 Cuba 10-CO

2 Mayo 2016 INDICE 1.- Introducción Unidad de Evaluación Justificación y razones de la Evaluación Objetivo General de la Evaluación Tipo de Evaluación Utilidad de la evaluación 2.- Antecedentes y Objeto de la Evaluación Antecedentes del Convenio Objeto de la Evaluación 3.- Agentes Implicados 4.- Preguntas y criterios de Evaluación Criterios de Evaluación Preguntas de Evaluación 5.- Metodología y Plan de trabajo 5.1. Metodología y herramientas de la evaluación 5.2. Plan de trabajo 6.- Documentos y fuentes de información 7.- Estructura y presentación del informe de evaluación 8.- Equipo evaluador 9.- Premisas de la evaluación, auditoría y publicación (ver estándares de evaluación del CAD) Plazos para la realización de la evaluación 11.- Presentación de la oferta técnica y económica y criterios de valoración 2

3 1. Introducción La Fundación Save the Children es una ONG sin ánimo de lucro, plural e independiente desde el punto de vista político y religioso. Nuestro objetivo fundamental es la defensa activa de los derechos e intereses de los niños y las niñas, especialmente de la infancia más vulnerable. Nuestra misión es impulsar avances significativos en la forma en que el mundo trata a niños y niñas, con el fin de generar cambios inmediatos y duraderos en sus vidas. Contamos con organizaciones en 32 países y estamos presentes en más de 120 con programas de ayuda. Desde 1919 trabajamos en las principales áreas que afectan a la infancia, especialmente en las siguientes: educación, salud, nutrición, trabajo infantil, protección de infancia, VIH-SIDA, respuesta en emergencias, gobernabilidad de los derechos de la infancia y participación infantil. Desde 2014 Save the Children España (SCE) cuenta con una unidad de Calidad y Evaluación en su sede central (Madrid) que se ocupa tanto de homogeneizar los procesos internos y las herramientas de seguimiento y evaluación de proyectos, así como brindar apoyo técnico especializado a los gestores de los programas en este ámbito. Save the Children, como ejecutora del Convenio 10-CO1-070 Promoción de la atención integral de los niños y niñas de 5 a12 años en el ámbito educativo y comunitario desarrollado en Cuba y financiado por la Agencia Española de Cooperación Internacional para el Desarrollo (AECID), propone los siguientes términos de referencia para la realización de la evaluación final externa de dicho Convenio, de acuerdo a los términos establecidos por la Guía para evaluaciones de proyectos y convenios de ONGD y por el Manual de Gestión de Evaluaciones de la Cooperación Española. 1.1 Unidad de evaluación País: Cuba Áreas geográficas: Provincias: La Habana en los municipios Habana del Este y Marianao Las Tunas en el municipio Las Tunas Presupuesto del Convenio: Coste Total: Euros Aportación AECID: Euros. Aportación Save the Children España: Euros. Aportaciones públicas socio: Euros. I.2 Justificación y razones de la evaluación: La realización de esta evaluación se basa en las siguientes razones: Cuestiones de aprendizaje interno de la organización: Para Save the Children es esencial integrar la evaluación en el ciclo de cada una de sus intervenciones como un mecanismo de aprendizaje, rendición de cuentas y mejora de las intervenciones. Para ello es necesario fortalecer los vínculos entre los hallazgos de las evaluaciones, el diseño de los programas y la toma de decisiones. Consideramos que la evaluación no termina con un informe de resultados ante el organismo financiador, sino con la realización de un plan que incorpore las recomendaciones y lecciones aprendidas tanto en la planificación y gestión de las intervenciones, como en el modelo de actuación de los principales actores sociales involucrados en las acciones de capacitación llevadas a cabo con el presente Convenio (metodólogos de las diferentes instancias de dirección, docentes, directivos y especialistas). 3

4 Cuestiones de Retroalimentación de los procesos exitosos implementados: La evaluación debe rescatar y recopilar las mejores experiencias y acciones implementadas con el Convenio, como forma de multiplicación de saberes incorporados al proceso educativo de cada escuela. Asimismo, debe ofrecer orientaciones claras para todas las instituciones y personas involucradas en ella, acerca de qué elementos clave y procesos llevados a cabo con la intervención son rescatables para mejorar y guiar las implementaciones futuras. 1.3 Objetivo general de la evaluación. Los objetivos de la siguiente evaluación son: Objetivo general Obtener una valoración del Convenio para determinar en qué medida y forma los objetivos propuestos en la intervención se lograron, así como identificar los procesos clave y los elementos estructurales de la intervención que condicionaron el alcance de los mismos. Objetivos específicos Identificar los procesos clave y objetivos alcanzados en materia de gestión y coordinación de la intervención entre los agentes implicados, en dos niveles: - a nivel político-estratégico (en qué medida se ha mejorado la relación político-estratégica entre las instituciones involucradas a lo largo del Convenio; y qué elementos y procesos se han dado para alcanzar el nivel actual de trabajo directo de gestión y coordinación de la intervención entre AECID-MINED-MINCEX-SC), y - a nivel técnico-operativo (En qué medida se han implementado mejoras en el trabajo interrelacionado entre MINED-SC-Direcciones Provinciales y Municipales de Educación-Escuelas y comunidades atendidas, así como qué elementos y procesos se han dado para alcanzarlo). Identificar los procesos clave y objetivos alcanzados con la intervención en materia de mejora de la calidad educativa de acuerdo a lo establecido por el MINED en Cuba para el nivel primario, en dos niveles: - a nivel político-estratégico (en qué medida, a través de la intervención, se han realizado mejoras en las políticas trazadas por el MINED para elevar la calidad educativa y qué elementos y procesos se han dado para alcanzarlas), y - a nivel técnico-operativo (en qué medida ha mejorado la calidad educativa a nivel de municipio-escuela-aula-comunidad, en qué medida han mejorado los procesos de enseñanza-aprendizaje en el aula, y qué elementos y procesos se han dado para ello). Identificar los mecanismos puestos en marcha para la integración de las recomendaciones evidenciadas en el proceso de evaluación intermedia llevada a cabo en el marco de implementación del convenio. Rescatar y promover las buenas prácticas y evidencias identificadas en los objetivos específicos anteriores, en un formato/soporte innovador que permita facilitar su presentación/comunicación/utilización práctica a todos los niveles, así como facilite su réplica tanto a nivel país como a otros países de la región. La difusión de los hallazgos y recomendaciones de la evaluación deben realizarse en un formato innovador y amigable que incorpore, entre otros, elementos audiovisuales y estudios de caso Tipo de evaluación Se trata de una evaluación final externa, con un claro enfoque participativo y de proceso, ya que se busca conseguir que las partes implicadas sean elementos activos. Asimismo, la evaluación tiene un carácter formativo (que informe de los avances obtenidos en relación a los 4

5 objetivos y a los procesos clave alcanzados con la intervención) con elementos sumativos de resultados y de procesos (que permitan entender el porqué de la efectividad lograda, así como consolidar elementos para mejorar futuras intervenciones en la materia) Utilidad de la evaluación Se espera utilizar los resultados de la Evaluación Final Externa para: Potenciar los aprendizajes y el desarrollo de capacidades, tanto de titulares de obligaciones como titulares de responsabilidades. Difundir los resultados de la evaluación a todos los niveles, para dar a conocer sus resultados a todos los actores involucrados; así como para favorecer la mejora del diseño y de los mecanismos de gestión de recursos de futuras intervenciones tanto en el propio país como en otros de la Región. Dar a conocer y dar seguimiento a la coherencia y adecuación de la intervención a los objetivos y prioridades de la política Española de Cooperación Internacional y Desarrollo. Para ello, los puntos en los cuales se esperan recomendaciones de cara a futuras intervenciones son: Definición de buenas prácticas y lecciones aprendidas relacionadas con la gestión y coordinación político-estratégica de una intervención directa entre AECID-MINED-MINCEX- SC para la mejora del Modelo Educativo del País, y qué cambios positivos se traducen de ello a nivel operativo entre MINED-escuela-aula-comunidad educativa. (Definir qué procesos y mecanismos de gestión y coordinación entre las instituciones involucradas han sido exitosos, identificando de forma clara las hojas de ruta recomendadas para guiar futuras intervenciones) Definición de buenas prácticas y lecciones aprendidas relacionadas con la gestión, coordinación e implementación de acciones para mejorar la calidad educativa (metodologías, enfoques y materiales), y qué cambios positivos se traducen de ellos tanto en el trabajo docente como en el desempeño escolar de los niños y las niñas, como en la comunidad. (Definir qué procesos y mecanismos de gestión e implementación de nuevas metodologías, enfoques y materiales incorporados al proceso de enseñanzaaprendizaje han sido exitosos, identificando de forma clara las hojas de ruta recomendadas para guiar futuras intervenciones a nivel de MINED-Instancias provinciales y municipales de educación-escuelas-aula-comunidad Educativa. Estas conclusiones, lecciones aprendidas y recomendaciones que se obtendrán de la Evaluación Final Externa serán de utilidad a: Titulares de Obligaciones (AECID, MINED), Titulares de Responsabilidades (Save the Children, entidades colaboradoras) y a Titulares de Derechos. - Los promotores de la evaluación (AECID) para el fortalecimiento del sistema de evaluación de la Cooperación Española en su conjunto. - Los gestores de la evaluación y socios del programa (Save the Children y MINED) para aprender, retroalimentar y mejorar las intervenciones y para mejorar los mecanismos de gestión de los recursos. - Los informantes clave: población destinataria directa e indirecta del Convenio; socio local, para quien esta evaluación será un mecanismo de rendición de cuentas. - A otros informantes (entidades y autoridades locales, así como a otras organizaciones que trabajan en materia de Educación), para quienes esta evaluación puede ofrecerles hojas de ruta claras para la mejora en la gestión e implementación de programas educativos. - Otros miembros de Save the Children Internacional que trabajan en el ámbito de protección de la infancia, y particularmente en programas de Educación para incorporar las lecciones aprendidas que sean pertinentes a sus intervenciones y mejorar así la calidad de sus programas. 5

6 2. ANTECEDENTES Y OBJETO DE LA EVALUACIÓN 2.1. Antecedentes del Convenio La intervención planificada se inscribe en un marco legal internacional y nacional bastante amplio. A nivel internacional el objeto de la evaluación sigue la línea de lo planificado por los siguientes documentos normativos: Objetivos de Desarrollo del Milenio Convención de los Derechos del Niño Declaración Mundial sobre Educación para todos Declaración de Jomtiem A nivel nacional, es importante destacar: Constitución de la República de Cuba Código de Familia Código de la Niñez y la Juventud Orientaciones y Resoluciones emitidas por el MINED (Resolución de evaluación, Indicaciones inicio curso escolar, Reglamento escolar) Las políticas públicas existentes en el sistema educativo en Cuba se rigen por lo recogido en la Constitución de la República de Cuba en su Capítulo V: Educación y Cultura 1 y la Ley de Nacionalización General y Gratuita de la Enseñanza de Cuba de La propuesta de este convenio se inserta en este marco de trabajo, así como en los objetivos estratégicos generales, direcciones de trabajo y prioridades definidas por el gobierno cubano. Según lo establecido por parte de la política educacional que sigue el Ministerio de Educación (MINED) cada mes de mayo, se analizan, ejecutan y realizan acciones para la preparación del siguiente curso escolar. Estas acciones de preparación para los siguientes años tienen como objetivo perfeccionar el trabajo del siguiente curso, a partir de los resultados obtenidos. Cada curso escolar inicia con la preparación de todos los cuadros de dirección y directivos hasta el nivel de institución, y en ésta se plantean desde los objetivos estatales, los procesos sustantivos que deben priorizarse por cuadros, directivos, docentes, estudiantes y de manera directa con las familias que se encuentran vinculadas a sus hijas e hijos. Es prioridad de cada curso escolar valorar y determinar temas referidos a la formación ciudadana, valores, formación laboral y la formación y preparación de los y las docentes en cada uno de los sistemas de educación. También es prioridad determinar los temas que se trabajan metodológicamente, priorizando las debilidades del curso anterior para contribuir a la preparación sistemática de directivos y docentes para el logro de la calidad en el aprendizaje. Otras acciones del MINED para contribuir a la preparación del personal docente es la utilización de los medios de Difusión Masiva como la televisión con el programa Para ti maestro organizado a través de seminarios con la participación de especialistas y maestros/as de experiencia donde desarrollan conferencias y muestran procedimientos para abordar temas de interés pedagógico y de diferentes temática para todos los niveles educativos, desde primaria hasta preuniversitario. En este seminario se priorizaron temas como la lengua materna, ortografía, el aprendizaje de las matemáticas, los contenidos históricos, las ciencias y el sistema de evaluación académico. A raíz de la presentación de este Convenio, existe un acuerdo que ha regido el trabajo conjunto de MINED y Save the Children para su implementación

7 En cuanto a los organismos de Cooperación, a nivel estatal se mantuvo un contacto de intercambio directo con los y las especialistas del MINCEX designados para el control y seguimiento del Convenio como la institución oficial que rectora la Cooperación en Cuba. Con respecto a otras ONGD s españolas presentes en el país, en todo momento se ha trabajado en coordinación con las mismas y se ha participado en los foros existentes, tomando decisiones conjuntas sobre problemas que han afectado al colectivo de forma global. En cuanto a las agencias de Cooperación externa, desde el inicio del trabajo en el país se ha mantenido una estrecha colaboración con UNICEF, ejecutando algunas acciones de manera conjunta y coordinando las intervenciones de manera que no se duplique la ayuda destinada a las zonas de intervención conjuntas. Por supuesto, también desde el inicio de las acciones en Cuba de Save the Children España, se ha mantenido una comunicación fluida y constante con la Agencia Española de Cooperación Internacional para el Desarrollo (AECID) a través de su OTC sita en La Habana, y este convenio responde a las prioridades de la misma en Cuba dentro del marco de su Plan Director. Una de las últimas acciones del proceso de formulación y planificación de la propuesta definitiva de convenio fue la participación en la sesión de la Comisión Mixta Hispano-Cubana de Cooperación Internacional para el Desarrollo, informando sobre los avances del proceso. El convenio, fue impulsado conjuntamente por el Gobierno Cubano y Save the Children, para apoyar las acciones y el esfuerzo del Estado Cubano por garantizar una educación primaria universal y de calidad para todos los niños y las niñas. En el momento actual, el Estado Cubano está priorizando una serie de transformaciones educativas encaminadas a este objetivo de elevación de la calidad. A pesar del gran esfuerzo y buenos resultados del Estado cubano en el ámbito de la educación, se manifiestan algunas áreas donde se desea trabajar con carácter prioritario para elevar sus resultados: 1- Fortalecer la calidad del proceso de enseñanza-aprendizaje: se requiere de acciones que contribuyan a elevar la preparación de los y las docentes, acompañados por recursos y medios de enseñanza que promuevan solidez en los conocimientos y activen el proceso de enseñanza aprendizaje para mejorar los niveles de aprendizaje en los niños y las niñas, posibilitando el tránsito del alumnado por las diferentes enseñanzas. 2- Formación integral de las nuevas generaciones: Esto es prioridad del Estado y para ello el Modelo de Escuela Primaria establece los lineamientos y objetivos de esta aspiración, no obstante, en ocasiones las acciones comunitarias y de preparación a la familia necesitan profundizar y sistematizar sus experiencias. 3- Capacitación especializada: dirigida a los y las docentes de la educación primaria que atienden en sus aulas a niños y niñas con necesidades educativas especiales, priorizando a los integrados que presentan retraso mental u otras limitaciones psicológicas o físicas. Esta capacitación especializada necesita alcanzar una mayor eficiencia, para que el nivel de profundidad de las vías de trabajo metodológico logre atender las individualidades de cada docente. 4- Fortalecimiento de la formación vocacional: Para potenciar las habilidades de niñas y niños, mostrarles alternativas y sensibilizarlos desde la Educación Primaria, en temas como la agricultura, costura, carpintería, las artes, pedagogía, deportes, las ciencias, etc. a través de las clases, círculos de interés, actividades comunitarias, entre otras modalidades. 5- Incorporación del enfoque de género: En el ámbito educativo, se notan avances sustantivos en el camino por el logro de la igualdad de oportunidades y posibilidades, aun cuando existe un reconocimiento a la necesidad de continuar trabajando por eliminar estereotipos sexistas a nivel de sociedad y familiar y elevar a planos superiores la implementación de una efectiva perspectiva de género. Se continúan perfeccionando planes y programas dirigidos a eliminar las diferencias de género en la educación en todos los niveles de enseñanza. En atención a estos problemas, la Agencia Española de Cooperación Internacional para el Desarrollo (AECID) concedió una subvención a Save the Children en el año 2010, para un 7

8 periodo de cuatro años, para la realización del Convenio de cooperación para el desarrollo 10- CO1-070: Promoción de la atención integral de los niños y niñas de 5 a 12 años en el ámbito educativo y comunitario, en Cuba, con el principal objetivo de apoyar la atención integral de los niños y las niñas de 5 a 12 años. Para llevar a cabo este trabajo de fortalecimiento de la calidad de la Educación Primaria en Cuba, Save the Children se asoció con el Ministerio de Educación en Cuba (MINED), fortaleciendo las instancias educativas, y su relación con la familia y la comunidad. Como uno de los primeros pasos, se realizó el estudio de Línea de Base del Convenio que se presentó en Abril del 2012 a la AECID. En Septiembre de 2013 se presentó a la AECID el Informe de Evaluación Intermedia del Convenio (que cubrió un periodo de 24 meses, desde el 1ero de enero del 2011 hasta el 31 de diciembre del 2012). En noviembre y diciembre de 2013 se presentaron a AECID el Plan de Mejora y la Adenda que recoge las recomendaciones y conclusiones de la evaluación intermedia externa. En el Marco del presente Convenio y del trabajo conjunto entre MINED y SC, se ha trabajado en la definición de diferentes conceptos clave que son fundamentales a la hora de definir el marco de actuación y los principios básicos de nuestro trabajo conjunto. Entre ellos, destacamos: Atención Integral a niñas y niños, entendida como el proceso que tiene en cuenta diferentes mediaciones y elementos que actúan como un sistema e influyen en el desarrollo de los niños y las niñas, como: aspectos escolares, comunitarios, familiares y de las relaciones interpersonales; así como de orden material y no material (ej. habilidades y motivación de docentes), entre otros. Asimismo, la Calidad de la educación primaria se declara cuando la política educativa del nivel Primaria, presta especial atención a la diversidad del alumnado y su inclusión social, así como desarrolla al máximo las potencialidades de los niños y las niñas y parte de un enfoque de derechos de la infancia Objeto de la Evaluación En base a estos antecedentes, la lógica de la intervención del Convenio, en términos generales, es la siguiente: Objetivo General: Apoyar la atención integral de los niños y las niñas de 5 a 12 años, para fortalecer la calidad de la educación primaria en Cuba. Objetivos Específicos: 1. Fortalecer la calidad de Educación Primaria mediante la formación y preparación del docente y el trabajo con la comunidad 2. Mejora de las condiciones físicas y materiales de los centros gestores y de formación primaria de Habana del Este, Marianao y Las Tunas Resultados esperados según Objetivos: OE1. Fortalecer la calidad de Educación Primaria mediante la formación y preparación del docente y el trabajo con la comunidad 1.1. Fortalecido el nivel de preparación de los directivos y docentes de la educación primaria a través del trabajo metodológico orientado por el MINED y las DPE en las áreas de lengua, matemática, historia y ciencias naturales 1.2. Fortalecida la formación de los estudiantes vinculados a las escuelas pedagógicas y Filiales Universitarias de Habana del Este, Marianao y Las Tunas 1.3. Fortalecidos los programas de educación especial para la atención de los niños y niñas con diagnóstico de retraso mental, trastornos de la conducta y otras discapacidades físicas motoras, que son atendidos en la escuela de educación primaria. 8

9 1.4. Fortalecido el programa nacional para la educación en valores, educación ambiental y educación laboral, presente en el curriculum escolar general Fortalecido el conocimiento de las temáticas de género y educación sexual en la escuela y la comunidad 1.6. Evaluada la ejecución y el impacto del convenio OE2. Mejora de las condiciones físicas y materiales de los centros gestores y de formación primaria de Habana del Este, Marianao y Las Tunas 2.1. Mejora de la infraestructura escolar y de los centros gestores 2.2. Mejora del equipamiento escolar y de los centros gestores 2.3. Mejora de las condiciones de vida de las escuelas primarias de Habana del Este, Marianao y Las Tunas Para ampliar esta información se facilitará la matriz de planificación a los equipos evaluadores preseleccionados. Beneficiarios: Beneficiarios directos: Organizaciones: MINED Beneficiarios indirectos: 2,904 Docentes (hombres y mujeres), 93 directivos de educación primaria y 30,100 niñas y niños de Habana del Este, Marianao y Las Tunas, como titulares de derechos directos con los que trabaja el convenio. Comunidades de base involucradas en el Convenio. Y un impacto indirecto en el resto de la población. Periodo de ejecución: Este Convenio llevó a cabo la Identificación desde Febrero a Agosto del Se ejecutó en un periodo de intervención de cinco años, divididos en seis periodos de planificación anual (PAC) que van desde 1º de Febrero del 2011 hasta el 31 de Enero del 2016: - PAC 1 (del 1 febrero 2011 al 31 diciembre 2011) - PAC 2 (del 1 enero 2012 al 31 diciembre 2012) - PAC 3 (del 1 enero 2013 al 31 diciembre 2013) - PAC 4 (del 1 enero 2014 al 31 diciembre 2014) - PAC 5 (del 1 enero 2015 al 31 octubre 2015) - PAC 6 (del 1 noviembre 2015 al 31 enero 2016) 9

10 3. AGENTES IMPLICADOS Agentes implicados en la ejecución del Convenio: - Organización financiadora: AECID. - Organización beneficiaria de la subvención: Save the Children España. - Gestores del seguimiento de la intervención: Comités Técnicos Nacionales, conformado por miembros de: - AECID: Responsables de programa de referencia en la OTC para el convenio - Save the Children: en sede, la persona designada de la Unidad de Calidad; en Cuba, la Coordinadora País. - Organización socia co-ejecutora: MINED - Implementadores de la intervención: MINED y todo el personal desde oficinas centrales hasta las escuelas: - Dirección Educación Primaria MINED - Dirección de Formación Pedagógica MINED - Dirección de Formación Inicial del Profesional MINED - Universidades de Ciencias Pedagógica: Enrique José Varona en la Habana y Pepito Tey en Las Tunas - Dirección Provincial de Educación de La Habana - Dirección Provincial de Educación de Las Tunas - Direcciones Municipales de Educación de Habana del Este, Marianao, Las Tunas - 94 Escuelas Primarias - 3 Escuelas Pedagógicas Agentes implicados en la evaluación del Convenio: - Los promotores de la evaluación: AECID. - La unidad gestora de la evaluación: Save the Children (SC): oficinas de SC en Cuba y sede de SC en España. - El socio co-ejecutor del convenio: MINED - Informantes clave: MINED y todo el personal desde oficinas centrales hasta las escuelas especificado en el apartado anterior ( Implementadores de la intervención), así como beneficiarios indirectos de la intervención, que podrán aportar al equipo evaluador información clave acerca del Convenio. Profesoras y profesores de la Universidad de Ciencias Pedagógicas Enrique José Varona. El Comité de seguimiento de la evaluación estará compuesto por: - La persona de la Unidad de Calidad de SCE en Madrid designada - la Coordinadora de SCE en Cuba - la Coordinadora del Convenio por parte del MINED - la Técnica del Convenio por parte de SCE en Cuba Las personas de este Comité participarán en el proceso de evaluación en la medida que les sea demandado, bajo la coordinación del personal de Save the Children, aportando comentarios a los productos principales del encargo de evaluación (ej. agenda, preguntas de evaluación, listado de actores a entrevistar, informe final de evaluación, productos entregados por equipo evaluador, logística proceso de evaluación, etc.). Asimismo, se espera su participación activa en el momento de presentación y difusión de los resultados, para posibilitar una apropiación de los mismos y la incorporación de las recomendaciones pertinentes para la mejora de futuras intervenciones en la materia. Se mantendrá constante coordinación con el punto focal del Convenio en la OTC de Cuba para mantenerle informado/a a lo largo de todas las fases del proceso de evaluación, así como se requerirá su participación en diferentes fases de dicho proceso. Con el fin de delimitar el ámbito del estudio, se definirá el alcance de la intervención a evaluar: 10

11 Institucional y reglamentario: La delimitación institucional abarca a la AECID, Save the Children en España y en Cuba, y el MINED. Temáticas o sectoriales: Educación y fortalecimiento institucional. Acciones: Todas las Acciones en la medida de su grado de ejecución. Temporal: El alcance temporal de esta Evaluación Final será de los 5 años que abarcan la totalidad del Convenio, a contar desde el comienzo del Convenio (1 de febrero de 2011) hasta el periodo final de ejecución del mismo (21 de enero de 2016). Geográficas: Cuba: Habana del Este, Marianao y Las Tunas. Dimensiones a evaluar: - En la evaluación del diseño y los objetivos: el propósito será determinar en qué medida y forma los objetivos perseguidos con el Convenio se han alcanzado (eficacia). Asimismo, se analizará la calidad del diseño y del marco del Convenio, su adecuación al contexto, si se corresponden con las prioridades de las partes implicadas, con los problemas identificados y la solución propuesta (pertinencia); y su grado de coherencia e interrelación con el programa más amplio en el que se enmarca. - En la evaluación de los procesos clave: el objetivo será identificar y valorar los procesos clave que se han puesto en marcha y que han condicionado el alcance de los objetivos logrados con el Convenio. - En la evaluación de la estructura: el objetivo será identificar y valorar los elementos estructurales de la intervención que han permitido y condicionado el alcance de los objetivos. El proceso de Evaluación deberá enfocar estas dimensiones tanto en materia de gestión y coordinación de la intervención entre los agentes implicados, como en materia de mejora del proceso de enseñanza-aprendizaje (nivel político-estratégico, y nivel técnico-operativo). 4. PREGUNTAS Y CRITERIOS DE EVALUACIÓN 4.1. Criterios de Evaluación Dadas las características propias del Convenio y los objetivos marcados en este proceso de Evaluación Final Externa, se propone que el estudio se realice en base al enfoque de evaluación orientado por la Teoría del Cambio (análisis de objetivos/resultados, procesos y elementos estructurales) que será complementado con la metodología de la gestión basada en resultados y el modelo de evaluación por criterios, promovida por AECID (dándose prioridad a los criterios de pertinencia, eficacia, coherencia, apropiación, y participación en sus diferentes niveles de análisis). Además, el Enfoque de Derechos de Infancia deberá estar integrado en todas las fases del proceso de evaluación, siendo la participación infantil un elemento clave en el enfoque metodológico. En relación con el propósito implícito a cualquier intervención de cooperación, el desarrollo de capacidades, y siendo éste uno de los componentes estratégicos del Convenio, la Evaluación analizará y valorará, como eje transversal, el Fortalecimiento de las capacidades, tanto de titulares de obligaciones como de titulares de responsabilidades. El equipo evaluador podrá proponer una metodología que integre los elementos esenciales de los enfoques que aquí se mencionan Preguntas de Evaluación 11

12 Para que la evaluación sea realmente de utilidad, se espera que el equipo de evaluación identifique al inicio del proceso evaluativo las necesidades informativas de los actores principales de la intervención para, a continuación, transformarlas en preguntas que la evaluación tratará de responder. No obstante, algunas necesidades informativas ya se han recogido y se presentan a continuación, transformadas en preguntas de evaluación y organizadas en torno a las dimensiones a las que se refieren. Objetivos/diseño: - En qué medida responde la intervención a una necesidad clara y prioritaria de la población beneficiaria? - En qué medida se está demostrando válida la lógica de intervención? - Queda claramente integrado el enfoque de derechos de infancia en el diseño de la intervención? - Es posible identificar los ejes de trabajo? - En qué medida tiene el socio y los beneficiarios una percepción clara de que están contribuyendo a un objetivo global (Apoyar las acciones y el esfuerzo del Estado Cubano por garantizar una educación primaria universal y de calidad para todos los niños y las niñas) más allá de los objetivos específicos planteados con la intervención? - Cómo se inserta la estrategia de intervención dentro de la estrategia del MINED para la Educación Primaria para los próximos años, así como dentro de la estrategia de Educación de Save the Children Internacional, y de la Estrategia de Educación de AECID en el país y en la Región? - Cuáles son los principales logros alcanzados con la intervención, y cómo se traducen los mismos en relación al Modelo de Escuela Primaria planteado por el MINED (cómo lo materializan, cómo lo enriquecen)? - Ha habido efectos no previstos? Procesos: - De qué manera se están utilizando los instrumentos de seguimiento y evaluación desarrollados, (ej. línea de base y sistema de monitoreo) para poder medir los efectos que se van produciendo y los progresos hacia los cambios deseados? - Es adecuada la participación (en cantidad y calidad) que se está dando a los principales actores del programa? Qué rol han jugado las niñas y los niños a lo largo de la intervención? - Se han detectado los principales cuellos de botella y obstáculos para la correcta implementación del Convenio? - En qué medida y cómo se están fortaleciendo las capacidades locales? - Cómo es la interacción entre todos los actores de la intervención y en qué medida se han creado sinergias entre ellos? - Qué procesos y mecanismos de coordinación y gestión puestos en marcha con el Convenio entre las instituciones involucradas (AECID-MINED-MINCEX-SC) han favorecido la consecución óptima de los objetivos? - Qué procesos y mecanismos de gestión e implementación de nuevas metodologías, enfoques y materiales incorporados al proceso de enseñanza-aprendizaje han sido exitosos? En qué medida ha conseguido el Convenio mejorar la metodología de trabajo conjunto entre MINED- Direcciones provinciales y municipales de Educación-Escuelas-Aula-Comunidad Educativa; y qué efectos positivos tiene esto en materia de mejora de la calidad de la atención integral a la infancia en primaria? Estructura: - En qué medida la estructura de gestión del Convenio ha sido operativa en todos los niveles? Hay alternativas más eficientes y eficaces? - Se han puesto a disposición de la intervención los medios adecuados en tiempo y forma suficientes? 12

13 5. METODOLOGÍA Y PLAN DE TRABAJO 5.1 Metodología y herramientas de la evaluación Las técnicas y herramientas para la recogida y el análisis de los datos serán diseñadas por el equipo evaluador. Se valorará positivamente el uso tanto de técnicas cualitativas como cuantitativas, especialmente el uso de técnicas participativas que permitan la adecuada participación de la infancia y adolescencia. 5.2 Plan de trabajo El equipo evaluador deberá presentar en su propuesta un plan de trabajo que contemple, como mínimo, las siguientes fases, su duración y productos esperados: 1. Estudio de gabinete: análisis de la documentación del Convenio; programación detallada del plan de trabajo, elaboración de una matriz de evaluación y preparación del trabajo de campo (agenda y herramientas). Los productos en esta fase serán: a) Informe de análisis documental (listado documentación analizada) b) Cronograma detallado de trabajo (se incluirán tiempos para la validación de los productos por parte de los gestores de la evaluación) c) Informe de evaluabilidad d) Matriz de evaluación e) Agenda detallada de trabajo de campo f) Instrumentos recopilación de datos g) Propuesta de herramientas innovadoras y amigables para difusión de resultados (elementos audiovisuales, estudios de caso, cuadernos de hojas de ruta que permitan replicar la experiencia de forma clara ) 2. Trabajo de campo. La evaluación deberá producir información de calidad demostrable, necesaria para cubrir las necesidades de información detectadas y valorar los componentes y factores mencionados en el punto 5 de este documento. Al finalizar el trabajo de campo se deberán realizar un taller de devolución y validación de resultados preliminares con los distintos actores vinculados con la intervención. Los productos en esta fase serán: a) Devolución y validación preliminar de resultados en el país de intervención b) Memoria de trabajo de campo c) Base de datos cuantitativos y cualitativos proveniente de las herramientas de recopilación de datos empleadas. 3. Preparación del informe final de evaluación. La redacción del informe de evaluación deberá atenerse a las recomendaciones del punto 7 de este documento. Se presentará un borrador que servirá de base para la discusión con los gestores de la evaluación. Los productos en esta fase serán: a) Borrador de informe final. b) Informe final consensuado. 13

14 4. Comunicación de resultados. Con el objetivo de fomentar el aprendizaje, la rendición de cuentas y la utilización de la evaluación, una vez aprobado el informe final se hará una presentación a los principales actores de la evaluación de los resultados de la misma, sus recomendaciones y lecciones aprendidas. Los productos de esta fase son: a) Plan de comunicación y difusión de resultados (a consensuar con los gestores de la evaluación) (power point). b) Participación en el/los talleres de comunicación de resultados en terreno y en sede (Madrid y Cuba). c) Herramientas para la difusión en formato innovador y amigable que incorpore, entre otros, elementos audiovisuales, estudios de caso, y cuadernos de hojas de ruta que permitan replicar la experiencia de forma clara. d) Formulario completado de lecciones aprendidas/prácticas significativas (formato interno facilitado por SCE); e) Ficha de evaluación (formato CAD) completada, para el inventario y base de datos de evaluaciones. Debido a los objetivos y a la utilidad definida para este proceso de Evaluación Final Externa (véase apartados 1.3 y 1.5 del presente documento), se requiere prestar especial importancia a las herramientas que se definan y elaboren para la difusión del Convenio de manera innovadora y amigable de los resultados de dicho proceso evaluativo. Para asegurar la calidad de los productos y del proceso de evaluación en general, todos los productos de cada fase requerirán el visto bueno de los gestores de la evaluación antes de dar por finalizada una fase y proceder a la siguiente. En caso de no alcanzarse unos estándares aceptables de calidad, el equipo evaluador deberá hacer las modificaciones correspondientes hasta la aprobación de los productos. El tiempo estimado para cada fase deberá guardar coherencia con los objetivos perseguidos, el presupuesto disponible y estar en su integridad dentro el plazo establecido para este trabajo. 6. DOCUMENTOS Y FUENTES DE INFORMACIÓN El equipo de evaluación tendrá acceso durante la fase de estudio de gabinete a documentos propiedad de la Fundación Save the Children España, los cuales deberán ser para uso exclusivo de la evaluación. Documento Principales contenidos Localización Documentos de formulación de la intervención y anexos (Planificaciones anuales del Convenio, Estudios de diagnóstico, viabilidad y Líneas de Base relacionados con la intervención) Estructura, cronograma y resultados del Convenio Detalle del contexto, indicadores y F.V. Programación, cronogramas, y presupuestos anuales. Oficinas SC en Madrid y Cuba. Informes de seguimiento Informes y fuentes de Oficinas SC en Madrid y 14

15 (incluidas fuentes de verificación) Evaluación Intermedia del Convenio Fuentes de verificación, Material gráfico y audiovisual Acuerdos de colaboración con la contraparte. Normativa de la AECID de seguimiento y justificación de Convenios Planes, normativa u otros documentos del país de intervención Estudios sobre el sector educación en la región verificación TdR y propuesta equipo evaluador, Informe Evaluación, Plan de Mejora, Adenda al Convenio Contenidos de las actividades e intervenciones Relaciones con la contraparte. Normativa marco de la AECID que rige el Convenio Normativa marco que rige el Convenio en el país en general, y en Educación en particular Cuba. Oficinas SC en Madrid y Cuba. Oficinas SC en Madrid y Cuba. Oficinas SC en Madrid y Cuba. Oficinas SC en Madrid y Cuba. Oficina SC en Cuba. Oficina SC en Cuba. 7. ESTRUCTURA Y PRESENTACIÓN DEL INFORME DE EVALUACIÓN El informe de evaluación deberá presentarse en idioma castellano. Deberá ser de fácil comprensión, claro, concreto y conciso, sin dejar de reflejar las diferentes complejidades que muestra la intervención. Su extensión no deberá exceder las 30 páginas (sin contar anexos). Irá acompañado de un resumen ejecutivo de un máximo de 8-10 páginas. El énfasis del producto a entregar por el equipo evaluador debe ponerse no sólo en el informe (claro y conciso), sino también en los materiales de difusión del convenio solicitados en los objetivos y usos de la evaluación que quedan claramente definidos en los apartados 1.3 y 1.5 del presente documento. Tras su presentación en formato electrónico y una vez aprobado, el equipo evaluador entregará cuatro copias en papel de la versión definitiva del Informe Final, así como cuatro CD s con el documento en formato electrónico. En función de las herramientas innovadoras y amigables de difusión del Convenio que el equipo evaluador haya definido y elaborado, así como el coste de las mismas, se definirá previo a la firma del contrato, el número de copias y el formato de entrega de los mismos. El informe final deberá respetar la siguiente estructura. Portada 0. Resumen ejecutivo 1. Breve introducción en la que se presentará el propósito de la evaluación, las preguntas y los resultados principales 15

16 i. Antecedentes y Objetivo de la evaluación. ii. Metodología empleada en la evaluación. iii. Condicionantes y límites del estudio realizado. iv. Presentación del equipo de trabajo. 2. Breve descripción de la intervención evaluada, breve historia y antecedentes; objetivos y su estructura lógica de planificación; organización y gestión; actores implicados y contexto económico, social, político e institucional en el que se desarrolla la intervención. Informe de datos, dando respuesta a las cuestiones y criterios de evaluación establecidos previamente, organizada de acuerdo con el enfoque integral de la evaluación propuesto. Análisis de los distintos niveles (diseño, objetivos, proceso, elementos estructurales) y criterios. 3. Interpretación de datos. Exposición de la información en base a las técnicas cualitativas y cuantitativas, presentando las evidencias reveladas en relación con las preguntas de evaluación enunciadas y las interpretaciones formuladas sobre dicha evidencia. La interpretación deberá explicar los problemas y contradicciones que hayan aparecido en el desarrollo de la intervención. 4. Valoración, en relación con los criterios de evaluación establecidos. 5. Recomendaciones derivadas de la evaluación que se orienten a la mejora de la intervención evaluada a través de indicaciones específicas que mejoren el diseño, procedimientos de gestión, resultados e impactos de las actuaciones. 6. Las lecciones aprendidas que se desprendan de las conclusiones generales, indiquen buenas prácticas y que puedan ser extrapoladas y retroalimentar las acciones del Convenio. 7. Anexos en los que se incluirán los TdR, la metodología propuesta, las herramientas de recopilación de información aplicadas, el plan de trabajo, la composición y la descripción de la misión, entre otros elementos que puedan facilitar el proceso evaluativo. 8. EQUIPO EVALUADOR Para la evaluación final del presente Convenio, se busca un equipo evaluador que reúna el siguiente perfil: - Experiencia demostrada de al menos cinco años en evaluación de proyectos de desarrollo en materia de Educación y conocimientos sólidos en metodologías de evaluación educativa. - Sólidos conocimientos en infancia e intervenciones socio-educativas. - Experiencia demostrada en proyectos con enfoque de derechos de la infancia y uso de técnicas de participación infantil. - Amplia experiencia en diseño y elaboración de herramientas innovadoras y amigables de difusión de resultados. Este apartado es sumamente importante debido a los objetivos y usos principales de este proceso evaluativo. 16

17 - Conocimiento, por parte de al menos un miembro del equipo evaluador, del contexto cultural, social y político cubano y del sistema educativo cubano. - Conocimiento fluido del idioma español. - Se valorará positivamente experiencia previa en evaluación de intervenciones financiadas por la AECID, especialmente Convenios. El equipo evaluador deberá adherirse al código ético de Save the Children y de la política educativa de Cuba respecto a la seguridad y protección de la infancia. Deberá garantizar su independencia del Convenio evaluado, no estando vinculada con su gestión o cualquier elemento que la compone. No deberá de haber trabajado para Save the Children España o el MINED al menos durante el periodo de identificación y ejecución del Convenio. En caso de ser un equipo evaluador de dos o más personas, una de ellas asumirá la tarea de coordinación del equipo, recayendo en ella la responsabilidad final del trabajo, así como la función de contacto con la Fundación Save the Children España y los responsables del Convenio en Cuba. 9. PREMISAS DE LA EVALUACIÓN, AUDITORÍA Y PUBLICACIÓN (VER ESTÁNDARES DE EVALUACIÓN DEL CAD) Premisas. Las premisas básicas de comportamiento ético y profesional de parte del equipo evaluador deberán ser: - Anonimato, confidencialidad y seguridad. La evaluación debe respetar el derecho de las personas a proporcionar información asegurando su anonimato y confidencialidad. En el caso de los niños y niñas, se deberá prestar especial atención para asegurar su seguridad y la protección de su interés superior. - Responsabilidad. Cualquier desacuerdo o diferencia de opinión que pudiera surgir entre los miembros del equipo o entre éstos y los responsables del Convenio o de la gestión de la evaluación, en relación con las conclusiones y/o recomendaciones, debe ser mencionada en el informe. Cualquier afirmación debe ser sostenida por el equipo o dejar constancia del desacuerdo sobre ella. - Integridad. Los evaluadores tendrán la responsabilidad de poner de manifiesto cuestiones no mencionadas específicamente en los Términos de Referencia, si ello fuera necesario para obtener un análisis más completo de la intervención. - Independencia. El equipo evaluador deberá garantizar su independencia de la intervención evaluada, no estando vinculado con su gestión o con cualquier elemento que la compone. - Convalidación de la información. Corresponde al equipo evaluador garantizar la veracidad y calidad de la información recopilada -a nivel de técnicas, metodología, trabajo de campo- para la elaboración de los informes que contemple interpretación y enjuiciamiento, y en última instancia será responsable de la información presentada en el Informe de evaluación. Además, el equipo evaluador deberá adherirse al código ético de Save the Children respecto a la seguridad y protección de infancia. 17

18 Incidencias. En el supuesto de la aparición de dificultades relevantes durante la realización del trabajo de campo o en cualquier otra fase de la evaluación, éstas deberán ser comunicados inmediatamente por escrito a Save the Children España. De no ser así, la existencia de dichos problemas en ningún caso podrá ser utilizada para justificar la no obtención de los resultados establecidos por la Fundación Save the Children España en los presentes Términos de Referencia. Autoría y publicación. Los derechos de autoría recaen en el equipo evaluador. La difusión de la información recopilada es prerrogativa de Save the Children y el MINED. Los derechos de publicación y difusión de los resultados e informe final, es prerrogativa de la AECID, Fundación Save The Children España y Ministerio de Educación de Cuba (desde la Dirección de Primaria y Formación Pedagógica). La AECID se reserva el derecho de reproducir, distribuir o comunicar públicamente el informe de evaluación sin necesidad de acuerdo previo con Save the Children. Cualquier otra reproducción del informe o sus resultados, deberá contar con la autorización previa de Save The Children y la contraparte cubana. Régimen sancionador. En caso de retraso en la entrega de los informes o en el supuesto en que la calidad de los informes entregados sea manifiestamente inferior a lo pactado con la Fundación Save the Children España, se devolverá el informe y serán aplicables las penalizaciones previstas en el contrato firmado entre la empresa/experto/a y la Fundación Save the Children España. 10. PLAZOS PARA LA REALIZACIÓN DE LA EVALUACIÓN El proceso de evaluación deberá ser implementado entre los meses de septiembre (segunda quincena) y noviembre. Las actividades de devolución de resultados, la entrega del borrador de informe final y la entrega definitiva del informe final, así como el número de copias y formato de las herramientas innovadoras y amigables de difusión elaboradas, deberán ajustarse al programa de trabajo definitivo que aparezca en el contrato firmado entre la Fundación Save The Children España y la empresa o persona evaluadora. Se considera que el Plan de Trabajo aproximado sería el siguiente: - Preparación administrativa y Estudio de Gabinete, aproximadamente 3 semanas. (Septiembre 2016) - Trabajo de campo, aproximadamente 2 semanas. Se debe incluir en este periodo el tiempo necesario para el Taller de devolución y validación de resultados preliminares (Octubre 2016) - Preparación del informe y herramientas innovadoras y amigables de difusión del Convenio, aproximadamente 5 semanas (Octubre/Noviembre 2016) El presupuesto que se destinará a esta evaluación está en un rango entre 20,000 y 28,000 (todos los gastos e impuestos incluidos). 18

19 11. PRESENTACIÓN DE LA OFERTA TÉCNICA Y ECONÓMICA Y CRITERIOS DE VALORACIÓN Desde la fecha de publicación del presente documento de TdR hasta la fecha estipulada para finalizar la recepción de propuestas, cada equipo interesado en la misma podrá entregar su propuesta técnica y económica acompañada de una breve presentación del equipo evaluador en la que se muestre la formación y experiencia requerida en el apartado nº 9 de estos TdRs, junto con los C.V. detallados de cada uno de los integrantes del equipo. La experiencia previa de trabajo conjunto como equipo también deberá resaltarse. La valoración de las propuestas recibidas se realizará conforme a los siguientes baremos de puntuación (se indica la puntuación máxima por criterio): Valoración Equipo Evaluador. La puntuación obtenida supondrá un 40% de la valoración total: I.1 Formación específica evaluación educativa 0,5 por miembro equipo I.2 Experiencia demostrada de al menos cinco años en evaluación de proyectos de desarrollo en materia de educación y conocimiento sólidos metodologías de evaluación educativa 1 por miembro equipo I.3 Experiencia demostrada en proyectos con enfoque de derechos de la 0,5 por equipo infancia y uso de técnicas de participación infantil. I.4 Sólidos conocimientos en infancia e intervenciones socio-educativas. 1 por equipo I.5 Se valorará la familiaridad con contexto cultural, social y político 0,2 por equipo cubano, y del sistema educativo cubano. I.6 Se valorará positivamente experiencia previa no menor de tres años 0,2 por equipo en evaluación de intervenciones financiados por la AECID, especialmente Convenios. I.7 Equipo cuenta con experiencia previa trabajando conjuntamente 0,5 por equipo I.8 Amplia experiencia en diseño y elaboración de herramientas innovadoras y amigables de difusión del Convenio. 1 por miembro equipo Nota: se acudirá con preferencia a los profesionales, empresas y particulares locales. En caso de no ser posible la contratación en el mercado local o de no estar garantizada en éste un mínimo de calidad, cualquiera que sea el importe de la misma, se deberá motivar por escrito y recabarse el visto bueno de la OTC o Embajada de España correspondiente. Valoración Propuesta de Evaluación: a) Propuesta técnica: principales preguntas de evaluación, propuesta metodológica, productos a entregar y calendario detallado de trabajo, en el que se incluirán plazos para la aprobación de los productos intermedios por parte de los gestores de la evaluación. La valoración de las propuestas recibidas se realizará conforme a los siguientes baremos de puntuación (se indica la puntuación máxima por criterio). La puntuación obtenida supondrá un 45% de la valoración total: Incorporación enfoques metodológicos descritos en estos TdR 1 Modelo holístico comprehensivo con énfasis en análisis de procesos 0,5 Enfoque participativo (especialmente participación infantil) 0,5 Buen equilibrio y articulación entre técnicas cualitativas y cuantitativas de 0,5 19

20 recopilación de datos y de análisis de datos Inclusión de un cronograma o plan de trabajo detallado con productos a 1 entregar, las tareas y tiempos que dedicará cada persona del equipo y los tiempos de ejecución conforme al calendario propuesto en estos TdR Propuesta de herramientas innovadoras y amigables de difusión del Convenio 1 Coherencia entre los elementos de la propuesta (objetivos, recursos, 0,5 metodología y tiempos) Calidad y rigor de la propuesta. Concisión, claridad y presentación 0,5 b) Propuesta económica, con presupuesto detallado. La valoración de las propuestas recibidas se realizará conforme a los siguientes baremos de puntuación (se indica la puntuación máxima por criterio). La puntuación obtenida supondrá un 15% de la valoración total. Se valorará positivamente: su claridad, su ajuste al presupuesto disponible y su coherencia con el plan de trabajo propuesto. El presupuesto está desglosado, es claro y contiene todos los elementos esenciales. 0,5 Coherencia del presupuesto con las actividades, plazos y productos de la propuesta técnica y de los TdR El presupuesto se ajusta a la horquilla del presupuesto disponible para esta evaluación. Se valorarán positivamente las mejoras, siempre que no sean temerarias. 0,5 0.5 Plazos y envío de propuestas El plazo para la recepción de las propuestas de equipos evaluadores (fase 1 del proceso de selección) termina 15 de junio de 2016 antes de las horas (Madrid). Toda la documentación deberá enviarse en formato electrónico y en idioma castellano a ambas direcciones: nadia.criado@savethechildren.org; Susana.alvarez@savethechildren.org 20