Términos de Referencia. Evaluación Intermedia Externa del Convenio Nº 10-C01-111

Transcripción

1 Términos de Referencia Evaluación Intermedia Externa del Convenio Nº 10-C Asistencia inmediata a las víctimas más vulnerables de crisis humanitarias, súbitas y de tracto lento, con atención a las necesidades de Agua, saneamiento e higiene, Seguridad Alimentaria, Salud y Nutrición, con un componente de fortalecimiento de capacidades de la organización (2% máximo) sin ámbito geográfico. 1

2 1. Introducción Acción contra el Hambre (en adelante ACH) en base a la aprobación de convenio firmado con la Agencia Española de cooperación y Desarrollo (A.E.C.I.D) Nº 10-CO1-111 de la convocatoria de subvenciones para las ONG s 2010, sin ámbito geográfico especifico, establece la necesidad de realizar una evaluación intermedia externa del convenio Asistencia inmediata a las víctimas más vulnerables de crisis humanitarias, súbitas y de tracto lento, con atención a las necesidades de Agua, saneamiento e higiene, Seguridad Alimentaria, Salud y Nutrición, con un componente de fortalecimiento de capacidades de la organización (2% máximo) sin ámbito geográfico. Se trata de una evaluación intermedia externa y obligatoria prevista en la normativa de seguimiento de Convenios aplicable en este caso, y que promueve ACH, organización encargada mediante la adjudicación de un concurso público a un equipo de evaluación externa. En relación al Convenio de referencia, en cumplimiento del punto 1.6 Evaluaciones de la Resolución de 24 de marzo de 2009 de la Presidencia de la AECID sobre Normas de Seguimiento y Justificación de Proyectos y Convenios de ONGD: Es obligatoria la realización de una evaluación intermedia externa, con cargo a la subvención AECID, para todos los convenios. La evaluación debe valorar el grado de avance en el cumplimiento de los resultados esperados, además de otros aspectos que se consideren relevantes según el tipo de convenio. Los tres objetivos principales de la evaluación en ACH son: I) La mejora de los proyectos o acciones ejecutadas o en ejecución, II) El aprovechamiento de las experiencias del pasado para actividades futuras, III) La rendición de cuentas hacia los donantes, la opinión pública y todos aquellos implicados en los procesos de desarrollo iniciados, tanto en España cuanto en los países receptores. Estos tres objetivos pueden ser resumidos en un criterio general: todas las evaluaciones deben ser de utilidad para la organización, en alguno de sus niveles (desde el de operación en el terreno, hasta el de toma de decisiones en la sede central). Midiendo los criterios de eficacia, viabilidad, participación y cobertura, se trata de evaluar el grado de avance de los 2 resultados esperados del Convenio: Resultado 1 : Respuesta a la emergencia: Las necesidades básicas de agua y saneamiento, salud y nutrición y seguridad alimentaria de la población objetivo en situación de crisis humanitarias son cubiertas (en caso de ocurrencia de una crisis y justificación de intervención en América Latina, África, Oriente Medio, Oriente Próximo y Asia) 2

3 Este primer resultado también será evaluado a través de una Evaluación en Tiempo Real (Real Time Evaluation - RTE-) cuyo principal objetivo es proporcionar retroalimentación de manera participativa en tiempo real a aquellos que están ejecutando una respuesta humanitaria. Dicha RTE se realizará a partir del inicio del 3 año de ejecución del Convenio (julio 2012) con motivo de la activación del Convenio para una respuesta de emergencia que por su duración (más de 8 semanas), envergadura (con un presupuesto superior a euros y/o un número de beneficiarios superior a ) y/o elementos novedosos (intervención multisectorial; contexto complejo; trabajo con socio local; etc) se haga pertinente hacer este ejercicio de aprendizaje interno. Los términos de referencia específicos para esta evaluación se incluyen en Anexo. Resultado 2 : Preparación a la Emergencia: Las capacidades de ACH y de los actores de gestión de desastres a nivel global, regional y nacional (en América Latina, África, Oriente Medio, Oriente Próximo y Asia) para una reacción rápida en emergencias en los sectores de seguridad alimentaría, salud pública/nutrición, agua, higiene y saneamiento son mejoradas y conocidas Además, esa evaluación tiene que ser participativa, imparcial, transparente y orientarse al aprendizaje y la generación de resultados útiles tanto para mejorar la gestión y la planificación de las intervenciones que el nivel de conocimiento y de implicación de todos los actores implicados en el convenio (donante, contrapartes y beneficiarios). 2. Antecedentes de la intervención 2.1. Título: Asistencia inmediata a las víctimas más vulnerables de crisis humanitarias, súbitas y de tracto lento, con atención a las necesidades de Agua, saneamiento e higiene, Seguridad Alimentaria, Salud y Nutrición, con un componente de fortalecimiento de capacidades de la organización (2% máximo) sin ámbito geográfico Convocatoria: ONGD/ONGD líder: Fundación Acción Contra el Hambre 2.4. Área Geográfica: Sin ámbito geográfico definido 2.5. País/es: Guatemala, Nicaragua, Honduras, El Salvador, Colombia, Bolivia, Perú, Mali, Níger, Mauritania, Guinea-Conakry, Territorios Palestinos, Acerbaián, Georgia, Armenia Jordania, Líbano, Siria, Filipinas, otros países donde tengan lugar crisis humanitarias 2.6. Sector/es: Sectores: 700, Subsectores: 70000, 71010, 72010, 72030, 92020, 99822,

4 2.7. Plan Director: Objetivo estratégico: 2. Cobertura de las necesidades sociales Líneas estratégicas: 2.1 Soberanía alimentaria y lucha contra el hambre 2.3 Salud 2.6 Acceso al agua potable y saneamiento básico 2.8. Duración (años): 4 años 2.9. Periodos de implementación: Año I: 01/07/ /12/2010 Año II: 01/01/ /12/2011 Año III: 01/01/ /12/2012 Año IV : 01/01/ /12/2013 Año V: 01/01/ /06/ Socio/s local/es: Misiones de Acción Contra el Hambre en Guatemala, Nicaragua, Honduras, El Salvador, Colombia, Bolivia, Perú, Mali, Níger, Mauritania, Guinea-Conakry, Territorios Palestinos, Azerbaiyán, Georgia, Armenia Jordania, Líbano, Siria y Filipinas Otras Entidades participantes: Coordinadoras Nacionales de Desastres Agencias de Naciones Unidas (PMA, FAO, OMS u otros) Ministerios de Agricultura y/o de Salud según país Gobernaciones, y Alcaldías según país Organismos de Vigilancia y Alerta Temprana Agencia Española de Cooperación Internacional Plan de financiación: Las entidades financiadoras son Agencia Española de Cooperación Internacional para El Desarrollo, ACH y otros financiadores externos como ECHO (European Community Humanitarian Office), Caja Madrid y la Agencia Catalana de Cooperación y de Desarrollo. En el Plan Operativo Global se prevé un presupuesto total de euros: Fechas de ejecución: 01/07/ /06/2010 Convenio de Emergencia: Fondos AECID Cofinanciación ACH Total

5 El convenio pretende contribuir a mejorar el acceso inmediato a las necesidades básicas de seguridad alimentaria, salud pública - nutrición, y agua y saneamiento de poblaciones afectadas por catástrofes naturales, conflictos y/o crisis agudas. Lo anterior se contempla lograr a través de la mejora de la respuesta inmediata de la cooperación española en situaciones de emergencia, coordinada entre ACH, AECID y los distintos actores de la gestión de riesgos y respuesta a emergencias en África Austral y Occidental, América Central, Eje Andino, Oriente Medio y Sudeste Asiático Con estos objetivos, se ha diseñado una intervención de 4 años que centra sus esfuerzos en dos componentes fundamentales y complementarios a la vez. Por una parte se pretende dar continuidad y apoyo a un sistema de alerta temprana u observatorio humanitario, basado en indicadores de fácil medición, que permita identificar de forma oportuna la ocurrencia de crisis humanitarias resultantes de desastres de origen natural o humano. El observatorio se basará en lo sistemas de vigilancia y alerta temprana ya existentes, una red de informantes claves de terreno y la observación directa por parte de los equipos de Acción contra el Hambre diseminados en cuatro continentes. El segundo componente del convenio se articula a partir de actividades dirigidas a la preparación para una respuesta inmediata, eficaz y oportuna en situación de crisis. Este componente incluye una media de seis intervenciones de emergencias al año en el transcurso de los próximos cuatro años, beneficiando de esta manera total de aproximadamente personas afectadas por catástrofes naturales, conflictos y/o crisis agudas de forma inmediata a la ocurrencia del desastre. El presente convenio se fundamenta resumidamente en las siguientes tres razones: El aumento de la desprotección de víctimas en conflictos y crisis agudas es un hecho que está ligado por un lado al incremento de los conflictos de baja intensidad (internos o intercomunitarios) donde los objetivos son, principalmente, las poblaciones civiles. Por otro lado la creciente fractura económica entre sociedades del norte y del sur, con nuevas zonas de degradación social y económica que generan crisis agudas poniendo en peligro el acceso a derechos esenciales de poblaciones marginadas en países, cuya estabilidad y viabilidad se ven amenazadas. El incremento de fenómenos naturales que inciden de forma catastrófica sobre poblaciones vulnerables debido a la degradación medioambiental del globo unido al incremento de la vulnerabilidad estructural de poblaciones pertenecientes a sociedades debilitadas por crisis agudas, recurrentes o por la pobreza estructural. La existencia de una oportunidad de mejorar la respuesta humanitaria española debido a varios aspectos: El desarrollo de un movimiento de sensibilización en la opinión pública española sobre la necesidad, utilidad y pertinencia de la acción humanitaria así como de adhesión a sus valores de humanidad, independencia, neutralidad, proporcionalidad y no discriminación. La coexistencia de iniciativas gubernamentales y de la sociedad civil convergente y complementaria, encaminada a incrementar los esfuerzos y recursos así como en desarrollar la profesionalidad y eficacia de la acción humanitaria desplegada desde España. 5

6 Horizontalmente, el proyecto promueve la protección y la conservación del medioambiente mediante el uso racional de los recursos disponibles y la equidad de género a través de un enfoque de criterios y mensajes adaptados. El Proyecto contempla como objetivo general Contribuir a mejorar el acceso inmediato a las necesidades básicas de seguridad alimentaria, salud pública - nutrición, y agua y saneamiento de poblaciones afectadas por catástrofes naturales, conflictos y/o crisis agudas y cuenta con el objetivo específico y los resultados esperados siguientes: Objetivo General Contribuir a reducir el impacto de crisis humanitarias, súbitas y de tracto lento, en los sectores de población más vulnerables Objetivo Específico Mejorar el acceso inmediato a las necesidades básicas de seguridad alimentaría, salud pública - nutrición, agua y saneamiento de población más vulnerable afectada por catástrofes naturales, conflictos y/o crisis agudas R#1. Respuesta a la emergencia: Las necesidades básicas de agua y saneamiento, salud y nutrición y seguridad alimentaria de la población objetivo en situación de crisis humanitarias son cubiertas (en caso de ocurrencia de una crisis y justificación de intervención en América Latina, África, Oriente Medio, Oriente Próximo y Asia) R#2. Preparación a la Emergencia: Las capacidades de ACF-E y de los actores de gestión de desastres a nivel global, regional y nacional (en América Latina, África, Oriente Medio, Oriente Próximo y Asia) para una reacción rápida en emergencias en los sectores de seguridad alimentaría, salud pública/nutrición, agua, higiene y saneamiento son mejoradas y conocidas 3. Ámbito de evaluación y actores implicados 3.1. Ámbito Temporal Respecto al ámbito temporal, se valorarán todos los componentes del Proyecto desde el inicio del convenio (1 de julio 2010) hasta la mitad del periodo de ejecución (30 de junio de 2012). Se elaborará un informe de evaluación de la ejecución del proyecto hasta ese momento concluyendo con las recomendaciones y propuestas de cara a la segunda mitad del convenio Ámbito Sectorial El estudio se centrará en el impacto de las intervenciones realizadas hasta la fecha en sus dos enfoques: 6

7 Diagnóstico y análisis de riesgos Preparación a los desastres y respuesta inmediata (sector técnico agua y saneamiento, Seguridad alimentaria, Salud y Nutrición) 3.3. Ámbito Geográfico Geográficamente, el trabajo de evaluación se desarrollará en las zonas de actuación del convenio. En concreto: En la sede de Madrid (Sistema global de emergencia, procedimientos emergencia, documentos útiles) En región de Sahel (Mauritania y Senegal) En una zona donde se ha llevado a cabo una emergencia (Filipinas con 3 intervenciones de emergencia) 3.4. Documentos accesibles Documentos de formulación del Convenio Informes de seguimiento (Disaster Snapshot Report; Information and Recommendation Forms) Informes de respuesta (Ficha de activación, informe final de ejecución) Marco presupuestario Documentos de planificación anual Informe de seguimiento anual (PAC I y PAC II) Informes técnicos (Evaluaciones; Estudios técnicos) 3.5. Participación de los actores implicados en el convenio Los actores principales implicados en el convenio son: Entidades asociadas participantes para R1 Participación y áreas de responsabilidad Estructuras nacionales de Preparación y Respuesta a Desastres. Protecciones civiles Instituciones Nacionales de Vigilancia de Seguridad Alimentaria Nutricional: Organizaciones regionales con mandato de observación de situación SAN. Ministerio de Salud Pública y Asistencia Social. Comités Técnicos de Alerta Temprana SAN 7

8 Organizaciones nacionales con mandato de establecer sistemas de información y sistemas de alerta temprana. OCHA y Cruz Roja Oficinas técnicas de Cooperación (OTC) Entidades asociadas participantes para R2 ACH COMDIR: Director General de ACH Director Financiero Director Logístico Director Departamento Operaciones Director Recursos humanos Director Departamento Técnico Director Departamento de Formación Desks geográficos Pool de Emergencia: Desk de Emergencia Coordinador Logista Coordinador Administrador Coordinador Agua y saneamiento Coordinador Salud y nutrición Coordinador de Seguridad alimentaria Coordinadores Regionales de Acción Humanitaria AECID: Oficina de Acción humanitaria Mesas de coordinación interinstitucional e intersectorial de vigilancia y alerta temprana. Grupo coordinador de ONG s y agencias de UN que participan en la respuesta a emergencias Donante Participación y areas de responsabilidad Validación de los criterios de intervención Validación de la estrategia de intervención Validación de la estrategia de entrada y de salida Garantizar el respecto del mandato de la organización Identificación y seguimiento de crisis MEX, evaluación, puesta en marcha y realización de proyectos de emergencia Planes de contingencia Formación técnica para emergencias Soporte técnico para emergencias (composición stock de emergencia, metodología, etc...) Validación de las propuestas de intervención en emergencia Seguimiento operacional y financiero del convenio 3.6. Unidad gestora de la Evaluación: Dentro de ACH, la Unidad gestora de la Evaluación estará constituida por la Responsable de Emergencias (Desk Emergencias), la Desk de Calidad y el Director de Operaciones o la persona en quien delegue. Esta Unidad se ocupará de la gestión del contrato de evaluación (elaboración y revisión de Términos de Referencia; autorización por parte de AECID; publicación y adjudicación). Además facilitará las reuniones de seguimiento con el equipo evaluador seleccionado y le apoyara en la elaboración de la agenda para el trabajo de campo. 8

9 3.7. Comité de seguimiento de la evaluación Se constituirá un comité de seguimiento para la presente evaluación tanto en sede como en los países donde se realicen las visitas a terreno. Este comité tendrá la labor de acompañar el proceso de evaluación. El comité será convocado por la Unidad Gestora por iniciativa propia o a solicitud del equipo de Evaluación al inicio del contrato y al final del trabajo de campo para la presentación previa de los resultados. Los comentarios y recomendaciones del comité deberán ser tenidos en cuenta en el informe final de evaluación. En el comité de seguimiento que se convoque en terreno, se invitará a OTC o representante de la AECID a participar en el mismo. 4. Alcance de la evaluación: niveles de análisis Objetivo General y resultados esperados de la evaluación: La presente evaluación intermedia del proyecto Asistencia inmediata a las víctimas más vulnerables de crisis humanitarias, súbitas y de tracto lento, con atención a las necesidades de Agua, saneamiento e higiene, Seguridad Alimentaria, Salud y Nutrición, con un componente de fortalecimiento de capacidades de la organización (2% máximo) sin ámbito geográfico. corresponde a un compromiso adquirido dentro del Convenio firmado con la AECID. El objetivo de esta evaluación es, a partir de los resultados y recomendaciones de ésta, mejorar el desarrollo futuro del Convenio en los años siguientes. En particular, la evaluación deberá centrarse en las lecciones aprendidas en este proyecto y deberá servir como guía para los tomadores de decisiones y gestores del convenio a distintos niveles. Deberá proporcionar un análisis basado en información tanto cualitativa como cuantitativa, para lo cual deberá ser lo suficientemente detallada. Para esto, se esperan los siguientes resultados de la evaluación: 1) Conocer la pertinencia y los avances del proyecto 2) Conocer la eficiencia y eficacia de la ejecución del proyecto 3) Conocer el impacto del proyecto y la participación de entidades asociadas 4) Conocer la sostenibilidad y la viabilidad en los avances del proyecto 5) Contar con recomendaciones precisas y concretas con relación a los aspectos analizados y basados en las lecciones aprendidas. En cuanto a los niveles de análisis, esta evaluación intermedia se plantea a tres niveles. En primer lugar, a nivel estratégico, se busca analizar el componente respuesta a emergencias en línea con la Estrategia de ACH. A un nivel programático o táctico, se desea profundizar sobre el desempeño en este convenio desde el enfoque formativo o de creación de capacidades de ACH y sus socios. En ambos niveles, se adoptará un enfoque de objetivos. En el nivel operativo, se desea tener una visión analítica de los procesos de planificación, formulación, ejecución y seguimiento con un especial énfasis en los mecanismos de selección y coordinación de las contrapartes. En este nivel, se espera que el enfoque sea más bien de los procesos. 9

10 NIVEL ESTRATÉGICO A este nivel se plantea la necesidad de: Analizar a nivel formal y real el espacio que ocupa la respuesta en emergencias en las estrategias de ACH, sus misiones y de sus socios; Estudiar el nivel de sensibilidad interna de todos estos actores respecto a la integración de esta prioridad (respuesta en emergencias) antes y después del inicio del Convenio; Describir los mecanismos adoptados para la integración de preparación y respuesta en emergencia a nivel institucional y a nivel del Convenio; y Analizar la modalidad adoptada de un equipo de emergencia (Pool) como unidad de acción rápida respecto a otras modalidades (roster interno o externo; contratación externa). NIVEL PROGRAMATICO En cuanto a aspectos operativos, se estima necesario: Analizar los criterios de intervención para respuesta de emergencia y los recursos asignados; Valorar los mecanismos internos para promover la formación y preparación en el seno de ACH; Estudiar el desempeño y uso real de los sistemas de alerta temprana dentro de ACH y sus socios. NIVEL OPERATIVO La evaluación del convenio consistirá en la valoración del diseño, resultados, proceso de implementación y nivel de participación de los actores implicados durante el periodo evaluado. Diseño, evaluar la lógica vertical y horizontal de convenio, así como la idoneidad de la intervención. 1. Calidad y pertinencia de la estrategia 2. Calidad y pertinencia de la planificación Avances de la intervención en las zonas y beneficiarios definidos que se concretarán en un análisis de las actividades e intervenciones definidas. Proceso de implementación. Se estudiará la metodología utilizada tanto en el desarrollo de las actividades como en la recogida de datos y su idoneidad con el contexto en que se produce : 1. Análisis de la metodología de evaluación rápida y análisis de las necesidades 2. Análisis del desarrollo de las actividades 3. Análisis de la validez de los instrumentos de recogida de datos 4. Análisis de la coordinación entre los diferentes actores 5. Análisis de la inclusión de ejes transversales como género, derechos, o medioambiente. Implicación de los actores y contexto socio político. Se estudiará la implicación de los actores en la puesta en marcha del convenio. 1. Análisis de los grados de participación e implicación de las contrapartes y del nivel de cumplimiento de los compromisos asumidos. 10

11 2. Análisis de las expectativas de los actores implicados en el convenio, tanto al nivel de las contrapartes como de los grupos beneficiarios. 3. Estimación de los impactos del convenio en la población beneficiaria. A partir del análisis el equipo evaluador identificará las principales fortalezas y debilidades del Convenio y ofrecerá recomendaciones que sirvan para su mejor implementación y consecución de los resultados. 5. Criterios de Evaluación La presente evaluación considerará los criterios generales de Evaluación de la Cooperación Española: pertinencia, eficacia, eficiencia, impacto, viabilidad, participación y sostenibilidad, valorando su grado de cumplimiento. Establecidos los objetivos de la presente evaluación, enmarcado su contexto y las líneas generales desarrolladas hasta el momento, el siguiente cuadro pretende recoger las preguntas claves y criterios a que deberá responder la evaluación en cada área del Programa A partir del análisis el equipo evaluador identificará las principales fortalezas y debilidades del Convenio y ofrecerá recomendaciones que sirvan para su mejor implementación y consecución de los resultados. El análisis de los temas posteriores recogerá, cuando corresponda, algunos aspectos transversales tales como: 1. Fortalecimiento de las capacidades locales: en qué medida el proyecto ha contribuido a fortalecer las capacidades locales, ya sean de la sociedad civil o institucional como a su vez las relaciones entre éstos. 2. Consideraciones socioculturales: Deberán ser tomados en cuenta y analizados transversalmente la consideración tanto en el diseño como en la ejecución del proyecto de aspectos que caracterizan a los distintos grupos sociales; diferenciados en términos de género, pertenencia étnica, posición social, etc. La Red Internacional ACF se adhiere a los criterios de evaluación de DAC: Impacto, Sostenibilidad, Coherencia, Cobertura, Relevancia/Pertinencia, Efectividad y Eficacia. ACF también promueve el análisis sistemático del sistema de monitoreo y asuntos transversales (género, SIDA/VIH, etc.). Se espera que el evaluador use la tabla que se muestra a continuación para clasificar el desempeño general de la intervención usando los criterios DAC. La tabla debe incluirse como anexo al informe. 11

12 Criterio Impacto Sostenibilidad Coherencia Cobertura Relevancia/Pertinencia Efectividad Eficiencia Calificación (1 bajo, 5 alto) Justificación 12

13 CRITERIOS DE EVALUACION PREGUNTAS COMENTARIOS Pertinencia: Análisis global de si fueron y continúan siendo válidos los objetivos del convenio con relación a la problemática y necesidades del sector. Debe incluir un análisis de la consistencia del diseño del mismo así como a su vez un análisis de compatibilidad de prioridades entre beneficiario y donante. Este punto deberá también recoger los aspectos de complementariedad con otras intervenciones y sus actores y con las capacidades locales existentes. Responde la intervención a las necesidades del sector en España? Se corresponde la intervención con las prioridades y necesidades de la población beneficiaria? Encajan los planes de contingencia elaborados con los sistemas de respuestas locales? La intervención resulta pertinente frente a los mecanismos e instituciones existentes a nivel regional para la gestión de información sobre crisis y la alerta temprana? Tener en cuenta: La capacidad de reacción inmediata de las ONG para emergencias en España Los sectores de intervención de ACH El mandato y la política de ACH La capacidad técnica de ACH de mantener y desarollar el proyecto El procedimiento de validación de ACH y de AECID a la hora de proponer o validar propuestas de emergencia Eficiencia: Relación entre la calidad y la cantidad de los resultados alcanzados y los recursos y medios utilizados para conseguirlos. Se han respetado los cronogramas y tiempos previstos? Los objetivos prefijados son alcanzables con los recursos considerados en el programa? Los recursos asignados (stock y personal) son los apropiados? Se han utilizado de manera eficiente? Ha existido la suficiente y adecuada coordinación con las contrapartes para el logro de los objetivos? Tener en cuenta los objectivos de cofinanciación 13

14 Eficiencia: Relación entre la calidad y la cantidad de los resultados alcanzados y los recursos y medios utilizados para conseguirlos. Ha sido eficiente la transformación de los recursos en los resultados? En qué medida la colaboración institucional y los mecanismos de gestión articulados han contribuido a alcanzar los resultados de la intervención? Tener en cuenta los objetivos de cofinanciación Eficacia: En qué medida el convenio ha ejecutado las actividades previstas para el periodo de evaluación, ha logrado los avances, incluyendo un análisis de los procesos que lo han facilitado u obstaculizado. Impacto: Análisis de los efectos sociales, económicos, políticos y medio-ambientales positivos y negativos al nivel individual, familiar, local, regional y nacional, causados por los avances en la ejecución del convenio, Se han alcanzado la mayoría de los resultados previstos? Se ha alcanzado algún resultado más que afiance los previstos? Se ha alcanzado el/los objetivo/s específico/s de la intervención? Es adaptado y eficiente el procedimiento interno de decisión para respuesta inmediata? La intervención se quedó estancada en alguna de sus fases repitiendo más de lo mismo o ha ido proporcionando nuevos avances cada año? Se capitaliza sistematicamente sobre las lecciones aprendidas de cada emergencia y se modifica el sistema de emergencia para mejorarlo? Las herramientas elegidas han producido el cambio que se esperaba en el manejo de las emergencias? Se ha mejorado la capacidad de entender la lógica y anticipar la ocurrencia de crisis lentas y de definir medidas para limitar sus efectos en la población afectada? Tener en cuenta que algunas actividades y resultados se han ajustado conforme las circunstancias del país, la presencia de otros donantes o la disponibilidad de recursos humanos. Tener en cuenta los aspectos de coordinación con otros actores relevantes Tener en cuenta que el impacto de las capacidades de reacción rápida mejorada será difícil de medir para los actores exteriores que no han recibido formaciones o que no han tenido que hacer frente a situaciones de emergencia 14

15 previstos o no, identificables a partir de las entrevistas y de revisión de documentos disponibles. El sistema de emergencia permite ser: Más rápido de desplegar? Más rápido para realizar diagnósticos y evaluación de necesidades? Más rápido para implementar proyectos de emergencia? Viabilidad: Potenciación y apropiación del proceso iniciado por los actores y beneficiaros del Convenio Las contrapartes y los profesionales de ACH han adquirido una formación más completa para hacer frente a situaciones de emergencia? Ha contribuido la intervención a alcanzar el objetivo global propuesto? Se han producido impactos negativos no previstos sobre los beneficiarios? Encajan las soluciones técnicas propuestas con el contexto local y la cultura del lugar? Se perdería el fortalecimiento institucional dado por ACH si se retirase la intervención? Desaparecerían o quedarían sin efecto los enlaces institucionales creados/estructurados y los beneficios de las formaciones dispensadas en el marco de la intervención si ésta finalizase? Existe coordinación con otros actores internacionales en las áreas de la intervención para seguir fortaleciendo la misma? Se mantienen los beneficios de la intervención una vez retirada la ayuda externa? Tener en cuenta la evolución de similares sistemas de respuesta a nivel global y regional para entender los pasos dados en orden a esta viabilidad. 15

16 Se siguen generando los recursos necesarios para el mantenimiento de las actividades? Se ha beneficiado a los colectivos más vulnerables? Participación: Determinación de los agentes que han sido implicados en las diferentes etapas de la planificación y la evaluación, valorando su incidencia en la toma de decisiones Se ha delimitado claramente quiénes van a participar en el proyecto, y cómo? Qué actores han participado en cada fase de la intervención?, en qué medida? Sostenibilidad: Análisis de la probabilidad de que los beneficios generados por el convenio continúen más allá del tiempo en el que el donante está involucrado; es decir, la capacidad de perduración de lo logrado. Han sido eficaces los canales de participación establecidos? La intervención incluye medidas específicas orientadas al fortalecimiento de las personas beneficiarias y las organizaciones locales? Se ha logrado este fortalecimiento? Las soluciones abordadas para el proyecto, son sostenibles más allá de los límites temporales del mismo? Se ha realizado un correcto estudio de cuales componentes puedan presentar problemas de sostenibilidad? La sostenibilidad deberá ser abordada desde un punto de vista organizacional, económicofinanciero y tecnológico entre otros. Deberá a su vez resaltar las limitaciones de las diferentes contrapartes para una mejor sostenibilidad y la posible creación de dependencias de la ayuda internacional. 16

17 También se deberá analizar las estrategias de continuidad de los resultados e impactos logrados 17

18 6. Metodología y Plan de trabajo Tal y como se menciona en la introducción se utilizará una metodología de evaluación intermedia externa, mediante la contratación de un equipo externo a la organización que será el que realice el trabajo. La duración máxima de la evaluación será de ocho semanas a partir del inicio de la misma. La evaluación constará de tres etapas Estudio de gabinete Trabajo de Campo (Sahel y Filipinas) Realización y presentación de Informe. Actividades preparatorias. Presentación del programa de trabajo actualizado Calendario y propuesta metodológica a desarrollar a) Estudio de gabinete Examen de la documentación relativa al Convenio Diseño de herramientas para la recopilación, procesamiento y análisis de la información Identificación de fuentes de información y actores clave Trabajo y entrevistas con el personal de la sede central de Acción contra el Hambre en Madrid Preparación del trabajo de campo Duración estimada: dos semanas b) Trabajo de Campo (Filipinas, Senegal y/o Mauritania) Realización de planificación conjunta con el personal de terreno de la visita Realización de entrevistas con los actores clave definidos, solicitación de información adicional Utilización de herramientas previamente definidas Realización de encuestas entre la población beneficiaria Análisis de los resultados Duración estimada: cuatro semanas c) Análisis de la información y redacción del informe Redacción del informe final que integrará la evaluación de los distintos niveles de análisis Deberá respetarse las recomendaciones de estructura de informe. Duración estimada: dos semanas El equipo evaluador presentara el informe final en primer lugar a ACH en Madrid así como a la sede de Misión de ACH en Filipinas y de la Oficina Regional de África Occidental para posibles aclaraciones o enmiendas. 18

19 Calendario de la evaluación Actividad Sede 2 semanas 1. Planificación y preparativos 2. Trabajo en campo 3. Procesamiento de información 4. Análisis de información 5. Redacción borrador del informe 6. Redacción de la versión final del informe 7. Devolución de resultados Filipinas 1 semanas Semanas Sahel 3 semanas Redaccion de informe 2 semanas 7. Estructura y presentación del informe de evaluación (Modelo orientativo) 1. Resumen ejecutivo 2. Introducción en que se presentará el propósito de la evaluación, las preguntas y los resultados principales Antecedentes y Objetivo de la evaluación. Metodología empleada en la evaluación. Condicionantes y límites del estudio realizado. Presentación del equipo de trabajo. 3. Descripción de la intervención evaluada, en la que se indiquen sus objetivos y su estructura lógica de planificación, con especial referencia a las expectativas de cumplimiento en el momento intermedio en el que se realiza la evaluación; breve historia y antecedentes; organización y gestión; actores implicados y contexto económico, social, político e institucional en el que se desarrolla la intervención. 4. Análisis de la información recopilada, dando respuesta a las cuestiones y criterios de evaluación establecidos previamente, organizada de acuerdo con el enfoque integral de la evaluación propuesto. Análisis de los distintos niveles (diseño, proceso, resultados) y criterios. 5. Resultados de la evaluación, presentando las evidencias reveladas en relación con las preguntas de evaluación enunciadas y las interpretaciones formuladas sobre dicha evidencia. 6. Conclusiones de la evaluación, en relación con los criterios de evaluación establecidos. 7. Recomendaciones derivadas de la evaluación que se orienten a la mejora de la intervención evaluada a través de indicaciones específicas que mejoren el diseño, procedimientos de gestión, resultados e impactos de las actuaciones. 19

20 8. Las lecciones aprendidas que se desprendan de las conclusiones generales, indiquen buenas prácticas y que puedan ser extrapoladas y retroalimentar ambas acciones del Convenio. 9. Anexos en los que se incluirán los TdR, la metodología propuesta, las herramientas de recopilación de información aplicadas, el plan de trabajo, la composición y la descripción de la misión (relación exhaustiva de todo lo actuado) entre otros elementos que puedan facilitar el proceso evaluativo y la ficha-resumen del CAD. 10. Buenas Prácticas Se espera que la evaluación provea un o mas ejemplos clave de Mejor Práctica del proyecto/programa. Este ejemplo debe relacionarse al área técnica de intervención, ya sea en términos de los procesos o sistemas y debe ser potencialmente aplicable a otros contextos donde ACF opera. Este ejemplo de Buena Práctica debe incluirse como anexo al informe. La versión final deberá ser entregada impresa (3 copias) y en versión electrónica. La calidad técnica de la versión electrónica del informe final deberá ser tal que se pueda imprimir sin necesidad de una corrección o redacción adicional. El informe final no excederá de 50 páginas anexos no incluidos y presentación de conclusiones en Power Point. Además se acompañará de un resumen ejecutivo de 3-5 páginas. 8. Equipo evaluador El equipo o persona evaluadora deberá cumplir los siguientes requisitos: Experiencia minima de 9 años en la planificación, programación, gestión y evaluación de la cooperación al desarrollo y de la cooperación a nivel institucional. Experiencia minima de 5 años en planificación, programación, gestión y evaluación de sistemas de emergencia y alerta temprana en contextos de cooperación y desarrollo La formación académica de todos los integrantes del equipo evaluador o de la persona evaluadora, deberá ser estudios superiores preferentemente especializados en cooperación al desarrollo y/o evaluación de Convenios. Al menos una de las personas del equipo evaluador, o la persona evaluadora en el caso de un/a consultor/a individual, deberá tener experiencia mínima de 2 años en acción humanitaria. Se valorará positivamente la experiencia de trabajo en organizaciones de acción humanitaria, así como en intervenciones con financiación pública. Será imprescindible el dominio del español. 9. Premisas de la evaluación, auditoría y publicación Las premisas básicas de comportamiento ético y profesional del equipo evaluador serán las siguientes: 20

21 Anonimato y confidencialidad.- La evaluación debe respetar el derecho de las personas a proporcionar información asegurando su anonimato y confidencialidad. Responsabilidad.- Cualquier desacuerdo o diferencia de opinión que pudiera surgir entre los miembros del equipo o entre éstos y los responsables de la intervención, en relación con las conclusiones y/o recomendaciones, debe ser mencionada en el informe. Cualquier afirmación debe ser sostenida por el equipo o dejar constancia del desacuerdo sobre ella. Integridad.- Los evaluadores tendrán la responsabilidad de poner de manifiesto cuestiones no mencionadas específicamente en el Pliego de Prescripciones Técnicas, si ello fuera necesario para obtener un análisis más completo de la intervención. Independencia.- El equipo evaluador deberá garantizar su independencia de la intervención evaluada, no estando vinculado con su gestión o con cualquier elemento que la compone. Incidencias.- En el supuesto de la aparición de problemas durante la realización del trabajo de campo o en cualquier otra fase de la evaluación, éstos deberán ser comunicados inmediatamente a ACH. De no ser así, la existencia de dichos problemas en ningún caso podrá ser utilizada para justificar la no obtención de los resultados establecidos por ACH en el presente pliego de Prescripciones Técnicas. Convalidación de la información.- Corresponde al equipo evaluador garantizar la veracidad de la información recopilada para la elaboración de los informes, y en última instancia será responsable de la información presentada en el Informe de evaluación. Informes de evaluación.- La difusión de la información recopilada y del Informe final es prerrogativa de ACH y de la AECID. Entrega de los Informes.- En caso de retraso en la entrega de los informes o en el supuesto en que la calidad de los informes entregados sea manifiestamente inferior a lo pactado con ACH, serán aplicables las penalizaciones previstas en el Pliego de Cláusulas Administrativas. En todo caso, ACH y la AECID se reservan el derecho a conducir la evaluación y/o decidir sobre sus distintos aspectos. 21

22 10. Plazos para la realización de la evaluación La fecha de inicio de la evaluación será el 1 de septiembre de 2012, finalizando la misma el 31 de noviembre de Las actividades de devolución de resultados, la entrega del borrador de informe final, y la entrega definitiva del informe final, deberán ajustarse al programa de trabajo definitivo que aparezca en el contrato firmado entre ACH y la empresa o persona evaluadora. 11. Presentación de la propuesta técnica y criterios de valoración Las propuestas técnicas deberán respetar las siguientes características para presentarse al concurso: Portada donde se indique Nombre de la empresa o experto/a Título de la evaluación 10-CO1-11 Asistencia inmediata a las víctimas más vulnerables de crisis humanitarias, súbitas y de tracto lento, con atención a las necesidades de Agua, saneamiento e higiene, Seguridad Alimentaria, Salud y Nutrición, con un componente de fortalecimiento de capacidades de la organización (2% máximo) sin ámbito geográfico. Datos de contacto de la empresa o experto/a individual Oferta técnica que incluya: CV detallado de la empresa (en su caso) CV detallado de los integrantes del equipo evaluador de la empresa licitadora CV detallado del experto o experta individual (en su caso) Metodología de trabajo Propuesta de matriz de evaluación Plan de trabajo Propuesta económica Las ofertas serán evaluadas en función de la siguiente tabla: CRITERIO VALOR VALOR FACTORES CRITERIO FACTORES Experiencia 30% Experiencia en evaluación de profesional de la Convenios de Acción Humanitaria 10% persona o equipo Experiencia en gestión de evaluador Convenios/Programas 10% Experiencia con organizaciones de desarrollo y financiación pública 5% Conocimiento de Sudeste Asiático y Sahel 5% Perfil académico de la 30% Formación en cooperación al persona o equipo desarrollo y acción humanitaria. Se 20% evaluador valorará también en evaluación. Publicaciones y autorías en textos sobre Acción Humanitaria 10% Calidad y valor 40% Valor añadido a los objetivos de la 20% 22

23 técnico de la oferta evaluación propuesta por ACH * Metodología de evaluación propuesta a partir de la sugerida por la entidad contratante Valor añadido a los resultados de la evaluación propuesta por la entidad contratante 10% 10% Los/las solicitantes presentarán las propuestas (económica y técnica) acompañadas de una carta de presentación y de una copia del DNI o Pasaporte. Podrán presentarse por correo electrónico, pero sólo se considerarán recibidas tras la recepción por parte de la empresa/profesional solicitante del correspondiente acuse de recibo electrónico. Las propuestas podrán entregarse hasta el día 1 de julio de 2012 a las 18:00 en: Internet: Mail: c.statham@actionagainsthunger.org.uk * En cuanto al valor añadido de la propuesta, se valorarán positivamente todas aquellas aportaciones que mejoren y profundicen los objetivos planteados en los Términos de Referencia, así como en el enfoque y criterios plasmados en los mismos. 23

24 Anexo: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN EN TIEMPO REAL CONTEXTO De acuerdo con las recomendaciones de la AECID y más concretamente de su Oficina de Acción Humanitaria (OAH), se incluye en la Evaluación Intermedia Externa del Convenio Asistencia inmediata a las víctimas más vulnerables de crisis humanitarias, súbitas y de tracto lento, con atención a las necesidades de Agua, saneamiento e higiene, Seguridad Alimentaria, Salud y Nutrición, con un componente de fortalecimiento de capacidades de la organización (2% máximo) sin ámbito geográfico la realización de esta Evaluación en Tiempo Real (ETR) de una de las activaciones o respuestas de emergencia en curso. Para más información sobre el contexto y el programa o convenio, ver los términos de referencia de la Evaluación Intermedia Externa. La información sobre el contexto específico y la intervención a evaluar se proporcionará en el momento de autorización de uso de los fondos por parte de AECID. OBJETIVO DE LA EVALUACIÓN El principal objetivo de esta evaluación es aprender desde la fase inicial de la respuesta e identificar lecciones para su continuación. El equipo evaluador examinará la pertinencia, eficacia y eficiencia de ACH, cobertura, coordinación y coherencia de la respuesta. Tendrá en cuenta hasta qué punto se aplican lecciones generales obtenidas de otras respuestas. El personal de terreno y de sede es la audiencia principal de esta evaluación y utilizará lo aprendido para modificar la respuesta prevista si es necesario. PAPELES Y RESPONSABILIDADES Los principales actores involucrados en esta evaluación es el personal responsable de la ejecución y gestión del proyecto, incluyendo el personal de terreno, equipos de gestión a nivel nacional, regional y local. El equipo evaluador entrevistará tanto a personal de ACH como de sus contrapartes. Tendrá siempre en cuenta que la respuesta de emergencia significa una importante carga de trabajo para el personal implicado e intentará que esta evaluación la aumente en lo mínimo posible. El equipo evaluador informará inmediatamente al responsable de la evaluación asignado por ACH de cualquier cuestión importante relacionada con la integridad y eficacia del programa identificada durante la evaluación. El equipo responderá directamente al responsable de la evaluación y preparará su programa de trabajo de terreno en consulta con el mismo. En términos de seguridad, el equipo se dirigirá directamente al director de país o persona asignada por éste. El equipo evaluador informará al grupo asesor de la misión (conformado a propuesta del director país) en el momento de su llegada, a mitad de su misión y al final de la misma. Estas reuniones, salvo la final, durarán un máximo de una hora. Si bien el grupo asesor no tiene autoridad para dirigir la evaluación o en la edición del informe, el equipo evaluador tendrá en cuenta las recomendaciones del grupo. Este grupo hará sus comentarios por escrito al borrador de informe en el plazo de 7 días después de recibirlo. CRITERIOS Y PREGUNTAS DE LA EVALUACIÓN EN TIEMPO REAL En esta ETR se tendrán en cuenta los criterios establecidos para la Evaluación Intermedia (ver punto 5.). Sin embargo se valorará positivamente la incorporación/ profundización en los siguientes criterios de: - Pertinencia y relevancia de la respuesta - Eficacia - Conectividad/ sostenibilidad - Cobertura - Coordinación 24

25 El equipo evaluador propondrá la metodología y herramientas para la evaluación que permitan responder a las siguientes preguntas. CRITERIOS Pertinencia y relevancia de la respuesta Eficacia y eficiencia Conectividad/sostenibilidad Cobertura Coordinación PREGUNTAS La ayuda entregada por ACH está cubriendo las necesidades de la población identificadas? Qué parte de la Ayuda ha sido más apropiada y por qué? Qué parte ha sido menos adecuada y por qué? Hasta que punto la población afectada por el desastre ha estado implicada en el diseño y ejecución del proyecto de respuesta? Cómo han cambiado las necesidades de los beneficiarios respecto a la evaluación de necesidades realizada inicialmente? Estos cambios se han tenido en cuenta por ACH? Se han tenido en cuenta cuestiones relativas a protección para el diseño de la asistencia? Cuáles, si se han dado, cambios son necesarios en el programa para hacerlo más apropiado y pertinente? Las intervenciones de ACH en curso están logrando sus objetivos? Se ha dado en el momento oportuno? Qué actividades son más efectivas y cuáles menos y por qué? Cuáles son los medios materiales, humanos y financieros que ACH está utilizando? Se adaptan a la intervención en curso? Cuáles son los mayores obstáculos para lograr el objetivo de la intervención? Cuáles, si alguno, cambios podrían hacerse para que el proyecto fuese más efectivo? Qué cuestiones relacionadas con el desarrollo a largo plazo se han visto más afectadas por la respuesta y de qué modo? De qué manera la respuesta ha afectado los mecanismos de afrontamiento/ adaptación de la población? Se han tenido en cuenta todos los posibles riesgos de desastre en esta zona dentro la respuesta? Qué impacto medioambiental ha tenido la respuesta? Cuáles, si alguno, impactos a largo plazo podría tener el presente proyecto? Qué cambios, si alguno, se podrían hacer a corto plazo para que se ajuste mejor a las necesidades a largo plazo? Qué grupo de población se ha beneficiado más de nuestra asistencia, de qué manera y por qué? Cómo se ha distribuido la asistencia geográficamente? La respuesta de emergencia ha afectado a hombres y mujeres, pobres y no pobres de manera diferente? Nuestro proyecto tiene en cuenta las diferentes necesidades de hombres y mujeres, niños, adultos, personas mayores, discapacitadas, los más pobres? Qué cambios, si alguno, podrían hacerse para que el Proyecto mejorase la cobertura de nuestra asistencia? Hasta qué punto la respuesta de ACH se ha coordinado con otros actores humanitarios? Se han tenido en cuenta otras evaluaciones de necesidades a parte de la realizada por ACH? 25

26 Hasta qué punto se ha coordinado con el gobierno? Qué tipo de problemas de coordinación interna se han prestando y cómo se han resuelto? Cuáles han sido los principales éxitos en términos de coordinación? Cuáles los principales vacíos? Qué cambios, si alguno, podrían hacerse para mejorar la coordinación de nuestra respuesta? METODOLOGÍA Y PLAN DE TRABAJO El equipo evaluador utilizará una combinación de los métodos más adecuados y triangulará la información obtenida. De este modo asegurará que estas informaciones se basas en una correcta comprensión del contexto. En el momento de activarse la respuesta de emergencia, ACH informará al equipo evaluador para que prepare el plan de trabajo al tiempo que le facilita la documentación ya disponible. La evaluación deberá realizarse una vez transcurrido el primer tercio del periodo de ejecución de la respuesta. Su duración, desde el momento del briefing en sede hasta la presentación del informe final, no debe superar las dos semanas. El plan de trabajo deberá seguir el siguiente esquema: TAREA Briefing en sede Lectura inicial Viaje internacional al país Inicial briefing/ inducción en capital Presentación de informe inicial Trabajo de terreno en zona de intervención 1 Primera retroalimentación al equipo Trabajo de terreno en zona de intervención 2 Segunda retroalimentación al equipo Presentación de los primeros hallazgos y discusión Viaje internacional de regreso Revisión de informe Presentación del informe en sede Finalización de informe RESULTADOS El equipo evaluador deberá presentar los siguientes resultados o productos: 1. Informe inicial: breve informe (1.500 y palabras) donde el equipo explicará su comprensión del contexto y de la intervención; su itinerario para trabajo de campo; su plan para la recogida de datos; metodología; posible desviación de los TdR; otras herramientas desarrolladas como cuestionarios, guía para entrevistas, etc. 2. Briefing final: presentación en power point donde se muestran los principales hallazgos de la evaluación, las conclusiones y recomendaciones. 3. Informe de evaluación: seguirá la misma estructura que el informe de evaluación externa. Para el resto de puntos no mencionados (Equipo Evaluador, Premisas, Plazos y Presentación), se aplican las mismas condiciones establecidas en los Términos de Referencia de la Evaluación Intermedia Externa. 26