TÉRMINOS DE REFERENCIA PARA LAS EVALUACIONES EXTERNAS DE LAS ACCIONES DE COOPERACIÓN FINANCIADAS POR LA COMUNIDAD DE MADRID La Comunidad de Madrid tiene entre sus objetivos evaluar las acciones de desarrollo con los propósitos de mejorar la gestión, desarrollar la capacidad para dar cuentas del grado de consecución de los resultados y objetivos previstos y aumentar la transparencia de las acciones financiadas. Los objetivos de la evaluación consisten en definir los logros alcanzados y las lecciones aprendidas de los proyectos y programas, y formular conclusiones y recomendaciones para mantener y mejorar los beneficios alcanzados. Se han elaborado los presentes Términos de Referencia tomando como base el Manual de Gestión de Evaluaciones de la Cooperación Española: Aprender para mejorar como forma de homogeneizar los enfoques de evaluación. Estos Términos de Referencia constituyen la base sobre la que las entidades podrán elaborar las prescripciones técnicas necesarias para la contratación con entidades o profesionales especializados de la evaluación de todos los programas de cooperación al desarrollo subvencionados por la Comunidad de Madrid una vez finalizada su ejecución y, en su caso, de otras acciones de cooperación susceptibles de evaluación externa porque así se haya previsto en la formulación inicial y haya una dotación presupuestaria específica para ello. Conforman, también, una guía general que se deberá facilitar a los evaluadores contratados para el desempeño de su tarea. No obstante, las entidades podrán incorporar todos aquellos aspectos que, por las peculiaridades de la acción, puedan ser de relevancia en el proceso de evaluación. Prescripciones técnicas- Términos de referencia para la evaluación de programas y proyectos. La evaluación, y el consiguiente informe, deberán atender a los siguientes apartados: Introducción Antecedentes de la acción de desarrollo Ámbito de la evaluación y actores implicados Preguntas y niveles de análisis de la evaluación Criterios de evaluación Metodología y Plan de trabajo Estructura y presentación. Informes de evaluación Equipo evaluador Premisas de la evaluación, autoría y publicación Plazos para la realización de la evaluación Presentación de la propuesta técnica y criterios de valoración 1
Introducción Contendrá una breve justificación de la necesidad de la evaluación y del marco conceptual y normativo en el que se encuadra. Antecedentes La entidad beneficiaria de la subvención describirá detalladamente y con claridad el historial de la acción de desarrollo (programa, sector, área, instrumento): el marco de planificación en que se encuadra la acción de desarrollo; la lógica de la misma objetivos general y específico, actividades, resultados y fases ; fechas de inicio y finalización; componentes; presupuesto; contrapartes; beneficiarios directos e indirectos; contexto institucional y breve referencia al contexto socio-económico en elque se desarrolla la acción. Ámbito de la evaluación, fuentes de información y actores implicados El ámbito temporal de la evaluación comprenderá el período total de ejecución de la acción. Se deberán identificar los documentos y fuentes de información a los que tendrá acceso el equipo evaluador. Habrá de elaborarse una matriz de documentación para la compilación de documentos e información disponibles a partir de la información que facilite la entidad. Participación: Se identificarán los agentes implicados en la acción a evaluar y en la propia evaluación estableciendo cuál será su participación durante el proceso. Preguntas y niveles de análisis de la evaluación Con la evaluación se constatará si las actuaciones del programa evaluado contribuyen al objetivo general de la Comunidad de Madrid en materia de cooperación al desarrollo, de erradicar la pobreza en el mundo, y al específico de mejorar la calidad, la gestión y el impacto de la ayuda de la Comunidad de Madrid. La entidad definirá los objetivos específicos de la evaluación y detallará los niveles de análisis que se abordarán con el estudio: Temas y áreas en los que se centra la evaluación (según prioridades sectoriales detalladas en cada Orden de Convocatoria). Subtemas relevantes objeto de análisis (establecidos por cada entidad). Preguntas sobre los resultados obtenidos con la acción. La evaluación deberá contener también preguntas sobre el diseño de la acción de desarrollo y los procesos. Criterios de evaluación En función de las preguntas de la evaluación y los niveles de análisis que se hayan definido, se desarrollarán los siguientes criterios de evaluación: pertinencia, eficacia, eficiencia, impacto potencial y sostenibilidad. 1. Pertinencia: Adecuación de objetivos y resultados al contexto en que se realizan las intervenciones. 2
Es de particular relevancia analizar de qué manera las actuaciones llevadas a cabo durante el programa se han adaptado a la realidad del país en el que se han desarrollado y a las necesidades de la población beneficiaria. Se evaluará la coherencia de las actuaciones en el conjunto del programa/proyecto. Se deberán valorar aspectos tales como: - Grado de adaptación de las acciones del programa a las necesidades y cultura de la población. - Existencia y consideración de diagnósticos previos sobre el tema del proyecto en el país evaluado. - Perfil de la población a que se dirige la acción de desarrollo. - Coherencia de las actuaciones en el conjunto del programa: complementariedad y coordinación. - Existencia de actuaciones sinérgicas, complementarias o competitivas en la región, tanto de la Comunidad de Madrid como de otros donantes. - Identificación de cambios significativos en el contexto a lo largo de la ejecución de las actuaciones que puedan haber afectado al desarrollo de las actuaciones. 2. Eficacia: grado de cumplimiento de los objetivos. Se evaluará en qué medida el programa ha alcanzado los objetivos planteados en la formulación inicial. En este sentido, cabe preguntarse sobre aspectos tales como: - Claridad en la definición de los objetivos, resultados, actividades e indicadores del programa. - Grado de implicación de los diferentes agentes en el desarrollo de los proyectos. - Mejoras alcanzadas (según lo propuesto en cada acción). - Contribución de las actuaciones a cada una de las prioridades transversales. 3. Eficiencia: Medida del logro de los resultados en relación con los recursos utilizados. Se deben valorar aspectos tales como: - Adecuación del coste a las actividades desarrolladas y los resultados obtenidos. - Funcionamiento de los mecanismos de co-financiación y co-gestión del programa o proyecto. - Calidad de la formulación y seguimiento para un uso eficiente de los recursos. 4. Impacto: Análisis de los efectos positivos y negativos de las acciones en sus zonas de influencia a nivel local, regional y nacional, estableciendo las causas que han contribuido a dichos resultados. 5. Sostenibilidad: Análisis de la probabilidad de que los beneficiarios de las acciones del programa, una vez terminada la acción, continúen con el mantenimiento y gestión de lo realizado e incluso pongan en marcha nuevas actuaciones. Se deberán valorar aspectos como: - Grado de implicación de la/s entidad/es contraparte. 3
- Capacidad de gestión de la/s entidad/es contraparte. - Nivel de compromiso por parte de las instituciones locales para garantizar la continuidad de las acciones implantadas. - Nivel de compromiso de los beneficiarios y grado de organización. Metodología y Plan de trabajo El evaluador deberá proponer una metodología rigurosa y detallada para la evaluación. Se utilizarán las técnicas de recopilación y análisis de la información que sean más adecuadas en función del programa a evaluar, y que permitan una presentación y difusión de resultados clara y didáctica. Plan de trabajo: fases, plazos y productos que se desea obtener. Generalmente el trabajo se divide en fase de gabinete y trabajo de campo, y se establece el tipo de tareas que se espera que los evaluadores realicen en cada una: perfeccionamiento de las herramientas para la recopilación y tratamiento de los datos, identificación y entrevista a los informantes clave en las sedes y preparación del trabajo de campo. Se deberán programar y realizar reuniones de devolución de resultados preliminares con los distintos organismos vinculados con la intervención, incluyendo a las autoridades e instituciones de la contraparte del país en cuestión. El evaluador deberá presentar un borrador de informe en un plazo definido, que se discutirá por todas las partes de manera previa a la redacción definitiva del informe final de evaluación. Estructura y presentación de informes de evaluación Se define una estructura orientativa que deben seguir los informes de evaluación y, especialmente, el Informe final de evaluación. El Informe Final de evaluación no excederá las 70 páginas. Irá acompañado de un Resumen ejecutivo, de un máximo de 10 páginas. La entidad deberá solicitar ejemplares en papel y formato electrónico del informe de evaluación, teniendo en cuenta que habrá de entregar al menos una copia de cada modalidad a la Subdirección de Voluntariado, Cooperación Internacional y Responsabilidad Social Corporativa. Equipo evaluador La evaluación deberá realizarse por un profesional o entidad especializados, teniendo en cuenta que: El responsable de la evaluación, que actuará en todo momento como interlocutor ante la ONGD, deberá contar con, al menos, 3 años de experiencia en cooperación al desarrollo. Cuando el proyecto se encuadre en un determinado sector (salud, educación, construcción, etc), deberá participar en la evaluación un experto en la dicha materia, siempre que el responsable de la evaluación carezca de especialización en esa área. 4
En términos generales, se valorará que sean expertos locales del país quienes desarrollen el trabajo de campo de la evaluación. El equipo deberá asegurar la capacidad para analizar tanto los aspectos técnicos del programa, como los relacionados con la gestión, administración y coordinación de aquel. La Subdirección de Voluntariado, Cooperación Internacional y Responsabilidad Social Corporativa podrá solicitar que se acredite la experiencia y especialización profesional del equipo evaluador. Premisas de la evaluación, autoría y publicación La entidad debe exigir el cumplimiento de premisas básicas de comportamiento ético y profesional de parte del equipo evaluador, como las siguientes: Anonimato y confidencialidad.- La evaluación debe respetar el derecho de las personas a proporcionar información asegurando su anonimato y confidencialidad. Responsabilidad.- Cualquier desacuerdo o diferencia de opinión que pudiera surgir entre los miembros del equipo o entre éstos y los responsables de la acción en relación con las conclusiones y/o recomendaciones, debe ser mencionada en el informe. Cualquier afirmación debe ser sostenida por el equipo o dejar constancia del desacuerdo sobre ella. Integridad.- Los evaluadores tendrán la responsabilidad de poner de manifiesto cuestiones no mencionadas específicamente en el Pliego de Prescripciones Técnicas o en el contrato de evaluación, si fuera necesario para obtener un análisis más completo. Independencia.- El equipo evaluador deberá garantizar su independencia de la acción evaluada, no pudiendo estar vinculado ni a la ONGD española ni a la contraparte. Convalidación de la información.- Corresponde al equipo evaluador garantizar la veracidad de la información recopilada para la elaboración de los informes y, en última instancia, será responsable de la información presentada en el informe de evaluación. Informes de evaluación.- La difusión de la información recopilada y del informe final de evaluación deberá acordarse con la Subdirección de Voluntariado, Cooperación Internacional y Responsabilidad Social Corporativa, si se realiza con cargo a la subvención del proyecto o programa evaluados. Plazos para la realización de la evaluación La ONGD establecerá la fecha de inicio y finalización de la evaluación, el calendario de entrega de productos, la entrega del informe final y las actividades devolución de resultados. La ONGD tendrá en cuenta que deberá entregar el informe de evaluación externa junto al informe final justificativo de la subvención, cumpliendo los plazos establecidos en las bases reguladoras de ésta. El presupuesto que la entidad dedicará a la evaluación externa se ajustará a lo establecido en las bases reguladoras y en el presupuesto que figura en el documento de aceptación de la subvención. --ooo-- 5