TERMINOS DE REFERENCIA PARA EVALUACION FINAL Nombres de los proyectos: Duración de la evaluación: Objetivo: País/Región: Fortalecimiento de las Capacidades Locales para la Gestión de la Construcción Segura del 26.08.2015 al 31.12.2017. No-7F-08668.01.07. 20 días hábiles. Inicio 26 de febrero 2018 al 23 de marzo 2018. Evaluación externa del proyecto Fortalecimiento de las Capacidades Locales para la Gestión de la Construcción Segura Nicaragua, Centroamérica 1. Antecedentes La Cooperación Suiza firmó el 26 de Agosto de 2015 firmó un contrato con la Universidad Nacional de Ingeniería (UNI) para la ejecución del proyecto 7F-08668.01.07 Fortalecimiento de las Capacidades Locales para la Gestión de la Construcción Segura, con un presupuesto de USD 300 000. El proyecto tiene una duración de 2 años y 4 meses del 26.08.2015 al 31.12.2017. 2. Objetivos y enfoque de la evaluación El objetivo principal de la evaluación será analizar las estrategias implementadas, enfocando en los resultados logrados, la relación costo-beneficio, y la sostenibilidad de los esfuerzos del programa, y emitir conclusiones y recomendaciones sobre el potencial/el logro de efectos e impactos duraderos de los proyectos, así como la contribución de estos proyectos a la reducción de la vulnerabilidad en la región. De igual forma se persigue identificar la contribución de éstos proyectos al enfoque y objetivos a nivel de país del Programa Regional para América Central 2013-2017 (PRAC), así como brindar insumos para la orientación de fases posteriores. Los objetivos específicos son los siguientes: 1. Evaluar la contribución del proyecto al fortalecimiento de las capacidades de instituciones públicas y privadas y poblaciones vulnerables en el ámbito nacional y local, para reducir el riesgo de desastres y la adaptación al cambio climático en coherencia con el concepto de ámbito 3: Vulnerabilidad Ambiental y Cambio climático del Programa Regional de Cooperación (PRAC). 2. Evaluar el impacto del proyecto, Que cambios ha generado en el ámbito institucional, municipal o educativo? En cuanto a la dinámica nacional, hay una mejor comprensión de la reducción de riesgos a desastres y gestión de la construcción segura a nivel municipal y comunitario? Hay marcos normativos universitarios mejorados como resultado de los proyectos? Más presupuesto para RRD en los sistemas municipales, universidades? Cómo aplican estudiantes, docentes y técnicos los conocimientos adquiridos? En estos aspectos se considerarán también las percepciones y reflexión con socios y beneficiarios. El análisis crítico sobre la calidad y pertinencia de las intervenciones, incluyendo la coherencia con las leyes, planes y políticas nacionales en RRD, las oportunidades de sinergias y complementariedades con los esfuerzos nacionales y de otros Nicaragua 1/9
actores. En el ámbito educativo, evaluar la calidad y el contenido de las capacitaciones/formaciones, la docencia, la extensión universitaria (campo), la innovación e investigación, así como coherencia conceptual y metodológica con el tema (RRD/ACC y construcción segura) según los entes rectores nacionales como SINAPRED, MTI, INIFOM, INVUR, MARENA y regionales como CEPREDENAC y CSUCA, así como los compromisos del Marco de acción de Hyogo y Sendai. 3. Evaluar la eficacia, eficiencia, pertinencia, sostenibilidad y aprendizajes de las intervenciones, incluyendo análisis beneficio costo en el marco de las metas planteadas y del sistema de monitoreo propuesto. 4. Identificar debilidades y potencialidades, así como lecciones aprendidas y buenas prácticas de los proyectos. Formular insumos y recomendaciones estratégicas enfocadas en la sostenibilidad del proyecto y en la mejora del impacto en la población meta, de cara a posibles intervenciones futuras (nuevas fases no previstas). 5. Evaluar el abordaje de género en los proyectos, así como identificar lecciones aprendidas alrededor del tema construcción segura a nivel municipal, educación y equidad de género. Sin limitarse a estos, los siguientes elementos deben ser abordados durante la evaluación: 1. Pertinencia y relevancia del proyecto Identificar la contribución del proyecto a la reducción del riesgo de desastre en Nicaragua y a la formulación de políticas y estrategias universitarias sostenibles y/o políticas/planes/estrategias que integren gestión de la construcción segura a nivel municipal. Valoración sobre el diseño del proyecto, incluyendo el nivel de coherencia del marco lógico y la pertinencia de los indicadores de resultados, de los supuestos y de los riesgos. Así como la coherencia con los enfoques, principios y criterios establecidos en el concepto del ámbito 3 del Programa Regional de Cooperación Suiza (PRAC) y el concepto del Programa RRD. Valoración sobre la relevancia del proyecto desde la perspectiva de los distintos grupos de interés, las prioridades del Plan Nacional de Desarrollo Humano, del Plan Nacional de Gestión de Riesgo, de la Estrategia Nacional de CC, los planes y políticas de la UNI y las políticas y prioridades de Cooperación Suiza. 2. Eficacia - Avance en las metas y resultados del proyecto Los resultados alcanzados vs previstos. Se complementaron las intervenciones nacionales con proyectos/programas nacionales/regionales (CSUCA, UCA) del ámbito o con intervenciones en otros ámbitos de la COSUDE (Formación profesional en construcción segura)? En la parte temática, están promoviendo, reforzando y complementando la gestión de conocimientos en el nivel nacional? Como están contribuyendo los proyectos a los resultados nacionales identificados en el marco de resultados del PRAC?. Como se puede mejorar esa contribución? Qué lecciones se identifican? Determinar el logro de los objetivos, resultados esperados y metas definidos, en base a los indicadores. Hacer énfasis en los resultados e impacto de mediano y largo plazo. Identificar la contribución del proyecto al fortalecimiento de capacidades locales en la gestión de la construcción segura a nivel municipal, a nivel de la UNI y con otras instancias pertinentes relacionadas a la temática. Confirmar/validar los avances en las metas y resultados en una muestra apropiada de beneficiarios, incluyendo aquellos en Managua, León y Granada (UNI). Esto Nicaragua 2/9
incluye no solo a los beneficiarios intermedios (municipalidades y universidad), sino personas, comunidades, maestros de obra, albañiles y estudiantes. El equipo consultor debe proponer en su oferta la muestra apropiada (tamaño y ubicación geográfica). Determinar la efectividad del proyecto sobre la base de los resultados y logros esperados y alcanzados, calificando la calidad y cantidad de los mismos, percepción de los grupos de interés, resultados no previstos y los beneficiarios a la fecha, pero también los efectos en otras instituciones -universidades públicas y privadas con evidencia de cambios de prácticas y formas de trabajo, académicos o no. Identificar, los principales desafíos y retrasos en la ejecución de los proyectos, así como las fortalezas y debilidades, incluyendo mecanismos de monitoreo, seguimiento y auto evaluación. 3. Costo-eficiencia del proyecto Valoración de la Relación costo-beneficio entre los insumos, productos, resultados e impacto. Analizar los aportes y el valor agregado de los proyectos en cuanto a su modelo de intervención, las capacidades y competencias instaladas, la escalabilidad o réplica de sus actividades, el nivel de institucionalización de sus recomendaciones o acciones ejecutadas y el grado de involucramiento y/o empoderamiento de la UNI, municipalidades con respecto a la promoción y fomento de los enfoques e instrumentos de la gestión de la construcción segura. Valoración de la gestión, coordinación, logros de proceso y de resultados de los proyectos. Desempeño del equipo técnico. 4. Efectos e Impactos Identificar los principales factores externos/internos (premisas, riesgos) que influyen de manera significativa sobre la efectividad y el impacto de los proyectos. Identificar los principales cambios y aportes generados por los proyectos en la institucionalidad nacional, cultura de prevención, adopción de prácticas y aplicación de instrumentos. Identificar la contribución de los proyectos a la implementación de la Política Nacional de Gestión de Riesgos y otras políticas o planes relacionados a la gestión de la construcción segura. En los temas de formación: mediante una muestra apropiada, identificar y valorar el nivel de aplicación de los conocimientos/herramientas de los técnicos municipales, maestros de obra, albañiles, docentes y estudiantes. Están trabajando en instituciones, universidades donde pueden aplicar sus conocimientos y generar cambios o valores agregados? En los temas de innovación e investigación sobre construcción segura: identificar y valorar el nivel de aplicación de los resultados de las investigaciones y proyectos de innovación. Los prototipos desarrollados serán incorporados en normativas y/o catálogos oficiales? Los resultados de las investigaciones y el proyecto de innovación serán retomados por las distintas facultades relacionadas? 5. Sostenibilidad de las intervenciones Análisis del contexto externo que aportan a la sostenibilidad del proyecto, la capacidad institucional de darle continuidad a las líneas de trabajo del proyecto sin el aporte externo (COSUDE), el diseño e implementación de políticas públicas que Nicaragua 3/9
promueven la institucionalidad en la UNI y la gestión de la construcción segura a nivel municipal. Valoración de la sostenibilidad. Analizar la viabilidad de institucionalización de los resultados alcanzados de los proyectos 4. Metodología El/la Evaluador/a deberá realizar la evaluación aplicando métodos cualitativos participativos, tratando de obtener los puntos de vista y percepciones de los actores involucrados en cada proyecto y sus componentes, ya sea mediante entrevistas, grupos focales, talleres, encuestas, etc. Es importante considerar la elaboración de talleres con hombres y mujeres de manera separada con el fin de identificar diferencias en las perspectivas. La metodología aplicada buscará evidencia contrafactual de los efectos del proyecto. Para eso será importante que los evaluadores consideren visitas y talleres también con instancias y comunidades que no son objeto de intervención del proyecto. El objetivo será conocer los cambios generados comparando los cambios con la situación antes y después del proyecto, así como sin y con programa. Se sugiere utilizar el método del cambio más significativo (Most significant change). La revisión bibliográfica tomará en cuenta la información oficial de los proyectos (informes trimestrales, anuales, autoevaluaciones, etc); se dará especial atención a los productos y servicios provistos por de los proyectos, y su aplicación. La metodología detallada será propuesta por el/la Consultor/a en el marco de su oferta. 5. Evaluadores / Equipo de evaluación El / la Consultor/a o equipo de consultores (máximo 2 profesionales) será contratado directamente por la Cooperación Suiza. Deberá tener las siguientes características: Experiencias comprobadas en evaluación de proyectos con enfoque en resultados, efectos e impactos de programas y proyectos (conocimientos y experiencia en la aplicación de metodologías cualitativas y cuantitativas de evaluación). Conocimiento y dominio de metodologías de evaluación cualitativa como por ejemplo Most signiticative change, institucional histories, outcome harvesting, etc. El / la Consultor/a o algún miembro del equipo de consultores deberá contar con formación superior en Arquitectura o Ingeniería Civil y experiencia comprobada en el tema de gestión de riesgos y ACC. Conocimiento del contexto nacional y dominio del idioma español. El (los) evaluador(es) no deben haber participado en el diseño, implementación, supervisión o coordinación del proyecto, o haber sido beneficiado por el proyecto bajo evaluación. 6. Duración y logística Se considera para la Evaluación un total de máximo 20 días hábiles, durante los cuales se deberán realizar, entre otras las siguientes actividades: Revisión bibliográfica de los documentos de los proyectos Visitas de campo (municipalidades, comunidades seleccionadas) Talleres de grupos focales, entrevistas personales o por medios tecnológicos (skype, teléfono, etc.) con los actores, socios, aliados y beneficiarios. Presentación de resultados preliminares con representantes de COSUDE, ejecutores, actores y beneficiarios Elaboración de los informes finales por separado para ambos proyectos. Presentación / debriefing con la Responsable de los Proyectos en la Oficina de Cooperación Suiza. Nicaragua 4/9
La gestión general de la evaluación estará a cargo de la Cooperación Suiza a través de la ONP a cargo del seguimiento del proyecto. 7. Informes Los resultados preliminares de la evaluación, incluidas las recomendaciones, se presentarán y discutirán en un evento compartido con los grupos interesados. La base para la presentación será un informe de evaluación preliminar en idioma español, que se entregará también en forma digital. La versión final del informe de evaluación final, se entregará en dos ejemplares impresos y uno digital en USB a la oficina de la Cooperación Suiza en Managua, Nicaragua. Los informes deberán contemplar los siguientes capítulos: Resumen Ejecutivo: máximo 4 páginas Procedimiento y Resultados Primarios; Análisis del impacto y resultados (incluidas las lecciones aprendidas); Apreciación (Recomendaciones, Opciones); Anexos (Términos de Referencia, Diagramas, mapas, memorias de los talleres, Cuadros, Programa, lista de personas entrevistadas, etc.). Cada informe deberá contener un máximo de treinta (30) páginas, sin contar los anexos. 8. Honorarios A negociar considerando tabla COSUDE / día para consultores con condiciones de pago que pueden ser también negociadas entre las partes, teniendo en cuenta la propuesta del consultor/a. Adicionalmente se reconocen gastos de viajes (hospedaje, alimentación, boletos, traslados internos) y otros gastos relacionados, los cuales están sujetos a rendición de cuentas con la respectiva documentación de soporte y con base en el presupuesto presentado en oferta económica. 9. Aspectos adicionales 9.1 Planificación financiera / desembolsos Las condiciones de pagos y los desembolsos serán definidos en el Contrato de la Consultoría, de común acuerdo con el/a Evaluador/a. Listado de documentos de referencia: - Programa de Cooperación Regional PRAC - Concepto del Ámbito 3 - Concepto del Programa RRD - Documentos de Proyectos: PRODOC s, marcos lógicos, y presupuestos. - Convenios - Informes de progreso semestrales, anuales - Informes finales - Informes de monitoreo y evaluación. 9.2 Calificación de ofertas: Sobre la oferta técnica En cuanto a las propuestas completas, estas deben enviarse a más tardar el 04.02.2018 a las 16:00 horas de manera electrónica al correo: diana.oviedo@eda.admin.ch con copia a: Nicaragua 5/9
ana-carolina.peralta@eda.admin.ch con el asunto: «Oferta Técnica y Financiera para Evaluación final proyecto Construcción Segura». En un primer momento, las y los interesados deben remitir los siguientes documentos/información: Carta confirmando la experiencia para ejecutar la consultoría Metodología detallada para el desarrollo de la evaluación Cronograma de trabajo consolidado y por consultor Hoja de vida actualizada de las personas que conformarán el equipo (máximo 4 páginas) Copia de un documento de identificación de las personas que conformarán el equipo Sobre la oferta económica La oferta económica deberá especificar productos entregables específicos y medibles (cualitativa y cuantitativamente) según se especifica en los Términos de Referencia. A manera de facilitar la comparación de ofertas económicas, esta debe incluir un desglose detallado de costos, considerando lo siguiente: 1. Honorarios del equipo por cada consultor y consolidado 2. Gastos de permanencia - viáticos (por día) 3. Costo de desplazamiento (viajes) 4. Costos de talleres 5. Equipos y papelería El consultor líder debe contar con registros actualizados y vigentes en las instancias correspondientes (administración de rentas, seguridad social, etc.). La Cooperación Suiza exigirá factura oficial (que cumpla con los requerimientos de ley) por los honorarios que serán pagados en este mandato (aplica para sub contratados). Así mismo, como parte de su oferta, el equipo consultor debe anexar copias de seguros médicos, vida y accidentes vigentes. Es indispensable cumplir con los requisitos. Costos de impuestos vinculados al mandatario deben ser asumidos por el mismo, la Cooperación Suiza no reconoce estos costos. En caso del Impuesto del Valor agregado (IVA) la Cooperación Suiza proporcionará copia de carnet exoneración por este impuesto vinculado al servicio. Durante el proceso de negociación del contrato, la Cooperación Suiza se reserva el derecho de solicitar información complementaria que soporte lo indicado en el párrafo anterior o detalles en los costos que se consideren necesarios. La selección del consultor/a, será en la semana 06 al 09 de febrero 2018. Inicio de la consultoría 26 de febrero 2018. Las ofertas recibidas serán evaluadas sobre la base siguiente: Comprensión de los términos de referencia y enfoque general: 40% Calidad y experiencia del equipo evaluador: 40% Propuesta financiera: 20% Nicaragua 6/9
Anexos a los TDR Parte integrante Anexo 1. Preguntas claves especificas a considerar 2.1. Objetivo general o de Impacto Contribuir a la resiliencia de las municipalidades mediante el fortalecimiento de las capacidades municipales y de la comunidad para la Gestión de la construcción segura en instalaciones vitales. 2.1. Efectos esperados Efecto 1: Municipalidades e instituciones claves con capacidades mejoradas en gestión de la construcción segura en obras de equipamiento y uso público y viviendas para la reducción de riesgos ante desastres y adaptación al cambio climático. El proyecto logró incidir en las municipalidades para la adopción de modelos de gestión urbana segura? Qué lecciones aprendidas se identifican a la fecha? Como se podría potenciar los efectos y hacer más eficaz la intervención? Que logros se han alcanzado hasta la fecha? Cuál es la coherencia y pertinencia de las acciones, resultados y efectos planteados por el proyecto, en relación a los planes nacionales de gestión de riesgo y a las normativas y planes relacionados a la gestión dela construcción segura? Qué avances se vislumbran en cuanto a institucionalización de estos temas a nivel municipal? Cuál ha sido el rol de la UNI y su capacidad de incidencia? El proceso de integración/apropiación de los enfoques e instrumentos de gestión de la construcción segura se desarrolló de manera apropiada? con la calidad requerida y apropiación necesaria para asegurar su institucionalización? Cuál ha sido el hilo conductor común de los procesos, cuales los puntos claves? Las acciones que se realizan son coherentes con los efectos e indicadores? Qué cambios ha generado el proyecto en cuanto a la adopción de una cultura de reducción de riesgos y gestión de la construcción segura a lo interno de la UNI, CNU, las municipalidades? Qué acciones deberán ser reforzadas por parte de la UNI o instancias como el CNU para ser más relevantes y efectivos en la extensión universitaria vinculada a proyectos con instancias de gobierno? La oferta formativa desarrollada durante el proyecto fue adecuada? Cuáles de éstos productos han sido institucionalizados por la UNI, INIFOM? Los indicadores actuales, fueron lo suficientemente robustos y SMART para medir los cambios que el proyecto promovió y su impacto futuro? Efecto 2. Población sensibilizada e informada conoce sobre criterios para la construcción segura ante desastres. La estrategia de comunicación estuvo bien enfocada, apropiada y con los recursos adecuados para incidir en la creación de conciencia ciudadana alrededor del tema? Se ha logrado fomentar la participación de mujeres en las actividades y en la toma de decisiones?, Cómo son las percepciones de hombres y mujeres (Docentes, estudiantes, maestros de obra, albañiles en cuanto a los cambios generados?. Sensibilización sobre Gestión de la construcción segura: impacto, logros y límites Cuál es el impacto, la sostenibilidad y la efectividad de la intervención? Qué cambios ha generado el proyecto en cuanto a la adopción de una cultura de prevención de desastres a nivel institucional (UNI)? Nicaragua 7/9
Qué pertinencia tienen los resultados alcanzados para la reducción sostenible del riesgo? Efecto 3. Actores clave del sector construcción sensibilizados y capacitados sobre gestión de la construcción segura. Que acciones se desarrollaron para el fomento de la participación del sector privado, y otros actores en los esfuerzos de gestión de la construcción segura? Cuál es la capacidad de incidencia de la UNI para articular y aglutinar a estos actores alrededor del tema? Son efectivas las estrategias/acciones desarrolladas? Que se puede hacer para ser más efectivos? Cómo se ha incorporado el tema de género en las investigaciones, innovación y formación? Está suficientemente integrado/considerado en la curricula académica de la UNI y en la agenda de investigación el enfoque de construcción segura? Tiene la calidad, enfoque y profundidad requerida? La universidad ha posicionado el tema de construcción segura en su agenda de investigación? Las investigaciones desarrolladas van a tener contribuciones concretas y prácticas? Las investigaciones desarrolladas respondían a las necesidades y demandas de los grupos meta y cuentan con la calidad requerida? En qué medida las investigaciones e innovaciones generadas en el marco del proyecto contribuyen a mejorar el conocimiento científico sobre los riesgos y están aportando a la toma de decisiones a diferentes niveles para la gestión de la construcción segura? Los resultados de las investigaciones son lo suficientemente accesibles la comunidad universitaria, otras universidades e instituciones relacionadas a la temática? Cuáles son los principales resultados del proyecto? La estrategia desarrollada por el proyecto promovió la el trabajo multisectorial e interinstitucional? Qué acciones deberán ser reforzadas para ser más relevantes y efectivos en un proyecto futuro? Alianzas, sinergias y cooperación sostenible En qué medida se han fortalecido los lazos de cooperación entre la UNI, CNU, INFOM, MTI y otras instituciones de Gobierno? En qué medida se fortalecieron los lazos de cooperación a lo interno de la UNI y con instancias del sector privado/sociedad civil/academia? En qué medida estos lazos de cooperación han favorecido el alcance de los objetivos? Que cambios se evidencian en el trabajo conjunto con instituciones claves del sector construcción? Qué cambios se evidencian a lo interno de la UNI y con el CNU y con otras universidades de la región? En qué medida los productos del proyecto han respondido a las demandas de conocimientos de las instituciones y de los grupos meta? En qué medida las municipalidades) y otras instituciones han sido fortalecidas debido a los resultados proyecto? Que cambios se evidencian? El enfoque y las herramientas En qué medida las herramientas y enfoques promovidos en el marco del proyecto están aportando a la toma de decisiones a diferentes niveles para gestión integral de riesgos y la construcción segura? Género: Cómo se ha incorporado el tema de género en las actividades del proyecto, que lecciones y buenas prácticas se identifican? Cómo son las percepciones de hombres y mujeres en cuanto a los cambios generados? Quienes están más apropiados y por qué? habían metas relacionadas? Cómo son las percepciones de hombres y mujeres? Los productos/servicios del proyecto atendieron necesidades prácticas o intereses estratégicos de las mujeres? La estrategia de comunicación para el desarrollo fue sensible al género? Se identifican resultados previstos y/o emergentes Nicaragua 8/9
en materia de género a partir de esta intervención? Como ha contribuido el proyecto al mejor posicionamiento de la mujer en puestos de dirección y a fomentar su participación activa y empoderamiento? Población beneficiaria y empoderamiento En relación a la situación de partida, qué cambios específicos se pueden observar a nivel UNI, CNU y otros beneficiarios del proyecto? Están los docentes/estudiantes/técnicos municipales aplicando los conocimientos adquiridos? Si es así que cambios se evidencian en cuanto al actuar de las instituciones? Gestión y desempeño de proyecto (s) El acompañamiento técnico del equipo del proyecto hacia las diferentes facultades, escuelas y comunidades fue suficiente, pertinente y de calidad? La estructura organizativa (operativa y financiera) del proyecto y a lo interno de la UNI, fue funcional? Las coordinaciones, procesos y comunicación desarrollados fueron eficientes? Cuál es la relación costo beneficio de la intervención? Nicaragua 9/9