Guía para el Diseño, Monitoreo y Evaluación CARE EL Salvador. Ligia Alvarenga Dirección Nacional CARE El Salvador

Transcripción

1

2

3 Guía para el Diseño, Monitoreo y Evaluación CARE EL Salvador Ligia Alvarenga Dirección Nacional Martín Segovia Coordinador Monitoreo y Evaluación Oswaldo Fajardo Consultor Monitoreo y Evaluación Nancy Moscoso de Navas Diagramación y Diseño Se autoriza la reproducción total o parcial de este documento siempre que se cite la fuente y se notifique a Guia para el Diseño, Monitoreo y Evaluación El Salvador, Mayo de Ejemplares

4 Introducción. 1 Hablemos de CARE. 2 Rol de CES en El Salvador 3 Fase de Diseño.. 4 La Lógica del Marco Lógico. 7 Estándares de Proyectos.. 11 Pasos de Diseño de Proyecto. 12 Paso 1 Identificación de Proyecto.. 13 Paso 2 Diagnostico/Evaluación de necesidades 13 Paso 3 Ambiente operativo 13 Paso 4 Análisis de Problemas.. 14 Paso 5 Estrategia para la Intervención Paso 6 Hipótesis del Proyecto 16 Paso 7 Metas/Objetivos e Indicadores.. 19 Paso 8 Productos y actividades.. 22 Paso 9 Plan de Monitoreo & Evaluación.. 24 Fase De Ejecución. 25 El sistema de Monitoreo y Evaluación.. 35 Fase Monitoreo 36 Monitoreo. 37 Plan Monitoreo 38 Fases básicas para iniciar actividades de monitoreo Fase de Evaluación 43 Fases Básicas para iniciar las actividades de evaluación.. 48 Fase 1: Analisis de diseño del proyecto. 48 Fase 2: Diseño del plan evaluación 48 Fase 3: Elaboración instrumentos de evaluación. 48 Fase 4: Ejecución del proceso de evaluación 51 Bibliografía. 55

5 En esta oportunidad me complace presentarles esta Guía para el Diseño, Monitoreo y Evaluación de Proyectos de Desarrollo Humano para el Diseño y Gestión de Iniciativas Programáticas". El propósito del presente documento es proporcionar una herramienta de apoyo, mediante esta Guía Práctica que facilite a todo el personal de programas el proceso lógico que se debe realizar en todo diseño e implementación de un sistema de información, monitoreo y evaluación, permitiendo desarrollar las capacidades para que pueda aplicar de manera efectiva y consciente, los lineamientos de enmarcados con los estándares internacionales de CARE en Diseño, Monitoreo y Evaluación (DM&E). Los lineamientos aquí expuestos son extraídos y sintetizados de varios documentos tanto al nivel de CARE, como de otros manuales elaborados por organismos de Cooperación Internacional, así como también, tomando como base experiencias operativas positivas realizadas con la implementación del método del marco lógico en las Oficinas de País de CARE. Este instrumento pretende inducir a las personas responsables del Diseño y Gestión de las Iniciativas Programáticas a tener en cuenta los elementos esenciales a lo largo de tiempo el ciclo de proyectos. La participación activa de las personas encargadas de decidir, planificar y de ejecutar las iniciativas programáticas es una condición para obtener los mejores resultados y disminuir el tiempo requerido de preparación una vez alcanzado un consenso que sirva de base para facilitar la conducción de los procesos. Deseo agradecer a la Unidad de Planificación por el esfuerzo realizado en la elaboración de este documento, y pedirles que su aplicación solo nos hace ser cada vez más eficientes en los servicios que proveemos mediante proyectos, a la población viviendo en pobreza. Ligia Alvarenga Directora a.i.

6 Guía para el Diseño, Monitoreo y Evaluación 1 Introducción Las personas que trabajamos en la industria del desarrollo nos vemos obligados constantemente a elaborar o revisar propuestas de proyectos para abordar determinada problemática con un grupo poblacional específico. En esta tarea surgen algunas dudas como las siguientes: a) Realmente este es un objetivo? o es una actividad? b) Estos indicadores son medibles? c) Cómo se elaboran los supuestos? d) Qué es un estudio de línea base? cómo se diferencia del diagnóstico? e) Cómo se llega a las preguntas de una boleta de línea de base o evaluación? f) La planificación termina con el plan operativo anual del proyecto? g) Cómo se puede elaborar un plan de monitoreo y evaluación? Cuando se busca información para responder estas dudas nos damos cuenta que existe pocas publicaciones al respecto. También, encontramos que lo único existente, en la mayoría de los casos, corresponde a documentos elaborados por organizaciones. Esto es porque son las organizaciones las que diseñan, ejecutan y evalúan proyectos. O por lo menos son las que sienten la necesidad de tener algo escrito para abordar la situación. En este sentido la oficina de Care en El Salvador decidió elaborar esta guía para que sea utilizada por todo el personal del área de programas y especialmente por todas aquellas personas u organizaciones que luchan por superar la pobreza en El país. Este documento intenta hacer una simbiosis entre la base teórica existente y la experiencia de más de 10 años de nuestra oficina en el tema. Finalmente, quiero agradecer a Oswaldo Fajardo, quien trabajo por más de 10 años en la oficina de Care en Honduras, su valioso aporte en la construcción de este documento. Si esta guía le ayuda a resolver tan sólo una duda o inquietud estaremos satisfechos!!! El esfuerzo valió la pena. Martín Segovia Care El Salvador

7 2 Guía para el Diseño, Monitoreo y Evaluación HABLEMOS SOBRE CARE VISIÓN Y MISIÓN DE CARE Declaración de la Visión Buscamos un mundo de esperanza, tolerancia y justicia social, en donde la pobreza se ha superado y las personas viven con dignidad y seguridad. CARE Internacional será una fuerza global y un socio de elección dentro de un movimiento mundial dedicado a erradicar la pobreza. Seremos conocidos en todas partes por nuestro compromiso inquebrantableen favor de la dignidad de las personas. Declaración de la Misión La misión de CARE Internacional es servir a las personas y las familias en las comunidades más pobres del mundo. Nos fortalecemos de nuestra diversidad, recursos y experiencia a nivel global. Promovemos soluciones innovadoras y abogamos por la responsabilidad global. Facilitamos el cambio sostenible por los siguientes medios: Fortaleciendo la capacidad para la auto-ayuda; Proporcionando oportunidades económicas; Ayudando en casos de emergencia; Influenciando las decisiones políticas en todos los niveles; y Abordando la discriminación en todas sus manifestaciones. Guiados por las aspiraciones de las comunidades locales, buscamos realizar nuestra misión tanto con excelencia como con compasión puesto que las personas a las que servimos se merecen lo mejor. PRINCIPIOS PROGRAMATICOS Todos los programas de CARE deben conformarse con los Principios Programáticos de CI, contenidos en el Código de CI. Estos principios son características que deberían informar y guiar, a nivel fundamental, la manera en que trabajamos. No son opcionales. Estos principios programáticos pueden resumirse de la siguiente manera: 1. Promover el Empoderamiento: Somos solidarios con los pobres y las personas marginadas, y apoyamos sus esfuerzos para tomar el control de sus propias vidas y ejercer sus derechos, deberes y aspiraciones. Nos aseguramos que los participantes claves que representan a las personas afectadas estén involucrados en el diseño, implementación, monitoreo y evaluación de nuestros programas. 2. Trabajar en asocio con otros: Trabajamos con otros para lograr el máximo impacto de nuestros programas, estableciendo alianzas y asocios con aquellos que ofrecen enfoques complementarios, son capaces de adoptar enfoques programáticos efectivos a mayor escala, y/o quienes tienen la responsabilidad de hacer cumplir los derechos y aliviar la pobreza mediante el cambio y cumplimiento de las políticas. 3. Asegurar el sentido de la propia Responsabilidad y Promover la Responsabilidad: Buscamos maneras de ser considerados responsables de las personas pobres y marginadas cuyos derechos son negados. Identificamos a aquellos con una obligación frente a las personas pobres y marginadas, y apoyamos y alentamos sus esfuerzos para cumplir sus responsabilidades. 4. Nos Oponemos a la Discriminación: En nuestros programas y oficinas nos oponemos a la discriminación y la negación de los derechos basada en el sexo, raza, nacionalidad, etnia, clase, religión, edad, habilidad física, casta, opinión u orientación sexual.

8 Guía para el Diseño, Monitoreo y Evaluación 3 5. Nos Oponemos a la Violencia: Promovemos medios justos y no violentos para prevenir y resolver los conflictos, considerando que dichos conflictos contribuyen a la pobreza y a la negación de los derechos. 6. Buscamos Resultados Sostenibles: Actuando para identificar y tratar las causas subyacentes a la pobreza y a la negación de los derechos, desarrollamos y utilizamos enfoques que aseguren que nuestros programas resulten en mejoras duraderas y fundamentales en las vidas de las personas pobres y marginadas con las que trabajamos. Nos hacemos responsables de poner en práctica comportamientos que sean consistentes con estos principios, y le pedimos a otros que nos ayuden a hacerlo, no solamente en nuestros programas, sino en todo lo que hacemos. Rol de CES en El Salvador Es importante extraer del Plan Estratégico CES , y tener presente en el diseño y gestión de iniciativas programáticas que el rol que ha definido CES en la sociedad salvadoreña, enfatiza en el impulso de la responsabilidad institucional y ciudadana, entendiendo como institucional a la serie de prácticas sociales y cómo estas son apoyadas o ignoradas por las instituciones existentes o por las personas individuales. También se enfatiza dentro de este rol la actuación de CES como una organización que buscará la innovación en las soluciones y retos que la pobreza presenta a este país. El nuevo rol de CES ha quedado definido de la siguiente manera: Impulsar la responsabilidad institucional y ciudadana en la búsqueda de soluciones innovadoras en la lucha contra la pobreza. CES ha definido cuatro productos de valor considerados de importancia en la lucha contra la pobreza en los años por venir. Estas áreas se dan dentro del concepto de intervenciones que permitirán a CES procesar los cambios y adaptar el trabajo para responder con mayor eficiencia a de acuerdo a los escenarios planteados por la institución, bajo una concepción integral y flexible. Nuestros productos de valor son: a) Democracia y Gobernabilidad. b) Fortalecer la capacidad de gestión de instancias locales. c) Incrementar el acceso y calidad de los servicios de salud en los sectores pobres. d) Incrementar el acceso y calidad de los servicios de educación en los sectores pobres. En el literal a) CES se refiere al fortalecimiento de procesos de gobernabilidad democratica en el país. El literal b) a la generación de capacidades locales para la eliminación de la pobreza. Finalmente en los literales c (y d) se habla de los sectores que CES considera como las áreas que necesitan el incremento de calidad y accesibilidad de los servicios públicos.

9 4 Guía para el Diseño, Monitoreo y Evaluación FASE DE DISEÑO Esta fase tiene como propósito proporcionar conceptos conocidos y ampliamente validados en diferentes ámbitos y sectores, a fin de permitir y facilitar el trabajo práctico en la sistematización de la información requerida para el diseño de iniciativas programáticas. Objetivos de la fase: Presentar los conceptos básicos de la jerarquía lógica de proyectos, sus comparaciones en la terminología utilizada por diferentes donantes. Enfatizar sobre los estándares de calidad de CARE que deben cumplir los proyectos e iniciativas programáticas. Compartir una guía practica para el diseño de iniciativas programáticas. Fortalecer las capacidades técnicas y metodológicas que permitan facilitar el desarrollo de un proceso sistemático para diseñar iniciativas programáticas, enfatizando las actividades claves requeridas en cada paso. Fortalecer las capacidades técnicas para preparar un marco lógico aplicando las herramientas apropiadas. Competencias a desarrollar Facilitar el desarrollo de un proceso sistemático en el diseño de un proyecto o iniciativa programática. Preparar un marco lógico para una iniciativa programática.

10 Guía para el Diseño, Monitoreo y Evaluación 5 Conceptos Generales La jerarquía del proyecto corresponde a la relación causa-efecto que existe entre las condiciones específicas en una comunidad y los problemas resultantes. Un proyecto/programa diseña su intervención basándose en productos (conocido también como resultados, incluye servicios) alcanzados mediante el desarrollo de actividades o procesos, para las cuales se han definido los insumos y recursos necesarios. Al momento que los clientes adaptan y aplican los productos en la práctica de sus acciones, se generan beneficios directos, los cuales son atribuidos directamente al proyecto como efecto de sus intervenciones. Los beneficios directos o los efectos, pueden generar beneficios indirectos o impactos, los cuales resultan difíciles para atribuirse directamente al proyecto. Estos beneficios indirectos o impactos se ubican a largo plazo y sentido amplio como por ejemplo en las Seguridades de Medios de Vida Sostenibles del Hogar. Los beneficios indirectos son los impactos a los que el proyecto ha atribuido, pero que no son resultado exclusivo del mismo. Pueden existir otras influencias para el logro de los impactos, tales como otros proyectos u otras intervenciones.

11 6 Guía para el Diseño, Monitoreo y Evaluación Existen muchos tipos de proyectos de desarrollo. Algunos proveen apoyo a comunidades rurales y/o urbanas. Otros ayudan a los hombres, mujeres, adolescentes y niños. Los proyectos pueden funcionar solos o en colaboración con la comunidad, gobierno o una organización no gubernamental (ONG). Ellos pueden ser de gran alcance y caros o relativamente modestos en alcance y presupuesto. A pesar de su diversidad sin embargo, todos los diseños de proyecto tienen la misma estructura y están basados en una jerarquía similar a la lógica causa-efecto. Existen otros elementos o factores que pueden afectar los impactos, pueden ser directos o indirectos, estos son generalmente conocidos como riesgos o supuestos. Los supuestos pueden ser definidos como las creencias razonables pero no probables mantenidas por el equipo de diseño sobre el medio en el cual el proyecto se lleva a cabo. Durante el diseño del proyecto, los supuestos son uno de los elementos más difíciles de enseñar y comprender. Los supuestos pueden ser identificados a través del siguiente proceso: 1. Identificando factores externos no reconocidos en la lógica de la hipótesis del proyecto pero importantes para el éxito del proyecto. 2. Determinando si la información sobre factores externos es crítica y obtenible. Investigue sobre preguntas claves y revise el diseño del proyecto. 3. Evalúe la importancia de cada uno de los factores restantes (supuestos) y la posibilidad de que éstos supuestos se cumplan.

12 Guía para el Diseño, Monitoreo y Evaluación 7 Dependiendo de las conclusiones: No incluya el factor externo Incluya el factor externo como una suposición Rediseñe la intervención 4. Ingresando los supuestos válidos en el apropiado nivel del diagrama de la hipótesis del proyecto. 5. Verificando que la lógica de intervención se mantiene válida y que no ignora factores importantes. 1. Es externo al proyecto? Sí No (no incluir) 2. Es importante? Sí No (no incluir) 3. Cuál es la probabilidad de que ocurra? No es probable Probable (=supuesto) Muy probable (no incluir) 4. Puede ser rediseñado el proyecto? Sí (rediseñar el proyecto) No (supuesto fatal Pare!) El manejar los riesgos permite cierto control al definirse actividades específicas dentro del proyecto/programa. La identificación de los riesgos da la posibilidad de diseñar planes de contingencia y mitigación, así como el monitoreo de los mismos. La Lógica del Marco Lógico Los marcos lógicos son herramientas útiles para organizar y resumir la información del proyecto. Ellos pueden también guiar la implementación del proyecto. Los marcos lógicos son ahora más que nada un resumen ejecutivo, el diseño del proyecto y la jerarquía. Obviamente, a medida que la información del proyecto es modificada durante la implementación, como ser los cambios recomendados en las evaluaciones a mitad del proyecto, los marcos lógicos también cambiarán. Utilizando información periódica de monitoreo, un proyecto puede adaptar el plan anual e incluso modificar los niveles inferiores del marco lógico para indicar lo que objetivamente puede lograrse el próximo año.

13 8 Guía para el Diseño, Monitoreo y Evaluación El proceso de crear un marco lógico comienza con el postulado de que, si conocemos cuál es el problema o la situación que queremos cambiar, entonces podemos prever una solución o un futuro mejor (por ejemplo, los objetivos o metas de un proyecto). Luego, el Enfoque del Marco Lógico (EML) sostiene que, si conocemos nuestros objetivos, podemos entonces identificar un conjunto de productos del proyecto que lograrán los objetivos. Continuando con este razonamiento, podemos entonces identificar las actividades y los insumos de los proyectos que son esenciales para generar los productos necesarios, con miras a lograr los objetivos. El formato de un marco lógico completo suele tener normalmente una cuadrícula de cuatro columnas que indican las conexiones entre las intenciones del proyecto ("metas", "objetivos"), las evaluaciones de resultados ("indicadores"), las formas de comprobar el progreso ("medios de verificación") y los sucesos o situaciones previstos fuera del control del proyecto que pueden tener una influencia sobre el mismo ("supuestos"). Estructura representativa de un Marco Lógico

14 Guía para el Diseño, Monitoreo y Evaluación 9 Matriz del Marco Lógico

15 10 Guía para el Diseño, Monitoreo y Evaluación Comparación de la Terminología de Proyectos entre Importantes Organizaciones de Desarrollo LISTA DE VERIFICACION PARA LA REVISION DEL MARCO LOGICO 1. Lógica del Proyecto x Los objetivos (Fin, propósito y componentes) del proyecto/programa están claramente expresados. x Cada componente es necesario (esencial) para lograr el propósito. x Todos los elementos proyecto/programa están interrelacionados de manera lógica. 2. Indicadores de Propósito x Los indicadores del propósito especifican cuantitativa y cualitativamente el efecto directo esperado, al final de la ejecución del proyecto. x Por lo menos un indicador a nivel de propósito es cualitativo, es decir, refleja calidad/satisfacció de los beneficiarios con los bienes y servicios que han sido resultados del proyecto. x Los indicadores del propósito cumplen los criterios principales: pertinentes, orientados a resultados, prácticas y verificables, realizables e independientes. 3. Indicadores de componentes (productos) x x x Los indicadores de los componentes especifican cuantitativamente los productos principales que se alcanzarán en la etapa de ejecución con el financiamiento del proyecto. Los indicadores de los componentes reflejan productos (resultados) que se obtendrán durante y al final del proyecto. Los indicadores de los componentes cumplen los criterios principales: pertinentes, orientados a resultados, prácticos y verificables, realizables e independientes. 4. Datos de base para Indicadores x x Los indicadores a nivel de propósito incluyen los datos de base para medir los cambios. Los indicadores de los componentes incluyen datos de base cuando es apropiado.

16 Guía para el Diseño, Monitoreo y Evaluación 11 x x Los supuestos reflejan el resultado del análisis de Involucrados (en el documento de proyecto). Los supuestos son los suficientemente precisos para permitir hacer el seguimiento de los mismos (e identificar acciones apropiadas para aumentar la probabilidad de ocurrencia). 6. Sistema de seguimiento y evaluación x x Las fuentes de información (medios de verificación) están bien especificadas para cada indicador. El banco y la agencia ejecutora han definido un sistema de recolección de información para los indicadores ( en el documento de proyecto) Estándares de los Proyectos Cada Proyecto de CARE debe: 1. Ser consistente con la Visión y Misión de CARE Internacional, y sus Principios Programáticos. 2. Debe estar claramente relacionado a una estrategia y/o metas programáticas a largo plazo de la Oficina de País. 3. Asegurar la participación activa y la influencia de las partes interesadas (stakeholders) en sus procesos de análisis, diseño, implementación, monitoreo y evaluación. 4. Tener un diseño que se base en un análisis holístico de las necesidades y derechos de la población objetivo y las causas subyacentes de sus condiciones de pobreza e injusticia socia También debería examinar las oportunidades y riesgos inherentes en las intervenciones potenciales. 5. Utilizar un marco lógico que explique cómo contribuirá el proyecto con un impacto último en las vidas de los miembros de una población objetivo definida. 6. Establecer una meta final significativa, pero alcanzable y medible. 7. Ser técnica, ambiental y socialmente apropiado. Las intervenciones deberían basarse en la mejor práctica actual y en la comprensión del contexto social y en las necesidades, derechos y responsabilidades de las partes interesadas. 8. Indicar qué tan apropiados son los costos de los proyectos, a la luz de las estrategias seleccionadas de los proyectos y los productos y resultados esperados. 9. Desarrollar e implementar un plan de monitoreo y evaluación y un sistema basado en el marco lógico que asegure la recolección de la línea de base, el monitoreo y los datos de la evaluación final y que anticipe cómo se utilizará la información en la toma de decisiones; con un presupuesto que incluya los montos adecuados para implementar el plan demonitoreo y evaluación. 10. Establecer una línea de base para medir el cambio en los indicadores de impacto y efecto, conduciendo un estudio o encuesta antes de la implementación de las actividades delproyecto. 11. Utilizar indicadores que sean relevantes, medibles, verificables y confiables. 12. Emplear un balance de metodologías de evaluación, asegurar un nivel adecuado de rigor, y adherirse a los estándares éticos reconocidos. 13. Estar informado por el aprendizaje y contribuir con un aprendizaje progresivo dentro y fuera de CARE. Estos estándares se refieren específicamente a los proyectos de CARE (ya sea que se implementen directamente o a través de socios). Sin embargo, donde existen planes de programas a más largo plazo, estos estándares también deben aplicarse a ellos.

17 12 Guía para el Diseño, Monitoreo y Evaluación Pasos para el Diseño de Proyecto Generalmente los diseñadores del proyecto siguen un método sistemático. El proceso comienza con la definición de un problema, el cual al ser resuelto producirá en un impacto. Trabajando con base en el impacto esperado, se desarrollará paso por paso la jerarquía hasta que los insumos sean definidos. La siguiente gráfica sugiere los pasos recomendados para el diseño de un proyecto, junto con las actividades claves requeridas en cada paso. Plan de Monitoreo y Evaluación Productos y actividades Metas e Indicadores Hipótesis del proyecto Estratégia para la intervención Análisis del problema Ambiente operativo Diagnósticos Evaluación de necesidades Identificación de Proyecto

18 Guía para el Diseño, Monitoreo y Evaluación 13 Paso 1: Identificacion del proyecto. En la primera fase del diseño de proyecto, se identifica el alcance, extensión geográfica, población meta y problemas generales a ser tratados. Basar estas decisiones en los principios de CARE y en sus objetivos estratégicos. Tomar en consideración las necesidades locales, los recursos disponibles, los intereses del gobierno y del donante. ACCIONES: Planificación de las Estrategias Evaluación de la Seguridad de los Medios de Vida del Hogar (SMVH) Mapeo de la Vulnerabilidad, etc. Paso 2: Diagnostico Evaluacion de Necesidades Los diagnósticos incluyen muchas herramientas con el propósito de determinar las brechas entre lo que es y lo que debería ser. Durante la evaluación de necesidades, se identifica los problemas basado en la información obtenida a través del proceso de recolección de datos a nivel de la comunidad y de organización. Considerar los problemas desde ambas perspectivas, interna y externa. La brecha puede existir a nivel de beneficiario (p.ej, la población meta), los proveedores de servicios o de infraestructura. ACCIONES: Desarrollar e implementar las herramientas de evaluación. Explore la necesidad sentida, normativa y relativa. Analice basado en la Seguridad de los Medios de Vida del Hogar (SMVH) u otro esquema. Paso 3: Ambiente operativo En este paso, primero se deberá estudiar y describir en detalle el contexto físico, social, económico e institucional en el cual el proyecto se diseñará. Se deberá proveer suficientes detalles para tomar decisiones acerca de los problemas y sus causas, además cómo las organizaciones pudieran tratarlos. Este estudio no es un paso discreto ni finito, continúa durante todo el proceso de diseño. ACCIONES: Delinear la información requerida. Revisar los datos secundarios y conducir las entrevistas. Recolectar y analizar los datos originales. Paso 4. Análisis de Problemas El análisis del problema está basado en la lógica de causa y efecto, es fundamental para la planificación, ya que sirve de orientación para concebir una posible intervención. Se identifica, analiza y organiza el problema, sus causas y las consecuencias en una jerarquía. Los niveles en la jerarquía corresponden a condiciones, comportamientos, actitudes, creencias, conocimientos y a factores externos. Existen varias herramientas que se pueden usar para hacer este análisis. El árbol del problema pudiera ser el mejor para detectar la causa y efecto. Con este análisis se pretende identificar obstáculos reales, importantes y prioritarios para los grupos implicados. Resulta valioso este análisis, cuando se efectúa en forma de reunión o taller en el que participan las partes implicadas (que conocen la problemática) animado por un facilitador quien domina el método y la dinámica del grupo. Este procedimiento puede combinarse con otros, como estudios técnicos, económicos y sociales cuyos resultados pueden añadirse al análisis efectuado por el grupo.

19 14 Guía para el Diseño, Monitoreo y Evaluación ACCIONES: Identificar el(los) problema(s) prioritario(s) y todos los factores relacionados. Conduzca un análisis de causa efecto. Muestre en el árbol de problema. Árbol del problema. Otros términos para este método incluyen el Análisis de Árbol, Análisis Causal y los Diagramas del Problema. El árbol del problema representa un método de sistemas para analizar la causa y efecto; es extremadamente útil en el diseño del proyecto, es de los más complejos y poderosos. Da una representación visual de varias secuencias causales que contribuyen al problema. Si el problema es el tronco del árbol entonces las secuencias causales son las ramas o raíces. Frecuentemente, consecuencias son también agregadas como ramas o raíces. Paso 5: La Jerarquía del Análisis En la mayoría de los casos, la secuencia de las causas cae bajo la siguiente jerarquía: Las causas directas del problema son condiciones específicas físicas o sociales Estas condiciones son causadas por comportamientos humanos o en menor manera por una falta sistemática; El comportamiento humano es primeramente determinado por el conocimiento, actitudes y creencias de la gente; El conocimiento, actitudes y creencias de la gente tienen sus bases en el contexto o el ambiente en el cual el área meta se encuentre Menor número de pasajeros utilizan el SAU El servicio del SAU es inadecuado Servicio de Autobuses Urbano Arbol de Problemas Muchos pasajeros heridos Demoras frecuentes Accidentes frecuentes Los choferes son descorteces Los choferes conducen mal Autobuses en mal estado Jornada prolongada Salarios bajos Flota vieja Mantenimiento inadecuado de vehículos Caminos en mal estado Topografía en mal estado

20 Guía para el Diseño, Monitoreo y Evaluación 15 Se debe formular el problema central de modo que sea lo suficientemente concreto para facilitar la búsqueda de soluciones, pero también lo suficientemente amplio que permita contar con una gama de alternativas de solución, en lugar de una solución única. Uno de los errores más comunes en la especificación del problema consiste en expresarlo como la negación o falta de algo. En vez de ello, el problema debe plantearse de tal forma que permita encontrar diferentes posibilidades de solución. El árbol de problemas y la jerarquía de objetivos del marco lógico Gráfico tomado del Módulo de Gerencia Social dictado por el Soc. Percy Bobadilla. Como se puede observar, cada componente del árbol de problemas tiene su respectivo correlato en la columna de jerarquía de objetivos del marco lógico. De este modo, el propósito u objetivo general del proyecto será aquel que pretende dar solución al problema central identificado en el árbol de problemas; los objetivos específicos o resultados son los cambios esperados que el proyecto se propone alcanzar para garantizar el logro del propósito a través del control de las causas que generan el problema; y, finalmente, el fin u objetivo de desarrollo será aquel al que se pretende contribuir con la intervención del proyecto, de modo tal que se reviertan los efectos negativos identificados en el árbol de problemas

21 16 Guía para el Diseño, Monitoreo y Evaluación Paso 6: Hipótesis del proyecto En este paso se construye la hipótesis del proyecto, la cual define qué cambios en los impactos y efectos pueden esperarse como resultado de las intervenciones propuestas. La formulación de la hipótesis incluye la identificación de los supuestos y las preguntas claves. Las Hipótesis son respuestas a la pregunta: Cuáles son los factores externos que la intervención no controla y que dificultan que la misma tenga efectos duraderos? ACCIONES: Convertir problema y causa para anticipar los resultados. Desarrollar un diagrama si/entonces que incluya intervenciones. Identificar preguntas claves y los supuestos. La definición de la hipótesis es un paso pequeño pero crítico en el diseño del proyecto. Es durante ésta fase que el equipo de diseño cambia de estar predominantemente enfocado en el problema a enfocarse predominantemente en la solución. El desarrollo de la hipótesis del proyecto facilita la definición de una meta clara y precisa, es también un paso en el proceso de diseño que puede causar muchos problemas. Además, es un escenario donde los supuestos necesitan ser consideradas y nos ayuda a probar la lógica de la jerarquía del proyecto, incluyendo las intervenciones recomendadas. En el marco lógico, se presentan las hipótesis de la siguiente forma: El esquema anterior debe leerse del siguiente modo: Las actividades se inician una vez que se reúnan las condiciones previas; Las actividades realizadas y las hipótesis a este nivel conducen a la realización de resultados; Los resultados obtenidos y las hipótesis a este nivel conducen al objetivo especifico; El objetivo especifico y las hipótesis a este nivel conducen a la realización de los objetivos generales.

22 Guía para el Diseño, Monitoreo y Evaluación 17 Explicación de los Elementos Importantes de las Hipótesis

23 18 Guía para el Diseño, Monitoreo y Evaluación Construyendo la Hipótesis del Proyecto Los siguientes pasos básicos deben seguirse en el desarrollo de la hipótesis del proyecto. 1. Convertir el problema y sus causas claves en productos esperados como se muestra en el siguiente ejemplo. 2. Desarrolle un diagrama que ilustre las relaciones causa efecto de estos productos. 3. Agregue las intervenciones (como se identificaron en la estrategia del proyecto) al diagrama de la hipótesis del proyecto. 4. Para completar el diagrama de hipótesis de proyecto, identifique los supuestos e insértelas apropiadamente.

24 Guía para el Diseño, Monitoreo y Evaluación 19 Paso 7: Metas /Objetivos e Indicadores Este proceso de dos pasos involucra el establecimiento de metas/objetivos a nivel de impacto y efecto, luego la selección de los indicadores apropiados para medir el cambio anticipado. El establecimiento de metas y la selección de los indicadores son los siguientes pasos claves en el diseño de un exitoso proyecto. Un proyecto, inclusive uno bien diseñado puede fallar si sus metas no están claramente definidas antes de la implementación. ACCIONES: Identificar metas SMART de impacto y efecto. Determinar definiciones operacionales. Establecer benchmarks. Definición de Metas/Objetivos.- A pesar que las metas pueden ser simplemente definidas como especificaciones de lo que los proyectos pretenden alcanzar, existen algunas reglas importantes a seguir al momento de establecerlas. Finalmente, todos los proyectos deben buscar beneficiar a las personas de manera significativa; si el proyecto no tiene un beneficio real y significativo, Para qué molestarse? Asegúrese que las metas del proyecto cumplan con los criterios para un cambio significativo. Las metas del proyecto deben ser cuidadosamente pensadas y deben estar ligadas directamente con el análisis del problema. Evite la trampa de tratar de lograr una meta que no se puede alcanzar debido a cambios en las circunstancia Meta Impacto Fin Objetivo Final o General.- Puede estar definida como el último objetivo o propósito del proyecto, es escrito para reflejar una mejora en la condición humana la cual se espera tome lugar en un grupo meta. Presenta las mejoras anticipadas en la vida de los beneficiarios del proyecto y describe la manera en que usted espera que la estructura del proyecto sea después de que las intervenciones hayan sido completadas. La lógica del proceso del diseño de proyecto dicta que una meta de impacto puede solamente ser alcanzada con los logros en todos los niveles de las metas de efecto (Objetivos intermedios, específicos, propósitos). Metas de Efecto Objetivo Intermedio/Especifico Propósito.- Son definidas como los cambios pretendidos en condiciones sistemáticas o comportamientos que deben ser alcanzados para lograr la meta de impacto. Las metas de efecto indican qué prácticas cambiarán, el cómo y cuándo los cambios previstos tomarán efecto. Entre las típicas metas de efecto se incluyen los sistemas funcionales de crédito agrícola (sistémico) y la adopción y uso correcto de tecnología apropiada (comportamiento). Las metas de efecto son verificables hasta cierto punto durante la ejecución del proyecto, existen puntos finales, no procesos. Las metas u objetivos deberán ser Específicos, Medibles, Específicos a un Área, Realistas y con Límite de Tiempo. Definiciones operacionales ayudan a clarificar declaraciones vagas de la meta.

25 20 Guía para el Diseño, Monitoreo y Evaluación Indicadores Son simplemente las variables, medidas o criterios usados para verificar si un cambio propuesto ha ocurrido y por lo tanto, si una meta ha sido alcanzada. Los indicadores por sí solos no representan valores meta; éste trabajo se logra en la definición de la meta. De la manera en que las metas son establecidas en cada nivel de la jerarquía del proyecto, indicadores son establecidos para cada uno de los cinco niveles. Indicadores de Insumos describen los recursos que van en el proyecto, como el número de horas de trabajo, la cantidad de dinero gastado o la cantidad de suministros comprados. Indicadores de Actividades documentan el número de actividades conducidas y/o su grado de cumplimiento (por ejemplo, - el número de eventos de capacitación ofrecidos, el número de demostraciones presentadas). Indicadores de Productos describen a los bienes y servicios producidos por las actividades del proyecto, como el número de trabajadores capacitados en la comunidad o el número de mujeres involucradas en grupos femeninos. Indicadores de Efectos describen cambios en condiciones o comportamientos resultantes de haber alcanzado la meta de efecto. Indicadores de Impacto miden el cambio real en las condiciones del problema de base identificado, incluyendo cambios en la situación de medios de vida, salud, riqueza, etc. Los indicadores de insumos, actividades y productos son típicamente más fáciles de medir que el efecto o los indicadores de impacto, aunque ellos ofrecen solo una medida indirecta del éxito del proyecto. Nosotros asumimos, basados en la lógica del proyecto, que los logros de ciertos productos eventualmente resultarán, pero no podemos medir ese cambio directamente, ni tampoco demostrarlo. Estos indicadores también proveen estándares para comparar el progreso de una actividad. Idealmente los indicadores deben ser:

26 Guía para el Diseño, Monitoreo y Evaluación 21 Ejemplos Correctos e Incorrectos de Indicadores para las Metas Objetivos Propósitos.

27 22 Guía para el Diseño, Monitoreo y Evaluación Paso 8: Productos y actividades Para cada intervención, se especifica los productos necesarios para lograr el cambio a nivel de efecto y definir las actividades para cada producto. Se deberá determinar y notar los productos relacionados con el manejo y la administración del proyecto. Los indicadores en estos niveles son usualmente una simple enumeración de los eventos o productos. ACCIONES: Definir los productos para cada meta. Bosquejar o enfocar las actividades necesarias para producir cada producto/resultado Definiendo Productos / Actividades /Insumos. A continuación están los pasos básicos para desarrollar los productos, actividades e insumos. 1. Defina los productos para cada meta efecto. Decida, como grupo, qué productos serán necesarios para asegurar los cambios esperados a nivel de efecto. Recuerde que para un monitoreo y una evaluación exitosa, el enlace entre los productos y las correspondientes metas efecto deben estar claras. Los indicadores para las metas de productos son típicamente una simple enumeración de productos. (Ejemplo: Meta Producto: 2000 árboles plantados y sobreviviendo; Indicador: número de árboles plantados y sobreviviendo.) 2. Desarrolle los productos para la administración. Sin relación directa con las metas efecto, la administración y el apoyo a los productos incluyen documentos como ser los planes anuales de trabajo o reportes, reuniones para la planificación, retroalimentación o construcción de equipo, rendimiento del monitoreo y la retroalimentación, también el conseguir los materiales de oficina. Cada uno de estos productos tiene un grupo de actividades único que deben también ser definidos e incluidos en el plan de monitoreo y evaluación del proyecto.

28 Guía para el Diseño, Monitoreo y Evaluación Defina las actividades para cada producto. La lista de actividades debe incluir las acciones a ser tomadas y la secuencia adecuada para la implementación. Además, los límites de tiempo y las metas cuantificables son componentes importantes de cada actividad de la meta. De la misma manera que las metas de producto, los indicadores usualmente piden a los monitores de proyecto documentar el número de actividades exitosamente implementadas. 4. Defina los insumos. Las metas en este nivel son simplemente las cantidades de los recursos mínimos requeridos

29 24 Guía para el Diseño, Monitoreo y Evaluación Paso 9: Plan de Monitoreo & Evaluacion El mejor momento para la creación de un Plan de Monitoreo y Evaluación completo para un proyecto es después del financiamiento, pero antes del estudio de línea base inicial y el comienzo de las intervenciones. Con frecuencia, sin embargo, la realidad es que los proyectos empiezan a prestar atención a la creación de su Plan de Monitoreo y Evaluación cuando se dan cuenta de que, aunque la ejecución está teniendo lugar, la información no está circulando. Los documentos del proyecto (y sus "marcos lógicos") constituyen un instrumento importante para la administración del proyecto, pero los mismos no contienen normalmente suficientes detalles en lo que se refiere a los sistemas de información. Los marcos lógicos sí contienen una lista de elementos esenciales para planear la gestión de la información, o sea, la información deseada (como "indicadores objetivamente verificables") y las fuentes de información (como "medios de verificación"). Estas dos categorías, sin embargo, no incluyen ninguna respuesta a las siguientes preguntas fundamentales: Requisitos esenciales del sistema de información no incluidos en el Marco Lógico normal Cómo se va a recoger la información? Quién va a recogerla? Cuándo se va a obtener? Cómo se va a analizar la información recogida? Quién la va a analizar? Cuándo se va a hacer el análisis? Quién va a recibir los resultados? En qué formato se van a distribuir? Y qué decisiones en (o sobre) el proyecto dependen de obtener la información analizada? El plan M&E incluye información específica sobre los datos necesarios para medir los indicadores, las logísticas de recolección de datos y las guías para análisis de los datos e interpretación y diseminación de resultados. ACCIONES: Especifique indicadores en todos los niveles de la jerarquía. Para cada indicador defina: las variables ha ser medidas quién las medirá cuándo se medirán cómo se analizarán el plan de diseminación.

30 Guía para el Diseño, Monitoreo y Evaluación 25 FASE DE EJECUCION Esta fase tiene como propósito proporcionar las herramientas básicas para la preparación de los planes de trabajo respectivos en la ejecución de los momentos claves de un proyecto o iniciativa programática. Objetivos de la fase: Compartir las herramientas básicas que faciliten la preparación de planes de trabajo. Fortalecer las capacidades técnicas y metodológicas que permitan facilitar la preparación de los planes de trabajo. Orientar sobre la preparación de planes operativos individuales que faciliten la evaluación de desempeño del personal responsable en la ejecución de iniciativas programáticas. Competencias a desarrollar Visión de procesos que faciliten la preparación de planes detallados de implementación para la vida de un proyecto. Precisar el nivel de detalle de las actividades o subactividades claves para desarrollar un proceso en un plan operativo anual. Identificar los objetivos estratégicos de desempeño del personal a partir de los resultados/productos principales establecidos en un plan de trabajo anual del proyecto, para facilitar procesos de evaluación de desempeño de personal de la institución. Preparación de planes operativos Un supuesto básico es que los gerentes de los proyectos y programas tienen los conocimientos y habilidades para el manejo de los procesos para la preparación del Plan Detallado de Implementación para la vida del proyecto y programa, el Plan de Trabajo Anual y su vinculación con los Planes Operativos Individuales que faciliten los procesos de evaluación de desempeño del personal técnico del proyecto y programa. En esta capitulo se brindara un pequeño recordatorio de los procesos a seguir para la preparación de planes de trabajo minuciosos que faciliten en términos de rapidez y fluidez la implementación del sistema de información del proyecto, incluyendo el trabajo de campo y análisis de la informaciones subsiguientes. Preparación del Plan detallado de Implementación En este momento se retoman los indicadores seleccionados para medir los resultados o productos del proyecto y los criterios de los indicadores para medir las actividades que se consideran claves para el logro de los productos comprometidos. Generalmente este nivel de detalle no se encuentra en el Plan de Monitoreo del proyecto y programa diseñado, ya que solamente se enlistan los resultados y sus indicadores más relevantes para medir su desempeño.

31 26 Guía para el Diseño, Monitoreo y Evaluación Plan de Monitoreo Objetivo final/ Objetivo general/ Meta de impacto: Meta intermedia/ Objetivos específicos/ Meta de efecto #: Recuérdese que aunque los proyectos y programas estén bien diseñados y conceptuados, es muy común que al momento de ejecutarlos, se atasquen en la parte operativa; cayéndose en el riesgo de solamente monitorear y evaluar solo actividades. Los monitoreos que se realizan (principalmente el de impacto) ayudaran a mantener la atención en los efectos e impactos deseados, como consecuencia de ello, el Plan Detallado de Implementación del proyecto deberá tornarse mas flexible enfocándose hacia los efectos deseados y permitir operar al proyecto con mayor flexibilidad; en este sentido, la planificación y ejecución se enfocara mas en los procesos y sus efectos, mas que en las actividades. Matriz sugerida para la preparación del Plan Detallado de Implementación para la vida del proyecto y programa. PRODUCTOS (a) En esta columna se anotan los productos detallados en el plan de monitoreo (que a su vez corresponden a los definidos en el marco lógico). INDICADORES DE CUMPLIMIENTO (b) En esta columna se detallan cada uno de los indicadores que medirán el cumplimiento de los resultados. Cada indicador se ubica en una línea individual para dar el detalle de sus metas anuales (de acuerdo a la vida del proyecto). AÑO (C1 CX) En estas columnas de detalla la correspondiente meta del indicador. Aquí es necesario que los diseñadores del proyecto estimen la magnitud del cambio esperado para cada indicador y el promedio de cambio con el tiempo. Benchmark es el término que usamos para los valores esperados o niveles de logro en determinados períodos de tiempo. TOTAL VIDA DE PROYECTO (d) En esta columna se anota el total del indicador para vida del proyecto que ha sido detallada en las columnas anteriores. ACTIVIDADES / PROCESOS (e) En esta columna se listan o describen las actividades (en forma agregada para detallarlas en el plan de trabajo anual) necesarias a realizar para alcanzar los resultados (PRODUCTOS) esperados.

32 Guía para el Diseño, Monitoreo y Evaluación Ejemplo: Meta de efecto #: 1 27 Preparación del Plan de Trabajo Anual El plan de trabajo anual o plan operativo anual detalla los productos comprometidos en un periodo de tiempo en particular (de acuerdo al año de vida del proyecto). En este plan de trabajo se listan los productos correspondientes al año seleccionado, se detalla las actividades listando las acciones particulares de las mismas de acuerdo al producto (en algunos casos, de preferirse, pueden vincularse a los indicadores de cumplimiento), los Benchmark de cada actividad por trimestre y los responsables de la ejecución de las mismas. Matriz sugerida para la preparación del Plan de Trabajo Anual o Plan Operativo Anual

33 28 Guía para el Diseño, Monitoreo y Evaluación PRODUCTO En esta columna se listan los productos correspondientes al año que se planifica. INDICADORES DE CUMPLIMIENTO Esta columna contiene los indicadores de cumplimiento del indicador que serán monitoreados y reportados en su ejecución o avance durante el año. METAS Esta columna contiene la información correspondiente a la VIDA DEL PROYECTO para monitorear su avance anual en relación a la meta establecida para la vida del proyecto, esto permite no perder la visión global de lo planificado. Así mismo, establece la columna para anotar la meta del indicador a lograr durante el año que se planifica. ACTIVIDADES Aquí se listan las actividades o subactividades (en caso de haberse definido actividades muy agregadas en el Plan Detallado de Implementación para la vida del proyecto). El enunciado de las actividades debe hacerse de manera de cuantificar la acción especifica en el trimestre correspondiente (es decir, deben ser medibles). UNIDAD DE MEDIDA - Especifica la unidad de medida de la actividad, de manera que al monitorearse su cumplimiento durante el trimestre este sea muy explicito para el personal responsable del proyecto para reportar su logro. TRIMESTRE En estas columnas por trimestre, se especifica cuando y la cantidad que se lograra en el cumplimiento de la actividad. RESPONSABLE Aquí se indica el componente o el nivel operativo del proyecto que será responsable que la actividad se realice de acuerdo a los criterios y calidad requerida por el proyecto. En algunos proyectos facilitadores, se menciona la institución ejecutora de la acción o actividad.

34 Guía para el Diseño, Monitoreo y Evaluación 29 Ejemplo Plan de Trabajo Anual: 1 La definición de las actividades esta en correspondencia con el producto y no necesariamente para cada uno de los indicadores de cumplimiento. C A R E E l S a l v a d o r

35 30 Guía para el Diseño, Monitoreo y Evaluación Un ejemplo sencillo de un Plan Operativo para la instalación del proyecto se presenta a continuación: Plan Operativo Año 1 Instalacion del Proyecto

36 Guía para el Diseño, Monitoreo y Evaluación 31 Preparación del Plan Operativo Individual El Plan Operativo Individual (POI) retoma del plan Operativo Anual (POA) del proyecto, los productos con las actividades que corresponden a un responsable en particular. En el POI se listan los productos enunciándolos como el objetivo a alcanzar, se detallan los resultados a alcanzar en el año correspondiente (generalmente un producto de un POA abarca mas de un año), definiéndose los respectivos indicadores para medir su cumplimiento, el medio de verificación de los mismos (estos son generalmente las actividades o acciones que se realizan), la fecha en que será cumplido el indicador y los recursos de apoyo necesarios para realizar las acciones previstas. OBJETIVO Corresponde al producto del POA que será alcanzado en el año correspondiente por el responsable (de un componente) de su ejecución. RESULTADO Describe los productos que se esperan alcanzar por el responsable de acuerdo al objetivo asignado. INDICADOR DE CUMPLIMIENTO Específica de acuerdo al resultado, las acciones y sus medidas para monitorear el cumplimiento o su avance en los momentos de evaluaciones de desempeño de personal. MEDIO DE VERIFICACION Aquí se indica el medio a utilizar para comprobar que la acción descrita en el indicador fue realizada. FECHA DE CUMPLIMIENTO Fecha tope en que se espera tener cumplida o alcanzada la acción descrita en el indicador. RECURSOS DE APOYO En esta columna se detallan los insumos, recursos o personas de apoyo que serán necesarios para alcanzar el indicador. Nótese que no se ha hecho énfasis en agregar una columna de actividades en el POI, las mismas serán parte de los planes semanales o mensuales que se preparen para la ejecución del proyecto por parte del personal. Las actividades deben de relacionarse directamente para alcanzar los indicadores propuestos en el POI.