Población y Desarrollo

Transcripción

1 7 República de Cuba CUADERNO DE ESTUDIOS Población y Desarrollo CUADERNO DE ESTUDIOS DE POBLACION Y DESARROLLO Proyectos sobre VIH Junio de 2010 AÑO 52 DE LA REVOLUCION 2010

2 Centro de Estudios de Población y Desarrollo Elementos Básicos de un Sistema de Monitoreo y Evaluación de Proyectos sobre VIH Autores: MSc. Mildred Iglesias Linares Lic. Mercedes Mena Martínez Área de Estadística Matemática Aplicada. Centro de estudios de población y Desarrollo Oficina Nacional de Estadísticas CUBA Junio 2010 OFICINA NACIONAL DE ESTADISTICAS

3 Elementos Básicos de un Sistema de Monitoreo y Evaluación de Proyectos sobre VIH INDICE Introducción... 3 Evaluación de Proyectos... 4 Sistemas de Monitoreo y Evaluación... 5 Diseño de los Proyectos Los Objetivos de un Proyecto. Errores que ponen en tela de juicio la efectividad de la intervención social... 8 Marco Lógico de Resultados o Marco Conceptual de un Proyecto Los Indicadores Evaluación de Proceso o Monitoreo del Proyecto Evaluación Resultado Cambio Evaluación de Causa Efecto o del Impacto del Proyecto Evaluación de Costo-efectividad Uso complementario de métodos cualitativos y cuantitativos para el Monitoreo y Evaluación de Proyectos Plan de Diseminación de la información Bibliografía

4 Introducción La propagación del VIH en el mundo, en ausencia de cura efectiva, continúa ininterrumpidamente en ascenso a pesar de los múltiples esfuerzos e iniciativas que desarrollan los países. No obstante, mucho se ha avanzado desde el punto de vista conceptual y existe hoy día consenso de que la epidemia del VIH no es solo un problema de salud no resuelto, sino más bien un dilema que afecta en forma directa a las personas diagnosticadas como seropositivas pero que también impacta a sus familiares, amigos, a las sociedades en su conjunto; a los gobiernos, a los países y en general a la humanidad. Desde esta perspectiva se han desarrollado y revolucionado diversos enfoques para abordar el tema de la prevención, la atención y el apoyo a los afectados. También diversas agencias donantes han logrado movilizar fondos y recursos para apoyar a los países en el desarrollo de iniciativas de respuesta a la búsqueda de soluciones para la problemática del VIH. La concepción y desarrollo de Proyectos que aborden la Prevención y la Atención del VIH/sida tienen cada vez más aceptación entre los donantes, quienes paralelamente condicionan la erogación de fondos a la presentación de resultados que evidencien la efectividad de las intervenciones financiadas. Pero además, para los propios diseñadores de Proyectos se hace cada vez más imperiosa la necesidad de disponer de elementos que le permitan evaluar la viabilidad de los mismos, toda vez que, sólo una relación satisfactoria entre el cumplimiento y los resultados de las acciones planificadas, justifican su continuidad y culminación. Surge así el reconocimiento de que la Evaluación debe formar parte integral del diseño y desarrollo de cualquier programa o proyecto que pretenda aliviar, mitigar o solucionar problemas asociados a este mal. El presente material ofrece una síntesis de los elementos básicos que debe contener un Sistema de Monitoreo y Evaluación. Tiene como propósito apoyar a los gestores de Proyectos en la coordinación de un Sistema que forme parte integral de sus Proyectos, que incorpore desde su concepción misma a todos los actores involucrados en la implementación del Proyecto y a los evaluadores externos, de manera que se facilite para los ejecutores del Sistema, las investigaciones y tareas que demandan estos procesos de acompañamiento. 3

5 Evaluación de Proyectos El término Evaluación de Programas/Proyectos ha sido definido de diferentes formas. La OECD (1998) indica que es una valoración tan sistemática y objetiva como sea posible de un proyecto, programa o política que se está desarrollando o que se ha completado su diseño, implementación y resultados. La evaluación debería brindar por tanto información creíble y útil, posibilitando la incorporación de las lecciones aprendidas en el proceso de toma de decisiones. Rossi y otros (1999) definen la evaluación como un instrumento para estudiar, comprender y ayudar a mejorar los programas en todos sus aspectos importantes, incluyendo el diagnóstico de los problemas a los que se dirigen, su conceptualización y diseño, su implementación y administración, sus resultados y su eficiencia. Más recientemente en ONUSIDA (2003) define el Monitoreo como un rastreo sistemático de los elementos claves del desempeño de un programa/proyecto (aportes, actividades, resultados) y la Evaluación como una valoración episódica del cambio en los resultados propuestos la cual puede ser atribuible o no a la intervención del programa/proyecto Tomando como base estas definiciones se puede definir el Monitoreo y Evaluación como una herramienta fundamental para orientar la toma de decisiones en las diferentes fases de ejecución de los programas o proyectos, desde su concepción y diseño hasta su posterior valoración en términos de logros e impactos. El propósito principal de la evaluación de proyectos es proveer resultados válidos sobre la efectividad de los mismos a aquellas personas que tienen responsabilidades o intereses relacionados con su creación, continuación, mejoramiento o financiamiento. De ahí que resulta una herramienta poderosa, por cuanto ayuda a identificar y corregir errores en la implementación de los proyectos y permite hacer las intervenciones más eficientes y efectivas. Por qué Monitorear y Evaluar un Proyecto? Los Proyectos surgen como alternativa de respuesta a la búsqueda de soluciones para un Problema (En el caso de VIH/sida: disminuir la incidencia de VIH, la mortalidad o la morbilidad por SIDA, etc.) Posibilita identificar y corregir errores en la implementación lo cual permite que las intervenciones sean más eficientes y efectivas Ayuda a mejorar los Proyectos en todos sus aspectos importantes, incluyendo el diagnóstico de los problemas a los que se dirigen, su conceptualización y diseño, su implementación y administración, sus resultados y su eficiencia Permite orientar la toma de decisiones en las diferentes fases de ejecución de los proyectos, desde su concepción y diseño hasta su posterior valoración en términos de logros e impacto Ofrece elementos a los diseñadores y ejecutores que le permiten conocer la viabilidad y efectividad de sus intervenciones Permite presentar a los donantes resultados que evidencien la efectividad de las intervenciones financiadas Permite justificar la solicitud de nuevos fondos para cubrir brechas identificadas La evaluación es una herramienta fundamental para orientar la toma de decisiones 4

6 En general, se pueden distinguir cuatro tipos de evaluación 1 : Evaluación de Proceso o Monitoreo, Evaluación de Resultado-Cambio, Evaluación de Causa-Efecto y Evaluación de Costo- Efectividad. Las evaluaciones se realizan por medio de indicadores claves que se miden con determinada periodicidad en dependencia de la naturaleza de la evaluación y con el propósito de optimizar el uso de los datos. Al comparar el resultado obtenido contra la línea de base (valor del indicador al inicio del Proyecto) y el nivel planeado (la meta) se realiza un juicio valorativo a partir del cual se establecen determinadas conclusiones. Para garantizar la validez de estas interpretaciones, la evaluación debe regirse por criterios de rigurosidad científica para lo cual los evaluadores, encargados de determinar estos valores de la manera más exacta, utilizan teorías, métodos y técnicas especializadas de la estadística y las ciencias sociales que produzcan datos eficaces y de buena calidad que puedan emplearse en la toma de decisiones. En evaluación, la tarea fundamental y quizás la más compleja, sobre todo cuando se trabaja en proyectos nacionales con intervenciones para grupos específicos, es generar información 2 confiable y precisa que pueda emplearse en la planificación basada en pruebas. De ahí que el principal reto de todo evaluador es apoyarse en investigaciones científicas diseñadas rigurosamente de acuerdo a las aperturas por territorios y grupos sociales con que se requiera obtener cada indicador según los objetivos del Programa/Proyecto. Per se, se debe recolectar, analizar e interpretar evidencia empírica que ayuden a interpretar y fundamentar las conclusiones. Entre más sólida sea la evidencia más credibilidad tendrá el juicio evaluativo. A la luz de estos comentarios surge entonces la pregunta: Qué debe hacerse para concebir la evaluación como parte integral de un Proyecto? La respuesta es que habría que definir un Sistema que permita el Monitoreo y Evaluación del Proyecto desde el momento mismo de su concepción. Sistemas de Monitoreo y Evaluación Los Sistemas diseñados para el Monitoreo y Evaluación de Proyectos (ver Gráfico 1) deben integrar en si mismos información detallada de los Proyectos en su conjunto, su marco teórico y marco lógico de resultados, el conjunto de indicadores claves que se empleará para el monitoreo y la evaluación, las unidades de gestión de información, la periodicidad de los reportes, las fuentes de información y metodología que se empleará para obtener cada indicador, así como un plan de diseminación de la información. 1 En la literatura revisada se hace referencia a cuatro tipos de evaluaciones: (1) Evaluación de proceso o monitoreo, (2) Evaluación de Resultado-Cambio, (3) Evaluación de causa-efecto o Evaluación de impacto, (4) Evaluación de costo-efectividad. No obstante en la actualidad se sugiere antes de la concepción de un Proyecto evaluar la necesidad del mismo y la pertinencia de su diseño así como también mantener un sistema de vigilancia de segunda generación que se abordará según el estadio de la epidemia: generalizada, concentrada o de bajo nivel, con el propósito de identificar si las tendencias de la prevalencia del VIH están asociadas a cambios en los comportamientos sexuales. 2 Según múltiples autores: Bertrand J.T., Rossi y ONUSIDA (2003) los gestores de programas/proyectos, han usado los datos generados por el Monitoreo y evaluación para tareas de promoción, generación de recursos o asignación de cambios a intervenciones específicas más que con fines de programación. Por lo que se hace un llamado para que la planificación basada en pruebas se integre plenamente en el diseño de los programas y proyectos de sida. 5

7 Gráfico 1. Sistema de Monitoreo y Evaluación de un Proyecto DESCRIPCIÓN DEL PROYECTO (Necesidad, Objetivos, Poblaciones Metas, Alcance y Duración) MARCO TEÓRICO DEL PROYECTO INSUMOS PROCESOS PRODUCTOS RESULTADO IMPACTO MARCO LÓGICO O MARCO DE RESULTADOS (Apertura o desglose del marco teórico del Proyecto) IDENTIFICACIÓN O CONSTRUCCIÓN DE INDICADORES PARA EL MONITOREO Y EVALUACIÓN (Indicadores de Impacto, Resultados, Productos y Procesos) FUENTES, INSTRUMENTOS Y METODOLOGÍA DE RECOLECCIÓN DE DATOS Monitoreo o Evaluación de Proceso Evaluación de Resultado-Cambio Evaluación de Causa- Efecto Evaluación de Costo-Efectividad PLAN DE DISEMINACIÓN DE LA INFORMACIÓN Fuente: Iglesias M., Mena M. CEPDE/ONE La descripción del proyecto debe ser detallada, de manera tal que pueda realizarse una valoración sobre la pertinencia de cada una de sus partes con la periodicidad que se requiera. Debe contemplar al respecto: 6

8 La necesidad del Proyecto; respecto al problema que persigue resolver o mitigar y respecto a las necesidades particulares de las poblaciones a las que se dirige. Las metas, que reflejen la solución o mitigación del problema que dio origen al proyecto. Los objetivos, vinculados al alcance de la meta y en correspondencia con el tiempo de duración, alcance previsto y los recursos humanos, materiales y financieros disponibles. El alcance territorial y poblacional del Proyecto El período de ejecución El diseño Los actores Las actividades, tareas y el cronograma Financiamiento Requerido Los Proyectos sociales tienen su origen en un marco teórico o conceptual de cómo abordar un determinado problema para ayudar a resolverlo o mitigarlo. Dicho marco conceptual puede ser más o menos extenso y complejo en dependencia de la naturaleza del problema y de los conocimientos empíricos que tengan los diseñadores sobre el mismo. A través de los Proyectos se persigue generalmente, en dependencia del tiempo de duración, de los recursos humanos y materiales, y de los insumos financieros disponibles, abordar un subconjunto de los aspectos que en teoría se conoce o se sospecha conllevan a solucionar el problema que dio origen al mismo. Construidos de esta manera, los proyectos tienen también su propio marco teórico que se traduce para su diseño y seguimiento en un marco lógico de resultados definido por cinco niveles: insumos, procesos, productos, resultado e impacto, bajo el supuesto de que los logros en la consecución de un nivel generen logros en el nivel siguiente. Los Sistemas de Monitoreo y Evaluación y todos los procesos que lo acompañan tienen como base el marco teórico o marco lógico de resultados de los Proyectos. Partiendo del marco teórico y de los objetivos y metas del proyecto, se debe definir el marco lógico o marco de resultados del mismo, es decir, identificar las trayectorias a través de las cuales los insumos del proyecto, producirán productos que favorezcan cambios en las diferentes poblaciones metas. El marco lógico es como la fotografía de un proyecto, ayuda a entender los elementos básicos del mismo y es la base para la selección de los indicadores que serán empleados en el monitoreo y evaluación, y por tanto en medir el cumplimiento de las actividades, los objetivos específicos y el progreso hacia el alcance de la meta u objetivo general. Luego de definido el marco lógico de un Proyecto, se procede a identificar los aspectos que resultan cruciales para el éxito del mismo, y en consecuencia, se seleccionan o construyen dos conjuntos manejables de indicadores. Un primer grupo correspondiente a indicadores de procesos y productos, que permitan darle seguimiento sistemático a los aspectos claves del desempeño y alcance del Proyecto (evaluación de procesos o monitoreo) y un segundo grupo correspondiente a indicadores de resultado e impacto, que permitirán una valoración episódica de los resultados que se esperan alcanzar con la ejecución del Proyecto (evaluación en término de resultado-cambio). 7

9 Los Sistema de Monitoreo y Evaluación también deberán incluir información sobre las fuentes y técnicas que se emplearan para la recolección de los datos sobre cada indicador, la periodicidad con que se realizará cada evaluación, así como un Plan de Diseminación de los principales hallazgos encontrados, de manera que puedan emplearse para orientar las acciones con vista a lograr una mayor eficiencia y efectividad. En lo adelante se explicaran en detalle cada una de las partes fundamentales que integran los Sistemas de Monitoreo y Evaluación. Diseño de los Proyectos. Cualquier evaluación que se vaya a emplear requiere la definición previa de las dimensiones y alcance del Proyecto, de su necesidad, pertinencia y diseño, así como de sus objetivos y metas. Un error en el diseño de los objetivos puede generar desconcierto en la evaluación de la efectividad del Proyecto ya que probablemente los resultados indiquen que no se ha alcanzado el cambio deseado o que en última instancia dicho cambio ocurrió independientemente de la acción del Proyecto. El concepto de valoración de necesidades (needs assessment) es relativamente nuevo, pues los acercamientos más antiguos establecían que la evaluación consistía en comparar los resultados del programa con los objetivos planteados inicialmente. Sin embargo, más recientemente se ha planteado también la importancia de evaluar en sí mismo los objetivos de los proyectos en cuanto a su pertinencia para satisfacer las necesidades de la población beneficiaria y la posibilidad real de alcanzarlos de acuerdo al presupuesto disponible, al diseño y al alcance de las acciones. En el caso de los proyectos cuya finalidad es buscar una aproximación a la solución de un problema de salud, como es el caso de los Proyectos diseñados para la Prevención y Atención del VIH/sida, el análisis de la vigilancia de segunda generación (identificar si las tendencias de la prevalencia del VIH están asociadas a cambios en los comportamientos sexuales) puede servir como punto de partida para valorar las necesidades del Proyecto, aunque sería necesario definir si es suficiente con la información suministrada para establecer que efectivamente se ha hecho una adecuada valoración de necesidades desde el punto de vista de las poblaciones meta. Hay situaciones donde el empleo de técnicas cualitativas como lo es el trabajo con grupos focales puede ser útil para preparar intervenciones locales dirigidas a poblaciones específicas. Los Objetivos de un Proyecto. Errores que ponen en tela de juicio la efectividad de la intervención social En un Proyecto, los objetivos deben definirse sobre bases reales, lo cual conlleva a la reflexión inicial sobre los problemas que se están tratando de prevenir, mitigar o resolver. El Objetivo general será la descripción de lo que el proyecto intenta alcanzar en el largo plazo. Representa la repercusión que se desea tener si se alcanzan los objetivos específicos. Como ejemplos de Objetivos Generales en el Marco de los Proyectos de VIH/sida pudieran mencionarse: Los actores 8

10 Disminuir la prevalencia de VIH en mujeres y hombres jóvenes de años para el año 2015 Prevenir la expansión de VIH a la población general hasta el año 2010 Disminuir el porcentaje de niños nacidos de madres seropositivas al VIH que son seropositivos al VIH Estos objetivos no serán evaluados dentro de los posibles resultados o impacto de un proyecto, salvo que el tiempo de ejecución del Proyecto coincida o supere el plazo fijado para el alcance de los mismos. Sin embargo, el Proyecto será responsable y por tanto deberá evaluar aquellos problemas que se propuso resolver en el corto plazo y por ende en su tiempo de vida; es decir; su o sus objetivos específicos. El objetivo específico es lo que el proyecto planea lograr durante un período de tiempo. Es el logro máximo que el proyecto puede alcanzar con sus recursos propios y actividades propias. Para definir de manera correcta los objetivos específicos de un proyecto será necesario cuestionarse a priori que se quiere cambiar y en que dirección debe darse el cambio para que este sea favorable, en quienes se desea el cambio y en que tiempo. Previo a la definición de los objetivos específicos de un Proyecto valdría la pena detenerse a responder cuatro preguntas esenciales: Qué es lo que el proyecto quiere cambiar?: pudieran ser conocimientos, actitudes, habilidades, motivaciones, prácticas, percepciones, etc. Qué tipo de cambio se espera?; es decir; si una mejoría, disminución, incremento, etc. En qué población se desea el cambio?, pudiera ser en Jóvenes de años de la capital, Hombres que tienen Sexo con otros Hombres y acuden a un determinado sitio de encuentro, etc. En qué tiempo se espera el cambio?, el cual debería estar incluido dentro del tiempo de vida del Proyecto. Una vez identificados con claridad los posibles objetivos específicos de un Proyecto, sería recomendable validarlos antes de darlos por definitivos. Es decir conociendo lo que se desea, se debe establecer que habría que hacer en teoría y por tanto dentro del Proyecto para lograrlo y definir hasta donde se podría llegar haciendo un gran esfuerzo. Un Objetivo Específico debe contemplar todas estas consideraciones. Dado que la lógica detrás de un Proyecto está acompañada de una cadena de cambios, los objetivos específicos deben plantearse en función del logro de los objetivos generales. De igual manera las tareas, actividades o procesos, es decir; las acciones planificadas en el proyecto deberán diseñarse de modo que conduzcan al alcance de los objetivos específicos (Ver ejemplo en Grafico 2). Ello es lo que se conoce como Marco Lógico de un Proyecto. 9

11 Grafico 2. Ejemplo de lo que pudieran ser Actividades y Objetivos dentro de un Proyecto Aumentar en los jóvenes el uso del condón en las relaciones sexuales Disminuir las falsas creencias en torno al uso del condón en los Jóvenes de 15 a 24 años que viven en la Habana Vieja Objetivo General Incrementar la percepción de riesgo de infección por VIH en los Jóvenes de 15 a 24 años que viven en la Habana Vieja Objetivos Específicos Realización de secciones de Teatro Espontáneo en el municipio Habana Vieja diseñadas para sensibilizar a los jóvenes con el tema del VIH/sida y promover el uso del condón. Realización de videos debates donde se aborde el tema de la exposición al riesgo de infección por VIH Realización de juegos de acertijos sobre las creencias respecto al VIH y uso del condón Elaboración y distribución de plegables, sueltos y folletos donde se aborden temas vinculados a la prevención y exposición al riesgo Actividades Fuente: Iglesias M., Mena M. CEPDE/ONE Marco Lógico de Resultados o Marco Conceptual de un Proyecto Una vez identificados los objetivos y las actividades dentro de un Proyecto es necesario construir el Marco Lógico del Proyecto, es decir ilustrar las rutas o caminos que deberán seguir los insumos del Proyecto para lograr el alcance de los objetivos que se ha fijado. Rossi y otros (op cit) lo definen más específicamente como el conjunto de supuestos sobre la forma en que el proyecto provoca los beneficios que se espera que produzca, incluyendo las estrategias y tácticas que ha adoptado para lograr sus metas y objetivos. El Marco Lógico (Ver ejemplo en Gráfico No 3) es la base para seleccionar los indicadores que se emplearán en el Monitoreo y Evaluación del Proyecto y una herramienta indispensable para la 10

12 evaluación del impacto ya que describe una secuencia de causa-efecto en la cual ciertas actividades del programa son las causas instigadoras y ciertos beneficios sociales son los efectos que se espera se produzcan al final. Grafico 3. Ejemplo de Marco Lógico de un Proyecto Proyecto definido con las siguientes características: Objetivo General: Reducir la morbilidad asociada al VIH/sida Objetivo Específico: Aumentar en las Personas con VIH (PVS) la satisfacción con la Atención Médica recibida en los Servicios de Salud. INSUMOS PROCESOS PRODUCTOS RESULTADO IMPACTO Presupuesto Capacidades Técnicas Servicios de salud Equipo Gestor capacitado Identificadas las razones por las cuales las PVS no se sienten satisfechas con la atención que reciben del personal de salud. Realización de talleres de Capacitación al personal de salud en temas relacionados con el VIH/sida Elaboración y Distribución de Manual Metodológico sobre VIH/sida dirigido al personal de Salud Fuente: Iglesias M., Mena M. CEPDE/ONE Personal de Salud Capacitado Personal de salud que recibe el manual Aumento en el Número y Por ciento de PVS que se sienten satisfechas con la Atención que reciben en los servicios de salud Reducción de morbilidad asociada al VIH/sida La importancia de disponer de un marco lógico para el Monitoreo y Evaluación de los Proyectos ha conducido a que este concepto se haya incorporado recientemente de manera explícita a la teoría y práctica de la evaluación, aunque según Rossi y otros (op cit) ya desde los años 70 varios autores líderes en este campo reconocieron y discutieron la importancia de nociones similares empleando diferentes terminologías como por ejemplo: model logic (modelo lógico o lógica del modelo), program logic (lógica del programa), causal logic (lógica causal), línea de resultados, mapa causal y también de theory driven evaluation (evaluación dirigida por la teoría). Lo cierto es que en ocasiones el Marco Lógico de Resultados de un Proyecto no ha sido articulado de antemano por los diseñadores o ejecutores del proyecto, en cuyo caso es tarea de los evaluadores hacerlo explícito para evitar lo que se conoce como evaluación de caja negra ; es decir; evaluar por intuición, lo cual limitaría más tarde la medición del impacto del Proyecto. Parece oportuno señalar que en la construcción del Marco Lógico de Resultados de un Proyecto será necesario tener en cuenta el Plan de acción del Proyecto y un cronograma para el cumplimiento del mismo dentro del tiempo de vida del proyecto. Este Cronograma será la base para realizar el Monitoreo. 11

13 Los Indicadores Los indicadores son mediciones cuantitativas o cualitativas que sirven para describir un comportamiento, concepto, fenómeno, o sencillamente el funcionamiento de los distintos aspectos de un determinado proyecto: los insumos, los procesos, los productos, los resultados y el impacto. En consecuencia se expresan por medio de un número absoluto, un porcentaje, una tasa, un promedio, un rango o una expresión de si/no generalmente asociada a la presencia o ausencia de un acontecimiento. Los indicadores son los instrumentos que se emplean para medir los Progresos de un Proyecto. Sin embargo, considerando que no es práctico realizar una evaluación detallada de todos los aspectos del proyecto, a partir de su marco lógico de resultado, que ilustra lo que el Proyecto se propone hacer para lograr sus Objetivos, se identificaran los aspectos claves para el éxito del mismo y a partir de ahí se definirá el conjunto manejable de indicadores que se empleará en el Monitoreo y los que se usarán para Evaluar el Proyecto. Es válido señalar que no todas las mediciones pueden ser consideradas como buenos indicadores de monitoreo y evaluación de proyectos, ya que para ello se requiere que tengan las siguientes características: que sean pertinentes al proyecto aplicables en el contexto del país posibles de obtener fáciles de interpretar capaces de detectar cambios a lo largo del tiempo Para que los indicadores sean capaces de detectar cambios a lo largo del tiempo es requisito que tengan información de referencia tomada antes de la intervención. La información de referencia en los indicadores, también conocida como línea de base, es el resultado de la medición de los mismos antes de la intervención. Este dato resulta importante por cuanto representa la base para determinar si después de transcurrir un tiempo de ejecución del Proyecto se obtuvo un avance. Si no fuera posible disponer de información sobre el indicador antes de la intervención (y fuera importante incluirlo dentro de los seleccionados para la evaluación por no haber otro sustituto en importancia con información) entonces se recomienda, medirlo al inicio del proyecto. Si no fuera posible medirlo en un principio entonces una opción sería estimarlo a criterio de expertos, fijarse una meta de logros, y en el plazo de tiempo establecido para la medición evaluar el cumplimiento de esta meta y, si procede, sustituirla para el futuro. Al definir los indicadores que se emplearán en el Monitoreo y Evaluación de un Proyecto es importante tener en cuenta que se debe incluir por lo menos un indicador para cada elemento del Marco Conceptual del Proyecto, pero además uno por cada objetivo especifico definido. A medida que se va avanzando hacia los resultados van disminuyendo los indicadores requeridos (Ver Gráfico 4), lo cual pudiera reflejarse en forma piramidal. 12

14 Grafico 4. Grupos de Indicadores que se deben definir para la Evaluación de un Proyecto Indicadores para Evaluar el alcance del Objetivo General Indicadores para Evaluar el alcance de los Objetivos Específicos Indicadores para Evaluar los Productos Alcanzados con el Proyecto (Monitoreo) Indicadores para Evaluar los Insumos, los Procesos o el desempeño del Proyecto (Monitoreo) Fuente: Iglesias M., Mena M. CEPDE/ONE. A la hora de simplificar el número de indicadores debe tenerse en cuenta que todas las tareas inscritas en los Proyectos deben estar agrupadas en los indicadores y que cada tarea, con el respectivo presupuesto asignado tributará a uno y solo un indicador. Los indicadores elegidos deberán ser capaces de detectar cambios en las áreas en que el Proyecto este trabajando. De ahí que como primer paso de la Evaluación de un Proyecto se deberán medir los indicadores identificados para el Monitoreo de los Insumos, Procesos y Productos. Mientras estos no cambien no podrá atribuirse el logro de un determinado resultado a las actividades desarrolladas por el Proyecto. Pero además habría que tener en cuenta los costos de obtención de los datos para medir cada grupo de indicador identificado. Las fuentes de obtención de información para los indicadores de insumos, procesos y productos por lo general se encuentran en los registros de los Proyectos y por tanto la medición se realiza a un bajo costo. Para medir los indicadores de resultado o impacto los datos requeridos se obtienen por medio de Encuestas, sistemas de Vigilancia o estudios con base en la población, todo lo cual complejiza las mediciones y eleva los presupuestos. Todos estos precedentes unidos al Cronograma o Plan de acción de los Proyectos, deberán valorarse al definir la periodicidad con que se realizaran las evaluaciones de los indicadores, en correspondencia con lo cual se fijarán las metas que deben alcanzar para el cierre de cada periodo establecido. Sin embargo al establecer los intervalos evaluativos no se debe perder de vista que el seguimiento de los indicadores a lo largo del tiempo servirá a los gerentes de Proyectos para reorientar el trabajo si fuera necesario, revelar el cumplimiento y alcance que han tenido las acciones del Proyecto, mostrar los resultados alcanzados, exhibir el grado de éxito de las acciones en relación con el alcance de los resultados/metas, manifestar/convencer sobre la necesidad de que se generen nuevos fondos para darle continuidad o extender el alcance del Proyecto. 13

15 Evaluación de Proceso o Monitoreo del Proyecto La Evaluación de Proceso, también conocida como Monitoreo de un Proyecto consiste en realizar un seguimiento continuo a las acciones desarrolladas por el proyecto, con el propósito de conocer como se han estado ejecutando o implementando. Esta revisión sistemática sobre el desempeño del Proyecto se realiza regularmente para guiar y de ser necesario, corregir su desarrollo. Su objetivo fundamental es el mejoramiento, ya que permitirá conocer con determinada periodicidad cuánto se ha hecho?, qué se está haciendo?, qué tan bien se ha hecho o se está haciendo? cómo podría mejorarse? qué no debería continuarse haciendo? o sencillamente ayudará a identificar donde se encuentran los obstáculos que interfieren el buen desarrollo del Proyecto. Dicha revisión se hará sobre el terreno o a nivel de gabinete a partir del seguimiento a aquellos indicadores de proceso o producto que se hayan seleccionado previamente para tales fines bajo el entendido de que resultan cruciales para el éxito del Proyecto (Ver ejemplo de estos indicadores en el Cuadro 1). Si al transcurrir un tiempo preestablecido los resultados de la medición de algún indicador muestran un desbalance en relación con las metas fijadas para el cierre de ese período, ello sugerirá revisar el desempeño del Proyecto, ayudará a identificar que aspectos requieren de una mayor atención y conllevará a la búsqueda oportuna de soluciones conjuntas que contribuyan a mejorar la respuesta. Cuadro 1. Ejemplo de indicadores de Proceso o Producto incluidos en el marco de Desempeño de un Proyecto. Desarrollados a partir del Marco Lógico que aparece en el Gráfico No 3 ACTIVIDADES 1) Realización de talleres de Capacitación al personal de salud en temas relacionados con el VIH/SIDA 2) Elaboración y Distribución de Manual Metodológico sobre VIH/SIDA dirigido al personal de Salud INDICADORES Número de talleres de Capacitación al personal de salud en temas relacionados con el VIH/SIDA realizados (Ind. de Proceso) Números de personal de la salud que ha recibido capacitación en los talleres (Ind. de Producto) Número de Manuales Metodológicos sobre VIH/SIDA dirigido al personal de Salud, elaborados, reproducidos y distribuidos al personal de salud (Ind. de Proceso) Fuente: Iglesias M., Mena M. CEPDE/ONE. LÍNEA DE BASE 2 talleres, personas capacitadas 0 METAS FUENTE FRECUENCIA 6 talleres trimestrales con 50 especialistas capacitados en cada uno. 300 especialistas capacitados al cierre de cada trimestre. 1 Manual Metodológicos sobre VIH/SIDA dirigido al personal de Salud elaborado, reproducciones distribuidas entre todos los hospitales Estadísticas del Ministerio de Salud. Programa y relatoría de los talleres. Estadísticas del Ministerio de Salud Reportes provinciales, listado de participantes en los talleres. Informe de resultados de los pre y post test Evidencia del Manual, facturas de imprentas y lista de distribución trimestral trimestral Deberá estar cumplido al cierre del Trimestre. Ahora bien, no debe perderse de vista que el alcance de las acciones del Monitoreo va más allá del simple seguimiento a los indicadores. Estos solo alertan sobre una mejora, estancamiento o retardo en el cumplimiento de las actividades planificadas, pero no ofrecen referencia sobre la 14

16 calidad con que se desarrollaron las mismas. Para ello se requiere del empleo de otras técnicas como por ejemplo, la aplicación de pre test y post test en las capacitaciones, encuestas de evaluación de los manuales que permitan obtener un diagnóstico en cuanto a gusto, aceptación, acertividad, alcance, evaluaciones a los servicios, etc. Por ejemplo, pudiera ser que al evaluar al cierre del trimestre los dos indicadores que aparecen en el cuadro 1 asociados a la actividad 1, el resultado de la medición indique que se cumplieron las metas fijadas, es decir que se desarrollaron todos los talleres y se capacitó a todo el personal que estaba previsto. Este resultado sugiere pensar que se esta avanzando bien, pero sería muy ingenuo no indagar acerca de la calidad con que se desarrolló la capacitación y los resultados de la misma. El empleo de pre test y post test es una de las técnicas más empleadas para evaluar las capacitaciones. Por un lado permite identificar previo a la capacitación las principales brechas que tienen los asistentes sobre la materia a impartir y realizar un mayor hincapié en aquellos temas donde se hayan detectado mayores lagunas de conocimiento, y por otro, evaluar si al finalizar los talleres se alcanzaron los objetivos establecidos en el programa de capacitación. La información generada por el Monitoreo deberá emplearse en mejorar el diseño de las intervenciones futuras ya que puede aplicarse de forma inmediata y oportuna para corregir las debilidades. Evaluación Resultado Cambio La Evaluación de Resultado-Cambio se define como una Evaluación episódica encaminada a medir si se logra en la población meta el cambio deseado. Este tipo de evaluación solo permite medir la dirección y magnitud del cambio, es decir sacar conclusiones sobre cuanto aumentó o disminuyó el indicador en relación con la línea de base, o cuanto se aproximó a la meta, pero aunque pudiera suponerse que el cambio en el indicador de resultado está asociado a las acciones del proyecto, las características del diseño de una evaluación de resultados no permiten aseverar esta hipótesis. Por su propia definición estas evaluaciones resultan más costosas que las evaluaciones de proceso. Las mediciones de los indicadores diseñados para evaluar resultados se obtienen por medio de Encuestas o Estudios cuyo alcance deberá coincidir con el alcance del Proyecto. Aquí valdría la pena detenerse para precisar que los indicadores para evaluar resultados deben estar elaborados en función de medir el alcance de los Objetivos de un Proyecto. Dos errores que se observan con relativa frecuencia en las evaluaciones de resultados de los Proyectos son: (1) que se definen para tales propósitos indicadores asociados al cumplimiento de actividades del Proyecto como por ejemplo: Número de talleres realizados, Número de puesta en escena de una obra. (2) que se definen para evaluar resultados de un Proyecto indicadores que no guardan relación con lo que el Proyecto por su naturaleza puede alcanzar. De ahí la importancia de definir claramente lo que se propone el Proyecto. Suponiendo que se han definido bien los objetivos del Proyecto y que se dispone de indicadores adecuados para evaluar resultados, entonces habría que analizar si se cuenta con los recursos requeridos para tales fines. 15

17 Para evaluar cambios en la población en cuanto a actitudes, conocimientos, habilidades, percepciones, motivaciones, creencias, comportamientos, que son algunos de los principales objetivos de los Proyectos sociales y en especial de los relacionados con el VIH, se requiere disponer de muestras representativas de las poblaciones en estudio. Estas muestras deberán ser diseñadas con todo rigor y lo suficientemente grandes para que las estimaciones de los indicadores sean aceptables. Mientras mayor sea el alcance de los proyectos, más sensibles sean los indicadores a evaluar y mayor desglose se desee de los resultados, entonces mayor será el tamaño de muestra requerido para garantizar la validez de los datos. Otra característica que encarece este tipo de evaluaciones es la complejidad de los instrumentos de medición, los cuestionarios, que deben sustentar sus preguntas en estándares internacionales adaptados a los contextos nacionales/locales. Habría que agregar los costos de los procesos de recogida, procesamiento y validación de los datos que se empleen para obtener resultados acerca de la magnitud y dirección del cambio que se desea evaluar, todo lo cual conlleva además a disponer de personal capacitado para realizar estos procesos. Ante la imposibilidad financiera de algunos proyectos para asumir estas acciones, el desconocimiento de tales exigencias y el deseo de evaluar si se alcanzaron los objetivos de un Proyecto, o establecer una Línea de Base, un error que con frecuencia se observa es que las indagaciones se realizan sobre pequeños grupos poblacionales o solo en determinadas áreas o sitios centinela que no cubren el alcance del Proyecto. Ello no sería tan grave si no fuera porque en ocasiones se sacan conclusiones o se generalizan los resultados sin tener en cuenta que estos son válidos únicamente en el marco local de los lugares y personas estudiadas. Es recomendable que cuando no se disponga de recursos propios, la evaluación de resultado de los Proyectos, sobre todo de aquellos que tienen alcance nacional o territorial se inserte dentro de las Encuestas Nacionales sobre indicadores de Prevención de infección por el VIH/SIDA, diseñadas para evaluar los Programas Nacionales de SIDA, o que se incluya un modulo de SIDA en las Encuestas Demográficas de Salud (EDS), que también se levantan periódicamente en algunos países del área. Para lograrlo habría que tener en cuenta programar las fechas de evaluación de los Proyectos de forma tal que coincidan con las fechas de levantamiento de estas Encuestas, y realizar las coordinaciones pertinentes para garantizar la inclusión en las mismas de aquellas preguntas que permitan obtener los indicadores que se definan. Evaluación de Causa Efecto o del Impacto del Proyecto La Evaluación de Causa-Efecto, también identificada como Evaluación Sumativa o Evaluación del Impacto del Proyecto es una evaluación que se realiza con determinada periodicidad con el propósito de medir si los resultados alcanzados son atribuibles a la intervención del proyecto, si el proyecto contribuyó a su alcance en alguna medida, o si acontecieron únicamente como resultado de otras acciones o factores independientes al proyecto. Habría que hacer una pausa y esclarecer que el efecto/impacto del Proyecto solo tiene sentido evaluarlo o medirlo sobre los resultados que se esperan alcanzar con el Proyecto durante su tiempo de vida (sus objetivos), los cuales de acuerdo al diseño, duración y dimensiones del Proyecto no tienen porque coincidir con solucionar el problema que dio origen al mismo, y sí con el alcance de etapas o cambios intermedios que se suponen actúen como trampolín para lograrlo. La evaluación de impacto es un concepto muy utilizado entre los clientes de evaluaciones, aunque es empleado en ocasiones con poco rigor. Realizar una evaluación de impacto o de causa-efecto, implica establecer evidencias de que existe una relación causal entre las 16

18 actividades realizadas por el proyecto y los resultados alcanzados. Puede entonces definirse como un conjunto de acciones que tienen por finalidad, probar si el resultado alcanzado (el cambio) en el indicador creado para evaluar el logro de los objetivos del Proyecto, puede ser atribuido al propio proyecto y en que medida. Requiere por tanto el empleo de técnicas que permitan controlar el efecto de las variables confusoras o terceras variables, que son aquellos otros factores que pueden afectar los resultados esperados y que no tienen que ver con las acciones del proyecto. En el Grafico No 5, se ilustra cual sería el efecto o impacto de un Proyecto en el logro de un determinado resultado que se ha probado tuvo relación con las acciones desarrolladas por el mismo. El impacto se mide cuantificando la diferencia entre el resultado alcanzado en un indicador con la implementación del Proyecto, y el resultado que se hubiera alcanzado en ese mismo indicador si el Proyecto no se hubiera ejecutado. Grafico 5. Esquema de lo que se define por efecto de un Proyecto Comportamiento de un indicador de resultado según Exposición de las Personas a un determinado Proyecto Tiempo Resultado del indicador CON el Proyecto Impacto del Proyecto Línea de Base o Resultado del Indicador al inicio del Proyecto Resultado del indicador SI NO hubiera existido el Proyecto (Contrafáctico) Punto medio o fin del Proyecto Fuente: Iglesias M., Mena M. CEPDE/ONE. Atendiendo a que por lo general, en los resultados de un Proyecto influyen factores exógenos al mismo, para realizar evaluaciones que prueben que el Proyecto tuvo un efecto en los resultados alcanzados, y que permitan cuantificar dicho impacto, se requiere contar con diseños metodológicos que permitan controlar estos factores, medir la exposición de las personas al Proyecto y aproximarse a establecer evidencias del grado de relación causal entre los resultados alcanzados y el proyecto. La Evaluación de Impacto se apoya básicamente en el modelo clásico de Diseño Experimental. Tradicionalmente los experimentos y los cuasi-experimentos eran los diseños recomendados para tales fines, ya que en ambos se emplean variables controles o placebos para evaluar los experimentos. Sin embargo, dado que no todos los proyectos soportan el empleo de estas técnicas, recientemente han aparecido alternativas metodológicas 3 que permiten por medio de 3 La Evaluación de Impacto se apoya básicamente en el modelo clásico de Diseño Experimental, aunque también puede realizarse por medio de modelos de regresión (lineal, logit, probit, multi-logit, en dependencia de la naturaleza de la variable dependiente: continua, dicotómica o politómica), modelos de regresión multinivel o estudios longitudinales. (Taller de Evaluación de Impacto de Programas Sociales, desarrollado en el Centro Centroamericano de Población de Costa Rica,). Año

19 modelos estadísticos estimar esa relación causal tomando como base encuestas a la población (Ángeles & Mroz, 2001). En proyectos de gran cobertura y amplio alcance, para estimar una relación causal se recomiendan los estudios longitudinales o estudios transversales con muestras representativas de las poblaciones en estudio, y el empleo de modelos estadísticos, que permitan controlar terceras variables. Puede en estos casos realizarse por medio de modelos de regresión (lineal, logit, probit, multi-logit, en dependencia de la naturaleza de la variable dependiente: continua, dicotómica o politómica) o modelos de regresión multinivel. Se relacionan a continuación a modo de ejemplo, los pasos que se sugiere seguir para medir el impacto de un Proyecto sobre VIH con alcance y cobertura nacional que tiene como objetivo incrementar el uso del condón en determinado grupo poblacional. Vale señalar que este procedimiento es válido para medir el efecto/impacto de cualquier Proyecto social de gran alcance y cobertura, sobre el logro de objetivos relacionados con cambios de comportamientos, conocimientos, aptitudes, creencias. En un Proyecto social con alcance y cobertura nacional no es posible emplear un diseño experimental, por tanto habría que emplear otra técnica que permita medir el nivel de exposición al Proyecto que tuvo la población, construir una post estratificación según niveles de exposición al Proyecto y comparar los resultados alcanzados en los distintitos estratos. 1-En el diseño del cuestionario que se emplee para evaluar los resultados del Proyecto, se incorporaran disímiles preguntas asociadas a las actividades del Proyecto, que permitan conocer si la persona ha sido beneficiaria o no de estas acciones. Esta será la base para construir los estratos según la Exposición de las personas al Proyecto. 2-Las preguntas incluidas en el cuestionario admitirán alternativas de respuesta de si, no, verdadero, falso, no sabe/ no responde. Luego, en la base de datos de la Encuesta, las respuestas que indican exposición al proyecto se recodificarán con 1 y las que no indican exposición al proyecto (incluyendo no sabe/no responde ), se codificaran con cero. 3-A partir de las preguntas del cuestionario que recogen la exposición al proyecto con sus respuestas recodificadas, se creará y validará un constructo o un índice sintético, que resuma en sí mismo la información de todas las preguntas, para lo cual: 4-A partir de las respuestas recodificadas, se aplicará la técnica de análisis factorial con el propósito de resumir la realidad multidimensional observada a un grupo reducido de factores y, una vez formados los factores, se le aplicará la técnica de las K-medias para clasificar a las personas según el grado de exposición al proyecto en tres niveles: alta exposición, media y baja exposición. La variable resultante de la aplicación de la técnica de las K-medias se denominará Exposición al Proyecto y se incluirá dentro de la base de datos como una variable categórica con tres valores. Se asignará el valor 1 a todos los individuos que clasificaron con alta exposición, el valor 2 a los que clasificaron con niveles de exposición media y valor 3 a los que clasificaron con Baja exposición. 18

20 Esta variable a su vez se convertirá en una variable dummy o indicadora, que da origen a dos nuevas variables que serán las introducidas en el modelo de regresión. Las nuevas variables serán: Alta Exposición al Proyecto y Exposición Media al Proyecto. La variable Alta Exposición al Proyecto se construye asignándole el valor 1, si la persona clasifica con valor 1 dentro de la variable categórica Exposición al Proyecto y el valor 0 en caso contrario. La variable Exposición Media al Proyecto se define asignándole el valor 1, si la persona clasifica con valor 2 dentro de la variable categórica Exposición al Proyecto y el valor 0 en caso contrario. El grupo control se forma con las personas con baja o nula exposición al Proyecto, es decir cuando la variable exposición al Proyecto toma el valor 3. 5-Se aplicará un modelo de regresión logística tomando como variable dependiente el Uso del condón y como variables independientes todas aquellas que según el marco conceptual incidían en su uso, más otras variables confusoras y la variable Exposición al Proyecto. Y, variable dependiente Uso del condón Xn X 1 X 5 Exposición al Proyecto X 2 X3 X 4 6- Controlando variables dentro del modelo será posible conocer si la variable Exposición al Proyecto incide sobre el uso del condón, es decir será posible evaluar si las acciones del Proyecto tuvieron un efecto sobre el resultado alcanzado 7- Realizando simulaciones, podrá estimarse la proporción de usuarios dentro de las personas con niveles de exposición al Proyecto alta, media o baja y medir el efecto que tuvo el Proyecto sobre el uso del condón. Evaluación de Costo-efectividad La Evaluación de Costo-Efectividad se realiza con el propósito de evaluar la rentabilidad de los Proyectos en el alcance de los resultados. Los métodos tradicionales, costo-beneficio, para la valoración económica de los programas de desarrollo, incluyendo salud y educación, han sido criticados, pues muchas veces es difícil o imposible asignar valores monetarios a resultados que tienen que ver con condiciones de salud y calidad de vida. Los métodos de costo-efectividad miden los resultados en términos no monetarios, pero en todo caso la valoración económica de los programas y proyectos asociados a sistemas de salud sigue siendo tema de intenso debate entre los economistas. 19

21 Uso complementario de métodos cualitativos y cuantitativos para el Monitoreo y Evaluación de Proyectos. En la actualidad para la evaluación de programas parece que se ha llegado a un consenso en cuanto a la necesidad de utilizar conjuntamente los métodos y técnicas cuantitativas y cualitativas. Las evaluaciones suelen ser más comprensivas y más útiles cuando se utiliza un enfoque complementario. Se trata, evidentemente, de conocer las bondades y limitaciones de cada uno y usar aquel o aquellos que más se ajusten al tipo de pregunta específica que se quiera contestar. Los métodos cuantitativos, por ejemplo, ofrecen herramientas para generalizar las conclusiones hacia poblaciones mayores y para medir productos y resultados. Los métodos cualitativos, por su parte, dado su acercamiento más intimista y profundo, son más indicados para explicar y documentar los procesos y para elaborar hipótesis acerca de por qué funcionan o no funcionan los programas o proyectos. Plan de Diseminación de la información Un aspecto que resulta indispensable para hacer de la evaluación una adecuada herramienta en la toma de decisiones es la planificación de espacios y mecanismos que garanticen compartir la información sobre la marcha del Proyecto y el alcance de sus objetivos, entre todos los actores, especialistas e instituciones involucradas de una forma u otra con su ejecución exitosa. Estos intercambios incluyen también la presentación de los resultados parciales y finales, así como de la evaluación del efecto que tuvo el proyecto en el alcance de los mismos. El compartir información de manera periódica sobre los resultados del Monitoreo y Evaluación de un Proyecto posibilitará identificar barreras en el trabajo, intercambiar lecciones aprendidas y encontrar soluciones conjuntas adoptando para ello las modificaciones necesarias antes de la culminación del Proyecto. La creación y el acceso a bases de datos que incorporen variados aspectos relacionados con el Proyecto favorecerán estos propósitos. La forma en que se comunicarán los resultados estará en dependencia de la audiencia y del mensaje que se quiera transmitir. En la actualidad, para facilitar el intercambio de información se han incorporado los avances tecnológicos, destacándose entre ellos el acceso en línea o vía redes a bases de datos relacionales, las presentaciones en Power Point, las multimedias, los métodos gráficos y los Sistemas de Información Geográficos (SIG). Parece claro que la incorporación de estas nuevas tecnologías ayudará a lograr que la evaluación se vuelva un componente regular de la ejecución de los proyectos, y que más audiencias tengan acceso a información generada con propósitos evaluativos. Especialmente la comunicación en línea permite que todo el proceso de recolección y análisis se pueda realizar de manera ágil y oportuna. 20