LECCIONES APRENDIDAS DEL PROCESO DE MONITOREO & EVALUACION PROYECTO MALARIA COLOMBIA

Transcripción

1 LECCIONES APRENDIDAS DEL PROCESO DE MONITOREO & EVALUACION PROYECTO MALARIA COLOMBIA Abril 2014

2 CONTENIDO INTRODUCCION... 3 SECCION 1:... 4 OBJETIVOS Y RESULTADOS OBJETIVOS DEL PROYECTO MALARIA COLOMBIA AMBITO PROYECTO MALARIA RESULTADOS DEL PROYECTO MALARIA... 9 SECCION 2: LECCIONES APRENDIDAS DEL PROCESO DE MYE ESTRUCTURA DE M&E RECURSOS HUMANOS PARA M&E PLAN DE M&E CONTROL DE CALIDAD, RETROALIMENTACION Y VERIFICACION DE DATOS USO DE INFORMACION PARA TOMA DE DECISIONES Y RENDICION DE CUENTAS FORTALECIMIENTO A SISTEMA DE INFORMACION OFICIAL EVALUACION DE EFECTOS COMUNICACIÓN Y CULTURA DE M&E ASOCIACIONES PARA PLANIFICAR Y ADMINISTRAR EL PROCESO M&E METODOLOGIAS MONITOREO MTI Y ESTRATEGIA COMBI CONCLUSIONES BIBLIOGRAFIA Página 2 de 24

3 INTRODUCCION El Proyecto Uso de la inteligencia epidemiológica con participación social, para fortalecer la gestión del programa, mejorar el acceso al diagnostico y tratamiento y ejecutar intervenciones eficaces para la prevención y control de la malaria - Proyecto Malaria Colombia- aprobado y financiado por el Fondo Mundial de Lucha contra el VIH/SIDA, la Tuberculosis y la Malaria (FM), es una iniciativa que pretende fortalecer al Programa Nacional de Prevención y Control de la Malaria en sus componentes de: 1) acceso al diagnóstico oportuno y al tratamiento adecuado; 2) implementación de la protección personal y comunitaria con Toldillos Insecticida de Larga Duración (TILD); 3) manejo de información para facilitar la toma de decisiones basadas en evidencia; y, 4) comunicación y movilización social para favorecer la participación comunitaria en la lucha contra la malaria. El Proyecto Malaria Colombia tiene cinco años de duración. La primera fase del Proyecto Malaria Colombia empezó el 1 de marzo del 2010 hasta el 28 febrero del 2012; posteriormente se negoció y aprobó su fase II del 1 marzo 2012 al 28 febrero del El Proyecto Malaria Colombia para medir y controlar los componentes mencionados ha implementado un proceso de Monitoreo y Evaluación como herramienta de gestión y con responsables de esta actividad; el cual ha generado una gran cantidad de información, complementaria a aquella que regularmente produce el Programa de ETV. El Proyecto Malaria Colombia fue concebido para 5 años de duración, por tanto su ejecución termina el febrero 2015, para lo cual los Receptores Principales deben prepararse y programar diferentes actividades para el cierre. Con los antecedentes mencionados, el Fondo Financiero de Proyectos de Desarrollo FONADE, Receptor Principal del Gobierno como parte de su programación en Fase 2 incluyó una consultoría para sistematizar las lecciones aprendidas del proceso de Monitoreo y Evaluación, con el objetivo de compartir los logros y dificultades que se presentaron durante la implementación del proceso de M&E; los cuales se considera serían un insumo para el Plan de M&E de la Estrategia del Programa Nacional de Control de ETV que se está elaborando durante el año El presente documento describe en sus primeras secciones al proyecto Malaria Colombia, presenta sus resultados alcanzados al año 4 de ejecución y sistematiza las lecciones aprendidas por componente implementado de M&E. La metodología para levantar las lecciones aprendidas se realizó en base a información secundaria, taller con actores claves realizado el 8 abril del 2014 y recolección información en entrevistas a nivel de departamentos. Se aspira mediante el presente documento, socializar los aprendizajes generados en el proceso de M&E del Proyecto Malaria Colombia y ser un insumo para aquellas entidades que están arrancando con la implementación de dicho proceso. Página 3 de 24

4 SECCION 1: OBJETIVOS Y RESULTADOS Obj 1: Incrementar el acceso al diagnóstico oportuno y tratamiento adecuado OBJETIVOS Obj 4: Diseñar e implementar planes de comunicación y moviliza. social Disminuir en un 40% la morbilidad y en 95% La mortalidad por malaria Obj 2: Implementar la protección con mosquiteros tratados de larga duración Obj 3: Implementar y sostener el subsistema de información y gestión inteligente Página 4 de 24

5 En el año 2008, Colombia, a través del Mecanismo Coordinador de País presentó una propuesta al Fondo Mundial en su Octava Ronda solicitando recursos para desarrollar el proyecto Uso de la inteligencia epidemiológica con participación social, para fortalecer la gestión del programa, mejorar el acceso al diagnóstico y tratamiento y ejecutar intervenciones eficaces para la prevención y control de la malaria. Al finalizar ese año, el Fondo Mundial notificó al Mecanismo sobre la aceptación de la propuesta. Durante el año 2009 se realizaron las negociaciones con el Fondo Mundial y finalmente el 1 de marzo del 2010 inició el Proyecto Malaria Colombia. El Proyecto Malaria Colombia tiene una duración de cinco años. La primera fase del Proyecto Malaria Colombia empezó el 1 de marzo del 2010 hasta el 28 febrero del 2012; posteriormente se negoció y aprobó su fase II del 1 marzo 2012 al 28 febrero del OBJETIVOS DEL PROYECTO MALARIA COLOMBIA EL Proyecto Malaria Colombia se formuló para fortalecer la capacidad técnico administrativa a nivel local y nacional, generando una cultura de la planeación estratégica e incorporando la inteligencia epidemiológica con participación ciudadana de las poblaciones afectadas para lograr, reducir la morbilidad al menos en un cuarenta por ciento (40%) y la mortalidad al menos en un 95%. La estrategia planteada se centró en implementar una gestión inteligente para la toma de decisiones en prevención y control de la malaria, utilizando intervenciones específicas de alto impacto. Para garantizar la efectividad de las intervenciones se conformó equipos de trabajo multidisciplinarios que se articularon con los recursos humanos del programa nacional y con presencia permanente a nivel departamental y municipal para mejorar la cobertura, calidad y análisis de información, toma oportuna de decisiones y realizar adecuada supervisión y evaluación, con énfasis en el nivel local. Los Objetivos del Proyecto y sus principales actividades son: OBJETIVO 1: Incrementar el acceso el acceso al diagnóstico oportuno y al tratamiento adecuado, seguro y eficaz para la malaria Fortalecimiento de gestión de la calidad diagnóstico. Ampliación de cobertura red de microscopía. Capacitación - Certificación de microscopistas en competencias con el SENA Gestión de antimalárico. Capacitación de 120 Agentes Comunitarios Farmacovigilancia Página 5 de 24

6 OBJETIVO 2: Implementar la Protección con Toldillos Tratados con Insecticidas de Larga Duración (TILD) Intervención con mosquiteros tratados con insecticida de larga duración. Evaluación de resistencia a los insecticidas en poblaciones locales de vectores Evaluación de residualidad a insecticidas en mosquiteros. Formación y Certificación de Técnicos de ETV en Normas de Competencia Laboral con el SENA. Fortalecimiento de la Red de Entomología. OBJETIVO 3: Implementar y Sostener el Sub-Sistema de Información y Gestión Inteligente para la toma de decisiones a través del fortalecimiento del nivel local Adecuación de la red informática de municipios y departamentos. Implementación del subsistema de información del proyecto articulado con el Programa de Malaria. Capacitación a municipios en el subsistema de información y análisis epidemiológico. Fortalecimiento de sala situacional a nivel departamental y municipal. Mejoramiento del reporte y notificación oportuna de malaria OBJETIVO 4: Diseñar e Implementar planes de Comunicación y Movilización Social Socialización y gestión del proyecto. Investigación formativa y participativa, Línea de Base del Proyecto. Estrategia de Información, Educación, Comunicación. Planes de Comunicación y Movilización Social para el cambio conductual (COMBI). Página 6 de 24

7 1.2. AMBITO PROYECTO MALARIA Para Fase I el ámbito del Proyecto fue de cuarenta y cuatro (44) municipios de cinco (5) departamentos que concentraban el ochenta por ciento (80%) de los casos del país. Y para Fase II, con la reducción del 25% del presupuesto aprobado inicialmente, se modificó el ámbito del proyecto priorizando 24 de los 44 municipios presentes en la propuesta inicial, y se incluyó un municipio nuevo, en conjunto, presentan la mayor carga de morbi-mortalidad del país. En los Municipios priorizados el proyecto ha enfocado sus estrategias y equipos de trabajo, buscando un mayor impacto sobre la enfermedad y la optimización de recursos. Los 20 municipios no priorizados que hacían parte de la fase I del proyecto, continuaron en vigilancia epidemiológica con el apoyo de los equipos departamentales y del nivel central a través de asistencia técnica. El Proyecto Malaria se ha concentrado en poblaciones vulnerables dispersas, con necesidades básicas Insatisfechas, deficiencias de acceso a los servicios de salud, ubicadas en zonas de alta receptividad, y distantes de los centros urbanos, donde en los últimos años se viene registrando la mayoría de los casos de malaria del país. La población beneficiada es de aproximadamente seiscientas mil ( ) personas, en su mayoría campesinos, comunidades negras e indígenas de los departamentos de Valle, Cauca y Chocó en la costa región pacifica colombiana y de los departamentos de Antioquia y Córdoba de la región Caribe colombiana que confluyen con esta región colombiana denominada llegando hasta la zona del Caribe. Buena parte de los afectados viven en territorios con grandes extensiones de cultivos ilícitos, donde se presentan problemas de violencia que está causando uno de los mayores desplazamientos forzados que actualmente registra el mundo. Esta región en su mayoría corresponde a selva húmeda tropical con altísima pluviosidad. En el siguiente Gráfico se observan los departamentos donde interviene el Proyecto Malaria Colombia: Antioquía, Cauca, Chocó, Córdova y Valle del Cauca Página 7 de 24

8 Gráfico No. 1 Ámbito del Proyecto Malaria Colombia Página 8 de 24

9 1.3. RESULTADOS DEL PROYECTO MALARIA En la Fase I y Fase II del Proyecto, ésta última con corte al año 4, el Proyecto Malaria ha cumplido con sus metas; el 93% ha sido aceptables, excepto en 3 indicadores: porcentaje de paciente con malaria que reciben tratamiento adecuado en 24 horas, número de personas con malaria confirmada que reciben tratamiento según política nacional y número de gotas gruesas tomadas y leídas; estos tres indicadores estuvieron bajo el 53% en la Fase 1. En la Fase 2 todos los indicadores han sido alcanzados. Tabla 1 Indicadores Fase 1 y Fase 2 (corte año 4) Fuente: Proyecto Malaria Colombia Página 9 de 24

10 Las calificaciones de desempeño del Fondo Mundial al Proyecto Malaria Colombia se observa en la tabla No.2. El desempeño del proyecto ha sido de adecuado a exceder expectativas, en especial se puede observar que en el último año o Fase II el desempeño del Proyecto se mantiene con la mejor calificación. Tabla 2 Calificaciones Desempeño del Fondo Mundial SEMESTRES Receptores I II I II III IV V VI RP GOBIERNO B2 B1 B1 B1 B1 A1 A1 RP NO GOBIERNO B1 B1 A1 A1 A1 A1 A1 Página 10 de 24

11 SECCION 2: LECCIONES APRENDIDAS DEL PROCESO DE MYE Fuente: Página 11 de 24

12 Desde el inicio del Proyecto se determinó el Plan de M&E con lineamientos para la implementación del proceso monitoreo y aquellos contemplados en la Guía para el diseño de un sistema de M&E1.Los principales logros y dificultades de la implementación del proceso de M&E se detallan a continuación de acuerdo a los componentes que lo han conformado; mismo que permiten obtener las lecciones aprendidas del proceso de M&E ESTRUCTURA DE M&E Desde el diseño del Proyecto Malaria Colombia se determinó la estructura organizacional de M&E, la cual contempló tener unidades a nivel central y departamental. Cada Receptor Principal contempló en su estructura una persona para M&E, y la UEP incluyó en la responsable de vigilancia dichas funciones de M&E. Siendo la Facultad de Salud Pública quien realizaría la implementación del Objetivo 4 de COMBI, en su estructura se designó una persona que realice funciones de M&E. Se definieron mecanismos de organización entre los involucrados para el monitoreo de desempeño del Proyecto, estas instancias son: RPs, UEP, INS, Facultad Salud Pública, Programa de Control de ETV a nivel central y departamental, Laboratorios departamentales de salud. LOGROS DIFICULTADES Estructura organizacional de Monitoreo con responsables a nivel central y departamental que garantizó la información de Malaria para toma de decisiones y medir el desempeño del Proyecto Las funciones de monitoreo se acoplan con más facilidad a las personas de sistemas de información y/o vigilancia Se cuenta con infraestructura adecuada para realizar actividades de M&E LECCIONES APRENDIDAS No contar con una contraparte o el proceso de M&E en la estructura del Programa de control de ETV a nivel nacional y departamental Todas las actividades del Proyecto no estaban incorporadas en el Programas Nacional de control de ETV, por tanto, había dificultades en la recolección de información de dichas actividades Un proyecto o programa de malaria que trabaja bajo un modelo de gestión por resultados requiere implementar el proceso de monitoreo y evaluación en su estructura organizacional para garantizar la medición de su desempeño y cumplimiento de indicadores. El proceso de M&E es compatible en la unidad o área de sistemas de información o de epidemiología. Para el funcionamiento del proceso de M&E se requiere instalar una infraestructura mínima, tales como: recurso humano, equipamiento, software, medios de comunicación, entre otros 1 En la Guía Organizing framework for a functional national HIV monitoring and evaluation system. Geneva, UNAIDS, 2008 se proponen 12 elementos para conformar un sistema de M&E que son adaptable a las diferentes enfermedades: Estructura organizativa de M & E, Recursos Humanos para M & E,Las asociaciones para planificar, coordinar y administrar el sistema de M&E,Plan Nacional Multisectorial de M&E de Malaria, Plan de Trabajo del Plan Nacional de M&E Malaria, Advocacy M&E (comunicación y cultura para M&E),Monitoreo rutinario del programa, Encuestas y Vigilancia, Bases de datos nacionales, Auditoría de datos, Evaluación e Investigación, Uso de datos para toma de decisiones Página 12 de 24

13 2.2. RECURSOS HUMANOS PARA M&E Para el funcionamiento de los procesos de M&E durante la implementación del Proyecto se ha contado con 9 personas. A nivel central: dos personas a tiempo completo de los RPs FONADE y FUA, dos con funciones compartidas de la UEP y Facultad Salud Pública. A nivel departamental cinco personas con funciones compartidas con epidemiología y/o sistemas de información Los responsables de M&E han participado en el plan de capacitación de M&E lo cual ha permitido fortalecer sus capacidades en este proceso Se ha realizado cuatro evaluaciones de desempeño a todos los responsables de M&E (anualmente desde el año 2011) para conocer las fortalezas y debilidades para monitorear el Proyecto. Para cada año se tiene un Plan de Trabajo para fortalecer capacidades de los responsables de M&E, mismo que es evaluado para medir su avance y contribución a las/os monitores LOGROS DIFICULTADES Recurso Humano del Proyecto capacitado permanentemente y con competencias de M&E a nivel nacional y departamental Recurso Humano con disponibilidad de tiempo para realiza actividades de monitoreo y verificaciones de datos in situ Recursos Humano de sistemas de información (alimentadores de data) en los niveles municipales disponibles y capacitados Responsable de monitoreo se desgasta en recolección de datos a cambio de análisis de data Asumir muchos roles: epidemiólogo, sistemas, técnico, monitoreo, otros Reducción de personal de sistemas de información de Fase 1 a Fase 2 Cambio de responsables de monitoreo retardó la implementación del proceso de monitoreo LECCIONES APRENDIDAS Es fundamental contar un recurso humano con competencias para realizar el proceso de monitoreo del proyecto a nivel central, departamental y municipal; con funciones específicas de monitoreo, capacitado permanentemente y con disponibilidad para realizar verificaciones in situ desde el primer nivel de generación de data. Es indispensable desde el inicio de Fase I y Fase II priorizar los datos a ser levantados, los cuales serán insumos para generar conocimiento y evidencia durante la implementación y cierre del Proyecto. solo el dato que será analizado y socializado debería levantarse. Página 13 de 24

14 2.3. PLAN DE M&E El Proyecto Malaria cuenta con un Plan de M&E validado en función de la Fase I y Fase II, es decir, en la Fase II se hicieron mejoras operativas al Plan. El Plan de M&E es una guía operativa que a partir de los indicadores priorizados para medir el Proyecto, establece su descripción en las hojas de vida de los indicadores, procedimientos para su recolección y medición, mecanismos de control de calidad, retroalimentación a las fuentes, los formatos y herramientas para recolección de la data, los procedimientos de gestión de datos, los reportes de monitoreo, los roles y responsabilidades de todos los participantes en el flujo de información, y define los estudios e investigaciones del Proyecto LOGROS DIFICULTADES Plan de M&E con indicadores priorizados para monitorear un Proyecto de control de Malaria con herramientas y formatos estandarizados Plan de M&E evaluado y validado Plan de M&E con presupuesto para su implementación Indicadores que no estaban incluidos y no eran levantados por el Programa Nacional de control de ETV provocaron demora en su recolección y en otros caso se necesitaba financiamiento para su levantamiento Gran cantidad de información generada e imposibilidad de analizarla. Faltó se evalúe la pertinencia de levantar tanta información, frecuencia y su uso. La información fluyo en algunos indicadores porque es exigencia del Proyecto pero en los departamentos faltó empoderamiento sobre su utilidad LECCIONES APRENDIDAS Para medir el desempeño de un Proyecto o Programa de malaria se requiere formular un Plan de monitoreo y evaluación cuyo objetivo es definir los lineamientos con los cuales se hará seguimiento y evaluación al Proyecto o Programa. Dicho Plan de M&E deberá contar con recursos financieros para su implementación. El levantamiento de cada indicador del Plan de M&E conlleva montar una arquitectura específica, por lo que, si se incluyen indicadores diferentes (necesarios) a los que registra el Programa de Malaria hay que considerar las dificultades y recursos que se presentan en su levantamiento. El Plan de M&E debe ser construido y validado con los Coordinadores departamentales del área del proyecto, lo cual permitirá precisiones en el diseño del Plan de M&E e involucramiento sobre la forma de medición del avance y resultados del Proyecto. Página 14 de 24

15 2.4. CONTROL DE CALIDAD, RETROALIMENTACION Y VERIFICACION DE DATOS Para cada uno de los indicadores del Proyecto se cuenta con un listado de controles para verificar la calidad de la data levantada y de sus medios de verificación. El proceso de retroalimentación con formatos verificables ha sido de gran utilidad para asegurar la calidad y oportunidad de la información. Se realizan mensualmente reuniones de retroalimentación entre nivel central y departamental para detectar desviaciones en los indicadores y proponer las medidas de mitigación oportuna. Igual ejercicio se realiza desde nivel departamental a nivel de los municipios, con el fin de tener evidencias sobre mejora de control de calidad en cuanto a confiabilidad y validez de la data Como parte del control de calidad el Proyecto incorporó en Fase II la verificación in situ de los datos reportados para conocer si la información recolectada representa adecuadamente la realidad y permite eliminar obstáculos que impiden producir datos de alta calidad. El Proyecto cuenta con la metodología para efectuar la verificación in situ y de informes de dichos ejercicio realizados en los departamentos LOGROS DIFICULTADES Control y Verificación de calidad datos y medios de verificación Retroalimentación oportuna a puntos de alimentación sobre calidad de data Capacitación a nivel departamental y municipal sobre calidad de data Implementación de verificaciones de calidad in situ con metodología específica Los Programas no tienen rubros para hacer visitas de verificación de datos Alta rotación de personal responsable del control de calidad, se les capacita y luego no siguen en sus cargos Resistencia cuando se recibe la retroalimentación, es la forma o manera como se da la retroalimentación Se hizo muchos instrumentos para control de calidad y verificación de datos LECCIONES APRENDIDAS Es fundamental contar con procedimientos específicos y escritos de control de calidad de los datos y de los medios de verificación o evidencias. En caso de rotación de personal estos contarán por escrito con los procedimientos que deben ejecutar. El procedimiento de retroalimentación sobre errores, discrepancias halladas en la data debe ser oportuno y tener un carácter formativo y de fortalecimiento a los responsables de control de calidad en sus diferentes niveles El control de calidad de los datos en escritorio es insuficiente, se requiere efectuar y contar con el financiamiento para verificaciones in situ e involucrar a los referentes de sistemas y de epidemiología departamentales y municipales; incluir auditorías de datos reportados permite conocer si la información recogida como parte del monitoreo representa adecuadamente la realidad y permite eliminar los obstáculos que impiden producir datos de alta calidad Página 15 de 24

16 2.5. USO DE INFORMACION PARA TOMA DE DECISIONES Y RENDICION DE CUENTAS El Proyecto ha generado importante información de todos sus objetivos, la cual ha sido presentada en informes oportunos de semaforización trimestral y semestral por departamento y consolidado2, informes semestrales epidemiológicos por departamento y consolidados, informes anuales de actividades, informes por Receptor Principal, informes para el mecanismo de coordinación. Para analizar y socializar los datos y situación del Proyecto al menos una vez al año se han efectuado reuniones con todos los Coordinadores del Programa de Control ETV departamentales. LOGROS DIFICULTADES Disponibilidad de data para hacer análisis del Proyecto y rendir cuentas sobre su desempeño (ante Fondo Mundial y MCP) Construcción de semaforizaciones de los indicadores por departamento lo cual permitió la visibilización del desempeño a este nivel y a nivel consolidado del Proyecto Información en plataforma web disponible para los involucrados Insuficiente utilización y socialización de la información recolectada Análisis de data del Proyecto no es integral Insuficiente análisis conjunto entre Proyecto y Programa y regreso de información a los niveles departamentales, municipales y locales Insuficiente seguimiento de informes o planes de mejora que se han recomendado No se ha documentado ni publicado sobre los avances alcanzados del proyecto, no se escribieron artículos específicos LECCIONES APRENDIDAS Es fundamental priorizar la data e información que será generada y utilizada para el análisis integral del desempeño del Proyecto y sus estrategias de control de malaria. Así como garantizar la disponibilidad de la misma en todos los niveles para aportar a solucionar problemas relacionados con la malaria. El análisis del Proyecto debe ser realizado de forma conjunta Proyecto y Programa en sus diferentes niveles y con todos los involucrados y beneficiarios para orientar la formulación de políticas y la planificación y mejora del Programa 2 Todos los informes de progreso semestral físicos y financieros han sido entregados en las fechas establecidas por el Fondo Mundial, lo cual muestra el funcionamiento del sistema de monitoreo del Proyecto Página 16 de 24

17 2.6. FORTALECIMIENTO A SISTEMA DE INFORMACION OFICIAL El Proyecto en su diseño considero y se articuló con los procedimientos de recolección y medición de aquellos indicadores producidos por el sistema de información oficial SIVIGILA y el Programa de Control de ETV, esto con la finalidad de garantizar uniformidad y evitar duplicación de esfuerzos. Para aquellos indicadores que el sistema no los producía, como el caso de toldillos, se implementó la infraestructura para recolectarlos y medirlos. El Proyecto contribuyó con personas especialistas en sistemas de información a nivel departamental y municipal para apoyar a movilizar la data de malaria. Dichas personas han mantenido una permanente capacitación en procedimientos, guías del sistema de información oficial y de la UEP. Se fortaleció con infraestructura a municipios y departamentos. LOGROS DIFICULTADES Fortalecimiento a los sistemas de información y seguimiento a la notificación SIVIGILA en cuanto a calidad y control Empoderamiento a nivel de datos a nivel local y mejora de notificación Acompañamiento técnico al personal de municipios en el proceso de gestión de datos Mecanismos de información, colaboración y coordinación entre los diferentes actores para el levantamiento de información de rutina Infraestructura y equipos para la gestión de datos Vínculos entre las diferentes bases de datos a fin de garantizar la uniformidad y evitar la duplicación de esfuerzos Resistencia a la retroalimentación a nivel municipal Bases de datos generadas por el Proyecto que no se registran en el departamento (ej: toldillos) y podría no ser utilizada a futuro. En algunos casos se levantó información muy costosa Inadecuada seguridad en el registro de indicadores que utilizan bases en excel (data generada del Proyecto) Insuficiente personal que recolecte, registre y analice la data de Laboratorio LECCIONES APRENDIDAS Es prioritario la articulación del Proyecto con las instancias formales de generación de información, para evitar generar doble canal de información, incurrir en mayores esfuerzos y mayores costos. El proceso de monitoreo y evaluación debe ser compatible con el sistema de información nacional y aportar a su fortalecimiento a través de capacitación al personal en los diferentes niveles, mejorar el control de calidad de data, facilitar infraestructura, otros Página 17 de 24

18 2.7. EVALUACION DE EFECTOS Uno de los principales logros del Proyecto, que permitirá contribuir a decisiones de política pública en salud es la evaluación de los efectos del Proyecto Malaria Colombia, el cual se desarrollará durante el año 2014, y permitirá evaluar los diferentes efectos de las estrategias implementadas del Proyecto, es decir los efectos de fortalecer el acceso al diagnóstico oportuno y al tratamiento adecuado, implementación de Toldillos con Insecticida de Larga Duración, gestión de información para facilitar la toma de decisiones basadas en evidencia; y, comunicación y movilización social para favorecer la participación comunitaria en la lucha contra la malaria-combi. Los logros, debilidades y lecciones aprendidas de este componente del proceso de M&E se resumen a continuación. LOGROS DIFICULTADES Durante el año 2014 se realizará la Evaluación de efectos del Proyecto lo cual permitirá conocer los cambios logrados a través de la implementación del Proyecto y sus diferentes estrategias. Contar con protocolos y metodologías de medición de las estrategias del Proyecto No se incluyó en el Plan de M&E los mecanismos para realizar evaluaciones de las estrategias ni del proyecto El tipo y metodología de evaluación no fue definido en el diseño del Proyecto Falta documentar las evaluaciones y/o estudios realizados durante la ejecución del Proyecto, que permita efectuar modificaciones en caso ser necesarias para mejorar el desempeño y resultados del Proyecto LECCIONES APRENDIDAS Los protocolos y metodologías de los estudios y evaluaciones del Proyecto y sus estrategias deben ser validadas por instituciones referentes en tema para garantizar su aceptación y evitar errores metodológicos. Así como deben ser socializadas oportunamente con los miembros del Proyecto y Programa. La evaluación y estudios de investigación deben complementarse para evitar la duplicación de esfuerzos, y que los resultados del estudio son compartidos y están disponibles para su uso en la toma de decisiones La/s metodología/s para evaluación del Proyecto y sus estrategias deben ser incluidas en el Plan de M&E inmediatamente el proyecto inicia su fase I. Página 18 de 24

19 2.8. COMUNICACIÓN Y CULTURA DE M&E El Proyecto Malaria Colombia utiliza un modelo de gestión por resultados que se traduce en el marco de desempeño con una serie de indicadores que ha permitido medir su desempeño. El modelo por resultados ha sido empoderado en el equipo del Proyecto a nivel central y departamental; cada departamento tiene su tablero de indicadores semaforizado. Los resultados del avance del Proyecto son socializados a los Coordinadores departamentales del Proyecto. Los logros, debilidades y lecciones aprendidas del componente del comunicación y cultura de M&E se resumen a continuación. LOGROS DIFICULTADES Implementación de una cultura de medición por resultados e indicadores del Proyecto, lo cual permite conocer su desempeño oportunamente Mecanismos de comunicación para recolectar, analizar y socializar data del Proyecto Limitada divulgación del plan de monitoreo y metodologías de evaluación de las estrategias del Proyecto Inadecuada estrategia del Proyecto al ingresar al departamento, sin tomar en cuenta la cultura organizacional sobre M&E Insuficientes espacios para presentar Informes departamentales sobre sus resultados LECCIONES APRENDIDAS Es fundamental que el Proyecto contribuya a una cultura de M&E a través de una estrategia de comunicación permanente sobre los resultados del Proyecto dirigida a todos los involucrados en el control de malaria y en todos los niveles; para apropiarlos de dichos resultados El Proyecto debe contar con una plan de divulgación de resultados para diferentes audiencias (y niveles) y con diferentes mecanismos de propagación Página 19 de 24

20 2.9. ASOCIACIONES PARA PLANIFICAR Y ADMINISTRAR EL PROCESO M&E El Proyecto Malaria Colombia desde la elaboración de su diseño contó con la participación de las entidades rectoras en cuanto a malaria (Ministerio de la Protección Social, INS, FONADE, Facultad Universidad de Antioquía, OPS-OMS Colombia), las cuales determinaron los indicadores y metas del Proyecto Malaria. Los logros, debilidades y lecciones aprendidas de este componente del proceso de M&E se resumen a continuación. LOGROS DIFICULTADES Articulación con involucrados para planificar, levantar y analizar información del Proyecto Apoyo del Programa Nacional de Control de ETV a las actividades del proyecto Demora en la respuesta técnica sobre definición de indicadores de las instancias pertinentes Cambios de autoridades a nivel departamental y por tanto, de las contrapartes LECCIONES APRENDIDAS Establecer y mantener alianzas entre actores clave nacionales e internacionales, y que estén involucrados en la planificación y gestión del proceso de MyE del Proyecto contribuye al empoderamiento y respuesta de dichos actores, y optimizar el proceso. Todos los involucrados en el levantamiento de los indicadores (especialmente de impacto) del Proyecto deben trabajar y coordinarse, lo cual permite optimizar recursos del levantamiento de dichos indicadores Acordar mecanismos escritos en los departamentos o zonas priorizadas del Proyecto con las autoridades pertinentes que garantice la colaboración en cuanto al proceso de M&E Página 20 de 24

21 2.10. METODOLOGIAS MONITOREO MTI Y ESTRATEGIA COMBI En las estrategias de MTI y COMBI, el Proyecto dispone de la metodología de monitoreo (con indicadores) para medición de sus actividades y resultados; así como del costo para su implementación para fines de replicabilidad. En la sistematización de los objetivos de MTI y COMBI se observarán sus logros, pero es importante mencionar la generación de capacidades para administrar dichas estrategias y realizar el control; en los diferentes departamentos LOGROS DIFICULTADES Metodologías de monitoreo de las estrategias de MTI y de COMBI con indicadores de gestión y efectos Limitado financiamiento para desplazamiento para realizar el monitoreo de la estrategia de MTI La socialización de resultados en ambos estudios no fue oportuna ni compartida con los responsables de monitoreo del Proyecto Validación y estandarización de la estrategia de MTI en los departamentos Demora en el análisis de la data y lenta socialización de resultados con los responsables de monitoreo y coordinadores departamentales No hay suficiente referencia bibliográfica para el modelo de evaluación de COMBI LECCIONES APRENDIDAS La estrategia de MTI debe ir acompañada de la metodología de monitoreo que proporcione información sobre la cobertura de uso, aceptabilidad, frecuencia lavado y reacciones adversas de la población objetivo; lo cual permitirá modificar en caso sea necesario, la estrategia de implementación de MTI La estrategia de COMBI para malaria debe incorporar indicadores de proceso y de efecto, que permitan conocer y medir su contribución en la enfermedad La aplicación de las estrategias de MTI y COMBI requieren recursos humanos y financieros para su medición, los cuales deben ser incluidos en los presupuestos del Programa de control de ETV Página 21 de 24

22 CONCLUSIONES El proceso de monitoreo y evaluación diseñado e implementado desde el inicio del Proyecto Malaria Colombia ha aportado en la generación de información oportuna de los indicadores del marco de desempeño del Proyecto y por tanto los informes programáticos al financiador han sido a tiempo. Se ha evidenciado la necesidad de contar con instrumentos de M&E para medir el logro de las actividades de control de malaria realizadas por el Proyecto. Para el funcionamiento del proceso de Monitoreo y Evaluación se requiere considerar los siguientes elementos: contar con una estructura organizacional de M&E, recursos humanos para M&E, un plan de M&E acorde a las estrategias del Proyecto, implementar mecanismos para comunicación y cultura de M&E, identificar y coordinar con entidades que producen y analizan data de malaria, generar y/o fortalecer el levantamiento de datos de malaria y armar bases de datos, procedimientos de calidad de data, garantizar el análisis y uso de datos para toma de decisiones, definir la metodología de evaluación del proyecto y de cada una de sus estrategias de control. Un proyecto o programa de malaria que trabaja bajo un modelo de gestión por resultados requiere implementar el proceso de monitoreo y evaluación en su estructura organizacional para garantizar la medición de su desempeño y cumplimiento de indicadores. El proceso de M&E es compatible en la unidad o área de sistemas de información o de epidemiología. Es fundamental contar un recurso humano con competencias para realizar el proceso de monitoreo del proyecto a nivel central, departamental y municipal; con funciones específicas de monitoreo, capacitado permanentemente y con disponibilidad para realizar verificaciones in situ desde el primer nivel de generación de data. Es indispensable desde el inicio de Fase I y Fase II priorizar los datos a ser levantados, los cuales serán insumos para generar conocimiento y evidencia durante la implementación y cierre del Proyecto. solo el dato que será analizado y socializado debería levantarse. Para medir el desempeño de un Proyecto o Programa de malaria se requiere formular un Plan de monitoreo y evaluación cuyo objetivo es definir los lineamientos con los cuales se hará seguimiento y evaluación al Proyecto o Programa. Dicho Plan de M&E deberá contar con recursos financieros para su implementación M&E El Plan de M&E debe ser construido y validado con los Coordinadores departamentales del área del proyecto, lo cual permitirá precisiones en el diseño del Plan de M&E e involucramiento sobre la forma de medición del avance y resultados del Proyecto Es fundamental contar con procedimientos específicos y escritos de control de calidad de los datos y de los medios de verificación o evidencias. En caso de rotación de personal estos contarán por escrito con los procedimientos que deben ejecutar. Página 22 de 24

23 El procedimiento de retroalimentación sobre errores, discrepancias halladas en la data debe ser oportuno y tener un carácter formativo y de fortalecimiento a los responsables de control de calidad en sus diferentes niveles El control de calidad de los datos en escritorio es insuficiente, se requiere efectuar y contar con el financiamiento para verificaciones in situ e involucrar a los referentes de sistemas y de epidemiología departamentales y municipales; incluir auditorías de datos reportados permite conocer si la información recogida como parte del monitoreo representa adecuadamente la realidad y permite eliminar los obstáculos que impiden producir datos de alta calidad Es fundamental priorizar la data e información que será generada y utilizada para el análisis integral del desempeño del Proyecto y sus estrategias de control de malaria. Así como garantizar la disponibilidad de la misma en todos los niveles para aportar a solucionar problemas relacionados con la malaria Es prioritario la articulación del Proyecto con las instancias formales de generación de información, para evitar generar doble canal de información, incurrir en mayores esfuerzos y mayores costos Los protocolos y metodologías de los estudios y evaluaciones del Proyecto y sus estrategias deben ser validadas por instituciones referentes en tema para garantizar su aceptación y evitar errores metodológicos. Así como deben ser socializadas oportunamente con los miembros del Proyecto y Programa La/s metodología/s para evaluación del Proyecto y sus estrategias deben ser incluidas en el Plan de M&E inmediatamente el proyecto inicia su fase I Es esencial que el Proyecto contribuya a una cultura de M&E a través de una estrategia de comunicación permanente sobre los resultados del Proyecto dirigida a todos los involucrados en el control de malaria y en todos los niveles; para apropiarlos de dichos resultados El Proyecto debe contar con una plan de divulgación de resultados para diferentes audiencias (y niveles) y con diferentes mecanismos de propagación Establecer y mantener alianzas entre actores clave nacionales e internacionales, y que estén involucrados en la planificación y gestión del proceso de MyE del Proyecto contribuye al empoderamiento y respuesta de dichos actores, y optimizar el proceso Finalmente, los logros, debilidades y lecciones aprendidas de la implementación del proceso de M&E en el Proyecto Malaria Colombia representan un insumo para el diseño y ejecución del Plan de M&E de la Estrategia de Gestión Integrada para la promoción, prevención y control de las Enfermedades Transmitidas por Vectores en Colombia, Página 23 de 24

24 BIBLIOGRAFIA 1. Propuesta del Proyecto Malaria Colombia, mayo MCP, Solicitud de continuación de financiamiento al Fondo Mundial 3. Marcos de desempeño de Receptores Principales Fase I y Fase II 4. Reportes programáticos de Receptores Principales semestrales 5. Planes de M&E Proyecto Malaria Colombia Fase I y Fase II 6. Documentos de Evaluación de desempeño de los responsables de M&E Documentos de Análisis de Indicadores del Proyecto Malaria Colombia Global Fund, Monitoring and Evaluation Toolkit, Third Edition, February The World Bank Global HIV/AIDS Program, The 12 components of a Functional HIV M&E system, Actas de retroalimentación de RPs de calidad de data 11. Comunicaciones del Fondo Mundial sobre OSDV Página 24 de 24