GUÍA DE MONITOREO Y EVALUACIÓN VIH/SIDA, TUBERCULOSIS Y MALARIA Segunda Edición Enero de 2006
2 Guía de monitoreo y evaluación
Índice I. Cómo usar la Guía de monitoreo y evaluación...5 Por qué esta guía?...5 A quién va dirigida esta guía?...5 Cuáles son sus contenidos?...5 Cómo usar esta guía?...6 Cómo se ha desarrollado la guía?...6 Actualización reciente...6 II. Elementos básicos de monitoreo y evaluación...8 III. Conceptos generales en monitoreo y evaluación...11 Métodos de recolección de datos...12 Asistencia técnica...14 IV. Preguntas frecuentes...15 Preguntas operativas...15 Preguntas comunes sobre la guía y el sistema de reporte del Fondo Mundial...18 V. Marco de información para un componente específico...25 VI. VIH/SIDA...26 Tabla de los indicadores programáticos seleccionados para VIH/SIDA...28 Tabla de los indicadores seleccionados para el VIH/SIDA: Impacto y resultados en la comunidad...31 Recursos generales...35 Asistencia técnica...36 Directrices y referencias...36 VII. Tuberculosis (TB)...38 Tabla de los indicadores programáticos seleccionados para la tuberculosis...39 Tabla de los indicadores seleccionados para la tuberculosis: Impacto y resultados en la comunidad...42 Recursos generales...43 Asistencia técnica...43 Directrices y referencias... 44 VIII. TUBERCULOSIS/VIH...45 Recursos generales...45 Asistencia técnica...45 Directrices y referencias...46 IX. Malaria...47 Tabla de los indicadores programáticos seleccionados para la malaria...48 Tabla de los indicadores seleccionados para la malaria: Impacto y resultados en la comunidad...49 Recursos generales...54 Asistencia técnica...54 Directrices y referencias...54 X. Fortalecimiento de los sistemas sanitarios...57 Tabla de los indicadores seleccionados para el fortalecimiento de los sistemas sanitarios...58 Recursos generales...60 Asistencia técnica...60 Documentos y directrices...60 3
Lista de términos y abreviaciones usados ACTB APS ARV ASS CAP CDC CDI CNS CPP DOTS EDS EIS EVC FMSTM HNV HRM IEC ITS MDR-TB M&E METAT MICS MIS MTI MTILD OBC ODM OGAC ONG PCS PEPFAR PMC PMR PNT PNUD PTMI PVVIH RRI SEAGNU SI(G)S STB TB TPC TPI VSV Asistencia comunitaria de la tuberculosis Área de prestación de servicios Terapia anti retroviral África subsahariana Conocimiento, actitudes y prácticas Centros de Prevención y Control de las Enfermedades, DHSS (EE.UU.) Consumidor de drogas inyectables Consejo Nacional del SIDA Combinación público-privada La estrategia internacionalmente recomendada para el control de la tuberculosis Encuestas de demografía y salud Encuesta de indicadores de SIDA Encuesta de vigilancia del comportamiento Fondo Mundial de lucha contra el SIDA, la tuberculosis y la malaria Huérfanos y niños vulnerables Hacer retroceder la malaria. Información, educación y comunicación Infecciones de transmisión sexual Tuberculosis multifármaco resistente Monitoreo y evaluación Asistencia técnica y formación en monitoreo y evaluación Encuestas de grupos de indicadores múltiples Encuesta de indicadores de malaria Mosquitero (cama) tratado con insecticida Mosquiteros tratados con insecticida de larga duración Organizaciones de base comunitaria Objetivos de desarrollo del milenio El plan de emergencia del presidente para el auxilio de los afectados por el SIDA: Oficina del coordinador mundial del SIDA Organización no gubernamental Profesionales comerciales del sexo Plan de emergencia del presidente para el auxilio de los afectados por el SIDA (EE.UU.) País que soporta una mayor carga (usado en referencia a la carga de morbilidad de la TB) Población de mayor riesgo (profesionales comerciales del sexo, clientes de profesionales comerciales del sexo, consumidores de drogas inyectables y varones que tienen relaciones sexuales con varones) Programa nacional de lucha contra la tuberculosis Programa de las Naciones Unidas para el Desarrollo Prevención de la transmisión materno-infantil (del VIH) Personas que viven con VIH/SIDA Rociado residual en interiores Sesión especial de la Asamblea General de las Naciones Unidas Sistemas de información (de gestión) sanitaria Alto a la tuberculosis Tuberculosis Tratamiento preventivo con cotrimoxazol Tratamiento preventivo intermitente Varones que tienen relaciones sexuales con varones 4 Guía de monitoreo y evaluación
I. Cómo usar la Guía de monitoreo y evaluación Por qué esta guía? Con el impulso mundial que ha generado la respuesta a las tres principales enfermedades infecciosas (VIH/SIDA, tuberculosis y malaria), los profesionales de la salud pública necesitan fijar distintos niveles de responsabilidad para sus actividades para los distintos sectores representados. Cada vez es más importante que los países puedan preparar informes fidedignos, puntuales y con datos comparativos para los donantes y las autoridades nacionales a fin de garantizar la continuidad de la financiación continuada para ampliar los programas sanitarios, y lo que es más importante aún, que puedan usar esta información localmente para fortalecer el desarrollo de los programas. Es fundamental que los ejecutores y gerentes de los programas nacionales tengan acceso a la información de calidad que necesitan para hacer los ajustes necesarios y tomar decisiones técnicas y programáticas. El desarrollo de las directrices y de los materiales existentes de monitoreo y evaluación fue un trabajo conjunto en el que participaron los representantes de muchas organizaciones, como el caso de ONUSIDA, la Organización Mundial de la Salud (OMS), UNICEF, el Plan de Emergencia del Presidente para Ayudar a las víctimas del SIDA. Oficina del coordinador mundial del SIDA (OGAC), USAID y HHS/CDC, otras agencias bilaterales, organizaciones no gubernamentales (ONG), incluida la MEASURE Evaluation y la Organización internacional para la salud de la familia (FHI), y participación de iniciativas relacionadas con las enfermedades como por ejemplo Tres millones para 2005 (3 by 5 Initiative) VIH/SIDA, Alto a la tuberculosis y Hacer retroceder la malaria. Además, los funcionarios de M&E del país han sido asignados a muchos organismos, por ejemplo ONUSIDA y el Plan de Emergencia. Dichos funcionarios juegan un papel importante en el trabajo con los sistemas de M&E del país para armonizar los informes en torno a las medidas comunes y garantizar la estrecha coordinación de las distintas partes interesadas en los sistemas de desarrollo de M&E. El objetivo de esta Guía de Monitoreo y Evaluación, desarrollada con el apoyo de organismos técnicos internacionales y expertos en monitoreo y evaluación, es recopilar una selección de indicadores estándar y brindar a los usuarios referencias para documentos claves y recursos. El objetivo de esta Guía de M&E es ayudar a los países a lograr: Coordinar informes en línea con agencias internacionales y sistemas nacionales, así como incentivar al uso de las medidas existentes, ampliamente acordadas y exactas. Seleccionar indicadores sencillos, medir, informar y usar información fidedigna sobre la salud de manera que sirva para satisfacer las necesidades tanto del donante como del país. Definir claramente los servicios estándares que proporciona un programa y establecer las medidas rutinarias y de largo plazo para medir avance de las intervenciones. Elaborar una estrategia participativa nacional de monitoreo y evaluación y con una descripción general de los temas claves por considerar. Evaluar, examinar y mejorar los sistemas de monitoreo y evaluación a lo largo del tiempo, a medida que se amplían las intervenciones para reducir la morbilidad y mortalidad asociadas con el VIH/SIDA, la tuberculosis y la malaria. La Guía de M&E centra su atención principalmente en el informe rutinario de alto nivel de un paquete restringido de medidas de los avances (indicadores programáticos y de resultado/impacto). Los indicadores para entornos favorables se presentan en un intento de situar cada enfermedad en un contexto más amplio. Sin embargo, la mayor parte de los indicadores se centran en el sector de la salud. A quién va dirigida esta guía? El objetivo de esta guía es brindar a quienes trabajan en el ámbito nacional con sistemas de monitoreo y evaluación relacionados con la expansión de los programas de VIH/SIDA, tuberculosis y/o malaria, un rápido acceso a recursos y directrices claves. Entre los usuarios se encuentran los gerentes de los programas nacionales de las tres enfermedades y los jefes de proyectos y organismos donantes, los organismos técnicos y ejecutores y las ONG de tal forma que se mejore la coordinación de las exigencias de información. Aunque la guía se ha escrito pensando en este público específico, no por ello excluye el marco más amplio de las personas y grupos que trabajan en aquellas áreas de enfermedad que incluyen, por ejemplo, a profesionales que trabajan en la enseñanza, aspectos de género y reforma legal. Cuáles son sus contenidos? La Guía de monitoreo y evaluación proporciona un marco en el que se presentan una selección de indicadores estándares y esenciales en las áreas de VIH/SIDA, tuberculosis y malaria: 1. En la primera parte del documento se hallan los conceptos generales de monitoreo y evaluación, las directrices y las respuestas a las preguntas más frecuentes. 5
2. La segunda parte de la guía está dividida en secciones según enfermedad específica, incluye tablas resumen de los indicadores programáticos seleccionados organizadas por áreas de prestación de servicios. En la segunda tabla resumen se muestran también las medidas del resultado y del impacto y se presentan enfoques para la medición. En cada sección se presentan recursos adicionales y fuentes de información para indicadores más especializados relacionados con la enfermedad tratada. 3. Los Anexos de la guía de monitoreo y evaluación proporcionan una visión de conjunto de las definiciones de los indicadores, mediciones y sistemas de recolección de la información. Cómo usar esta guía? Los indicadores presentados han sido desarrollados para ser aplicados en el ámbito nacional, a pesar de que muchos de ellos también pueden aplicarse en distintos niveles. Los usuarios del ámbito nacional deben estructurar o modificar su sistema de recolección de información de salud teniendo presente cuáles son los distintos tipos de datos que necesitan recopilar para cada nivel. Los usuarios deben simplificar sus reportes de monitoreo y evaluación, e informar en el ámbito internacional sólo de un grupo restringido de indicadores claves. La Guía de monitoreo y evaluación no pretende contener una lista completa de indicadores, sino que se limita a una selección de indicadores estándares que es probable que formen parte de la recolección rutinaria de datos en los programas de las tres enfermedades, y útil para los informes internacionales. Como se ha visto anteriormente, esta guía es un trabajo dinámico, y periódicamente se realizarán modificaciones para garantizar que se satisfacen las necesidades del usuario y se incorporan los nuevos adelantos técnicos. Cómo se ha desarrollado la guía? La Guía de Monitoreo y Evaluación es el resultado de un proceso de colaboración con actores internacionales, agencias bilaterales y ONGs. La armonización y aceptación de agencias es importante para la coordinación de los informes desde los ámbitos internacionales hasta los nacionales y locales, especialmente cuando los recursos para estas actividades a menudo están limitados. La guía pretende fomentar el uso de medidas comunes a fin de minimizar los sistemas de información paralelos. Los indicadores de esta guía se han seleccionado tras consultar con expertos técnicos en monitoreo y evaluación en cada una de las tres enfermedades y con donantes como el Fondo Mundial. Se han realizado consultas con el personal de los departamentos de VIH/SIDA, tuberculosis y malaria de la OMS. Además, se han pedido contribuciones de otros miembros de la ONU (especialmente de ONUSIDA y UNICEF) así como del Banco Mundial, Measure Evaluation y del Plan de Emergencia: OGAC, USAID y el HHS/CDC a fin de garantizar que los indicadores recomendados están de acuerdo con los usados en las organizaciones. Es importante señalar que generalmente no se han desarrollado nuevos indicadores para los objetivos de esta guía, sino que se presentan los indicadores existentes que ya se están usando. Por lo tanto, esta guía se ha construido entorno a indicadores ya existentes y aceptados, usados en una amplia gama de programas. Para realizar sugerencias respecto a mejoras de la guía, se insta a los usuarios a escribir a: toolkit@who.int Actualización reciente Esta nueva edición de la Guía de monitoreo y evaluación no es un nuevo marco de información sino una operación de ajuste y mejora de la anterior Guía de monitoreo y evaluación. La guía usa el mismo marco de medición que se desarrolló en la primera edición de la misma. El informe de monitoreo y evaluación basado en la primera edición se puede seguir usando (y los resultados presentados, por ejemplo, al Fondo Mundial). Esta actualización representa desarollos en monitoreo y evaluación que pueden mejorar la medición. Nuevas tecnologías y desarrollos han dado lugar a la necesidad de revisar y actualizar los indicadores presentados en la primera edición (publicada en junio de 2004). Esta edición actualizada de la guía ha sido revisada de acuerdo con los últimos recursos técnicos de las tres enfermedades. Los recursos relacionados con el impacto y enfoques de medición han sido ampliados, basados en las sugerencias de los usuarios. Desde que se reconoce que las tres enfermedades son clasificadas por indicadores distintos, y que el objetivo es proporcionar un marco común, ambas versiones de la guía intentan acercarse a un sistema internacional de indicadores acordados por agencias de monitoreo y evaluación. La guía incluye las siguientes actualizaciones: Mayor nivel de detalle y actualización de los indicadores y de las áreas de prestación de servicio para las tres enfermedades. Expansión de las medidas de impacto para las tres enfermedades (que estaban limitadas en la primera guía). Actividades conjuntas para VIH/tuberculosis incorporadas en los componentes de VIH y tuberculosis. 6 Guía de monitoreo y evaluación
Inclusión de una sección transversal Fortalecimiento de los Sistemas Sanitarios y áreas de prestación de servicios e indicadores pertinentes. El Fortalecimiento de los sistemas sanitarios, las áreas de prestación de servicios y los indicadores pueden incluirse en cada componente específico de las enfermedades. Deben consultarse los detalles y las reglas para cada ronda de financiación del Fondo Mundial para valorar cuál es la mejor estrategia. Información adicional sobre métodos de recolección de datos y evaluación (incluyendo medición de la calidad, limitada en la primera guía). Información adicional sobre la guía de monitoreo y evaluación y el informe del Fondo Mundial, incluyendo los 10 primeros indicadores para los reportes programáticos y del resultado/impacto del Fondo Mundial. La Guía de monitoreo y evaluación está disponible electrónicamente en http://www.theglobalfund.org 7
II. Elementos básicos de monitoreo y evaluación Establecimiento y fortalecimiento de un programa de monitoreo y evaluación Si bien se han hecho importantes avances en el área de monitoreo y evaluación, gran parte de esta actividad se realizó en forma vertical y aislada, sin vincularla o relacionarla a menudo con otras fuentes. Probablemente, se hayan realizado amplias evaluaciones para algún proyecto patrocinado por un donante en un área importante de programación, pero los resultados nunca se compartieron con otros en el terreno. Para resumir, la utilidad de gran parte de estas mediciones efectuadas en un país pueden perderse si no existe un sistema de monitoreo y evaluación coherente que se implemente para captar la información necesaria sobre distintas enfermedades que abarquen a los usuarios de diferentes niveles. 1. Compatibilización de los informes del país, criterios de datos y sistemas de información Existe el peligro de separar los sistemas de M&E según enfermedades o según donantes, lo que conlleva a ausencia de datos unificados, sistemas compatibles de IT o plataformas de información comunes. La coordinación del conjunto de sistemas de monitoreo y evaluación a través de las necesidades del país y del donante (p. ej. el Plan de Emergencia, el Fondo Mundial o el Banco Mundial) es un primer paso importante en la construcción de un sistema de monitoreo y evaluación común que pueda satisfacer una diversidad de necesidades. Además, muchos países dependen de estudios de población tales como la Encuesta de demografía y salud (EDS) o las Encuestas del Indicador del SIDA (EIS), Encuestas de grupos de indicadores múltiples (MICS, por sus siglas en inglés) y/o encuesta de vigilancia de comportamiento (EVC), que están financiados por donantes externos. Esto genera información que en un contexto más amplio de monitoreo y evaluación puede ser muy valiosa, pero que quizas no ha sido integrada a fuentes tradicionales de información sanitaria, como por ejemplo a los sistemas nacionales de vigilancia e información sanitaria. El objetivo de esta guía es proporcionar indicadores comunes en apoyo de la implementación de los Tres Unos (descritos a continuación). Si bien los tres unos han sido desarrollados para el SIDA, los principios tienen una importancia general para el monitoreo y la evaluación. El objetivo es extender los Tres Unos a las tres enfermedades y no solo para el VIH. Los Tres Unos El 25 de abril del 2004, los representantes de las principales organizaciones de donantes y de muchos países en desarrollo adoptaron tres principios como el marco general para coordinar mejor la ampliación de los Programas Nacionales contra el SIDA y respuestas relacionadas con la epidemia VIH/SIDA. Los Tres Unos son: Un marco de acción acordado contra el VIH/SIDA que proporcione las bases para coordinar el trabajo de todos los actores. Una autoridad coordinadora nacional del SIDA, con un mandato multisectorial que represente una base amplia, y Un sistema nacional de monitoreo y evaluación acordado dentro del ámbito de un país. La importancia de crear, implementar y fortalecer un sistema unificado de monitoreo y evaluación coherente en el ámbito del país no debe ser sobre dimensionado. Un sistema de monitoreo y evaluación fuerte y unificado garantiza que: 1) se pongan a disposición de los conductores y gerentes del programa nacional en cada ámbito del programa y sistema de atención sanitaria, datos pertinentes, oportunos y válidos; 2) se pueda informar a los conductores nacionales acerca de datos de calidad seleccionados y 3) el programa nacional pueda satisfacer las necesidades de información del donante, e internacionales bajo un esfuerzo global unificado para contener la pandemia del VIH/SIDA. Un sistema de monitoreo y evaluación común, completo y coherente presenta varias ventajas. Contribuye a un uso más eficaz de la información y de los recursos asegurando, por ejemplo, que los indicadores y las metodologías de muestreo sean comparativos en el tiempo, reduciendo la duplicación de esfuerzos. Puesto que los recursos de recolección de datos son limitados, ésta es una ventaja importante dado que los países pueden utilizar los fondos de los donantes a fin de producir un número limitado de estudios de alta calidad a gran escala en lugar de un sinfín de valoraciones para fines específicos que no son comparables. La información que genera un sistema de monitoreo y evaluación integral debe responder a las necesidades de diversos actores, incluidos los gerentes de programas o proyectos, los investigadores y donantes, eliminando la necesidad de que cada uno de estos actores deba repetir los estudios de referencia o de evaluación cuando podrían usar fácilmente la información existente. Es igualmente importante que los datos básicos se hagan disponibles tan claramente como sea posible y que sean del dominio público. 2. Cuál es la diferencia entre monitoreo y evaluación nacional y subnacional? Desde el punto de vista del programa nacional, un sistema de monitoreo y evaluación coherente ayuda a garantizar que las iniciativas de monitoreo y evaluación realizadas con financiación de donantes contribuyen mejor a las necesidades nacionales. Estas necesidades van mucho más allá del monitoreo y evaluación de la enfermedad especifica orientándose al fortalecimiento de todo el sistema de información sanitaria. Otra de las ventajas es que fomenta la coordinación y 8 Guía de monitoreo y evaluación
la comunicación entre los distintos grupos que participan en la respuesta nacional al VIH/SIDA, la tuberculosis y la malaria. Estos pueden incluir ministerios que trabajan para el bienestar social o el bienestar de los niños y ministerios de estadísticas y planificación. El acuerdo entre los principales donantes, organismos técnicos e instituciones implementadoras en cuanto al marco fundamental básico de monitoreo y evaluación reducirá la carga de solicitudes de datos formulados por los distintos organismos. Cuando se comparte la planificación, ejecución, análisis y divulgación de la información, se puede reducir la superposición en la programación e incrementar la cooperación entre los distintos grupos, muchos de los cuales pueden trabajar de forma más eficiente si lo hacen conjuntamente en lugar de hacerlo de forma aislada. Debido a los escasos recursos para monitoreo y evaluación en el plano subnacional, se hace hincapié en monitorear los aportes y recursos de los programas, y en valorar si la ejecución avanza o no de acuerdo con un plan subnacional. Una valoración de las instituciones sanitarias, como parte de una supervisión rutinaria, sirve para proporcionar información sobre la calidad de la atención o la disponibilidad y utilización de los servicios. El monitoreo y la evaluación son necesarias a todos los niveles. Los datos subnacionales son extremadamente relevantes para el monitoreo y la evaluación del plano nacional, siempre que se sigan las pautas nacionales para permitir la combinación de ambos tipos de datos. La información recopilada del plano subnacional ayuda en las discusiones de la formulación de la política directriz y en la validación de los resultados de niveles superiores. En algunos casos, los datos procedentes del plano subnacional proporcionan una mejor indicación de las tendencias y temas de equidad que los procedentes del plano nacional. El desarrollo o el fortalecimiento de los Sistemas de información de la gestión sanitaria (SIGS) es un requisito previo para el monitoreo apropiado de las tres enfermedades y las respuestas correspondientes. El aumento de financiación para las tres enfermedades genera una oportunidad de fortalecer no sólo la información sobre salud específica de cada programa o proyecto, sino también la información sobre salud y los sistemas de monitoreo en su conjunto. El VIH/SIDA, la tuberculosis y la malaria tienen diferentes fortalezas en cuanto a recolección, divulgación y uso de los datos; existen oportunidades para que las tres enfermedades aprovechen cada una de sus proprias fortalezas. Un sistema de información de la gestión sanitaria (SIGS) que se realice en forma efectiva proporciona una base sólida para evaluar programas a gran escala, lo que en última instancia conduce a una mejor planificación y toma de decisiones. Basado en estos resultados, se facilitará la toma de las decisiones prioritarias, por ejemplo permitirá decidir cómo asignar nuevos recursos para obtener los mejores resultados. 3. Qué características debe tener un buen sistema de monitoreo y evaluación? Las necesidades de monitoreo y evaluación en los distintos países están determinadas, de una parte, por sus cargas de morbilidad de VIH/SIDA, tuberculosis y/o malaria y por otra de la estructura sanitaria del país. Sin embargo, sistemas éxitosos de monitoreo y evaluación comparten elementos comunes, tal y como se ha demuestrado en programas de éxito en varios países. En la Tabla 1, se presenta una lista de estos elementos. Tabla 1: Características que debe tener un buen sistema de monitoreo y evaluación UNIDAD DE M&E Una unidad de monitoreo y evaluación dentro del Ministerio de Sanidad con personal designado técnico y de gestión de datos. Entre otras cosas, esta unidad debe coordinar los esfuerzos de monitoreo y evaluación en las tres enfermedades, sin tomar en cuenta dónde se gestiona la monitoreo y evaluación de una enfermedad específica, y estar integrada en las necesidades estadísticas más amplias del país. Directrices y orientación a distritos subnacionales, regiones y provincias respecto al monitoreo y evaluación. Directrices para coordinar el monitoreo y evaluación con los demás sectores, como la educación, el trabajo y el ejército. Asignación de un presupuesto a monitoreo y evaluación del orden del 5 al 10 por ciento de los presupuestos nacionales para VIH/SIDA, tuberculosis y malaria tomando en cuenta todas las fuentes de financiamiento. Como promedio, debe usarse el siete por ciento como referencia. Un aporte importante de fuentes nacionales al presupuesto para monitoreo y evaluación (sin depender totalmente de la financiación externa). Formalización de un vínculo de monitoreo y evaluación, especialmente con ministerios, ONGs y donantes e instituciones nacionales de investigación destinadas a la mejora de las iniciativas de investigación de las operaciones. Un grupo de trabajo multisectorial para brindar recursos y lograr concenso en la selección de indicadores y en los distintos aspectos del diseño y la ejecución del monitoreo y evaluación. Conocimientos en la unidad de monitoreo y evaluación que deben abarcar: Epidemiología, ciencia de la comportamiento social, procesamiento de datos y estadística, divulgación de datos, seguimiento de recursos (financieros y resuitados). 9
OBJETIVOS CLAROS Programa nacional bien definido o planes de proyectos con metas, objetivos y planes operativos claros. Los planes nacionales de monitoreo y evaluación se deben revisar cada 3-5 años, y los planes operativos de monitoreo y evaluación deben actualizarse anualmente. Revisiones/evaluaciones periódicos del progreso de la ejecución de los programas nacionales o planes de proyecto comparados con las metas. Coordinación de las necesidades de monitoreo y evaluación nacionales y del donante. INDICADORES Conjunto de indicadores prioritarios e indicadores adicionales en los distintos niveles de vigilancia y evaluación. Indicadores confiables, comparables en todo momento y con metas claras. Selección de varios indicadores claves que sean comparables con los de otros países. RECOLECCIÓN DE DATOS Y ANÁLISIS Recolección de datos y plan de análisis completos en el ámbito nacional, incluida la garantía de la calidad de los datos. Plan para recopilar datos y analizar periódicamente los indicadores y los conjuntos de datos actores a distintos niveles jurisdiccionales de monitoreo y evaluación (incluido el geográfico). Vigilancia de segunda generación, donde los datos de comportamiento están vinculados con los datos de vigilancia de la enfermedad. DIVULGACIÓN DE DATOS Plan completo de divulgación de datos en el ámbito nacional, con conjuntos de datos básicos disponibles de manera oportuna y transparente. La transparencia es esencial para una responsabilidad real. Informe anual y divulgado apropiadamente. Reuniones anuales con planificadores y ejecutores de las políticas para divulgar y analizar los resultados del monitoreo y evaluación y de los resultados de las investigaciones. Un centro coordinador que se encargue de generar y divulgar los resultados Una base de datos centralizada o biblioteca donde se almacenen todos los datos recopilados sobre VIH/SIDA, tuberculosis y malaria, incluidas las investigaciones en curso, disponible clara y públicamente. Coordinación de la divulgación de las necesidades del monitoreo y evaluación del país y de los donantes. ESTUDIOS ESPECIALES Seleccionar prioritariamente estudios de resultados/evaluación. Incluye estudios cualitativos según necesidad. Incluye estudios operativos de investigación. 4. Cuál es la diferencia entre el monitoreo y la evaluación de programas y la de proyectos? Para los objetivos de la Guía, el programa se refiere a una respuesta nacional o subnacional de gran alcance ante la enfermedad. Dentro de un programa nacional, habitualmente existen varias áreas distintas de programación. Por ejemplo, el programa VIH/SIDA tiene varios subprogramas o proyectos como seguridad de la sangre, control de las infecciones de transmisión sexual (ITS) o prevención del VIH entre los jóvenes. El proyecto se refiere a un conjunto de actividades y objetivos limitados en el tiempo, financiados por recursos que tienen como objetivo una población específica definida desde el punto de vista geográfico o desde otro punto de vista. Debemos señalar que los proyectos y programas también se pueden definir mediante márgenes de tiempo normalmente los proyectos son a corto plazo mientras que los programas tienen un alcance más a largo plazo. En vista de su alcance más amplio (temática, geografía, población objetivo), la vigilancia de los programas tiende a ser más compleja que la de los proyectos, y exige una sólida coordinación entre todas las agencias que la implementan. Para que se lleven a cabo tales evaluaciones del impacto y del resultado, el diseño del programa/proyecto debe incluir su propia información de referencia y evaluaciones de seguimiento que midan no sólo resultados específi cos sino también el nivel de exposición al programa/proyecto y sus actividades. 10 Guía de monitoreo y evaluación
III. Conceptos generales en monitoreo y evaluación 1. Cuál es la diferencia entre monitoreo y evaluación? El monitoreo es el seguimiento rutinario de los elementos clave del desempeño del programa o proyecto (habitualmente recursos y resultados), mediante el mantenimiento de registros, informes periódicos y sistemas de vigilancia, así como mediante la observación en centros sanitarios y encuestas. El monitoreo ayuda a los gerentes de los programas o proyectos a determinar qué áreas exigen mayor esfuerzo, y a identificar aquellas que podrían contribuir a lograr una mejor respuesta. En un sistema de monitoreo y evaluación bien diseñado, el monitoreo contribuye en gran medida a la evaluación. Los indicadores seleccionados para el monitoreo serán distintos, según el nivel de informes dentro del sistema sanitario. Es muy importante seleccionar un número limitado de indicadores que los ejecutores y gerentes de los programas puedan realmente utilizar. Existe una tendencia a recopilar información sobre muchos indicadores y llevar esta información a niveles donde no se la utiliza ni tampoco se la podrá utilizar para la toma de decisiones. Además, el monitoreo se usa para medir tendencias a lo largo del tiempo, así los métodos usados necesitan ser confiables y rigurosos para garantizar una comparación adecuada. Se necesita más información para la dirección de proyectos que la necesaria a niveles nacionales o internacionales. El número de indicadores sobre los que se informa debe disminuir considerablemente desde el nivel subnacional hasta los niveles nacional e internacional. Por el contrario, la evaluación es la evaluación periódica del cambio en los resultados relacionados con la intervención del programa o proyecto. En otras palabras, la evaluación intenta vincular un producto o resultado particular directamente con una intervención, después de transcurrido un período de tiempo. La evaluación ayuda a los gerentes de los programas o proyectos a determinar el valor o la significación de un programa o proyecto específico. Las evaluaciones de costo-beneficio y costo-efectividad son útiles para determinar el valor agregado de un proyecto o de un programa particular. Además, la evaluación también debe relacionar los resultados de un proyecto o de un programa con las tendencias nacionales más extensas en comportamiento y otros resultados, y el impacto de las enfermedades. Este tipo de evaluación es importante incluso si el proyecto/programa sólo es una parte de un esfuerzo colectivo para tener impacto en la enfermedad. Los objetivos y la metodología usados en monitoreo son distintos a los usados en evaluación. En general, las evaluaciones son más difíciles debido al rigor metodológico que exigen: sin tal rigor, puede llegarse a conclusiones erróneas sobre el valor de un programa o proyecto. También son más costosas, en especial las evaluaciones de resultados y de impacto, que a menudo requieren encuestas de tipo poblacional u otros diseños rigurosos de investigación. Sin embargo, la evaluación debe aprovechar los datos y encuestas que están disponibles nacionalmente y que se emprenden regularmente, p. ej. encuestas de EDS, o datos de la enfermedad del sitio centinela. 2. Marco general de monitoreo y evaluación Para la selección de los indicadores de monitoreo y evaluación se aplican distintos marcos. Los indicadores se utilizan en distintos niveles para medir lo que se incluye dentro de un programa o proyecto y lo que sale de él. Tras algunos años, frecuentemente se usa un marco ampliamente acordado, el marco de estructura-proceso-resultados directos-resultados indirectos (impacto). Para que un programa o proyecto alcance los objectivos definidos, los recursos tales como el dinero y el tiempo que dedica el personal deben generar resultados como por ejemplo servicios nuevos o mejora de los existentes, personal capacitado, personas alcanzadas por los servicios, etc. Estos resultados son alcanzados mediante procesos específicos, tales como las sesiones de capacitación para el personal, que deberían estar incluidas como actividades clave a fin de lograr los resultados. Si estos resultados están bien diseñados y alcanzan a las poblaciones destinatarias, el programa o proyecto posiblemente tenga efectos o resultados positivos a corto plazo, que se reflejarán por ejemplo, en el aumento del uso de preservativos con parejas esporádicas, aumento en el uso de mosquiteros tratados con insecticida, o en la observación de los protocolos de tratamiento en los casos de tuberculosis, o en el inicio de la vida sexual a una edad más tardía en los jóvenes. Estos resultados positivos a corto plazo estarían condicionando cambios en el impacto de los programas en un plazo más prolongado, medidos en menos casos nuevos de VIH/SIDA, tuberculosis o malaria y la carga relacionada de enfermedad entre esos infectados y afectados (tales como huérfanos y niños vulnerables o viudas). En el caso del VIH, uno de los impactos que se pretende lograr entre los infectados es mejorar la calidad y aumentar la esperanza de vida. Para ampliar información sobre marcos para el monitoreo y la evaluación, se puede consultar los siguientes sitios: PNUD: http://www.undp.org/gef/undp-gef_monitoring_evaluation MEASURE: http://www.cpc.unc.edu/measure USG: http://www.globalhivevaluation.org ONUSIDA: http://www.unaids.org/en/default.asp Valorar el impacto de un programa requiere una amplia inversión en esfuerzos de monitoreo y evaluación, y a menudo es difícil determinar en qué medida los programas o los componentes de los programas individuales, contribuyen a la reducción total de los casos y al aumento de la supervivencia. Para establecer una relación de causa y efecto para una intervención dada, pueden ser necesario realizar estudios con diseños experimentales o semi-experimentales que permitan demostrar el impacto. El monitoreo de los indicadores de resultados directos e indirectos también pueden identificar tales relaciones y proporcionar una indicación general de los avances de los programas según lo acordado sobre metas y objetivos. Las encuestas nacionales y los conjuntos de datos también se deben aprovechar en la evaluación. 11
Los distintos tipos de indicadores no son iguales, sino que están vinculados entre sí para alcanzar las finalidades y los objetivos que busca cumplir un programa específico. Los recursos como dinero y tiempo del personal dan como resultado sistemas de entrega de medicamentos u otros resuitados básicos esenciales, servicios nuevos o mejorados, personal capacitado, material informativo, etc. Si estos resultados están bien diseñados, y llegan a las poblaciones para los que estaban destinados, es probable que el programa tenga resultados positivos dependiendo del contexto en el que opere. Estos resultados positivos deberían generar cambios en el impacto a largo plazo de los programas en las poblaciones meta o sistemas. El uso de los indicadores estándar ofrece al Programa Nacional mediciones valiosas del mismo indicador en distintas poblaciones, permitiendo el análisis de las tendencias (triangulación). Esto ayuda a dirigir los recursos a las regiones o subpoblaciones con mayores necesidades, y a identificar áreas para la intensificación o disminución del esfuerzo en el plano nacional, lo que en última instancia mejora la efectividad general de la respuesta nacional. Con el tiempo, el uso de indicadores estándar también garantiza la posibilidad de comparar la información entre los distintos países. Cuando los datos procedentes de distintas fuentes se combinan para su análisis, esta triangulación de datos permite realizar una evaluación nacional, regional o local de los esfuerzos de programa. Nota sobre las poblaciones meta y los denominadores: En muchos casos, la determinación del denominador o población que se utilizará para evaluar, por ejemplo la cobertura, es difícil. Por esta razón hacemos hincapié en los numeradores, o el subconjunto de la población que está afectada o se beneficia con las intervenciones. Los denominadores también deben ser incluidos cuando sea posible (si las cifras se expresan en porcentajes, será necesario informar los numeradores para poder valorar la cobertura a lo largo del tiempo y de las poblaciones). Las publicaciones Estimating the Size of Populations at Risk for VIH (UNAIDS/IMPACT/FHI, 2002) (Cómo estimar el tamaño de las poblaciones que corren riesgo de contraer el VIH) y Guidelines for Sampling Orphans and other Vulnerable Children (UNICEF, 2003) (Directrices para el muestreo de huérfanos y otros niños vulnerables), así como Guide to Monitoring and Evaluation National HIV Prevention Programs for Most-at-risk Population in Low Level and Concentrated Settings (Guía de programas nacionales de vigilancia y evaluación de la prevención de VIH para la población de mayor riesgo en el nivel local y grupos focalizados) (actualmente en revisión), puede ayudar a los lectores a abordar los desafíos con los que se enfrentan al determinar los denominadores, cuando se trabaja con poblaciones ocultas o epidemias bajas o focalizadas. En esta guía, el término población meta u objetivo se refiere al grupo de gente que necesita la intervención. La población meta puede ser la población total o un grupo específico más reducido por ejemplo, los jóvenes. Al diseñar las intervenciones, es necesario definir claramente cuál es la población meta. La descripción de los servicios proporcionados debe especificar qué poblaciones y áreas geográficas cubren. Generalmente, estas definiciones se basan en el conocimiento de a quién afectan más estas enfermedades, directa e indirectamente. Por ejemplo, la definición de población meta para las intervenciones de VIH/SIDA a menudo se basa en el estado de la epidemia. Cuando existe una epidemia generalizada en la que la prevalencia del VIH es sistemáticamente superior al 1% en las mujeres embarazadas, la población meta bien podría ser la población general. Sin embargo, en epidemias concentradas y de bajo nivel en las que la prevalencia del VIH se concentra en grupos que tienen comportamientos de riesgo específicas, el grupo meta puede definirse como un subgrupo de la población general que comparte estas mismas comportamientos. Por ejemplo, hombres que tienen relaciones sexuales con hombres (VSV), gente que se administra drogas por vía intravenosa (CDI), o profesionales comerciales del sexo (PCS). Para la malaria en las áreas altamente endémicas como el África Subsahariana, los grupos meta importantes son las mujeres embarazadas y los niños menores de cinco años. Finalmente, es muy importante definir claramente los servicios suministrados a la población: en esta guía estos servicios se definen en términos de áreas de suministro de servicio estándar (APS). El paquete de servicios debe especificar cuidadosamente el grupo de población meta. Métodos de recolección de datos Los métodos de recolección de datos se proporcionan en las secciones especiales de enfermedad, aquí se da una visión general. La frecuencia de los reportes dependerá del nivel que ocupen los indicadores en el marco conceptual de monitoreo y evaluación, y se deberá tener en cuenta un marco temporal razonable para un cambio esperado y la capacidad que posee el programa para el monitoreo y la evaluación. Es especialmente importante incluir la recolección rutinaria de datos que se controla regularmente (cada tres meses, cada seis meses, anualmente) y planear en una fase temprana para más a largo plazo encuestas de 1-3 años de monitoreo y evaluación con líneas basales claras. Se sugieren las siguientes frecuencias para los informes: 12 Guía de monitoreo y evaluación
Tabla 2: Frecuencias sugeridas para los informes Nivel de indicador Estructura/Proceso Resultados Directos Resultados Indirectos (comportamiento) Impacto Frecuencia recomendada para el reporte de datos Continuamente Cada trimestre, semestre o anualmente Desde 1 a 3 años Desde 2 a 5 años Ejemplos de métodos de recolección de datos usados Estadísticas de los servicios sanitarios Encuestas en centros sanitarios Monitoreo del programa Estadísticas de los servicios sanitarios Encuestas en centros sanitarios Monitoreo del programa Encuestas poblacionales Encuestas en centros sanitarios Estudios especiales Vigilancia Encuestas poblacionales Estudios especiales Tabla 3: Instrumentos de medición Instrumentos de medición Estadísticas de los servicios sanitarios Encuesta en centro sanitario Métodos cualitativos Características principales Recolección rutinaria de datos en los centros sanitarios. Vigilancia del programa. Encuesta orientada a los centros sanitarios para compilar información sobre la disponibilidad de recursos humanos, equipo, resuitados y medicamentos y el tipo de servicios ofrecido. Determinan qué existe y por qué existe más que cuánto hay allí. Permitiendo a la gente que expresen sus opiniones, puntos de vista y experiencias como deseen, el objetivo de los métodos cualitativos es entender la realidad tal como la define el grupo estudiado sin imponer a la población una estructura o un cuestionario (siempre desarrollados por los investigadores) (Maier B. Gorgen, R. et at 1995). Ejemplos de métodos de medición usados Datos registrados desde registros de varios centros sanitarios Encuestas en unidades (ej. valoración de la provisión de servicios de VIH/SIDA) SAMS (Encuestas de mapeo de disponibilidad de servicio) Entrevista a fondo (individuales, grupos de discusión, informantes clave) Observación directa Técnica interactiva o proyectiva (comentarios sobre pósters, historia abierta-cerrada/comentario sobre historia, juego de rol) Investigación operativa La investigación operativa (IO), también llamada evaluación dirigida, complementa los sistemas de monitoreo y evaluación. El objetivo principal de la investigación operativa es suministrar a los gerentes de programas la información necesaria para desarrollar, mejorar o ampliar los programas. Si la evaluación se centra en si un cambio en los resultados puede atribuirse a un programa, la IO se centra en si el programa es el correcto, o el mejor, programa para alcanzar los resultados deseados. Puede pensarse como un proceso práctico y sistemático para identificar y resolver problemas relacionados con los programas. Ejemplos de IO: Adherencia Acceso equitativo Costos Vinculo entre prevención y tratamiento Distintos modelos de intervención 13
Instrumentos de medición Vigilancia del sitio centinela Encuestas de tipo poblacional Características principales Recoge información sobre la prevalencia de enfermedades de poblaciones que son más o menos representativas de la población general (tales como las mujeres embarazadas) o / así como poblaciones consideradas de alto riesgo de infección y transmisión. Se pueden relacionar o no con pruebas anónimas, con o sin consentimiento informado. Una encuesta basada en un muestreo de la población objetivo o de la general, generalmente tiene como objetivo representar las características, comportamientos y prácticas de dicha población. Requiere un tamaño de muestra suficiente para representar la población más amplia y analizarla en subgrupos de edad, sexo, región y población meta. Ejemplos de métodos de medición usados Serovigilancia del VIH en mujeres embarazadas o en grupos identificados de alto riesgo. MICS, EDS y EDS+, EIS, EVC, SAVVY Gran parte de la información contenida en esta guía está centrada en la recolección de datos cuantitativos. No obstante, es importante subrayar el valor y uso de los datos cualitativos en la complementación, validación y suministro de una comprensión más rica de los resultados cuantitativos. Aunque los enfoques cualitativos no tienen la finalidad de ser generalizados a poblaciones más amplias, y no pueden medir las tendencias, esos datos sitúan los datos cuantitativos en el contexto y permiten una interpretación más extensa de los indicadores cuantitativos. Los datos cualitativos también sonh útiles al dirigir las respuestas contextuales al cambio de comportamiento, información que puede resultar valiosa al diseñar campañas de comunicación más efectivas, dando voz a las poblaciones pobres y vulnerables y proporcionando mejores servicios a los grupos objetivo. Para la recolección de datos cualitativos se usan diversas metodologías que incluyen, entre otras, encuestas de satisfacción del paciente, revisiones de documentos, observación del paciente/personal, ejercicios de mapeo, entrevistas de informantes clave, grupos objetivo, diagnósticos rurales participativos y estudios etnográficos rápidos. Para obtener más información sobre estas metodologías, remítase a: http://www.fhi.org/en/hivaids/pub/archive/evalchap/inex.htm. Lo ideal sería usar un enfoque tanto cualitativo como cuantitativo cuando se recoge y analiza la información. El enfoque metodológico mixto contribuirá a una mayor comprensión de los avances del programa, asegurará la triangulación de las fuentes de datos y reducirá el sesgo en el análisis de la información. Asistencia técnica El despliegue del personal de monitoreo y evaluación en los países mediante algunos organismos como ONUSIDA y el Plan de Emergencia ha supuesto un desarrollo significativo en las áreas de asistencia técnica. Ellos tienen un papel importante en la coordinación de los esfuerzos de monitoreo y evaluación entre los países y los actores. En los capítulos individuales de cada una de las enfermedades (VIH/SIDA, tuberculosis/vih, tuberculosis, malaria, Fortalecimiento de los sistemas sanitarios) se proporciona información sobre asistencia técnica con sus fuentes y recursos respectivos. En 2005, varios actores entre los que se encuentran el Fondo Mundial, el Plan de Emergencia y la OMS, han establecido y financiado el Sistema de asistencia técnica del monitoreo y la evaluación de ONUSIDA (METAT). METAT se propone canalizar las solicitudes de asistencia técnica de monitoreo y evaluación de países y programas suministrando la experiencia de las agencias técnicos. El objetivo principal de METAT es aceptar solicitudes, distribuirlas a los actores competentes y hacer el seguimiento de la asistencia técnica de monitoreo y evaluación y conocer los resultados de tales solicitudes. Con esto se pretende canalizar las solicitudes de asistencia técnica con las necesidades locales. Con el elemento Lista de tareas/orden de trabajo, los usuarios pueden dar seguimiento a las solicitudes desde la fase inicial hasta el último paso, por ejemplo, si la solicitud ha sido debidamente respondida. El análisis de las solicitudes técnicas recibidas por METAT se realizan de forma regular para identificar los problemas y plantear soluciones proactivas. Este sistema se halla en sus primeras etapas de implementación. Para vincularse a METAT como miembro o para recibir más información sobre el sistema, por favor contacte la Secretaría de ONUSIDA en helpme@unaids.org. El servicio también se está extendiendo a la asistencia técnica de monitoreo y evaluación respecto a la malaria y la tuberculosis a través de actores competentes para cada enfermedad. En los capitulos específicos según enfermedad se presentan la asistencia técnica y enlaces a recursos técnicos y sitios web para cada enfermedad. 14 Guía de monitoreo y evaluación
IV. Preguntas frecuentes Preguntas operativas 1. Cómo seleccionar los indicadores de la lista básica proporcionada en esta guía? Al decidirse por un conjunto de indicadores, los países no quedan limitados solamente a la lista básica que se presenta aquí. Los países deberían reportar pocos indicadores. Por el contrario, deben ser las finalidades del proyecto o programa nacional las que impulsen la selección de los indicadores. Sin embargo, si responden a las necesidades, se recomienda a los programas nacionales usar estos indicadores básicos propuestos en la presente guía para garantizar la estandarización de la información en todos los países, con el paso del tiempo. Los indicadores básicos han sido probados y han demostrado que ofrecen información útil y válida. Los países deben apuntar a simplificar el monitoreo y la evaluación y reportar internacionalmente un grupo estandarizado y limitado de indicadores. Los principios rectores que se detallan a continuación constituyen una ayuda para elegir el conjunto más adecuado de indicadores e instrumentos para la recolección de datos: Utilizar un marco conceptual de monitoreo y evaluación que permita alcanzar la interpretación correcta de los resultados. Asegurar que los indicadores estén relacionados con los objetivos (generales y específicos), y que puedan medir los cambios a lo largo de la duración del programa; Asegurar la utilización de indicadores estándar en la medida de lo posible, con fines comparativos de comparar a lo largo del tiempo o entre grupos poblacionales. Asegurar que los indicadores se refieren a los servicios definidos que suministra el programa. Intentar definir un paquete estándar de servicios proporcionado por el programa y los grupos objetivo. Considerar los costos y la factibilidad de la recolección y el análisis de datos. Para VIH/SIDA, tomar en cuenta en que se encuentra la epidemia. Mantener el número de indicadores al mínimo necesario, con referencia al nivel del sistema que los requiere y para su utilización en la toma de decisiones administrativas y de programación. Más tarde siempre se pueden identificar indicadores adicionales o se pueden recolectar para la gerencia del proyecto. Para reportes internacionales se recomienda un pequeño grupo de indicadores estándares y comparables internacionalmente. Ellos no necesitan reflejar las etapas iniciales del marco, p. ej. recursos y procesos, pero necesita centrarse en los resultados (directos y indirectos) alcanzados por los servicios proporcionados. 2. Por qué la planificación de la recolección de datos requiere estrategias diferentes para indicadores diferentes? Los costos, la dificultad y la capacidad para recolectar información son normalmente mayores a medida que los indicadores varían de indicadores de estructura a indicadores de resultados e impacto. Es conveniente que la recolección de los datos para los indicadores de recursos y resultados se realice en forma centralizada a partir de los sistemas rutinarios de información sanitaria, siempre que dichos sistemas existan y sean funcionales. Los planificadores de programa deben aprovechar estratégicamente la mayor atención que despiertan los programas de VIH/SIDA, tuberculosis y malaria, a la hora de solicitar financiación para el fortalecimiento de los sistemas nacionales de vigilancia e información sanitaria que pueden usarse para informar sobre todos ellos así como sobre otros programas de enfermedad específicos. Además, si los proyectos han establecido sus propios componentes de monitoreo y evaluación, una de las primeras etapas sería inicialmente la de coordinarse con otros proyectos que se realicen en el país (p. ej. PEPFAR, Banco mundial, Fondo Mundial, principales ONG e instituciones gubernamentales) a fin de reducir las superposiciones sistemas paralelos y usar estándares de datos comunes, software, sistemas e indicadores que existen en el país siempre que sea posible. Para muchos indicadores de resultado e impacto los datos se recolectan a través de encuestas más costosas y difíciles que se basan en la población o se realizan en centros sanitarios, y requieren mayor conocimiento en los métodos de investigación. La medición del resultado generalmente es más difícil debido a la sensibilidad y especificidad que posee cada indicador. Sin embargo, los programas pueden a menudo aprovechar las encuestas en curso y las líneas basales que ya existen en el país. 15