Informe de Consultoría

Transcripción

1 Informe de Consultoría Susana Guevara Consultora Antecedentes El Fondo Global de Lucha contra el VIH/sida, tuberculosis y malaria elaboró, en forma conjunta con otras agencias, una metodología para la evaluación de los Sistemas de Monitoreo y Evaluación de los proyectos que apoyan. Esta metodología contiene tres Herramientas para evaluar los planes de monitoreo y evaluación, las unidades de gestión de información y las áreas programáticas del proyecto. Las herramientas se aplican en forma participativa entre los involucrados en la implementación del proyecto y en base a los resultados de la evaluación se elabora un plan de intervención. El proceso evaluativo debe ser desarrollado por todos los países que inician un nuevo financiamiento con el Fondo Mundial. Én el año 2008, el Fondo Mundial aprobó el Proyecto de Tuberculosis presentado a la Octava Ronda de Financiamiento. Como parte de la preparación de los documentos para la firma del Contrato entre los Receptores Principales y el Fondo Mundial, se debe incluir un plan de monitoreo y evaluación que contemple la realización de este proceso de evaluación. El proceso de evaluación se realizó en el mes de Marzo sonde se desarrolló el Taller de Autoevaluación (se desarrolló los días 04 y 05 de Marzo del 2009 y asistieron alrededor de 15 personas. Con la finalidad de apoyar en la facilitación del Taller de Autoevaluación, se contrató los servicios de una consultora. Actividades realizadas 1. Para la facilitación del taller: - Revisión de documentos del Proyecto. - Reunión con Secretaría Ejecutiva de la CONAMUSA antes de la realización del taller para analizar el contexto. - Facilitación del taller los días 04 y 05 de Marzo del Sistematización de los productos del taller y elaboración del Informe 2. Asistencia Técnica para la elaboración de documentos complementarios - Reuniones continuas con equipos de los Receptores Principales a fin de orientar la elaboración de los documentos (plan de monitoreo y evaluación, plan operativo, presupuesto, modelo de gestión y plan de compras). - Reuniones con la Secretaría Ejecutiva para analizar los avances. - Elaboración de matriz de indicadores. - Análisis y opinión de documentos en su versión preliminar.

2 PATHFINDER INTERNATIONAL RECEPTOR PRINCIPAL 2 TALLER DE FORTALECIMIENTO DE LOS SISTEMAS DE MONITOREO Y EVALUACION Informe Susana Guevara Consultora Lima, Marzo del

3 Contenido Introducción Aspectos generales Resultados de la autoevaluación del Plan de Monitoreo y Evaluación... 5 Fortalezas y Debilidades del Plan de Monitoreo y Evaluación del Proyecto de Tuberculosis del Fondo Mundial RP Medidas de Fortalecimiento del Plan de Monitoreo y Evaluación del Proyecto de Tuberculosis del Fondo Mundial RP Resultados de la autoevaluación de las Capacidades de Gestión de Información de la Unidad de Gestión... 9 Fortalezas y Debilidades de las Capacidades de Gestión de Información de Pathfinder International Receptor Principal Medidas de Fortalecimiento de las Capacidades de Gestión de Información de Pathfinder International Receptor Principal Resultados de la autoevaluación de los Sistemas de Notificación de Datos de las Áreas de Programa Fortalezas y Debilidades de los Sistemas de Notificación de Datos de Áreas Programáticas14 Medidas de Fortalecimiento de los Sistemas de Notificación de Datos del Área Programática Anexos 1: Presentaciones Anexos 2: Herramientas desarrolladas

4 Introducción En el documento se presenta la memoria del Taller de Fortalecimiento de los Sistemas de Monitoreo y Evaluación del proyecto HACIENDO LA DIFERENCIA: CONSOLIDANDO UNA RESPUESTA AMPLIA E INTEGRAL CONTRA EL VIH Y LA TUBERCULOSIS EN EL PERÚ, de la octava ronda de financiamiento del Fondo Mundial de Lucha contra el VIH, la tuberculosis y la malaria. Para la implementación del proyecto, la Coordinadora Nacional Multisectorial de Salud (CONAMUSA), seleccionó dos Receptores Principales: PARSALUD (RP 1) y Pathfinder International (RP 2). La primera institución implementará directamente los objetivos 2, 3 y algunas actividades del objetivo 1. La segunda institución administrará los recursos para la implementación de los objetivos 4, 5 y algunas actividades del objetivo 1, mediante el concurso de sub-receptores. En el taller se desarrolló la Herramienta de Fortalecimiento de los Sistemas de Monitoreo y Evaluación que fue diseñada por el Fondo Mundial con la finalidad de fortalecer los Sistemas de Monitoreo y Evaluación de programas y proyectos. Estas herramientas permiten identificar fortalezas y debilidades de los sistemas de monitoreo y evaluación con lo cual se busca: a) mejorar el monitoreo y evaluación relacionado con los programas y proyectos, así como la calidad de la data generada para medir el éxito de las intervenciones, b) ayudar a las entidades que reportan bajo los programas de Gobierno y proyectos de cooperación técnica internacional a identificar las fortalezas y debilidades de sus sistemas de monitoreo y evaluación incluyendo la recolección y reporte de datos, c) identificar las áreas de los sistemas de monitoreo y evaluación que requieren una atención especial, recursos o asistencia técnica y d) generar un plan de acción para fortalecer los sistemas de monitoreo y evaluación y realizar seguimientos adecuados. Este taller se realizó en el marco del proceso de preparación de los documentos para la firma del contrato con el Fondo Mundial, para la implementación del proyecto de la Octava Ronda de financiamiento. La memoria corresponde al trabajo realizado por el receptor Principal 2, Pathfinder International. 3

5 1. Aspectos generales Objetivo del taller Fortalecimiento de los Sistemas de Monitoreo y Evaluación a través de la identificación de sus fortalezas y debilidades con el fin de mejorar los sistemas de registro de datos y reportes, contribuyendo a la transparencia y rendición de cuentas. Estructura del taller El taller se dividió en dos partes, como sigue: a) En la primera parte se realizó dos exposiciones cortas: La primera referente al objetivo del taller, la metodología y la presentación de las herramientas de evaluación desarrolladas por el Fondo Mundial. La segunda exposición fue sobre conceptos básicos relacionados al monitoreo y evaluación. b) En la segunda parte se desarrolló la aplicación de las herramientas de evaluación, para lo cual se formaron dos grupos: i) Un grupo conformado por el equipo de Pathfinder International y otros asistentes y ii) Otro grupo de participantes de PARSALUD. Participantes El promedio de personas que participaron en el taller para la valoración de las capacidades de Pathfinder fue de 7.5 personas. En total asistieron 9 personas el primer día y 6 el segundo, como sigue: Nº NOMBRE INSTITUCION CARGO Marzo 04 Marzo 05 1 Miguel Gutiérrez Ramos Pathfinder International Representante X X 2 Patricia de la Peña Pathfinder International Directora de Finanzas X 3 Gracia Subiria Responsable de M&E PI 8va Ronda Responsable de M&E 8va Ronda X X 4 Rocío Valverde Consultora TB X X 5 Héctor Jave Consultor TB/TB MDR X 6 Elizabeth Acevedo Pathfinder International Oficial de Programas X X 7 Hermana María ISDEN X X 8 Carlos Sánchez Pathfinder International Coordinador 8va Ronda X X 9 Emma Rabin de Celis SOCIOS EN SALUD X TOTAL En archivo anexo se presenta la lista de asistentes, tanto del RP1 y el RP2. 4

6 2. Resultados de la autoevaluación del Plan de Monitoreo y Evaluación Los principales resultados de la evaluación del Plan de Monitoreo y Evaluación del proyecto de Octava Ronda correspondiente a las acciones del Receptor Principal 2, Pathfinder Internacional se explican a continuación (la herramienta desarrollada se encuentra en el Anexo 2): Estrategia Nacional y Plan de M&E Nacional En el Ministerio de Salud existe la Estrategia Nacional de Prevención y Control de la Tuberculosis (ESN TB), la cual está inserta en la Dirección de Salud de las Personas. Recientemente se concluyó con la elaboración del Plan Estratégico Multisectorial de Tuberculosis, el cual aún no ha sido aprobado por el presente gobierno. Este plan contará con un plan de monitoreo y evaluación, el cual está en proceso de elaboración. Metas y objetivos del Proyecto Los objetivos y metas propuestos en el Proyecto de la Octava Ronda se encuentran en plena concordancia con el Plan Estratégico Multisectorial. Las metas tienen plazos anuales y se incluyen indicadores relevantes. Sin embargo, los participantes observaron que algunos indicadores de resultado no responden a cambios de comportamiento sino a la adquisición de conocimientos. En el Objetivo 1, los indicadores del nivel de producto miden la cobertura y los indicadores de efectos solo consideran un indicador de conocimientos. Indicadores M&E en el Proyecto a) Selección y definición Los indicadores del proyecto fueron trabajados con la ESN TB y las organizaciones de la CONAMUSA. Pero, el RP2, con la finalidad de aclarar e identificar mejor los indicadores del nivel de insumo y producto, inició coordinaciones con las diferentes organizaciones e instituciones que participan en el proyecto. Todos los indicadores del Proyecto están vinculados a los lineamientos nacionales y evalúan las tendencias de la enfermedad. Sin embargo, como se mencionó anteriormente, no se han identificado indicadores de cambio de comportamiento. El RP2, frente a esta situación considera incluir variables e indicadores orientados a medir actitudes y prácticas, en los estudios que realice para la medición de conocimientos. Si bien en el diseño del proyecto se incluyó los numeradores y denominadores de los indicadores clave incluidos en el Anexo A, aún no se cuenta con una definición operacional de todos los indicadores, porque se encuentra en proceso de elaboración. En cuanto a la desagregación de datos, es posible obtener información por sexo, edad y por áreas de intervención del proyecto, pero solo en algunos indicadores es posible desagregarlos por nivel socioeconómico. Los indicadores del proyecto no se derivan del Plan Estratégico Multisectorial, porque en este documento existen indicadores de mayor cobertura y temporalidad. Los indicadores que miden la enfermedad se derivan de directrices internacionales, pero también se han agregado otros que incluyan determinantes de salud. Tampoco se derivan de encuestas nacionales (ENDES o ENAHO) porque en ellas no se incluye temas relacionados a tuberculosis. 5

7 b) Fuente de datos Debido a que el Plan de Monitoreo y Evaluación del RP2 se encuentra en elaboración, la operacionalización de los indicadores también se encuentra en la etapa de diseño. Es por esta situación que las fuentes de datos y la frecuencia de recolección no están especificadas para todos los indicadores. Se tiene claro que se utilizarán las mismas fuentes de datos para medir los indicadores. Para el sistema de información del proyecto, se utilizará la información de fuentes oficiales y se usará datos complementarios. Asimismo, el RP2 pondrá la información a disposición de los tomadores de decisión del nivel nacional, regional y local. En el país, las encuestas nacionales, como las Encuestas de Hogares y la Encuesta de Demografía y Salud, no incluyen el tema de tuberculosis. El RP2 no ha realizado ninguna coordinación para que se incluyan, pero no se descarta la posibilidad de coordinar para un futuro. En el diseño del proyecto se consideró datos para observar las tendencias de la enfermedad, prevalencia, y mortalidad. No se cuenta con datos para observar la calidad de las actividades de formación o capacitación, pero Pathfinder tomará en cuenta esta variable para desarrollarla en base a su experiencia pasada. Tampoco se tiene datos sobre calidad de servicios o satisfacción del cliente porque el proyecto aún no se encuentra en implementación. Se debe tener en cuenta que los datos para observar adherencia y resistencia no corresponden a los objetivos que implementará el RP2. Pathfinder tiene manuales institucionales donde señala el tiempo que debe guardarse las fuentes de datos, esto es cinco años después de concluido el proyecto. c) Línea de base Debido a que el proyecto se encuentra en la fase preparatoria para la firma del Convenio con el FM, aún no se cuenta con una línea de base, pero se tendrá en el primer año de ejecución del proyecto. Los datos que se tienen corresponden a los indicadores epidemiológicos. d) Metas Tanto los indicadores de nivel de impacto, resultado y producto incluyen metas anuales y cuando son porcentajes se encuentran desagregados por numerador y denominador, pero no se menciona si sn acumulativos o no acumulativos. Solamente el indicador de conocimientos tiene incluido el incremento que se quiere obtener en base a la línea de base. Las metas están expresadas numéricamente y cuando corresponde se expresa en porcentaje, especificándose los numeradores y denominadores. Difusión de datos y transparencia Aún no se cuenta con un plan para la difusión de la información del proyecto, pero esto será incluido en el Plan de M&E. Tampoco se cuenta con protocolos que aseguren la confidencialidad de datos sensibles. Estos aspectos se incluirán en el Plan de M&E del RP2. El RP2 pondrá a disposición pública los informes de avances del proyecto. Presupuesto para M&E El Proyecto cuenta con presupuesto específico para la realización de actividades de monitoreo y evaluación, el cual representa el 8% del presupuesto. Sin embargo, se encuentra en elaboración la desagregación del presupuesto. 6

8 Resumen de la evaluación El gráfico siguiente es el resultado de la aplicación de la Herramienta de Valoración de los Sistemas de M&E del FM por el RP2 y se observa lo siguiente: - El Plan de M&E del RP2 cumple con el 43% de los parámetros señalados. - Si bien existe una estrategia nacional para afrontar la enfermedad (ESN PC TB) y un Plan Estratégico Multisectorial se encuentra en proceso de elaboración el plan de monitoreo y evaluación. En este caso la valoración del ítem es alrededor del 33%. - Las metas y objetivos del proyecto están acordes con los planteamientos nacionales, cumpliéndose el 100% de los criterios señalados. - En cuanto a los indicadores del programa, éstos cumplen el 40% de los parámetros establecidos. Este rubro es el que presenta mayores brechas que los otros debido a que se encuentra en elaboración el Plan de M&E del proyecto correspondiente al RP2, por lo que la operacionalización de los indicadores, datos y la línea de base aún no se encuentran disponibles. Se señala la ausencia de indicadores específicos de cambio de comportamientos en el diseño del proyecto. - La difusión de información y transparencia alcanza el 33% de los parámetros, porque aún no se cuenta con un plan de difusión totalmente establecido. - La valoración del presupuesto se encuentra en el 50% porque si bien se cuenta con el 8% para M&E, se está diseñando la desagregación del mismo. VALORACIÓN DEL PLAN M&E DE PROGRAMAS/PROYECTOS Distribución de categorías de respuesta (Nota: El número de respuestas se presenta en cada barra de color) Estrategia Nacional y Plan M&E Nacional Metas y objetivos del Programa/Proyecto(s) 3 0 Indicadores M&E en el Programa/Proyecto(s) Diseminación de datos y transparencia Presupuesto M&E GLOBAL % 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Sí, completamente Mayormente Parcialmente No, en absoluto No aplicable 7

9 Plan de Acción A continuación se presenta las fortalezas y debilidades identificadas que se encuentran en relación al Plan de M&E del RP2, así como las medidas previstas para su fortalecimiento. Fortalezas y Debilidades del Plan de Monitoreo y Evaluación del Proyecto de Tuberculosis del Fondo Mundial RP2 Fortalezas Relacionados al M&E La propuesta en la 8va Ronda cuenta con indicadores claves multidimensionales mas allá del enfoque biomédico Las metas y objetivos están alineadas al PEM La Política de transparencia del RP2 fomenta las acciones de información y difusión de los datos que genere el proyecto Otros El RP2 cuenta con experiencia en gestión de proyectos que garantiza el cumplimiento de las metas y objetivos El momento de construcción del PEM, ha movilizado a la sociedad civil y ha incorporado el compromiso de afectados MINSA y otros sectores del Estado Se cuenta con un equipo experimentado en manejo económico y financiero Debilidades Fuentes limitadas de información de indicadores no biomédicos El sistema de información y difusión se encuentra en proceso de elaboración Primera experiencia de Pathfinder como RP en el área de tuberculosis en el Perú La implementación del PEM supone un cambio de roles tradicionales de dirección y vínculos entre los actores tantos publicose como de la sociedad civil El PEM esta en proceso de su aprobación oficial y su respectiva difusión El ajuste del 10% solicitado por el FM Medidas de Fortalecimiento del Plan de Monitoreo y Evaluación del Proyecto de Tuberculosis del Fondo Mundial RP2 Descripción de la medida de fortalecimiento Responsabilidad Plazo temporal Financiación Para el Plan de M&E Culminación del Plan de M&E del RP2 que incluya los aspectos señalados en la herramienta Coordinaciones interinstitucionales para la incorporación de indicadores comportamentales en las encuestas. Utilizar experiencia institucional previa de M&E para el desarrollo de los objetivos del proyecto Otros La implementación del Objetivo 5 del proyecto, permitirá el desarrollo de acciones para fortalecer la respuesta multisectorial y la articulación de la sociedad civil con las instancias del sector publico Asistencia Técnica Impacto en plan de trabajo y presupuesto RP2 2 semanas RP2 no si RP2 1 año RP2 no si RP2 2 años RP2 no si RP2 y SR 2 años RP2 no si 8

10 3. Resultados de la autoevaluación de las Capacidades de Gestión de Información de la Unidad de Gestión La Herramienta fue aplicada para evaluar las capacidades de gestión de información de Pathfinder International, Receptor Principal 2. La Herramienta desarrollada se encuentra en el Anexo 2. Procedimientos y recursos de gestión de datos de la Unidad de Gestión Pathfinder International tiene experiencia en monitoreo y evaluación, que incluye la recolección y análisis de datos de nivel nacional, regional y local y la elaboración de informes. La puntualidad en la entrega de los informes de avances del proyecto ha sido reconocida anteriormente, específicamente por el Receptor principal del proyecto de la Segunda Ronda (CARE PERU), donde Pathfinder pertenecía a un Consorcio como Sub-Receptor. A fin de asegurar la calidad de los informes de progreso, el RP2 ha previsto contar con una Unidad de Asesoría Técnica de Tuberculosis. Pathfinder cuenta con una estructura organizativa evidenciada en un organigrama y en sus manuales de funcionamiento. Tiene capacidades para el monitoreo y evaluación, la información estratégica, la gestión y sistemas de datos. El personal de ésta área tiene dedicación de tiempo completo a estas funciones y se encuentra capacitado sobre los procesos y herramientas de gestión de datos. Aún no se cuenta con personal para la revisión de la calidad de datos, porque el proyecto no ha iniciado. En esta etapa se está diseñando un sistema informático para el monitoreo y evaluación. El cual incluye los procesos y procedimientos para su funcionamiento (plazos y responsabilidades). Este sistema tendrá por escrito un manual de funcionamiento y para el funcionamiento se buscará que evite inconsistencias. De igual manera, se está diseñando el flujo de información que permita relacionarse con otros sistemas de información del nivel nacional y la retroalimentación con unidades de sub-notificación. Supervisión de las entidades de sub-notificación El RP2 ha considerado incluir en los contratos con los sub-receptores los plazos y contenidos de los reportes de progreso. En el diseño del Plan de monitoreo y evaluación, el RP2 incluirá la operacionalización de los indicadores, que especifica las fuentes de datos para la estandarización de los registros de datos. Al estar en etapa de pre-implementación del Proyecto, aún no se ha seleccionado a los subreceptores. Por tanto, no se ha dado instrucciones expresas sobre qué, cómo, cuándo y a quién notificar datos. Por este mismo motivo, aún no se realiza la revisión de los informes elaborados por los sub-receptores para verificar la información. Pero, estos procesos se incluirán cuando empiece la implementación del proyecto. No existe un procedimiento escrito para afrontar las notificaciones tardías, incompletas o inexactas, pero se incluirá en el Plan de M&E. Asimismo, se incluirá las visitas de monitoreo a los sub-receptores lo que le permite verificar la calidad de los datos y la retroalimentación. De igual manera, al no existir aún sub-receptores, Pathfinder no brinda apoyo para el fortalecimiento de capacidades en M&E de los sub-receptores, lo hará en la medida que se implemente el proyecto. 9

11 Resumen de la evaluación Como se observa en el gráfico siguiente, elaborado de la aplicación de la Herramienta de Valoración del FM, el Receptor Principal como unidad de gestión de información cumple con cerca de la quinta parte de los ítems evaluados. Esta situación se debe a que el Proyecto está en etapa de pre-implementación. - Los procedimientos y recursos de gestión de datos del RP se cumplen en un 43%, el restante no se cumple porque no se está implementando el proyecto. - La supervisión a los sub-receptores no se cumple y se encuentra en un estado de parcial en el 95% de los criterios establecidos, debido a que no se está implementando el proyecto y casi todos los criterios establecidos se encuentran en diseño. E- VALORACIÓN DE LAS CAPACIDADES DE GESTIÓN DE DATOS DE LA UNIDAD DE GESTIÓN Distribución de las categorías de respuesta (Nota: El número de respuestas se presenta en cada barra de color) Procesos y recursos de gestión de datos de la Unidad de Gestión Supervisión de las Entidades de Subnotificación GLOBAL % 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Sí, completamente Mayormente Parcialmente No, en absoluto No aplicable 10

12 Plan de acción Fortalezas y Debilidades de las Capacidades de Gestión de Información de Pathfinder International Receptor Principal 2 Fortalezas Contamos con experiencia de generar informes de forma regular Estamos creando el sistema de información en concordancia con el FM Contamos con Manual de normas y procedimientos Debilidades Aún no hemos realizado la implementación con este nuevo cooperante Comunicación todavía limitada con los nuevos actores, posibles sub-receptores Medidas de Fortalecimiento de las Capacidades de Gestión de Información de Pathfinder International Receptor Principal 2 Descripción de la medida de fortalecimiento Responsabilidad Plazo temporal Financiación Se considerara la participación activa de los sub receptores (con especificidad de las poblaciones objetivas involucradas en la problemática de TB) Se construirá indicadores de tipo cualitativo y fomentaremos reportes de experiencias exitosas entre los sub receptores Familiarizar y promover a los sub receptores en los requerimientos del Fondo, en asuntos de M&E y Sistema de Información Establecer lineamientos comunes que aseguren calidad de las actividades y el recopilación de datos Asistencia Técnica Impacto en plan de trabajo y presupuesto RP2 Y SR 3 MESES RP2 NO SI RP2 3 MESES RP2 NO SI RP2 3 MESES RP2 NO SI RP2 3 MESES RP2 NO SI 11

13 4. Resultados de la autoevaluación de los Sistemas de Notificación de Datos de las Áreas de Programa La aplicación de esta herramienta se hizo teniendo en cuenta las áreas programáticas que corresponden a los objetivos que implementará el Receptor Principal 2. En este caso, se consideró las acciones de prevención en población general. Sistemas de notificación de datos del número de personas contactadas a) Recolección y agregación de datos en las entidades basadas en la comunidad Como se mencionó anteriormente, el Plan de M&E del RP2 se encuentra en construcción, por lo que las definiciones operacionales de los indicadores no se ha concluido. El sistema de información que se está diseñando incluirá códigos autogenerados para evitar el doble conteo, en cada grupo y entre grupos que reciben el mismo servicio. En el momento de contratar a los sub-receptores se considerará que éstos incluyan personal a tiempo completo y con funciones específicas para la recolección de datos, Asimismo, se elaborará un Manual de Procedimientos para el recojo de información donde se incluirán los formatos estandarizados y sus instructivos para la notificación de datos, así como la preservación de las fuentes de información. No se utilizarán formatos de recojo de información de la ESN PC TB porque las actividades que desarrollará los objetivos que corresponden al RP2 son diferentes y no lo requieren. b) Agregación y procesamiento de datos Anteriormente se mencionó que se está diseñando un sistema informático para el monitoreo. Este sistema contará con un manual instructivo que describa los procedimientos de ingreso de la información. Sistemas de notificación de datos respecto al número de productos distribuidos En el Manual de Procedimientos para el Recojo de información se incluirá pautas específicas sobre procedimientos para reconciliación de discrepancias de la información. Asimismo, se solicitará a los Sub-receptores que cuenten con documentación necesaria para sustentar la distribución de productos del proyecto (material de capacitación o comunicación, por ejemplo). Sistemas de notificación de datos respecto al número de personas capacitadas para intervenciones basadas en la comunidad Como se está en la etapa de pre-implementación, aún no se cuenta con los módulos de capacitación a desarrollarse en el proyecto, que incluyan objetivos de aprendizaje, variables e indicadores de medición del aprendizaje. Cuando se defina estos indicadores se tomará en cuenta los estándares nacionales e internacionales, así como estándares que consideren personas capacitadas. Se incluirá también herramientas para medir los conocimientos adquiridos como listas de chequeo o cuestionarios. Se tendrá en cuenta criterios para no contar dos veces a las personas capacitadas. 12

14 Resumen de la evaluación El gráfico que se sigue es el resultado de la aplicación de la Herramienta de Valoración del FM, presenta lo siguiente: - El sistema de notificación de datos del área de acciones preventivas y promociónales basadas en la comunidad cumple el 8% de los ítems señalados debido a que el proyecto aún no se encuentra en ejecución y no ha seleccionado a los sub-receptores. - La notificación de personas contactadas cumple con el 5% de los ítems establecidos, porque el proceso de recolección y agregación de datos está en proceso de diseño. - La notificación de datos sobre el número de productos distribuidos alcanza el 12.5% de los criterios seleccionados debido a que las acciones orientadas a distribución de productos corresponden a los sub-receptores, que no han sido seleccionados todavía. - La notificación de datos sobre número de personas capacitadas llega al 11% de los ítems considerados por la misma razón expuesta anteriormente. E.2- VALORACIÓN DEL SISTEMA DE NOTIFICACIÓN DE DATOS BASADO EN LA COMUNIDAD - Distribución de las categorías de respuesta (Nota: El número de respuestas se presenta en cada barra de color) Sistemas de notificación datos respecto al número de personas contactadas Sistemas de notificación de datos respecto al número de productos distribuidos Sistemas de notificación de datos respecto al número de personas capacitadas para intervenciones basadas en la comunidad GLOBAL % 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Sí completamente Mayormente Parcialmente No - en absoluto No aplicable 13

15 Plan de acción Fortalezas y Debilidades de los Sistemas de Notificación de Datos de Áreas Programáticas Fortalezas En el diseño del plan de monitoreo y evaluación se están tomando en cuenta los requerimientos para recojo de información Se están tomando previsiones para asegurar la calidad del dato Se prevé tener todos los procedimientos para los SR por escrito Debilidades No todos los indicadores, cuentan con definiciones operacionales No se cuenta con lineamientos para estandarizar estrategias de capacitación y comunicacionales Medidas de Fortalecimiento de los Sistemas de Notificación de Datos del Área Programática Descripción de la medida de fortalecimiento Responsabilidad Plazo temporal Financiación Hacer definición operacional de los indicadores Se elaboraran lineamientos para estrategias que aseguren calidad del servicio Capacitación a los SR en el sistema de información y reporte de datos Asistencia Técnica Impacto en plan de trabajo y presupuesto RP2 8ss RP2 no si RP2 8ss RP2 no si RP2 8ss RP2 no si 14

16 Anexos 1: Presentaciones Primera presentación: Metodología de la Autoevaluación de los Sistemas de Monitoreo y Evaluación Ver: Metodologia de la autoevaluación de SME.ppt Segunda presentación: Definiciones Básicas Ver: Definiciones Básicas.ppt 15

17 Anexos 2: Herramientas desarrolladas Las herramientas desarrolladas se encuentran en siguientes archivos anexos: 1_Plan ME RP2.xls 2- Unidad de Gestion_RP2.xls 3-Sistema de Reporte de datos_rp2.xls Los participantes que participaron en el desarrollo de las herramientas fueron: 1era 2da 3ra Nº NOMBRE INSTITUCION herramienta herramienta herramienta 1 Miguel Gutiérrez Ramos Pathfinder International X X X 2 Patricia de la Peña Pathfinder International X 3 Gracia Subiria Responsable de M&E PI 8va Ronda X X X 4 Rocío Valverde X X X 5 Héctor Jave X 6 Elizabeth Acevedo Pathfinder International X X X 7 Hermana María ISDEN X X X 8 Carlos Sánchez Pathfinder International X X X 9 Emma Rabin de Celis SOCIOS EN SALUD X TOTAL

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38 Herramienta de Fortalecimiento de los Sistemas de Monitoreo y Evaluación (M&E) de Programa/Proyecto Lista de comprobación para evaluar los Sistemas de Notificación de Datos por Área de Programa Nota: Entre otras Listas de comprobación que pertenecen a esta Herramienta de Fortalecimiento de los Sistemas de Monitoreo y Evaluación (M&E) se incluyen: - Valoración del Plan M&E; - Valoración de Capacidades de Gestión de Datos de las Unidades de Gestión de Programa/Proyectos. Esta lista de comprobación se desarrolló en colaboración entre el Fondo Mundial de lucha contra el SIDA, la tuberculosis y la malaria, el Plan de Emergencia para la Mitigación del SIDA del Presidente de EE.UU., MEASURE Evaluation y Health Metrics Network (HMN). June 2006

39 A- INSTRUCCIONES PARA QUE LA LISTA DE COMPROBACIÓN EVALUE LOS SISTEMAS DE NOTIFICACIÓN DE DATOS POR ÁREA DE PROGRAMA OBJETIVO Valorar las fortalezas de los sistemas de notificación de datos de Programa/Proyecto(s) para cada Área de Programa, incluyendo la capacidad para notificar datos válidos, exactos y de alta calidad relativos a la ejecución. CONTENIDO Esta Lista de comprobación tiene cuatro secciones: 1- Sistemas de notificación datos respecto al número de personas contactadas Permiten los sistemas de recolección y notificación de datos ofrecer datos válidos, exactos y de alta calidad sobre número de personas contactadas a través de las actividades del Programa o Proyecto(s)? 2- Sistemas para notificar datos respecto al número de productos distribuidos (por ej. preservativos, ITN)? Permiten los sistemas de recolección y notificación de datos ofrecer datos válidos, exactos y de alta calidad sobre número de productos distribuidos a través de las actividades del Programa o Proyecto(s)? 3- Sistemas de notificación De datos respecto al número de personas capacitadas Permiten los sistemas de recolección y notificación de datos ofrecer datos válidos, exactos y de alta calidad sobre número de personas capacitadas a través de las actividades del Programa o Proyecto(s)? 4- Sistemas de notificación de datos del número de puntos de servicio / centros / organizaciones apoyados Permiten los sistemas de recolección y notificación de datos ofrecer datos válidos, exactos y de alta calidad sobre número de puntos de servicio / centros / organizaciones apoyados a través de las actividades del Programa o Proyecto(s)? La mayoría de las Áreas de Programa asociadas con la provisión de servicios o productos puede agruparse dependiendo de si se ejecutan en un centro sanitario o en la comunidad. Algunas otras Áreas de Programa, como el apoyo a laboratorios, están relacionadas con el fortalecimiento de los sistemas. Por tanto, esta Lista de comprobación incluye tres cuestionarios: uno para las actividades basadas en el centro sanitario, otro para las actividades basadas en la comunidad y otro para las actividades de fortalecimiento de los sistemas. Cuestionario 1: Este cuestionario está diseñado para todas las Áreas de Programa relacionadas con la provisión de servicios y/o productos en un centro sanitario (por ej. ART o PMTCT en el caso del VIH/SIDA; prevención de la malaria en el embarazo en el caso de la malaria; DOTS en el caso de la tuberculosis). Cuestionario 2: Cuestionario 3: Este cuestionario está diseñado para todas las Áreas de Programa relacionadas con la provisión de servicios y/o productos en un centro comunitario (por ej. BCC contacto comunitario en el caso del VIH/SIDA; tratamiento basado en el hogar en el caso de la malaria). Este cuestionario está diseñado para todas las Áreas de Programa relacionadas con el fortalecimiento del sistema (por ej. recursos humanos/formación; centros de laboratorio) RESPONDIENDO LA LISTA DE COMPROBACIÓN Esta Lista de comprobación se ha diseñado para que sea flexible en términos de uso por parte de los Programas Nacionales, Proyectos únicos o grupos de Proyectos (por ej. un grupo de subvenciones del Fondo Mundial). Si se está utilizando la Lista de comprobación para un grupo de Proyectos, se debería responder en primer lugar por cada Proyecto y posteriormente debería completarse una versión consolidada colectivamente por los Proyectos. Los encuestados deberían: - En primer lugar, identificar el cuestionario que se aplica a cada una de las Áreas de Programa ejecutadas a través del Programa/Proyecto; 1 June 2006

40 - En segundo lugar, determinar en cada cuestionario qué sección o secciones deberían responderse dependiendo del tipo de datos a notificar. Por ejemplo, si el Área de Programa ofrece datos sobre el número de productos distribuidos y el número de personas capacitadas, los encuestados solamente deberían responder a las secciones relevantes de la Lista de comprobación (Sección 2-Productos distribuidos; y 3-Personas capacitadas). Normalmente, los siguientes cuestionarios deberían rellenarse para las siguientes Áreas de Programa:: ÁREA DE PROGRAMA (*) Cuestionario 1: Actividades basadas en el centro sanitario Cuestionario 2: Actividades basadas en la comunidad Cuestionario 3: Actividades de fortalecimiento de sistemas Comunicación de cambio de comportamiento Contacto comunitario X Evaluación y recomendación X (X) PMTCT X VIH/SIDA Diagnóstico y tratamiento STI ART X X Profilaxis y tratamiento de infecciones oportunistas X Cuidado y apoyo a los enfermos crónicos X Apoyo a los huérfanos y a niños vulnerables X Detección de caso a través de procesos bacteriológicos de calidad garantizada Tratamiento estandarizado con la supervisión y el apoyo al paciente X X Tuberculosis TB/VIH MDR-TB X X Grupos de alto riesgo y situaciones especiales X (X) Apoyar a las personas y a las comunidades X (X) Mallas de cama de protección contra insectos (ITN, por sus siglas en inglés) X X Prevención de la malaria durante el embarazo X Malaria Comunicación de cambio de comportamiento Contacto comunitario X Tratamiento inmediato y efectivo contra la malaria Tratamiento basado en el hogar en el caso de la malaria X (X) X Laboratorio X 2 June 2006

41 Entorno de apoyo Recursos humanos X Estudio de operaciones X (*) extracto de "Monitoring and Evaluation Toolkit - HIV/AIDS, Tuberculosis and Malaria" Segunda edición enero de Esta Lista de comprobación debe completarse por cada Área de Programa que esté ejecutándose por el Programa o los Proyectos. Por ejemplo, si un Proyecto está ejecutando un tratamiento antirretroviral (ART, por sus siglas en inglés) para la prevención de la transmisión de madre a hijo (PMTCT, por sus siglas en inglés), la Lista de comprobación debería rellenarse dos veces. En la parte superior de la Lista de comprobación hay una fila para especificar qué sistemas de notificación de datos de Área de Programa se están valorando. En casos específicos en los que las Áreas de Programa se combinen en una intervención, como BCC y la distribución de preservativos, debería rellenarse una lista única de comprobación de intervención basada en la comunidad. En la fila de Área de Programa de la lista de comprobación, deberían especificarse ambas Áreas de Programa. La Lista de comprobación se ha diseñado como una serie de declaraciones a las que los encuestados responden Sí - totalmente, Mayormente, Parcialmente o No - en absoluto. Por ejemplo, la declaración podría ser: Todos los puntos de servicio utilizan formularios de recolección de datos estandarizados o compatibles. En el caso de que la mayoría, pero no todos, de los puntos de servicio utilicen formularios de recolección de datos estandarizados o compatibles, la respuesta debería ser Mayormente. En los casos en los que la declaración no sea aplicable, los encuestados deberían seleccionar la categoría de respuesta N/A. Algunas declaraciones en la Lista de comprobación pueden no ser relevantes para los Programas Nacionales. Estas declaraciones se han identificado en la Lista de comprobación como [no aplicable al Programa Nacional]. En estos casos, el Programa Nacional puede saltarse la declaración o responder N/A en la caja de RESPUESTA. En el archivo Excel, debería seleccionarse la respuesta apropiada a través de la caja desplegable contenida en la columna RESPUESTA. Las respuestas Sí - completamente aparecerán en verde, Mayormente y Parcialmente aparecerán en Si la respuesta a la declaración NO es Sí - completamente, los encuestados deberían ofrecer una explicación en la caj La Lista de comprobación contiene una columna para COMENTARIOS DE REVISIÓN Y VERIFICACIÓN. Esta columna debería utilizarse si la Lista de comprobación se revisa por un tercero, como el Agente Local del Fondo para el Fondo Mundial o el Equipo USG SI según el Plan de Emergencia (PEPFAR). CUADRO DE MANDO RESUMEN Un CUADRO DE MANDO RESUMEN de los resultados se generará automáticamente (en función de las respuestas ofrecidas a las declaraciones contenidas en la Lista de comprobación). Este cuadro de mando mostrará la distribución de las categorías de respuesta globales para cada una de las dos secciones. Este cuadro de mando ofrece una representación visual de las lagunas presentes en los sistemas de notificación de datos por Área de Programa. Además del cuadro de mando resumen, los patrones de revisión de respuestas a las declaraciones en la Lista de comprobación ofrecerán una valoración más detallada de las lagunas específicas en los sistemas de notificación de datos por Área de Programa. Esta revisión ayudará a los encuestados a rellenar el PLAN DE ACCIÓN. 3 June 2006

42 PLAN DE ACCIÓN En la Lista de comprobación hay una sección titulada PLAN DE ACCIÓN. En esta sección, los encuestados deberían identificar en primer lugar las fortalezas y debilidades de los sistemas de notificación de datos del Área de Programa identificada en función de las respuestas ofrecidas a las declaraciones contenidas en la Lista de comprobación. Los encuestados deberían identificar las medidas de fortalecimiento previstas y, para cada una de estas medidas, especificar la responsabilidad, el plazo límite, la fuente de financiación, las necesidades de asistencia técnica y el impacto en los planes/presupuestos de trabajo existentes. Finalmente, los encuestados deberían, en función de las respuestas a las declaraciones contenidas en la Lista de comprobación, ofrecer una calificación global sobre los sistemas de notificación de datos del Área de Programa. Una calificación A indica que no existen brechas, una calificación B indica brechs menores y una calificación C indica brechas importantes en los sistemas de notificación de datos valorados del Área de Programa. Si la Lista de comprobación se revisa por un tercero, dicha entidad también ofrecerá su propia valoración global considerando las respuestas en la lista d PARTICIPANTES SUGERIDOS Se recomienda que todos los directores y representantes de programa de cada entidad ejecutora se reúnan para rellenar esta Lista de comprobación. Dependiendo de si se responde a Lista de comprobación para un Programa, un Proyecto o un grupo de Proyectos, será necesario convocar a más de un grupo. Por ejemplo, si un Programa comprende un número de Proyectos, puede ser beneficioso que se rellene en primer lugar la Lista de comprobación por los representantes de cada Proyecto y que posteriormente se convoque a un grupo más amplio, incluyendo a las partes interesadas, para rellenar una lista de comprobación consolidada para el Programa. Las partes interesadas podrían incluir a representantes del Programa Nacional M&E (por ej. del Ministerio de Sanidad, Departamento de Estadística, etc.), asociados técnicos nacionales e internacionales (por ej. ONUSIDA), OMS, agencias donantes, ONG y otros, según sea apropiado. Sería muy beneficioso incluir tanto a directores de programa y expertos M&E conjuntamente cuando se rellene la Lista de comprobación. DOCUMENTOS DE APOYO SUGERIDOS 4 June 2006

43 B- GLOSARIO SISTEMAS DE NOTIFICACIÓN DE DATOS POR ÁREA DE PROGRAMA ARV Antirretrovirales HIS Sistema Nacional de Información de Salud ID Identificación M&E Monitoreo y Evaluación MOH Ministerio de Salud PEPFAR Plan de Emergencia para la Mitigación del SIDA del Presidente de EE.UU. Indicadores a nivel de Programa Estos son indicadores que permiten seguir el progreso de la ejecución del Programa/Proyectos. Estos indicadores se agrupan generalmente en cuatro categorías: 1- Número de personas contactadas, 2- Número de personas capacitadas, 3 - Número de puntos de servicio y 4- Número de Centros / Organizaciones apoyadas (por ej. con actividades de fortalecimiento de sistemas). PMTCT Prevención de la transmisión de madre a hijo SI Información estratégica ONUSIDA Programa Conjunto de las Naciones Unidas sobre el VIH/SIDA 1 June 2006

44 C- DATOS DE CONTEXTO PARA RELLENAR LA LISTA DE COMPROBACIÓN A EFECTOS DE EVALUAR LOS SISTEMAS DE NOTIFICACIÓN DE DATOS POR ÁREA DE PROGRAMA País PERU Enfermedad o área de enfermedad TBC Unidad(es) de gestión PARSALUD RP1 Número(s) de identificación de Programa/Proyecto Fecha(s) de inicio de Programa/Proyecto Nombre de la entidad de revisión y verificación Fecha de conclusión Fecha de revisión y verificación (si fuera aplicable) Lista de participante (para rellenar la Lista de comprobación en los Sistemas de Notificación de Datos) Nombre EMMA RUBI DE CELIS ENRIQUE VELASQUEZ EDGARDO NEPO MIRIAM SALOMON ALFREDO TORRES Cargo/ Organización DIRECTORA DE PROYECTOS EN SOCIOS EN SALUD EQUIPO TECNICO PARSALUD EQUIPO TECNICO PARSALUD EQUIPO TECNICO PARSALUD ESN TUBERCULOSIS Documentos de origen (para rellenar la Lista de comprobación en los sistemas de notificación de datos) 1 June 2006

45 D.1- LISTA DE COMPROBACIÓN SISTEMAS DE NOTIFICACIÓN DE DATOS POR ÁREA DE PROGRAMA Centros sanitarios RESPUESTA Sí completamente Mayormente Parcialmente No - en absoluto COMENTARIOS (obligatorio si la respuesta no es "Sí - completamente") COMENTARIOS DE REVISIÓN Y VERIFICACIÓN Especificar el nombre del Área de Programa para la cual se está rellenando esta Lista de comprobación: Esta sección debería rellenarse para cada Área de Programa relacionada con la prestación de servicios y/o productos en un Centro Sanitario (por ej. ART o PMTCT en el caso del VIH/SIDA; prevención de la malaria en el embarazo en el caso de la malaria; DOTS en el caso de la tuberculosis) I- Sistemas para notificar datos del número de personas contactadas I.1. Recolección y agregación de datos en todos los Puntos de Servicio 1 Existe una lista con definiciones operacionales de cada indicador que se está contabilizando (por ej. que se considera una persona bajo tratamiento, una persona asesorada, una persona evaluada). Mostly En proceso Estas definiciones operacionales cumplen 2 criterios nacionales. Mostly En proceso 3 criterios internacionales. Mostly En proceso 4 Las mismas definiciones operacionales de los indicadores se siguen sistemáticamente en todos los puntos de servicio incluidos en el Programa/Proyecto(s). El sistema de notificación de datos evita la doble contabilidad 5 dentro de cada punto de servicio (por ej. cuando una persona que recibe el mismo servicio varias veces en el mismo punto de servicio se contabiliza inadecuadamente en más de una ocasión). 6 entre los puntos de servicio (por ej. cuando una persona que recibe el mismo servicio varias veces en diferentes puntos de servicio se contabiliza inadecuadamente en más de una ocasión). Partly Sólo en una misa DIRESA 7 El sistema de notificación de datos permite una clara identificación de una persona excluida o una persona a la que se le ha perdido el seguimiento. 8 En cada punto de servicio, la responsabilidad de la recolección de datos se asigna claramente al personal relevante (es decir, se encuentra en su descripción de puesto de trabajo). 9 Todos los puntos de servicio utilizan formularios de recolección de datos estandarizados o compatibles (por ej. registros, historiales médicos). 10 Existen instrucciones claras sobre cómo rellenar los formularios de recolección de datos. 11 Cuando estén disponibles, se utilizan los formularios nacionales relevantes para la recolección de datos. [No aplicable al Programa Nacional] 12 Para la notificación de datos sobre los números agregados de personas contactadas/atendidas, todos los puntos de servicio utilizan formularios de notificación de datos estandarizados o compatibles Existen instrucciones claras sobre cómo utilizar los formularios de notificación de datos. En todos los puntos de servicio, existe personal designado responsable para la revisión y validación de números agregados antes de su envío al siguiente nivel (es decir, se encuentra en su descripción del puesto de trabajo). Todas las fuentes de datos (por ej. registros, historias médicas) están disponibles a efectos de auditoría. I.2. Agregación y procesamiento de datos (relacionados con las personas contactadas en los puntos de servicio) 16 Los datos agregados sobre la cantidad de personas contactadas/atendidas agregados se registran y comunican a través de un único canal de los sistemas de información nacionales. Mostly Existe paralelismo sólo para la información de las pruebas de sensibilidad en dos laboratorios regionales (de siete laboratorios) 1 June 2006

46 D.1- LISTA DE COMPROBACIÓN SISTEMAS DE NOTIFICACIÓN DE DATOS POR ÁREA DE PROGRAMA Centros sanitarios RESPUESTA Sí completamente Mayormente Parcialmente No - en absoluto COMENTARIOS (obligatorio si la respuesta no es "Sí - completamente") COMENTARIOS DE REVISIÓN Y VERIFICACIÓN En todos los niveles intermedios en los que se agregan datos (por ej. Distritos, Regiones), existe personal designado responsable de revisar la calidad de los informes presentados por los niveles inferiores (por ej. de los puntos de servicio) En todos los niveles intermedios en los que se agregan datos, los informes recibidos de niveles inferiores se verifican sistemáticamente para comprobar su exactitud y errores obvios En todos los niveles intermedios en los que se agregan datos, existen mecanismos/procedimientos para conciliar las discrepancias en los informes. Existen controles de calidad de datos cuando éstos se introducen en una computadora desde formularios de papel (por ej. doble entrada, verificación posterior a la entrada). Partly Sólo en la Unidad Técnica (sujeto a confirmación de las DIRESA y del INS) 21 Existe un procedimiento escritos cuando se informatiza la entrada o el procesamiento de datos. Partly sujeto a confirmación de la Unidad Técnica y del INS 22 Todos los formularios de notificación de datos utilizados para la agregación o análisis están disponibles a efectos de auditoría en todos los niveles en los que se notifican datos. II- Sistemas de notificación de datos respecto al número de productos distribuidos (por ej. preservativos, ITN) 23 Los distribuidores utilizan sistemáticamente hojas de registro para notificar el número de productos distribuidos. 24 Las hojas de registro de distribución recibidas de los distribuidores se verifican sistemáticamente para comprobar que están completas y obviar errores. 25 Existen mecanismos/procedimientos para conciliar las discrepancias en las hojas de registro de distribución Los números de distribución (de las hojas de registro agregadas) se concilian con los números de los sistemas de control del inventarios (es decir, los números de productos recuperados de los almacenes a efectos de distribución). Existen controles de calidad cuando se introducen datos en una computadora provenientes de las hojas de distribución (por ej. doble entrada, verificación posterior a la entrada). Partly No existe evidencias sobre la realización del proceso de conciliación Sistema SIGA (Oficina de Logística) 28 Todas las fuentes de datos (por ej. hojas de registro de distribución) están disponibles a efectos de auditoría. III- Sistemas de notificación de datos respecto al número de personas capacitadas para intervenciones basadas en un centro sanitario Existe una definición clara de lo que se considera formación/capacitación 29 para intervenciones basadas en un centros sanitarios (por ej. objetivos de aprendizaje específicos basados en la valoración de necesidades, detalle de curso, conocimiento que se prevé obtener). Se encuentra en proceso de aplicación La definición cumple 30 criterios nacionales. 31 criterios internacionales (por ej. criterios de agencia técnica o de donante, si los hubiera). Partly sujeto a revisión 32 Existe un mecanismo/procedimiento para asegurar que la persona contabilizada como capacitada ha finalizado toda la formación. No - not at all No existe un procedimiento 33 Existe un mecanismo/procedimiento para verificar que se han logrado los objetivos de aprendizaje (por ej. pre-post evaluación, en la observación en el trabajo de las habilidades adquiridas). No - not at all No existe un procedimiento 34 El sistema de notificación de datos evita la doble contabilización (por ej. cuando una persona recibe formación o capacitaciones múltiples en el mismo área de programa se contabiliza inadecuadamente más de una vez). No - not at all No existe un procedimiento 35 En todos los niveles intermedios en los que se agregan datos sobre la formación/capacitación los informes recibidos de niveles inferiores se verifican sistemáticamente para comprobar su exactitud y errores obvios. No - not at all Please Provide a Comment. 36 En todos los niveles intermedios en los que se agregan datos sobre formación/capacitación, existen mecanismos/procedimientos para conciliar las discrepancias en los informes. No - not at all Please Provide a Comment. 2 June 2006