INFORME FINAL DE LA CONSULTORÍA DISEÑO Y ELABORACIÓN DE SISTEMA DE MONITOREO DE PROCESOS REGIONALES DE SALUD DICIEMBRE 2/ 2011 Consultora Katherine Tobar Página 1 de 11
CONTENIDO I. RESUMEN EJECUTIVO... 3 II. OBJETO Y METODOLOGIA DE LA CONSULTORIA... 4 2.1. Objeto del Contrato... 4 2.2. Metodología aplicada general... 4 2.3. Metodología aplicada por Producto... 5 III. LOGROS ALCANZADOS EN LA CONSTRUCCION DEL SISTEMA M&E... 9 3.1. Fichas Técnicas Indicadores del Plan de Salud... 9 3.2. Instrumentos y Reportes de Monitoreo... 9 3.3. Lineamientos Plataforma Tecnológica... 9 3.4. Diseño del sistema de M&E... 10 3.5. Capacitación a Responsables de M&E... 10 IV. ANEXOS... 11 ANEXO 1: Documento de Diseño del Sistema de M&E... 11 ANEXO 2: Informe de Taller de Capacitación... 11 Página 2 de 11
Informe final de la consultoría diseño y elaboración de sistema de monitoreo de procesos regionales de salud I. RESUMEN EJECUTIVO Durante los años 2009 y 2010, la Secretaría Ejecutiva del Consejo de Ministros de Salud de Centroamérica COMISCA con el apoyo del Fondo España/SICA, elaboraron su Estrategia de Mejoramiento de la Gestión e Información Regional en Salud de la SE COMISCA para el periodo 2010-2013, que incluye dos componentes: i) Consolidar el Modelo de Negociación Conjunta y ii) Sistema de Monitoreo y Evaluación. En el marco del Componente dos: Sistema de Monitoreo y Evaluación, la SE COMISCA programó construir un Sistema que permita monitorear los avances en la implementación del Plan de Salud de Centroamérica y República Dominicana 2010-2015 aprobado en XXXI Reunión COMISCA (diciembre 2009), Proyectos regionales vinculantes y Resoluciones de COMISCA. Con este antecedente, la SE COMISCA realizó en el mes de junio 2011 la convocatoria a concurso de la consultoría Diseño y elaboración del Sistema de Monitoreo de los Procesos Regionales de Salud, cuyo objetivo es la elaboración de una propuesta de Monitoreo y Evaluación según las necesidades regionales en el marco del Plan de Salud del SICA. Desde el 29 julio 2011 que dio inicio la consultoría se han elaborado los productos contemplados en los términos de referencia del contrato: i) Plan de Trabajo, ii) Fichas Técnicas de los Indicadores priorizados del Plan de Salud, iii) Instrumentos de monitoreo del Plan de Salud y procesos de gestión del SECOMISCA, iv) Lineamientos para la plataforma tecnológica del sistema de M&E, v) aplicación piloto de instrumentos, vi) documento de sistema de monitoreo y evaluación, y vii) informe de capacitación a responsables de monitoreo. El presente Informe resume la metodología de los productos y su articulación ha permitido desarrollar el diseño del sistema de M&E de los procesos regionales de salud, aprobado en el CEIP del 23 y 24 noviembre del 2011 y levantados a aprobación del COMISCA en reunión del 1 y 2 diciembre 2011. Página 3 de 11
II. OBJETO Y METODOLOGIA DE LA CONSULTORIA 2.1. Objeto del Contrato Elaborar una propuesta de Monitoreo y Evaluación según las necesidades regionales en el marco del Plan de Salud del SICA que tendrá en cuenta una fase de diseño del sistema de M&E, su validación y el seguimiento. 2.2. Metodología aplicada general El desarrollo de la consultoría se ha guiado por el Mapa Metodológico (formulado en el Plan de Trabajo) para construir el Sistema de Monitoreo y Evaluación, el cual consiste en partir con la priorización de indicadores a nivel de los Resultados Estratégicos del Plan de Salud y su descripción en fichas técnicas. Posteriormente, elaborar instrumentos de monitoreo para registrar las metas alcanzadas con sus medios de verificación de los indicadores de resultado y proceso del Plan de Salud (incluye monitoreo riesgos); de los Programas o Proyectos Regionales de Salud y para realizar el seguimiento de las Resoluciones del COMISCA. Adicionalmente se han preparado instrumentos para monitoreo de los Acuerdos y Contratos que mantiene la SECOMISCA. Para el monitoreo del uso y divulgación de avances se ha incorporado el instrumento respectivo. El diseño de los instrumentos ha permitido realizar lineamientos para construir la plataforma tecnológica virtual. Con los insumos descritos se desarrollo el documento de diseño de sistema de M&E, mismo que sirvió de base para la capacitación a los responsables de monitoreo de cada país. (miembros CEIP) En la figura No. 1 se puede apreciar que según la metodología planteada en el Plan de Trabajo, se ha alcanzado los 7 productos de la consultoría (se coloca en verde los productos realizados). Página 4 de 11
Figura No.1 Avance Producto Consultoría DOCUMENTO SISTEMA DE M&E PRODUCTO 6 Mapa Metodológico para diseño Sistema M&E COMISCA operacionalización LINEAMIENTOS HERRAMIENTA PRODUCTO 4 1. Estructura organizativa de M & E 2. Capacidad humana para M & E 3. Monitoreo (rutinario) del Plan (incluye herramientas de monitoreo y fichas técnicas de indicadores) PRODUCTO 2 Y PRODUCTO 3 4. Monitoreo de Proyectos Regionales 5. Monitoreo (rutinario) de actividades del SE COMISCA y seguimiento de los mandatos de Ministros de Salud PRODUCTO 3 6. Gestión de datos 7. Evaluación del Plan 8. Uso de datos para toma de decisiones (incluye reportes) 9. Lineamientos para Plataforma tecnológica. PRODUCTO 4 10. Plan de Trabajo y resupuesto para M&E SISTEMA DE MONITOREO Y EVALUACION SEMAFORO METAS Actividad no iniciada con retrazo > 15 días Actividad en implementación < 80% Actividad en implementación > 81% o finalizada INFORME DE PILOTO PRODUCTO 5 PLAN DE SALUD PROYECTOS REGIONALES RESOLUCIONES INFORME CAPACITACION PRODUCTO 7 Agosto diciembre 2011 2.3. Metodología aplicada por Producto Para el desarrollo de cada producto contemplado en la consultoría se realizaron las siguientes actividades: Producto 1: Plan de trabajo El Plan de Trabajo fue preparado en base a los términos de referencia y propuesta técnica adjudicada; además de revisión de información secundaria disponible en la página web del COMISCA. El Plan de Trabajo aprobado incluyó una programación detalla de actividades, cronograma, hitos críticos, diseño metodológico, reuniones presenciales y virtuales Página 5 de 11
Producto 2: Fichas Técnicas de Indicadores Para la elaboración de las Fichas Técnicas de los Indicadores del Plan de Salud de Centroamérica y República Dominicana 2010-2015 se siguieron las siguientes actividades: Revisión de indicadores contemplados en el Plan de Salud, se efectuó un análisis del Plan de Salud de Centroamérica y República Dominicana 2010-2015 aprobado en XXXI Reunión del COMISCA de diciembre del 2009; observándose que se programaron 99 indicadores para medir los Resultados Estratégicos (indicadores de impacto, resultado y proceso). Reunión con equipo de SECOMISCA, uno de los hitos identificados para el desarrollo de la consultoría era la revisión de coherencia y contenidos de los indicadores para construir las fichas técnicas con el equipo del SECOMISCA. El análisis de coherencia (cruce Indicador- Resultado-Línea de acción) fue realizado con la Coordinadora de Gestión y Monitoreo de procesos regionales de Salud del SECOMISCA 1. Para la elaboración de los contenidos de las Fichas Técnicas se entrevisto a los diferentes responsables por temas del Plan de Salud. Priorización de indicadores, el SECOMISCA se caracteriza por manejar un modelo de gestión para resultados, por tanto, se utilizó como herramienta para priorizar los indicadores del Plan de Salud, el cuadro de mando integral. Con la Coordinadora de Gestión y Monitoreo de procesos regionales de Salud se partió de una revisión de la Visión, Objetivos y Resultados Estratégicos y su relación con los 99 indicadores programados. Para la selección de quienes conformarían el tablero de indicadores, se separó aquellos que serán incluidos en el sistema de información y vigilancia que viene trabajando el SECOMISCA con los Ministerios de Salud; que son de continua vigilancia por representar a las principales enfermedades o eventos de salud pública. Los indicadores que fueron seleccionados para medir el avance del Plan de Salud están relacionados con los Resultados Estratégicos y la capacidad de monitorearlos. Elaboración de Fichas Técnicas, Para conseguir una adecuada recolección y medición de los indicadores se requiere contar con su caracterización detallada, la cual se presenta en la denominada Ficha Técnica. Las Fichas Técnicas de los indicadores seleccionados contienen: i) descripción o definición, ii) identificación de fuente, iii) forma de cálculo, iv) metas, v) unidad de análisis, vi) control calidad data, viii) instrumento de recolección data, ix) responsables proceso de gestión de data, x) divulgación y uso de información. Para completar la información de las Fichas Técnicas se entrevistó a los diferentes responsables por tema del Plan de Salud. Validación de Fichas Técnicas, la Coordinación Regional de M&E remitió a los países el tablero de indicadores y sus fichas técnicas para validación; todos los países respondieron y las observaciones fueron incorporadas en el documento final de propuesta de sistema de M&E 1 Revisión fue realizada del 23 al 27 agosto 2011 Página 6 de 11
Producto 3: Instrumentos de Monitoreo para el Plan Estratégico y SE COMISCA Para la elaboración de los instrumentos de monitoreo se efectuó: Análisis de la viabilidad de la aplicación y gestión de los instrumentos de monitoreo, para esta revisión se aplicó Guías de entrevista a la Coordinadora de Gestión y Monitoreo de procesos regionales de Salud y Coordinador Administrativo Financiero, que permitieron conocer el alcance de las actividades del SECOMISCA, y por tanto, elaborar la propuesta de instrumentos de monitoreo. Ver Anexo No.5 Guías Entrevistas Elaboración de instrumentos Plan de Salud, se identificó como mecanismo de monitoreo la semaforización de metas de acuerdo a su avance y se preparó un instrumento que permite la medición de avance de los indicadores de resultado y el registro de los medios de verificación. Se incluye un instrumento para monitoreo del Plan Operativo y además se creó otro para el seguimiento de riesgos del Plan de Salud. El Plan de Salud se operativiza a través de Programas y Proyectos Regionales, por lo que, se realizó los instrumentos que permitan su seguimiento de metas, costos, riesgos, cambios, tiempo y desempeño organizacional. Elaboración de instrumentos SE COMISCA, para la gestión de dicha Secretaria se identificó la necesidad de preparar instrumentos de monitoreo para sus contratos con consultores, acuerdos o convenios con entidades, monitoreo a las Resoluciones del COMISCA; y finalmente un instrumento que permita el registro de los informes y mecanismos de difusión del Plan de Salud. Presentación y validación instrumentos en formato word y/o Excel; para su presentación los instrumentos se alimentaron de información real proporcionada por el SECOMISCA. La validación fue realizada con la Coordinadora de Gestión y Monitoreo de procesos regionales de Salud, lo cual permitió efectuar los ajustes a la propuesta inicial y mejorar la respuesta a las necesidades de la entidad. Adicionalmente, en taller con miembros del CEIP del 23 y 24 noviembre se efectuó su presentación y revisión Producto 4: Lineamientos Plataforma Tecnológica En base al Producto: 2 Fichas Técnicas de Indicadores, Producto 3: Instrumentos de Monitoreo y aplicación de entrevista a responsable de sistemas de información del SECOMISCA; se elaboró un documento técnico con lineamientos para el diseño de la plataforma tecnológica del sistema de monitoreo y evaluación on line. El documento fue presentado al responsable de sistemas de información, así como los instrumentos de monitoreo. Página 7 de 11
Producto 5: Prueba piloto de implementación de instrumentos de monitoreo Los instrumentos propuestos han sido alimentados de información del SECOMISCA lo cual ha permitido su adaptabilidad en los mismos. La información utilizada ha sido: Indicadores de Resultado del Plan de Salud validados por los países Plan de Trabajo y presupuesto del Plan de Salud 2011 Resoluciones de medicamentos de la ultima COMISCA Información del Proyecto CDC Convenio INIAP Contrato consultor Propuesta de plan de divulgación A partir del mes de octubre 2011 se ha coordinado con el responsable de sistemas de información del SECOMISCA para determinar la opción de plataforma más viable. Adicionalmente, se presentó los instrumentos con la información indicada, al coordinador de tecnología del CDC (Daniel Otzoy) el 19 octubre 2011. Producto 6: Documento de Diseño del sistema de M&E del Plan Estratégico y SECOMISCA En base a los productos 2, 3 y 5 se construyó el documento que describe el diseño del sistema de M&E del Plan Estratégico y SE COMISCA, considerando 10 elementos que responden a las características del COMISCA. Para el diseño del sistema se recolectó información secundaria para comprender la identidad y alcance de las acciones del COMISCA, lo cual permitió conceptualizar el contenido del documento; además se mantuvieron reuniones con la Coordinadora Regional de Monitoreo y Evaluación. El 15 de noviembre del 2011 se presentó la primera versión del documento de diseño de sistema de M&E que sirvió de insumo para el taller de capacitación y socialización a los miembros del CEIP. En el taller de M&E del 23 y 24 noviembre se recibieron observaciones al contenido del documento, las cuales fueron incorporadas en una segunda versión. Producto 7: Informe de capacitación a responsables de M&E La SECOMISCA solicitó a los países nombrar a los delegados a participar en el Taller de capacitación de M&E, siendo los miembros del CEIP los delegados. Para el taller se preparó los materiales en físico y digital. Los contenidos y observaciones han sido recogidas en el Informe de capacitación del taller de M&E del 23 y 24 noviembre del 2011 Página 8 de 11
III. LOGROS ALCANZADOS EN LA CONSTRUCCION DEL SISTEMA M&E El trabajo efectuado ha permitido obtener los siguientes logros: 3.1. Fichas Técnicas Indicadores del Plan de Salud Para la gestión por resultados que implementa el COMISCA se ha elaborado un tablero de indicadores conformado por 23 indicadores que permitirán medir el avance del Plan de Salud de Centroamérica y República Dominicana 2010-2015. Cada indicador cuenta con su ficha técnica que incluye su definición, medio de verificación, fórmula de cálculo, fuente, instrumento de recolección y medición, responsables de gestión datos y mecanismo de divulgación y uso de información. 3.2. Instrumentos y Reportes de Monitoreo Para realizar el monitoreo en el COMISCA y SECOMISCA se han identificado 8 instrumentos que permite registrar los avances del Plan de Salud, Plan Operativo Anual, Resoluciones, Planes y Proyectos, Convenios, Contratos y Uso de información; estos son: 1. Instrumento monitoreo Indicadores de Resultado 2. Instrumento monitoreo Indicadores de proceso, tiempos, gastos y financiamiento 3. Instrumento monitoreo riesgos del Plan de Salud 4. Instrumentos monitoreo Planes y Proyectos Regionales de Salud 5. Instrumento monitoreo Resoluciones del COMISCA 6. Instrumento monitoreo contratos 7. Instrumento monitoreo Acuerdos o Convenios 8. Instrumento monitoreo uso y divulgación de la información Los instrumentos mencionados producen 8 Reportes de salida, que serán utilizados por los diferentes usuarios (SECOMISCA, CEIP, COMISCA) para la toma de decisiones 3.3. Lineamientos Plataforma Tecnológica Para la implementación de los instrumentos en una plataforma tecnológica se han realizado los lineamientos en relación a: i) organización estructural del sistema de M&E y funciones de los responsables de la gestión del sistema, ii) gestión de información que incluye flujo de datos, su Página 9 de 11
procesamiento, análisis y uso, iii) gestión de la plataforma con propuesta de organización de contenidos, modo de operación y seguridad informática mínima. Los contenidos del sistema de M&E estarían organizados en 4 carpetas: i) En qué consiste el SM&E, ii) Instrumentos de Monitoreo, iii) Reportes de Monitoreo y iv) Autocontrol. 3.4. Diseño del sistema de M&E El COMISCA dispone del documento con la arquitectura del Sistema de Monitoreo y Evaluación, con el detalle de 10 componentes2 que interrelacionados permitirán lograr su óptimo funcionamiento. 1. Estructura organizacional del sistema de M & E 2. Recursos Humanos del sistema de M & E 3. Monitoreo del Plan de Salud 4. Monitoreo de Proyectos Regionales de Salud 5. Monitoreo del SECOMISCA 6. Gestión de datos 7. Evaluación del Plan de Salud 8. Uso y Divulgación de información 9. Plan de Trabajo y Presupuesto para funcionamiento de sistema de M&E 10. Lineamientos de Plataforma tecnológica (producto 4) En el Anexo 1 se incluye el documento con el Diseño del sistema de M&E que fue validado por los miembros del CEIP el 23 y 24 noviembre del 2011 3.5. Capacitación a Responsables de M&E La realización de la socialización y capacitación a los miembros del CEIP ha permitido su involucramiento en el diseño del sistema de M&E, conocimiento del alcance de la propuesta del sistema, compromiso con la recolección de los medios de verificación de los indicadores de resultado en cada uno de sus países, y finalmente, reconocimiento de la importancia del proceso de M&E en el SECOMISCA para generar información estratégica para guiar las decisiones en las reuniones del COMISCA. En el Anexo 2 se presenta el Informe del Taller de Capacitación del 23 y 24 noviembre 2011. 2 Fuente: Adaptado de Organizing framework for a functional national HIV monitoring and evaluation system. Geneva, UNAIDS, 2008 Página 10 de 11
IV. ANEXOS ANEXO 1: Documento de Diseño del Sistema de M&E ANEXO 2: Informe de Taller de Capacitación Página 11 de 11