14. Sistema de supervision, seguimiento y evaluación del PAI

Transcripción

1 La calidad es directamente proporcional a la eficacia y a la eficiencia mediante la cual se ejecutan los procesos. En el PAI la eficacia de los productos inmunobiológicos se encuentra ampliamente comprobada, y se entiende por eficiencia en el PAI al logro de coberturas mayores del 95% en el 100% de los municipios del país para todos los inmunobiológicos y en cada grupo objeto de atención. Esto implica el cumplimiento de los atributos relacionados con el cumplimiento, la oportunidad, la confiabilidad, la comunicación y la relación costo-efecto del proceso. Es decir: el cumplimiento en el suministro a tiempo, sin barreras, sin horarios, con vacunas de alta potencialidad por el cumplimiento de las normas de adecuada conservación y transporte de la cadena de frío, y las buenas prácticas de aplicación de inyecciones de productos inmunobiológicos; la oportunidad en la medida en que se facilita la accesibilidad de todos los grupos objeto del programa y los esquemas se completan en la fecha mínima esperada en cada grupo de edad; la confiabilidad generada en la percepción de garantía que tiene la comunidad en el efecto benéfico real de los inmunobiológicos, fortalecido por los procesos de información, educación y comunicación continua; la comunicación a nivel institucional en la medida en que todos los miembros del equipo de salud desarrollen una valoración altamente sensible de los procesos de inmunización en el PAI y con la apropiación del conocimiento por parte de la población de la importancia de estos procesos para la erradicación, eliminación y control de las enfermedades prevenibles por vacunación; se valida en la medida en que las coberturas de vacunación sean mayores del 95% en el ente territorial y no se detecten oportunidades perdidas de vacunación en las entidades prestadoras de servicios de salud, y la relación costo-efectividad reflejada en la optimización de los recursos de talento humano, insumos y apoyo logístico que permiten cristalizar la misión y visión del programa con la armonía generada en el trabajo en equipo, la calidad de los servicios brindados y el cumplimiento en el logro de las coberturas de vacunación mayores del 95%. También debe contemplar la verificación periódica del grado de obtención de los indicadores de evaluación previstos, definidos en indicadores de cumplimiento que reflejan la capacidad del ente territorial para alcanzar o cumplir las acciones programadas; del crecimiento histórico que indica la capacidad del ente territorial de sostener las acciones para el mantenimiento de las coberturas mayores del 95% y el decremento en el comportamiento de los eventos; los indicadores de rendimiento permiten comparar el crecimiento en la optimización de los recursos, evaluado, por ejemplo, en el rendimiento hora/ vacunador de acuerdo con la capacidad humana instalada y la población objeto; por último, los indicadores de competencia que reflejan la capacidad del ente territorial de cumplir con el 100% de sus responsabilidades en asistencia técnica, y la vigilancia del cumplimiento en la prestación de los servicios de vacunación de toda la red de aseguradores y prestadores, y la ejecución de las acciones en toda el área de su jurisdicción. Para cumplir con estas funciones es fundamental contar en el PAI con un sistema de supervisión, seguimiento y evaluación 299

2 Supervisión La supervisión se define como una actividad que debe realizar el recurso humano en salud que desarrolla tareas de vacunación o vigilancia de las enfermedades inmunoprevenibles. Es importante comprender que la supervisión es parte de un proceso continuo de capacitación, adiestramiento y control de las tareas asignadas, que contribuye al mejoramiento de los procedimientos y posibilita el cumplimiento de los objetivos trazados. Esta concepción es de fundamental importancia en el PAI ya que es una de las formas de incentivar la motivación y dedicación del recurso humano en todos los niveles, y parte integrante de los procesos que tienden a alcanzar el cumplimiento de los objetivos trazados. Concepto y definición Es un proceso de asesoría técnica, en el que el supervisor: recopila información para obtener información actualizada sobre los logros obtenidos y las dificultades identificadas; analiza el desarrollo de las actividades y las compara con las metas y el plan de trabajo, y toma, si es necesario, acciones correctivas o complementarias para lograr los objetivos y metas, y mejorar el rendimiento de las actividades. La supervisión no está circunscrita a una sola persona, sino que la deben realizar todos los recursos humanos del PAI, según el momento, las necesidades y el desarrollo del programa. Se lleva a cabo en periodos cortos, en forma continua y puntual. Para el PAI es necesario que la supervisión se haga mensualmente como mínimo, de manera tal que si existen problemas se puedan detectar tempranamente. Existen diferentes circunstancias que muchas veces dificultan o impiden que la supervisión se efectúe mensualmente pero se deben hacer todos los esfuerzos necesarios para lograrlo a nivel local, ya que constituye un proceso de capacitación del recurso humano. Objetivos Fortalecer la capacidad técnica del recurso humano y mejorar el rendimiento de las actividades, de manera tal que se logren los objetivos o metas del programa. La figura muestra los conceptos de la supervisión y su objetivo. Supervisión mejoria del desempeño Primero: medir el desempeño actual Tercero: tomar medidas gerenciales Segundo: comparar el desempeño actual con las metas 300

3 Funciones básicas Proporcionar apoyo y soluciones para el desarrollo de actividades o procesos con el fin de que los mismos tengan las siguientes características: 1 oportunidad, 2 consistencia en calidad, 3 suficiente asignación de recursos, 4 seguimiento en la implementación de actividades, 5 detección de problemas en forma activa y en el menor tiempo posible, y 6 adpoción de las medidas correctivas cuando sea necesario. Realizar educación continua en el servicio. Preparar los informes de supervisión para entregar, no solamente a los integrantes del sector supervisado, sino también a las autoridades del área y a todas aquellas instituciones que se relacionan con las actividades del PAI, inclusive a los representantes de la comunidad. Suministrar información a las autoridades de salud y a la sociedad civil sobre el impacto o las consecuencias que tienen sobre el programa de vacunación y la aplicación de las diferentes políticas y estrategias que se desarrollan para el sector salud. Promover las políticas del programa de inmunización y sus metas, para mantener informadas a las autoridades en lo concerniente a la toma de decisiones, y cómo dichas decisiones podrían afectar las actividades y los procesos clave del programa. Metodología El supervisor debe ser un profesional con experiencia en el tema que va a supervisar, con capacidad para escuchar, observar, analizar la situación, reflejar interés por los temas y las soluciones de los problemas, con conocimiento y capacidad para tomar decisiones y orientar acciones correctivas, y con habilidad para ayudar a los trabajadores a planificar y evaluar su propio trabajo. El supervisor debe adquirir previamente toda la información de la zona por supervisar y analizarla de manera objetiva. El supervisor debe motivar al personal de salud a través de diferentes mecanismos. Esta motivación no se refiere a recompensas monetarias, sino a la posibilidad de mejoramiento en su capacitación por medio de cursos formales o a distancia, notas de felicitación por un buen desempeño, comunicaciones a las autoridades de salud, palabras de apoyo y de valoración de su trabajo y, sobre todo, en insistirles en el papel que cumplen y el valor del mismo para la comunidad. La selección de las áreas y establecimientos que se van a supervisar se debe llevar a cabo mediante el análisis de la situación de salud de la localidad o municipio, y debe culminar en el establecimiento de la prioridad de los problemas según: los datos de cobertura de la vacunación, los casos notificados de las enfermedades objeto del programa, el nivel de cumplimiento del plan de acción y de los indicadores establecidos, los problemas de la cadena de frío, los resultados de las visitas previas o de las evaluaciones, la falta de información y otros criterios socioeconómicos, por ejemplo, el nivel de pobreza o la población desplazada. 301

4 Se debe elaborar un programa coordinado de supervisión con los municipios o localidades, el plan debe estar dirigido a la totalidad de los servicios a su cargo y debe contener como mínimo lo siguiente: objetivos e indicadores establecidos de los procesos o actividades del programa, guía estandarizada de supervisión, cronograma, presupuesto, guía de seguimiento de las coberturas, guía de búsqueda activa de casos, informes anteriores de las supervisiones efectuadas, información de apoyo (normas, descripción de funciones, informes previos, estadísticas, etc.) y el plan de acción nacional y el plan de acción local. Periodicidad de la supervisión. Depende del nivel supervisado y de las dificultades identificadas. Fechas y lugares. Se deben coordinar con anticipación las fechas, los establecimientos y las personas que se van a visitar. Actividades por realizar. Debe existir una programación clara de las reuniones, las visitas, las búsquedas activas y los seguimientos que se van a llevar a cabo, así como de otras actividades. Responsables/ejecutores. Debe existir una relación de los locales que se van a supervisar con sus respectivos supervisores, direcciones y teléfonos de los responsables y de las personas que se van a contactar en los diferentes servicios. Temática por revisar con el coordinador del PAI Documento base para el cálculo de la población objeto del programa en el organismo o ente territorial. Programación por año comparada con la asignada por el ente asistente. Programación de los ciclos de educación continua para el talento humano a cargo. Calidad e integridad de la base de datos de la cual se generan los indicadores. Conocimiento de las normas, técnicas y manejo integral de los inmunobiológicos. Manejo de registros del programa. Estrategias de vacunación establecidas en el organismo o implementadas en el ente territorial. Estrategias para el seguimiento de las cohortes de recién nacidos. Acciones de coordinación con vigilancia en salud pública relacionadas con la investigación de los casos sospechosos de enfermedades prevenibles por vacunación, actas de unidades de análisis, descargas del Measles surveillance system el cual corresponde al programa para la vigilancia del sarampión y la rubéola. Coordinación de las acciones con el laboratorio de salud pública para la configuración de los casos sospechosos de enfermedades prevenibles por vacunación. Informes de las operaciones de barrido ante la presencia de casos sospechosos. Planificación de las acciones de asistencia técnica y supervisión de los funcionarios a cargo. Relación entre la población objeto y la capacidad técnica, humana y logística para lograr la cobertura del 100%. Movimiento de los productos nmunobiológicos y almacenamiento óptimo de los mismos. 302

5 Evaluación de la ubicación del sitio o sitios donde funcionan los consultorios de vacunación. Temática por revisar con el talento operativo del PAI Para este tipo de asistencia se debe acompañar al vacunador, como mínimo, dos a cuatro horas en su jornada laboral; con ello se puede presenciar la ejecución de las acciones adelantadas, no sólo las relacionadas con la destreza en la práctica de la aplicación de inyecciones, sino, en conjunto, su habilidad en la lectura del carné y en la toma de decisiones frente a usuarios objeto de vacunación que no hayan recibido el esquema regularmente ni en las edades establecidas. Sirve, entre otros, para evaluar: los aspectos y las condiciones generales del área donde funciona el programa, relacionados con accesibilidad, identificación por la población, rutas de acceso, ambiente, iluminación, temperatura, aditamentos, lavamanos o accesibilidad al mismo, sillas de espera, camilla, cajas térmicas, elementos para el registro, muebles, etc.; la información o ilustración que se encuentra disponible en el consultorio o en los alrededores del consultorio para la comunidad. específicamente, lo relacionado con la pertinencia en los horarios de vacunación, el esquema del PAI, los mensajes educativos que ilustran sobre los efectos prevenibles y, sobre todo, los mensajes alusivos a estimular la solicitud de los inmunobiológicos; si después de evaluar su pertinencia se encuentran aspectos negativos a éste o que sugieran falsas contraindicaciones, se deben retirar; el conocimiento, las actitudes y las prácticas del vacunador, el grado de compromiso político con el programa, el manejo del público, la calidez en la atención a los usuarios; la capacidad del vacunador para interpretar el carné de vacunación, colocar la dosis correcta al sujeto correcto y utilizar adecuadamente los implementos de trabajo; la disposición óptima de los desechos normales de la actividad laboral; el diligenciamiento de los registros individuales y colectivos de información; la capacidad educativa al orientar las acciones de información y educación y los mecanismos de comunicación de los mensajes a la comunidad usuaria y a los adultos responsables; la habilidad y la destreza en la aplicación de las normas, tiempos de la última capacitación y asistencia técnica recibida; la habilidad y la destreza en el manejo y conservación de la cadena de frío durante la jornada de trabajo; el cumplimiento de las normas de control de la temperatura de sus equipos para la conservación de las vacunas (neveras, congeladores, cavas, termos y cajas térmicas); el diligenciamiento de los registros para la consolidación de los informes mensuales, en los sitios donde debe hacerlos; en este caso, se deben evaluar las coberturas y los demás indicadores de cumplimiento; el registro de la curva diaria de temperatura; los mecanismos establecidos en el ente prestador para reducir las oportunidades perdidas de vacunación, y verificar los mecanismos de promoción utilizados en el organismo. 303

6 Instrumentos Guías de supervisión En el anexo se encuentra un modelo de la guía de supervisión que se puede adaptar a las necesidades específicas según el nivel de complejidad. Las guías de supervisión permiten evaluar los diferentes componentes del programa, utilizando una sistematización clara y preguntas objetivas y directas. Informes de supervisión El informe de supervisión debe contener, por lo menos: datos generales, situación encontrada, actividades realizadas, recomendaciones y compromisos asumidos, tanto por el supervisor como por el supervisado. Otros informes Seguimiento de cobertura Informes de vigilancia en salud publica Seguimiento El seguimiento es una herramienta clave en el PAI, que contribuye a la ejecución efectiva y eficiente de las acciones pues sirve para verificar periódicamente que el trabajo se esté desarrollando de acuerdo con lo planeado, identificar las causas de incumplimiento de las metas y adoptar las medidas pertinentes en forma inmediata y oportuna para su corrección. Concepto y definición En su concepción más amplia, el seguimiento es una herramienta de gestión y de supervisión para controlar el avance de los proyectos, programas o planes en ejecución, el cual proporciona información sistemática, uniforme y fiable, que permite comparar los resultados con lo que se planificó. A diferencia de la supervisión, el seguimiento se puede efectuar con el análisis de la información enviada por los diferentes niveles, sin necesidad de ir al terreno. Su objetivo es identificar los logros y los problemas, determinar su importancia, analizar sus causas y adoptar las medidas pertinentes en forma inmediata. Indicadores La realización de un seguimiento requiere la definición de indicadores e instrumentos. Un indicador es una medida resumen asociada a una actividad o proceso, que permite, por comparación con los estándares, analizar periódicamente las unidades de programación, resultados e impacto. Un indicador debe responder a la medición del resultado que se desea obtener, debe ser definido operacionalmente de manera cuantitativa y cualitativa y, generalmente, se expresan como una proporción o una razón. Cumplen la función de aportar información sobre una situación determinada o su evolución en el tiempo. También permite apreciar los resultados o el impacto de los efectos provocados por distintas intervenciones. Para establecer un indicador se deben conocer las líneas de base y las metas anuales por alcanzar. 304

7 Un buen indicador debe ser: 1) válido, es decir que revela efectivamente los cambios que se pretenden indicar; 2) objetivo, es decir que permite obtener resultados similares cuando lo utilizan diferentes personas en distintas circunstancias y momentos; 3) sensible, es decir que registra los cambios de la situación o de los fenómenos de que trata; 4) específico, es decir que refleja los cambios exclusivamente de la situación o el fenómeno de que trata. Deben ser sencillos en su interpretación y en la recolección de la información, específicos, concretos, pertinentes en el sentido en que deben evaluar el objeto de la intervención, verificables a partir de fuentes fiables y accesibles. El costo para su obtención no debe ser muy alto, la información debe estar accesible para el coordinador del PAI a partir de los registros establecidos en el programa que usualmente utiliza. Tipos de indicadores comúnmente usados El primer paso para elaborar un plan de seguimiento y control es la identificación de los indicadores de estructura, proceso, resultados e impacto que deben ser supervisados periódicamente para establecer el grado de cumplimiento y el aporte al cumplimiento de los objetivos y metas generales. Cada ente territorial, del nivel departamental o local, define el plan de seguimiento. Son prioritarios y de control mensual la evaluación del cumplimiento de las coberturas por edad y por dosis de producto biológico, porcentajes de deserción, movimiento de productos biológicos, comparación entre las dosis aplicadas y las dosis perdidas (éstas no deben exceder los porcentajes de pérdida establecidos previamente) así como los indicadores de la vigilancia de la erradicación de la poliomielitis, el sarampión y el tétanos neonatal. Para contar con indicadores reales es imprescindible vigilar el diligenciamiento de los registros de base que generan los datos para la construcción de indicadores; por esta razón, en este aspecto deben ser revisados en cada asistencia técnica que se realice, observando su elaboración durante la aplicación de productos inmunobiológicos del orden institucional o comunitario; de la misma manera, la entrevista y la toma de decisiones frente a la población objeto que llega al servicio; la correcta manipulación de los aditamentos e insumos de trabajo, la correcta práctica de la aplicación segura de las inyecciones de vacunación, el correcto diligenciamiento de los registros, tanto individual como colectivo, sea este en la guía o sistematizado, y en su respectivo nivel de garantía y disposición óptima de los elementos de trabajo y de desecho. Aleatoriamente, al final de cada período, se deben revisar las bases de datos para la consolidación de la información. Los registros e informes deben ser coherentes, se debe verificar que los cálculos estén correctos y que tengan consistencia interna; deben ser íntegros en su total diligenciamiento tanto en los encabezados como en el diligenciamiento de todas las opciones requeridas; ser creíbles y legibles, para ello es necesario comparar los datos informados con los datos esperados, 305

8 con la capacidad instalada de vacunadores y la disponibilidad de inmunobiológicos, entre otros. Cabe recordar que de la depuración y el análisis rutinario de la información de manera temprana de los niveles más primarios, depende en gran parte la calidad y la oportunidad de la recolección de los datos, inclusive hasta el nivel central. Durante todo este ejercicio se aprovecha la oportunidad para capacitar en el servicio, corregir las debilidades, detectar y corregir limitantes para la prestación del servicio. Indicadores de vacunación Existen diversos indicadores de vacunación, los cuales permiten supervisar los diferentes aspectos del PAI: acceso, seguimiento, resultados e impacto del programa. Estos indicadores, en general, se calculan en porcentajes, de modo que permitan hacer comparaciones entre diferentes grupos de edad, fecha y lugar. Se construyen utilizando valores numéricos que contienen como numerador, el número de dosis aplicadas en la población objeto a ser vacunada, por ejemplo, tercera dosis de aplicación de OPV y DPT, una dosis de BCG o de vacuna antisarampionosa, y como denominador, el número total de la población objeto. El denominador siempre contiene el numerador. Para la determinación del denominador se utilizan los datos del censo actualizado, por ejemplo, la estimación de la población por grupos de edad. Indicador de acceso: es la proporción de niños que han sido captados por el servicio de vacunación dentro y fuera del establecimiento en relación con la población total de este grupo. Fórmula número de primeras dosis de vacuna pentavalente (DPT1 o penta1) en <1 año X 100 Población total <1 año Utilidad Se utiliza para analizar cuántos niños acceden efectivamente a los servicios de vacunación, y que deben completar los esquemas de vacunación; y para verificar los denominadores de población. Cuando este indicador es superior al 100% existe la posibilidad que la población esté subestimada, o que el registro de grupo de edad no sea el adecuado, o que se están vacunando niños por fuera de los grupos de edad del PAI, o que se está vacunando población adscrita a otro servicio de salud o a otro municipio. Interpretación Cuando es del 100%, el acceso es adecuado y es factible la posibilidad de tener coberturas con terceras dosis superiores al 90%. Cuando es menor del 100%, disminuye la posibilidad de llegar a coberturas superiores al 90%, lo cual significa que hay dificultades para llegar a la población de los niños definidos en la programación. Se deben identificar las causas de estos problemas, a fin de abordarlas rápidamente, por ejemplo, en la población dispersa, enviar brigadas móviles, campañas de difusión masivas o determinar el horario más conveniente para las vacunaciones; esta situación identifica las áreas de alto riesgo. Cuando es mayor del 100%, se debe revisar la población asignada para definir la población real. 306

9 Tasa de abandono o tasa de deserción (indicador de seguimiento): la tasa de deserción expresa el porcentaje de niños que recibieron la primera dosis de una vacuna y que no completaron el esquema mínimo de vacunación con tres dosis, para que estén protegidos. Se puede utilizar la vacuna antipoliomielitis, DPT o la pentavalente. Fórmula Número de niños que recibieron la primera dosis número de niños que recibieron la tercera dosis en <1 año X 100 Número de niños que recibieron la primera dosis en <1 año Utilidad Sirve para saber cuántos niños han regresado al establecimiento para completar su esquema. Cuando el índice de acceso es bueno, el logro de la cobertura del niño completamente vacunado depende del seguimiento. Es un indicador de la calidad de la oferta del servicio; cuando la primera experiencia es buena, los usuarios retornan. Es un indicador de la información y la educación que brindan en el establecimiento de salud en forma permanente a los usuarios. Interpretación Cuando está por debajo del 5%, es aceptable; demuestra que hay un buen sistema de seguimiento, y es factible la posibilidad de alcanzar una cobertura alta. Cuando está por encima del 5%, demuestra que hay problemas en el servicio de vacunación y mala calidad en la oferta. Se deben investigar las causas y corregirlas. Indicador de cobertura de vacunación (indicador de resultado): la cobertura no es un fin en sí mismo, debe lograr la inmunidad y, en última instancia, reducir la morbilidad y la mortalidad ocasionada por la enfermedad. La cobertura de vacunas se debe calcular por grupo de edad y área geográfica (municipio) lo que permite dirigir las acciones de vacunación a los grupos menos protegidos y las áreas de mayor riesgo. La cobertura de vacunación es el porcentaje de la población objeto que ha sido vacunada. Fórmula Ejemplo DPT/Penta Número de tercera dosis de DPT o pentavalente en <1 año x 100 Población total <1 año Coberturas en niños de 1 año de edad: por ejemplo, SRP Fórmula Número de niños de 12 a 23 meses con una dosis de SRP x 100 Población total de 12 a 23 meses Utilidad Mide la proporción (en porcentajes) de los niños que han recibido las vacunaciones establecidas en el esquema y que, por consiguiente, quedan protegidos (dosis completas de vacuna contra la poliomielitis, DPT/ pentavalente, etc). Interpretación El análisis del indicador de cobertura se hace con base en los estándares definidos; por ejemplo, para eliminar el sarampión se precisan coberturas superiores al 95%. 307

10 Cuando es superior a 95% con BCG, antipoliomielítica y pentavalente, la cobertura es buena y la protección adecuada. Cuando es superior a 95% para la vacuna SRP, la cobertura es buena y es menor el riesgo de una epidemia. Cuando es inferior a 95%, se deben identificar las causas a fin de abordarlas rápidamente; si hay población dispersa, por ejemplo, se deben enviar brigadas móviles, emprender campañas masivas de divulgación, extender el horario de las vacunaciones, etc. Cuando es mayor del 100%, la población asignada es mayor y se debe ajustar, o el registro de las dosis aplicadas no es de calidad. Registro gráfico para la evaluación de la cobertura de los servicios de inmunización Uno de los mecanismos de control consiste en elabora un gráfico que permita comprobar los logros obtenidos cada mes para alcanzar la meta anual de cobertura. Es la práctica más antigua y rutinaria, implementada en el PAI; su análisis periódico permite la detección oportuna de los factores externos que limitan el cumplimiento de los indicadores establecidos. En esta gráfica se establece previamente el comportamiento esperado a fin de año, definiendo como municipio con proyección de cobertura útil a aquél que logre mensualmente, como mínimo, una cobertura de 7,92% en cada producto inmunobiológico y por grupo de edad objeto. Procedimiento En el eje de las Y se coloca el porcentaje de cobertura por lograr durante el año, dividido en 12 espacios (95% dividido en 12 meses). En el eje de las X se colocan los meses del año. Al final del mes de diciembre se debe haber alcanzado la meta del 95%. Por esta razón, se debe trazar una línea vertical de diciembre hasta la altura del eje de las Y. Se une el punto cero, correspondiente a enero, con el punto de 95%, correspondiente al 31 de diciembre. Esta línea representa el cumplimiento total de la meta, mes a mes. Se anota el porcentaje alcanzado mes por mes. Para cada mes se usa el porcentaje acumulado. Se traza en el gráfico una línea punteada con estos porcentajes; esta línea nos permite comparar los valores obtenidos con la meta establecida para evaluar el porcentaje de cobertura. 308

11 El esquema siguiente, muestra el cumplimiento ideal de un gráfico de seguimiento de las coberturas para cualquier producto inmunobiológico. Municipio: Producto biológico: Año: Población susceptible: Cobertura 95,04 87,12 79,20 71,28 63,36 55,44 47,52 39,60 31,68 23,76 15,84 07,92 Del mes actual Acumulada al mes actual Cobertura acumulada esperada Ene Feb Mar Abr May Jun Jul Ago Sep Oct Nov Dic 7,92 15,84 23,76 31,68 39,60 47,52 55,44 63,36 71,28 79,20 87,12 95,04 Fuente: Bogotá: Ministerio de Salud/OPS/OMS/UNICEF/Fundación Rotaria Internacional. Guía de normas técnico administrativas del Programa Ampliado de Inmunizaciones. Bogotá: Ministerio de Salud/OPS/OMS/UNICEF/Fundación Rotaria Internacional; Esquema completo para la edad (indicador de resultado) 309

12 Fórmula Número de niños <1 año que han recibido una dosis de BCG, 3 dosis de pentavalente y 3 dosis de VOP X100 Población total de niños <1 año Utilidad Mide la proporción, en porcentajes, de los niños que han recibido todas las vacunas del esquema de vacunación apropiadas para su edad y que, por consiguiente, quedan protegidos. Puede calcularse para los niños con esquema completo a los 6, 9, 12 meses, etc. Interpretación El análisis del indicador de cobertura de esquema completo da información sobre el nivel de protección contra todas las enfermedades prevenibles por vacunación. demás, da información si existen oportunidades perdidas y si el programa local de PAI está dando importancia a todas las vacunas. Si la cobertura de VOP3 no es igual a la de DPTHib3, debe ser debido a oportunidades perdidas. Si la cobertura de VOP3 es mucho más alta de la de HB DPT Hib3, es posible que el PAI da más importancia a vacunar contra polio que las otras enfermedades. Seguimiento de los municipios en riesgo Definición Los municipios en riesgo son aquéllos que tienen mayores probabilidades de presentar casos de enfermedades inmunoprevenibles. Generalmente, el riesgo está relacionado con bajas coberturas de vacunación en el municipio y, por consiguiente, alta acumulación de individuos susceptibles. Otras condiciones de riesgo son los deficientes sistemas de vigilancia epidemiológica o la proximidad con áreas de brote. Debido a ello, normalmente se les hace seguimiento a los municipios a través de los indicadores de vacunación y vigilancia. Sin embargo, hay otras medidas de riesgo que también se pueden utilizar para identificar y vigilar los municipios en riesgo, por ejemplo, los municipios con altos índices de pobreza y con alta densidad de población, población migrante y población indígena, entre otros factores, tienen mayor riesgo de brotes de las enfermedades inmunoprevenibles. Aunque aquí discutimos el seguimiento del riesgo en términos de cobertura, se pueden usar otros factores. Fórmula Número de municipios con cobertura inferior del 95% x 100 Número total de municipios Utilidad Conocer la distribución de los municipios según el riesgo que tienen para presentar casos de enfermedades prevenibles por vacunación. Identificar los municipios con bajas coberturas. Identificar los municipios con mayor número de individuos susceptibles. Evaluar la equidad de los servicios de vacunación y de otros servicios. Identificar las áreas en riesgo para ser intervenidas oportunamente y en forma prioritaria. Interpretación Depende de las metas operativas que se tenga en cada país y el peso de la población de los municipios. 310

13 Se deben identificar los municipios con bajas coberturas y con otros criterios mencionados en la definición de seguimiento de los municipios en riesgo, para priorizar las actividades de vacunación. En el siguiente ejemplo, se identifican las áreas en riesgo, considerando los municipios con coberturas rutinarias de vacuna contra la poliomielitis. Situación Municipal de las coberturas con Polio colombia, Septiembre 2003 También se puede hacer por regiones o por localidades en un municipio y por barrios en una ciudad. En el siguiente gráfico se pueden observar los avances del PAI en lo relacionado a la disminución de los municipios en riesgo en un periodo de tres años. Comparación de Municipios con coberturas utiles Para VOP. Sep Fuente: PAI Los indicadores de vigilancia epidemiológica de las enfermedades prevenibles por vacunación tales como sarampión, rubéola y poliomielitis, se describen en el CD anexo de protocolos de vigilancia en salud publica. Control de la cadena de frío Sin dato Mala Regullar Buena Excelente Fuente: Programa PAI, Instituto Nacional de salud El módulo que se refiere a la cadena de frío contiene los aspectos técnicos que se deben tener en cuenta en el seguimiento de gestión, sin embargo, es procedente tener en cuenta los siguientes aspectos: La calidad y la cantidad de los equipos para la conservación de los productos inmunobio- 311

14 lógicos (cavas de refrigeración o congelación, congeladores y refrigeradores); es menester tener en cuenta la marca,el tipo, el modelo, las dimensiones, el volumen útil en litros, la fuente de energía que los alimenta, la disponibilidad en tiempo real, la probabilidad de cortes o suspensión del servicio en el área, el voltaje, la presencia de equipos para la regulación del voltaje eléctrico, su estado y funcionamiento y el planeamiento del mantenimiento preventivo para garantizar su correcto funcionamiento. La cantidad y la calidad de los equipos para el transporte de las vacunas (termos o cajas térmicas), la disponibilidad de los paquetes o pilas refrigerantes, la funcionalidad para el trabajo de campo, la funcionalidad para el recambio de los paquetes fríos durante una jornada de trabajo, especialmente cuando se trabaja en el campo, casa a casa, en jornadas de vacunación o se realizan desplazamientos de varios días por zonas rurales dispersas, con debilidades de infraestructura eléctrica. La cantidad y la calidad de los termómetros, el tipo, la verificación del correcto funcionamiento y la verificación de la correcta lectura por parte de los funcionarios que deben interpretar diariamente su lectura; la verificación del correcto diligenciamiento de las gráficas para el control diario de las temperaturas, de lunes a domingo y mañana y tarde. La capacitación y el entrenamiento de todos los responsables de la red de conservación y el transporte de vacunas en la evaluación y toma de decisiones oportunas ante los problemas de corte de fuentes eléctricas y la posibilidad de evitar la pérdida innecesaria de productos inmunobiológicos. Cada vez que se lleven a cabo estas acciones de supervisión en el campo, el coordinador del ente territorial debe dejar constancia escrita de ello por medio del instrumento que considere conveniente; se sugiere que se por medio de actas en formas preestablecidas por la entidad que permitan el registro de observaciones adicionales. Seguimiento del talento humano Existe una considerable superposición entre supervisar y hacer seguimiento, de tal forma que se supervisa a las personas y se hace seguimiento de las actividades durante las visitas que se llevan a cabo para acompañamiento y asistencia técnica, desde los diferentes niveles para observar el desempeño y logro de objetivos en el funcionamiento del programa; de la misma manera, para apoyar la toma oportuna de medidas de contención de los problemas o limitantes que surjan; el fin último es afianzar el fortalecimiento de la gestión y de las buenas prácticas adelantadas en las inmunizaciones y verificar el cumplimiento de la obtención de las metas fijadas en el ente territorial para el PAI. Es útil contar con una lista de verificación de tareas, o lista de chequeo, para analizar el talento humano. Debe ser el producto de la revisión de los informes suministrados por el prestador o ente territorial que se va a ayudar, la relación de los inconvenientes o los limitantes referi- 312

15 dos del asistido, complementada con ítems específicos del área que se va a asistir; para el nivel operativo, relacionada con las prácticas de inmunización y para el nivel coordinador, relacionado con la verificación de las tareas propias de la gestión del coordinador del PAI en el ente territorial. También, se debe suministrar retroalimentación sobre los registros e informes enviados al nivel superior y analizar las limitantes. Muchos funcionarios en el nivel operativo tienen dificultades para analizar la información que generan, por lo cual es necesario motivarlos y resaltar los aspectos positivos en el cumplimiento de las funciones y discutir las dudas, inconvenientes y situaciones nuevas que se presentan en el cumplimiento cotidiano de las labores encomendadas. El PAI funciona integralmente en la medida en que el responsable de la gestión del programa, el responsable de la vigilancia en salud pública y el responsable del laboratorio de salud pública del ente territorial constituyan una unidad coordinada para la evaluación permanente de los indicadores del PAI; el seguimiento en la notificación de casos sospechosos hasta su configuración como caso o su descarte; el seguimiento en la notificación y la configuración de casos probables de los efectos adversos secundarios a la vacunación y la evaluación periódica de las acciones relacionadas con el proceso y el funcionamiento del programa. La comunicación permanente del grupo, potenciada con la elaboración de informes y documentos para la difusión a todos los actores del ente territorial propicia la permanencia de las acciones del PAI. Otros indicadores Indicadores de gestión (indicador de proceso): - número de actividades ejecutadas/número de actividades programadas - asignación y ejecución de fondos al PAI, Planes operativos anuales municipales, distritales) Indicadores de sostenimiento (indicador de proceso): - porcentaje de fondos recurrentes (vacunas, jeringas y gastos de operación del programa) gerenciados con fondos nacionales o locales Indicadores de equidad (indicador de resultado): - número de municipios con bajas coberturas - número de municipios con altos índices de pobreza (focalización y asignación de recursos) Indicadores de impacto: - indicadores de morbilidad - indicadores de mortalidad Evaluación La evaluación es un conjunto de procedimientos que se utilizan en forma periódica, para analizar el desarrollo del programa y para obtener información sobre el cumplimiento y la validez de sus objetivos, actividades, costos, resultados e impacto. 313

16 Sus características fundamentales son: es un juicio de valor y no simples mediciones; este juicio de valor se sustenta en el método científico y en el análisis de las metodologías utilizadas; tiene carácter de periodicidad; se realiza de diferentes modos y con diferentes metodologías, y sus resultados se utilizan para sostener, corregir o cambiar las diferentes acciones y componentes del programa. Propósitos Determinar el grado de cumplimiento de los objetivos propuestos Identificar las debilidades, amenazas, fortalezas y oportunidades Determinar la eficiencia y la efectividad de las acciones implementadas Proveer controles de calidad Determinar la efectividad y la eficiencia de las diferentes estructuras gerenciales y de gestión; Posibilitar una visión crítica del recurso humano que interviene en el programa Incrementar la comunicación y la coordinación Tipos Existen diferentes tipos de evaluación; en el PAI las más frecuentes son las evaluaciones del proceso, del resultado y del impacto. Evaluación del proceso: está relacionada con la verificación de la gestión del programa, es decir, de los aspectos de planificación, ejecución y financiamiento. Evaluación del resultado: es la verificación del alcance de los objetivos específicos y metas, a través de las diferentes acciones establecidas en cada uno de los componentes del PAI, que se supone logran el impacto deseado. Si no es así, mediante la evaluación se deben encontrar las causas e introducir los cambios necesarios. En el caso del PAI en concreto se debe evaluar: la organización de las actividades, las coberturas de vacunación y la logística. Evaluación del impacto: a través de esta metodología se evalúa el impacto del programa en la salud pública, los cambios obtenidos y los resultados esperados, teniendo en cuenta la intervención a través de las acciones del PAI. Es importante que cuando se hagan las evaluaciones, se analicen todos los temas que se relacionan con el cumplimiento de las metas y los objetivos del PAI. Se deben intercambiar opiniones con las autoridades y los actores sociales sobre la influencia de las políticas en la ejecución de las acciones del PAI. En estas evaluaciones se debe profundizar en los aspectos sociales y económicos, en la falta de equidad en los servicios, la existencia de poblaciones marginadas y, sobre todo, en las políticas sectoriales y extrasectoriales que inciden en los aspectos de las inmunizaciones. Se debe hacer énfasis en los aspectos de la política de la reforma del Estado y del proceso de descentralización, ya que son aspectos funda- 314

17 mentales que intervienen en forma directa en los resultados y el impacto del programa. Modelo de evaluación del PAI Se puede utilizar el modelo de evaluación internacional e interdisciplinaria del PAI, que es aplicable a todos los niveles y contiene todos los elementos necesarios para la evaluación. Metodología Informar a los responsables del nivel correspondiente, a fin de que el cronograma y las personas que deben dar apoyo se encuentren disponibles. Formar un equipo evaluador, con participación de enfermeras, médicos y auxiliares de enfermería, personal de las organizaciones no gubernamentales, agencias de cooperación y servicios privados, entre otros, con el fin de aprovechar sus capacidades y experiencia. Delegar la responsabilidad al equipo del distrito sede (municipio). Ejecutar el proceso de evaluación en una semana, de la cual, al menos el 70% del tiempo se debe dedicar al trabajo de campo y el 30% a estandarizar la metodología, el manejo de guías, de entrevistas, el análisis de la información epidemiológica, y la elaboración del informe final con recomendaciones a utilizarse en el plan. Componentes Prioridad política asignada al PAI Se menciona espontáneamente al PAI entre las prioridades del nivel? Está respaldada esta prioridad con recursos? Existen resoluciones legales que la respalden? Existen resoluciones legales o administrativas que garanticen los recursos? Programación y planificación de actividades Existen planes quinquenales y anuales del PAI? Cuál es el grado de cumplimiento de los mismos? Están claramente definidos las metas, objetivos y prioridades? Es confiable la información? Organización y coordinación Cuál es la ubicación del PAI? Cuál es la estructura del PAI? Es adecuada para cumplir sus metas y objetivos? Hay coordinación con otros programas de salud? Cuáles? Hay coordinación con otros sectores, tales como organismos no gubernamentales, servicios privados, seguros médicos u otros? Hay comités de cooperación internacional? Hay un comité científico de inmunizaciones? Están documentadas las actividades de estos comités? 315

18 Recursos humanos de gestión y financieros Cuenta el PAI con el equipo técnico y de apoyo adecuados? Son apropiados los recursos de logística y de gestión (vacunas, jeringas, transporte, comunicación, viáticos, otros)? Supervisión y capacitación Existe un plan de supervisión? Está documentado técnicamente? Existe un plan de capacitación? Está documentado técnicamente? Existen informes de capacitación? Existen informes de supervisión? Se coordina con universidades (medicina y enfermería) y escuelas de enfermería? Está el PAI incluido en sus programas de enseñanza? Sistemas de información Hay información actualizada de las coberturas y vigilancia? A qué mes? Se conoce la proporción de los municipios en riesgo? Hay un plan en ejecución de intervención en los municipios en riesgo? Comente los resultados. Se ha evaluado la confiabilidad de la información? Se ha evaluado la calidad del sistema? Hay boletines mensuales del PAI? Vigilancia epidemiológica Es adecuada la red de notificación semanal? Se verifica la calidad de la notificación semanal? Cómo? Se cumple con los indicadores de vigilancia de - sarampión? - poliomielitis? - fiebre amarilla? - tétanos neonatal? - Haemophilus influenzae tipo b y hepatitis, donde aplica? Hay información actualizada de los casos y los resultados de laboratorio? Se retroalimentó al nivel local? Verifique. Se han identificado las áreas y las poblaciones en riesgo y el potencial epidémico para todas las enfermedades? De cuáles? Hay un plan de acción al respecto? Son conocidas estas áreas de riesgo y sus planes de acción por el nivel local y por el nivel jerárquico? Verifique. Cadena de frío Hay inventario actualizado? Mapeado? Hay un plan de mantenimiento, renovación y extensión? Proyectos presentados? A quién? Hay informes de supervisión? Son adecuadas las condiciones del almacén departamental? Existe un registro actualizado? Aplique el formulario de supervisión del puesto de vacunación en su componente de cadena de frío. Evaluación e investigación Se ha evaluado el PAI? Cuántas veces por año? Qué investigaciones operativas se han realizado? Cítelas; adjunte un ejemplar al informe. Tiene informes de brotes de sarampión, tétanos neonatal, fiebre amarilla o de parálisis flácida aguda? 316

19 Comunicación social Hay un plan de comunicación social adecuado a las características culturales locales? Está financiado este plan? Por quién? Se realiza comunicación social durante todo el año? La comunidad apoyó al PAI? Satisfacción de usuarios Qué piensa usted de las vacunas para los niños? Si lo vacunaron: tuvo que esperar mucho tiempo? Cuánto? Quedó satisfecho con la atención recibida? Recibió información sobre las vacunas? Le explicaron las reacciones esperadas que la vacuna puede producir después de su aplicación? Evaluación de la cobertura Existen tres métodos para evaluar la cobertura: 1) administrativo; 2) encuestas por muestreo, y 3) por evaluación rápida de las coberturas. Administrativa: como lo vimos anteriormente, la cobertura se calcula utilizando los informes de los establecimientos. Se determina el número de dosis de vacunas aplicadas para completar los esquemas por grupo de edad, y se divide por la población total de dicho grupo de edad. La cobertura se estima en términos de porcentaje del total de la población objeto. Este método es relativamente sencillo porque la mayoría de los datos están disponibles en el establecimiento y permite supervisar el programa en el nivel local. La evaluación se lleva a cabo utilizando datos provenientes de los servicios de salud. En algunos países, el flujo de la información es parte de los sistemas integrales de información; en otros, es el propio programa que recolecta y procesa la información, pero la fuente primaria en ambos son los servicios de salud. El principal problema de este tipo de evaluación es que los datos del numerador y del denominador pueden ser incorrectos debido a errores de registro, a censos muy antiguos o a la migración interna de los países, entre otros. Encuestas por muestreo: en algunas situaciones, es indispensable conocer con mayor precisión la cobertura de vacunación para reorientar el programa. Cuando es muy importante la duda sobre las coberturas administrativas y se necesita obtener una estimación real de las mismas, se pueden utilizar los métodos de encuestas. Existen varios tipos, cada uno con sus ventajas y sus desventajas. Un método común de encuesta de cobertura vacunal es la encuesta por conglomerados, que consiste en encuestar 30 conglomerados en cada unidad geográfica (distrito) y en cada uno de ellos a 7 niños de 12 a 23 meses; se describe a continuación. Teniendo en cuenta que cada municipio tiene unas condiciones específicas que guardan relación con su estructura político-administrativa, social, económica, ambiental, cultural y de prestación de servicios en salud, se busca implementar una metodología homogénea para la vigilancia de las coberturas de vacunación que sirva de instrumento de autoevaluación conducente a generar información pertinente como base para la toma de decisiones en lo referente a la vacunación de los niños menores de 5 años. Esta evaluación de coberturas es posible 317

20 mediante el seguimiento periódico con una metodología sencilla que permite verificar en el campo el estado real de la vacunación de la población infantil. Usualmente, la operación simple que se hace para el cálculo de la coberturas empleando el número de tercera dosis aplicadas por edad y producto biológico sobre la población según el censo, genera un porcentaje que puede no ser el que realmente existe entre los menores de 5 años. Se pueden dar dos situaciones: la primera que subestima la cobertura real, es decir, el cálculo normal indica que la cobertura, por ejemplo, con vacuna contra la poliomielitis en menores de 1 año es de 60% pero si se llevara a cabo una evaluación en el campo, sería superior (80%); y la segunda, en la cual se sobreestima la cobertura real, por ejemplo, el cálculo muestra que la cobertura con vacuna contra la poliomielitis en menores de 1 año es de 90% pero la evaluación en el campo da 50%. Por lo tanto, lo que se busca es una evaluación activa de las coberturas que no se conforma con los datos registrados sino que verifica por el seguimento de las coberturas la veracidad de la información y la exploración de los factores que están incidiendo en el desempeño del PAI, específicamente, en las condiciones que influyen en el logro de las coberturas de vacunación mayores de 95%. Es importante insistir en que éste es un ejercicio de autoevaluación que no busca ser coactivo sino activo y que tiene como finalidad reorientar las actividades o implementar las estrategias que conduzcan al logro de las metas fijadas. La OMS ha desarrollado una metodología para estimar las coberturas de vacunación en la población objeto del PAI. Esta metodología está basada en técnicas de muestreo por conglomerados, en las cuales se seleccionan 30 conglomerados, es decir, grupos de población que comparten ciertas características y en cada uno de los 30 se seleccionan 7 niños de las edades requeridas, a quienes se les revisa su estado de vacunación de acuerdo con su carné. Se encuestan en total 210 niños. La OMS ha establecido que a través de este tipo de muestreo se obtiene una precisión del 10% alrededor de una prevalencia estimada del 50% de esquemas de vacunación completos. Metodología para la evaluación de las coberturas de vacunación La metodología propuesta es la técnica de muestreo por conglomerados. Un conglomerado es un grupo de población que comparte una o más características y que se selecciona aleatoriamente según su localización geográfica. Este tipo de muestreo tiene las siguientes etapas: Primera etapa Selección aleatoria de 30 conglomerados y las casas por visitar: se debe contar, en primer lugar, con mapas de la zona en la cual se van a realizar las evaluaciones. Estos mapas deben mostrar los barrios y en cada barrio, el número de manzanas o cuadras. Esta actividad debe realizarse en conjunto con las personas que conocen el área y que saben cuáles son los sitios más poblados, cuáles las zonas industriales y comerciales en las que 318