Evaluación del sistema de vigilancia

Evaluación del sistema de vigilancia

Objetivos de aprendizaje Definir los objetivos de la evaluación de un sistema de vigilancia Identificar las partes interesadas en un sistema de vigilancia Usar atributos cualitativos y cuantitativos para evaluar un sistema de vigilancia Calcular sensibilidad y valor predictivo

Contenido Por qué y cuándo evaluar sistemas de vigilancia? Mecanismos para evaluar un sistema de vigilancia

Evaluando un sistema de vigilancia Bases

Por qué evaluar un sistema de vigilancia? Nuevo sistema El sistema funciona como fue visualizado? Sistema establecido El sistema funciona bien? El sistema es aún relevante? Ha cambiando el contexto epidemiológico?

Cuándo conducir una evaluación? Proceso continuo En momentos críticos A intervalos regulares Cada vez que el dato es analizado

Definir los objetivos de evaluación Se basan en el cuándo y por qué se realiza una evaluación Ejemplos de objetivos para un sistema nuevo La definición de caso para vigilancia es adecuada? Captura casos a partir de la población? Es aceptable para los usuarios? Sistema establecido Cumple los objetivos del sistema? Está siendo usada la información? Son los métodos efectivos?

Evaluación del sistema de vigilancia Partes interesadas

Partes interesadas del sistema de vigilancia Las partes interesadas aseguran que la evaluación trate preguntas apropiadas y que los hallazgos sean útiles Profesionales de salud pública Proveedores de servicios de salud Representantes de las comunidades Gobiernos locales, departamentales y regionales Organizaciones no lucrativas

Pregunta Cómo pueden las características de una enfermedad determinar las partes interesadas del sistema de vigilancia?

Evaluación del sistema de vigilancia Evidencia

Evidencias del análisis de datos Calcular medidas de ocurrencia de enfermedad Generar hipótesis sobre las causas y ocurrencia de las enfermedades

Ocurrencia de la enfermedad El sistema detecta cambios anticipados en la ocurrencia de problemas de salud, como cuando se implementan intervenciones o cuándo se acaban los fondos? Se detectan epidemias por el sistema o a través de reportes de los medios? El sistema provee cálculos de morbilidad y mortalidad de un problema de salud en poblaciones específicas de importancia?

Generación de hipótesis El sistema estimula la investigación epidemiológica dirigida al control o prevención? Identifica factores de riesgo? Permite evaluar los efectos de las medidas de control? Impulsa el mejoramiento de la práctica clínica, social, política o ambiental?

Ejemplo de medidas de control: Control de Tripanosomiasis en la República Democrática del Congo

Evaluación de sistemas de vigilancia Calidad de los datos recolectados

Calidad de los datos Integridad y validez de los datos Examinar respuestas en blanco Comparar los valores registrados con los valores verdaderos La calidad es influenciada por: Desempeño de tamizajes y pruebas diagnósticas Claridad de los formatos Calidad del entrenamiento Administración de los datos

Ejemplo de calidad de los datos: Sistema Nacional de Vigilancia de Enfermedades de Notificación de Taiwán Objetivo del sistema de vigilancia Monitorear la efectividad de un programa de vacunación masiva Evaluación Reportes de varicela al sistemas de vigilancia comparados con reclamos de seguros nacionales de salud Resultados: 4,4% capturados en 2000 5,8% en 2001 8,3% en 2002

Temporalidad Tasa de respuesta Reporte de casos Presentación de indicadores Registro de datos Pruebas de muestras Qué otras preguntas sobre temporalidad sería apropiado evaluar?

Sensibilidad Capacidad de detectar la enfermedad en una población Capacidad de detectar epidemias Es afectada por: Comportamientos en la búsqueda de atención en salud Reporte de casos Necesidades de investigación Diagnósticos correctos Qué otras preguntas sobre sensibilidad será apropiado evaluar?

Vigilancia de la PFA Hospitales Clinicas Comunidad Investigacion PFA No- Polio Polio PFA PFA No- Polio TASA 1/100,000 <15 años

Sensibilidad Enferm Positiva Enferm Negativa Sensibilidad = A / (A + C) Detectada A B No Detectada C D Total Detectadas Total No Detectadas A = Verdadero positivo B = Falso positivo C = Falso negativo D = Verdadero negativo Total con Enferm Total sin Enferm

Detectado por el sistema Sensibilidad Realidad Enferm Positiva Enferm Negativa Sensibilidad = A / (A + C) Det A B No Det C D Total Detectadas Total No Detectadas A = Verdadero positivo B = Falso positivo C = Falso negativo D = Verdadero negativo Total con Enferm Total sin Enferm Un atributo difícil de evaluar por qué?

Un atributo difícil de evaluar por qué? Busca comparar Lo que detecta sistema versus realidad Esta muchas veces no se conoce La opción Hacer uso de herramientas ya existentes Otros métodos diagnósticos no usados por el sistema Sistemas paralelos, como los servicios de salud privados, agencias de seguros, registros policíacos (violencia, lesiones)

Un atributo difícil de evaluar por qué? La más confiable de las herramientas para conocer la realidad Encuestas de base poblacional Encuestas serológicas Datos de vigilancia activa (si es parte independiente del sistema) Chile Vigilancia activa con métodos diagnósticos diferentes es la forma puntual de evaluar sistemas de vigilancia pasiva

Valor predictivo positivo Proporción de personas identificadas como casos que en realidad tienen la condición vigilada Efecto en los recursos usados: Investigación de casos individuales Detección de epidemias Tiene la misma dificultad que la sensibilidad Necesitamos conocer la realidad Qué preguntas podría hacer para aprender sobre el valor predictivo positivo de un sistema de vigilancia?

Valor predictivo positivo Enferm Positiva Enferm Negativa PPV = A / (A + B) Detectada A B No Detectada C D Total Detectada Total no Detectada A = Verdadero positivo B = Falso positivo C = Falso negativo D = Verdadero negativo Total con enferm Total sin enferm

Confirmación de casos de cólera Aplicar la definición de caso de cólera 100 casos de diarrea Aplicar la prueba de referencia o criterio estándar Cumple No cumple Positivo Verdadero positivo Negativo

Sesgos en vigilancia Población bajo vigilancia Sesgo de determinación de casos Reportado (verdadero positivo) Pacientes-caso No reportado (falso negativo) Reportado (falso positivo) No casos No reportado (verdadero negativo) Sesgo de información (datos sobre el caso) Presente Presente Ausente (correcto) (incorrecto) Presente (correcto) Presente Ausente (incorrecto)

Sesgo de determinación de casos Detección: Enfermedad leve o asintomática es más comúnmente detectada en personas con vigilancia médica frecuente Pacientes siendo tratados por condiciones crónicas (diabetes) pueden ser diagnosticados más fácilmente con infecciones leves. Rechazo (sesgo de no respuesta): Sesgo derivado de pacientes que rehúsan participar No respuesta o rechazo puede diferir de los que responden a exposiciones importantes

Sesgo de información Examen físico, hallazgos de laboratorio o memoria de exposiciones pasadas Reporte de ataques previos del corazón Autoreporte = 30% falsos positivos Diagnóstico de cáncer ovárico CA125 elevado en mujeres premenopáusicas no enfermas Circuncisión 84 hombres circuncidados (37 reportes correctos) 108 no circuncidados (89 reportes correctos)

Resumen Sistemas de Vigilancia pueden ser evaluados para determinar si se cumplieron las metas para las cuales fueron creados. Evaluación de un sistema de vigilancia Es un proceso continuo Involucra identificación y reclutamiento de partes interesadas Puede ser conducido simultáneamente cuando se analizan los datos del sistema Sesgos tales como de búsqueda y clasificación de casos pueden afectar la validez de los datos recogidos en el sistema de vigilancia

Recursos y lecturas Updated Guidelines for Evaluating Public Health Surveillance Systems. MMWR July 27, 2001 / 50(RR13);1-35. http://www.cdc.gov/mmwr/preview/mmwrhtml/rr5013a1.htm Tan HF, Chang CK, Tseng HF, Lin W. Evaluation of the National Notifiable Disease Surveillance System in Taiwan: an example of varicella reporting. Vaccine. 2007 Mar 30;25(14):2630-3. Epub 2006 Dec 26. Oliveira SAd, Camacho LAB, Pereira ACdM, Setúbal S, Nogueira RMR, Siqueira MM. Assessment of the performance of a definition of a suspected measles case: implications for measles surveillance. Rev Panam Salud Publica. 2006;19(4):229-235. http://journal.paho.org/?a_id=388 P. Lutumba et al. Trypanosomiasis Control, Democratic Republic of Congo, 1993 2003. 2005 Feb [cited 2007 May 12]. Available from http://www.cdc.gov/ncidod/eid/vol11no09/pdfs/04-1020.pdf