Importancia de la validación de una prueba diagnostica Dr. Silvia Zimmerman DSM, MSc, MBA

Transcripción

2 Que significa validación de una prueba? - Validación: "confirmación de que se cumple el requerimiento para un uso definido" - Parámetros de validación: precisión, linealidad, limite de detección, limite de cuantificación, rango, recuperación, repetitividad, reproducibilidad, robustez, sensibilidad /especificidad diagnostica, sensibilidad/especificidad analítica - From Glossary of Terms for Quality Assurance and Good Laboratory Practices United Nations Office on Drugs and Crime. ISBN IDEXX Laboratories, Inc. All rights reserved.

5 Las técnicas avanzan, pero todavía hay que analizar el desempeño Tuberculin reaction 1891 Agglutination test 1896 Precipitation reaction 1897 C fixation test 1901 Immunofluorescence 1941 Hemagglutination 1941 Radioimmunoassay 1960 ELISA 1966 PCR* 1985 *Invented by Kary B. Mullis, who was awarded the 1993 Nobel Prize in chemistry for PCR IDEXX Laboratories, Inc. All rights reserved.

6 Definiciones Se/Sp diagnostica definido por primera vez por Jacob Yerushalamy in Intentando analizar la discrepancia entre los radiologos interpretando la misma radiografía - " diagnostico no es absoluto, hay una incertidumbre que puede ser mejorado en términos de probabilidades IDEXX Laboratories, Inc. All rights reserved.

8 Confusiones con la terminología Especificidad analítica = habilidad de discriminar entre blancos. PRRS RT-PCR que pueda diferenciar con precisión el virus Tipo 1 vs. Tipo 2 e analíticamente especifico IDEXX Laboratories, Inc. All rights reserved.

9 Mas terminologias Sensibilidad DX = Especificidad DX = Prevalencia Aparente = Prevalencia verdadera = Valor Predictivo (+) = Valor Predictivo (-) = Precisión = a c b d IDEXX Laboratories, Inc. All rights reserved.

10 Terminologías Sensibilidad DX = a/a+c Especificidad DX = d/b+d Prevalencia Aparente = a+b/n Prevalencia verdadera= a+c/n Valor Predictivo (+) = a/a+b Valor Predictivo (-) = d/c+d Precisión = a+d/n a c b d IDEXX Laboratories, Inc. All rights reserved.

11 Cálculos Sensibilidad DX = 21/80 (26%) Especificidad DX = 74/80 (92%) Prevalencia Aparente = 27/160 (17%) Prevalencia verdadera = 80/160 (50%) Valor Predictivo (+) = 21/27 (78%) Valor Predictivo (-) = 74/133 (56%) Precisión = 95/160 (59%) a c b d IDEXX Laboratories, Inc. All rights reserved.

12 Prevalence IDEXX Livestock, Poultry and Dairy Valor Predictivo depende de la prevalencia, y no de la sensibilidad o especificidad diagnóstica how does prevalence affect testing results? IDEXX Laboratories, Inc. All rights reserved.

13 Prueba = 95% Se, 95% Sp Prevalencia = 50% Disease Status (+) ( ) n Test (+) 4, = 5,000 Test ( ) 250 4,750 = 5,000 Valor Predictivo Positivo = 4,750/(4, ) = 95% Valor Predictivo Negativo = 4,750/(4, ) = 95% IDEXX Laboratories, Inc. All rights reserved.

14 Prueba = 95% Se, 95% Sp Prevalencia = 5% Disease Status (+) ( ) n Test (+) = 950 Test ( ) 25 9,025 = 9,050 Valor Predictivo Positivo = 475/( ) = 50% Valor Predictivo Negativo = 9,025/(9, ) = 99.7% IDEXX Laboratories, Inc. All rights reserved.

17 Prueba 2 IDEXX Livestock, Poultry and Dairy Kappa Prueba 1 apparent prev pos neg total Pos Neg total apparent prev obser prop agree % chanc prop. agree obser minus chance agree max poss beyond chance kappa IDEXX Laboratories, Inc. All rights reserved.

18 Kappa interpretación 0 = no agreement beyond chance 1 = 100% agreement beyond chance Landis and Koch, 1982 < 0.5 = poor-to-moderate agreement = good agreement > 0.7 = excellent agreement Altman, 1991 < 0.20 = poor agreement = fair = moderate = good = very good IDEXX Laboratories, Inc. All rights reserved.

19 Kappa Kappa no puede indicar cual prueba es mejor IDEXX Livestock, Poultry and Dairy Prevalence Prueba #1 Se = 95% Sp = 90% Prueba #2 Se = 80% Sp = 85% La prevalencia impacta en el Kappa (Thompson & Walter, 1988; Feinstein & Cicchetti, 1990). Índice Kappa puede ser bajo mismo cuando la concordancia es alta y resultados individuales son precisos Índice kappa puede ser alto mismo cuando las pruebas tienen desempeño diferente See: IDEXX Laboratories, Inc. All rights reserved.

21 Evaluación de desempeño del kit ELISA PRRS Fluidos orales Serum Sample dilution: 1:40 Sample volume: 100 μl Incubation time: 30 min Kit conjugate Oral fluid Sample dilution: 1:2 Sample volume: 250 μl Incubation time: 16 hours Titrate conjugate IDEXX Laboratories, Inc. All rights reserved.

22 Grupo de muestras 1 Estándares de referencia Nave destete engorda con 1,100 animales Vacuna BIVI PRRS MLV día 0 Coleta de muestras DPV -1, 10, 15, 20, 28, 35, 41, 49, 56, 75, 91 (n = 11) IDEXX Laboratories, Inc. All rights reserved.

23 Grupo de muestras 2 Inoculación experimental n=200 cerdos x7 (Kansas State University) 7 trials 200 pigs per trial PRRSV isolate NVSL , GenBank accession number AY IDEXX Laboratories, Inc. All rights reserved.

25 ELISA, PCR negative ELISA positive ELISA, PCR positive P PCR positive IDEXX Livestock, Poultry and Dairy ELISA S/P values and PCR results WEEK POST PLACEMENT Barn Pen P P P NS P P P P P IDEXX Laboratories, Inc. All rights reserved.

26 Sensibilidad y Especificidad Diagnostica grupo de muestras 1,2 y 3 IDEXX Livestock, Poultry and Dairy NEGATIVE SAMPLES Experimental = 84 Field neg (ISU VDL) = 283 TOTAL = 367 POSITIVE SAMPLES Experimental = 253 Field = 241 TOTAL = IDEXX Laboratories, Inc. All rights reserved.

28 Fluidos orales individuales pareados con suero: - 22 verracos: PRRSV tipo I (cepa D )* IDEXX Livestock, Poultry and Dairy Rendimiento del ensayo en muestras de condición definida Prueba de anticuerpos en fluidos orales para detección de PRRS - 24 verracos: PRRSV tipo II (cepa MN-184; n.º de acceso de GenBank AY656992)* - 10 verracos: MLV tipo I** - 24 verracos: MLV tipo II* PRRS Condición de exposición Positiva Negativa Totales Positiva Negativ a Totales Condición de exposición negativa: 77 verracos: seronegativos por PRRS X3 en el día 7 o en el día 0 antes de la infección (o la vacunación) Condición de exposición positiva: seropositivos por PRRS X3 en el día 21 después de la infección (o la vacunación) Límites de confianza de 95 % Límite de confianza bajo Límite de confianza alto Sensibilidad 100,0 % Especificidad 98,7 % Nota: *Kittawornrat et al. Virus Research 154 (2010) **Cortesía de: Dra. Tatjana Sattler, Universidad de Leipzig, Alemania; Dr. Friedrich Schmoll, AGES, Austria IDEXX Laboratories, Inc. All rights reserved.

29 Rastreo de anticuerpos de PRRS en muestras individuales IDEXX Livestock, Poultry and Dairy Prueba IDEXX Oral Fluids para la detección de anticuerpos PRRS en fluidos orales Prueba IDEXX PRRS X3 para la detección de anticuerpos PRRS en suero PRRS tipo I Días después de la infección Días después de la infección - - Punto de Corte M/P = 0,4 (igual para fluidos orales y suero) PRRS tipo II Días después de la infección Días después de la infección Nota: El conjunto de muestras es cortesía del Dr. Zimmerman, ISU Kittawornrat et al. Virus Research 154 (2010) IDEXX Laboratories, Inc. All rights reserved.

31 Sensibilidad diagnostica es afectada por IDEXX Livestock, Poultry and Dairy TIEMPO Sensibilidad Dx cambia con la dinámica de la infección y la respuesta inmune ESPECIMEN. El target no esta distribuido uniformemente en suero, fluidos orales, sangre, semen, heces, ambiente, etc LABORATORIO. Repetitividad y reproducibilidad IDEXX Laboratories, Inc. All rights reserved.

34 Truyen et al PRRSV: Prueba de desempeño entre laboratorios en Alemania para evaluar métodos de RT-PCR. J Vet Med B 53: muestras de referencia / 13 laboratorios IDEXX Laboratories, Inc. All rights reserved.

35 Truyen et al PRRSV: Prueba de desempeño entre laboratorios en Alemania para evaluar métodos de detección de RT-PCR. J Vet Med B 53: muestras de referencia / 13 laboratorios Accuracy Specificity Sensitivity IDEXX Laboratories, Inc. All rights reserved.

36 En una prevalencia de 20%, la probabilidad de detección de PRRS con una muestra de Fluidos es 80%, mientras una muestra de suero tiene menos de 20% Probabilidad de detección de anticuerpo o antígeno de PRRSV (%) Fluido oral anticuerpo Fluido oral RT-PCR Suero individual Tomándose un corral con prevalencia de 20%, una única muestra de Fluido Oral tiene mas de 80% de probabilidad de detectar la infección, sea por ELISA o por PCR. Mientras tanto, una muestra de suero tiene menos del 20% de probabilidad. Prevalencia de la infección por PRRSV por corral (%) Olsen et al., IDEXX Laboratories, Inc. All rights reserved.

38 Mean S/P Mean ratio S/P ratio Mean S/P Mean ratio S/P ratio Mean S/P Mean ratio S/P ratio Mean S/P Mean ratio S/P ratio IDEXX Livestock, Poultry and Dairy Monitoreo espacial sistemático Fluidos orales PRRS, PED, ELISA, PCR, etc Barn 5 Barn P P Week of Growout Week of Growout Barn 9 Barn 9 P P Week of Growout Week of Growout Barn 6 Barn 6 P P P P Week of Growout Week of Growout Barn 10 Barn 10 P P P P P P Week of Growout Week of Growout IDEXX Laboratories, Inc. All rights reserved.