Taller de Validación de Métodos Verificación de Procedimientos de Medidas Cualitativos: Enfermedades Infecciosas. PONENTE: Gabriel A.

Transcripción

1 Taller de Validación de Métodos Verificación de Procedimientos de Medidas Cualitativos: Enfermedades Infecciosas PONENTE: Gabriel A. Migliarino

2 Agenda Introducción Evaluación de Procedimientos de Medida Valor de Corte Requisitos de la Calidad Precisión Sensibilidad y Especificidad Diagnóstica Conclusiones

3 Introducción Cuál es el tema principal de esta presentación? Evaluar las características de desempeño de los procedimiento de medida cualitativos: Enfermedades Infecciosas

4 Introducción Procedimientos de medida cualitativos - Tienen dos interpretaciones posibles Positivo/Negativo Reactivo/No Reactivo Reactivo/Negativo Presente/Ausente > al valor de corte/<al valor de corte

5 Introducción Uso previsto de los procedimientos de medida cualitativos: Para tamizar Diagnóstico Confirmatorio Monitoreo

6 Introducción Procedimientos de Medida para Tamizar - Tamizar una población sana en busca de una enfermedad o condición oculta. - Los resultados inicialmente positivos son seguidos por otro tipo de pruebas. - Altamente sensibles.

7 Introducción Procedimientos de Medida para Tamizar - Resultados Falsos Negativos con severas consecuencias. Transfusiones sanguíneas Condiciones graves no tratadas - Producen falsos positivos. Existen pruebas de confirmación Consecuencias sociales/económicas leves

8 Introducción Procedimientos de Medida para Diagnóstico - Se emplean para diagnosticar una enfermedad o condición que se presume presente. - Sensibles y Específicos. - Si existe prueba confirmatoria puede tolerarse una pequeña disminución de la especificidad.

9 Introducción Procedimientos de Medida de Confirmación - Permiten establecer un diagnóstico al médico tratante a través de la confirmación o verificación de resultados. - Altamente específicos. - Alto valor predictivo positivo. - No tan sensibles.

10 Introducción La utilidad clínica de estos procedimientos de medida esta dada por: Sensibilidad Especificidad Valore predictivo Prevalencia de la enfermedad o condición en la población examinada

11 Agenda Introducción Evaluación de Procedimientos de Medida Valor de Corte Requisitos de la Calidad Precisión Sensibilidad y Especificidad Diagnóstica Conclusiones

12 Evaluación de Procedimiento de Medida Evaluación: término genérico para cualquier estudio que mide la capacidad de desempeño de un ensayo; NOTA: El término evaluación se puede aplicar a un procedimiento que es menos estricto que el requerido para la validación y verificación.

13 Evaluación de Procedimiento de Medida Validación: Verificación de que los requisitos especificados son adecuados para un uso previsto. (2.45 JCGM 200:2008) Cconfirmación, mediante el suministro de evidencia objetiva, de que se han cumplido los requisitos para una utilización o aplicación específica prevista. (ISO 9000)

14 Evaluación de Procedimiento de Medida Verificación: Aportación de evidencia objetiva de que un elemento satisface los requisitos especificados. Ejemplo 2 La confirmación que se satisfacen las propiedades de funcionamiento declaradas o los requisitos legales de un sistema de medida. (2.44 JCGM 200:2008) Confirmación, mediante el suministro de evidencia objetiva, de que se han cumplido los requisitos especificados. (ISO 9000)

15 Evaluación de Procedimiento de Medida Estudios que se realizan para determinar si un método cumple con los requisitos de calidad del usuario y/o especificaciones de desempeño del fabricante Validaciones y/o Verificaciones Protocolos Aleatorio Evaluación de errores Sistemático Empleo de herramientas estadísticas Magnitud del error Utilidad clínica del resultado TE Sigma TEa

16 Evaluación de Procedimiento de Medida EVALUACIÓN VALIDACIÓN VERIFICACIÓN

17 Evaluación de Procedimiento de Medida Procedimiento de medida Marca IVD/CE Aprobados FDA Desarrollo casero Modificados Mezclas Verificación Validación Validación Validación

18 Evaluación de Procedimiento de Medida Parámetros de desempeño a ser evaluados: Validación Precisión (Repetibilidad) Precisión (Intralaboratorio o Intermedia) Exactitud Diagnóstica (Sensibilidad, Especificidad, Valores predictivos, Tasas de falsos positivos y falsos negativos) Recuperación (Sensibilidad Analítica) Selectividad (Especificidad Analítica) Valor de Corte Verificación Precisión (Repetibilidad) Precisión (Intralaboratorio o Intermedia) Exactitud Diagnóstica (Sensibilidad, Especificidad) No aplica No Aplica No Aplica

19 Agenda Introducción Evaluación de Procedimientos de Medida Valor de Corte Requisitos de la Calidad Precisión Sensibilidad y Especificidad Diagnóstica Conclusiones

20 Valor de Corte Son establecidos por los fabricantes. - uso previsto del procedimiento de medida - Sensibilidad Diagnóstica deseada - Especificidad Diagnóstica deseada Los estudios de precisión se deben realizar cerca de la zona de corte.

21 Valor de Corte Valor de corte Cut Off En un mundo ideal!!! En el mundo real!!!

22 Valor de Corte Zona de Incertidumbre Corresponde a la región en la cual se obtienen respuestas falsas (falso negativo o falso positivo)

23 Valor de Corte 95% Repito el ensayo 100 veces Y 50 veces me da (+) y otras 50 veces (-) 5% Repito el ensayo 100 veces Repito el ensayo 100 veces Repito el ensayo 100 veces Repito el ensayo 100 veces Y 95 veces me da (+) y otras Y 95 veces me da (-) y otras y las 100 veces me da (+) y las 100 veces me da (-) 5 veces (-) 5 veces (+) 0 veces (-) 0 veces (+) 5% 95% dil. dilución dilución dil.

24 Valor de Corte

25 Valor de Corte S/CO S : Valor de lectura de la muestra CO : Valor de lectura del punto de corte Relación de positividad

26 Valor de Corte C5:? Qué ocurre si repito una muestra varias veces cuya S/CO esta por debajo de C5? C95:? Qué ocurre si repito una muestra varias veces cuya S/CO esta por encina de C95? Intervalo C5 C95 ; C50:? Qué ocurre si repito una muestra varias veces que se encuentra justo en el medio de este intervalo C50?

27 Agenda Introducción Evaluación de Procedimientos de Medida Valor de Corte Requisitos de la Calidad Precisión Sensibilidad y Especificidad Diagnóstica Conclusiones

28 Requisitos de la Calidad Premisa: Debemos contar con un requisito de la calidad (TEa) para el procedimiento de medida evaluado. - Fuente para establecer (TEa) Estado del arte - Fuente de los datos a)- Esquemas de Evaluación externa de la calidad b)- Esquemas Interlaboratorio c)-control estadístico interno de la calidad

29 Requisitos de la Calidad Estimación del TEa a partir del resumen anual EQAs Vamos a trabajar con los datos del grupo par de comparación. Z Score

30 Requisitos de la Calidad Estimación del TEa a partir del resumen anual EQAs (1) Identifiquemos en el resumen de datos de final de ciclo los coeficientes de variación del grupo par de comparación y la cantidad de datos. CV: Coeficiente de variación N: Cantidad de datos TEa: Requisito de calidad

31 Requisitos de la Calidad Estimación del TEa a partir del resumen anual EQAs (2) Multiplicar para cada encuesta el Coeficiente de variación del grupo par por el N del grupo par. CV: Coeficiente de variación N: Cantidad de datos TEa: Requisito de calidad

32 Requisitos de la Calidad Estimación del TEa a partir del resumen anual EQAs (3) Efectuar una sumatoria del N de los grupo par y de la columna CV*N. CV: Coeficiente de variación N: Cantidad de datos TEa: Requisito de calidad

33 Requisitos de la Calidad Estimación del TEa a partir del resumen anual EQAs (4) Dividir la sumatoria de CV*N entre la sumatoria de N. Sumatoria de CV*N = Sumatoria de N = Coeficiente de variación ponderado del grupo par de comparación del ciclo % = 8.4 % CV: Coeficiente de variación N: Cantidad de datos TEa: Requisito de calidad

34 Requisitos de la Calidad Estimación del TEa a partir del resumen anual EQAs (5) Multiplicar por tres 3 el coeficiente de variación ponderado del grupo par de comparación obtenido para el procedimiento de medida en el ciclo en estudio para obtener una estimación del requisito de calidad del procedimiento de medida de acuerdo al estado del arte. TEa = 8.4 % * 3 TEa = 25.2 % CV: Coeficiente de variación N: Cantidad de datos TEa: Requisito de calidad

35 Requisitos de la Calidad Estimación del TEa a partir del resumen anual EQAs TEa = 25.2 % CV: Coeficiente de variación N: Cantidad de datos TEa: Requisito de calidad

36 Requisitos de la Calidad Estimación del Coeficiente de Variación Ponderado Vamos a trabajar con un nivel de control de HBsAg. Vamos a juntar los datos de control interno del nivel del control seleccionado para el HBsAg. Vamos a armar una planilla con los datos. Vamos a estimar el coeficiente de variación promedio ponderado para el nivel de control seleccionado.

37 Requisitos de la Calidad Estimación del Coeficiente de Variación Ponderado

38 Requisitos de la Calidad Estimación del Coeficiente de Variación Ponderado Vamos a generar una tercera columna multiplicando CV por n.

39 Requisitos de la Calidad Estimación del Coeficiente de Variación Ponderado Vamos a efectuar la sumatoria de datos de la columna n y CV*n.

40 Requisitos de la Calidad Estimación del Coeficiente de Variación Ponderado Recordemos la formula para estimar el CV promedio ponderado: CV (ponderado) = CV * n n

41 Requisitos de la Calidad Estimación del Coeficiente de Variación Ponderado CV * n = n = 255

42 Requisitos de la Calidad Estimación del Coeficiente de Variación Ponderado Recordemos la formula para estimar el CV promedio ponderado: CV (ponderado) = CV * n CV * n = n CV (ponderado) = n = 255 CV (ponderado) = 5.5% 255

43 Requisitos de la Calidad Estimación del TEa a partir del Coeficiente de Variación Ponderado Los resultados acumulados del control estadístico interno de la calidad de un procedimiento de medida son reflejo del estados del arte. A partir de estos datos podemos acceder a información sobre el estado del arte del procedimiento evaluado. Vamos a trabajar con el coeficiente de variación promedio ponderado para establecer un requisito de la calidad.

44 Requisitos de la Calidad Estimación del TEa a partir del Coeficiente de Variación Ponderado Multiplicar por tres 3 el coeficiente de variación ponderado obtenido para el procedimiento de medida a partir de los datos de control estadístico interno de la calidad de varios meses para obtener una estimación del requisito de la calidad del procedimiento de medida de acuerdo al estado del arte. CV (ponderado) = 5.5% TEa = 5.5 % * 3 TEa = 16.5 %

45 Agenda Introducción Evaluación de Procedimientos de Medida Valor de Corte Requisitos de la Calidad Precisión Sensibilidad y Especificidad Diagnóstica Conclusiones

46 Precisión La precisión debe ser evaluada cerca del valor de corte. (1) Experimento cualitativo cerca del valor de corte. (2) Repetibilidad y precisión intermedia para procedimientos de medida con relación de positividad S/CO. (3) Repetibilidad y precisión intermedia para procedimientos de medida de expresión binaria.

47 Precisión (1) Experimento cualitativo cerca del valor de corte C50. - Determinar si un intervalo, por ejemplo C % incluye el intervalo C5 C95. - Mas del 20 % de los resultados son precisos. - Dos posibilidades: 1)- Valor de corte provisto por el fabricante 2)-Valor de corte no provisto por el fabricante

48 Precisión Preparar 3 muestras de buen volumen: Muestra Concentración Muestra 1 C % Muestra 2 C 50 Muestra 3 C50 20 % Procesar cada muestra 40 veces y calcular el % de resultados positivos y negativos para cada muestra.

49 Precisión Está bien preparada la C50? - Tomamos los 40 resultados de la C50. Total de resultados Cantidad de resultados (+) Porcentaje Conclusión o menos 32,5 C50 incorrecta o más 67,5 C50 incorrecta 40 Entre 14 y % a 65 % C50 correcta Nota: Existe una probabilidad del 5 % de que las conclusiones sean erróneas

50 Precisión Contienen el intervalo c % al rango C5- C95? Si Concentración Total de muestras Total de resultados positivos Total de resultados negativos Porcentaje C % o menos ,5 % o menos C50 20 % menos 87,5 % o menos C50-20 % C50 C % C5 C50 C95 Nota: Existe una probabilidad del 5 % de que las conclusiones sean erróneas

51 Precisión En este caso: Muestras > C % Muestras < C50 20 % Pueden no arrojar resultados consistentes

52 Precisión Contienen el intervalo c % al rango C5- C95? Si Concentración Total de muestras Total de resultados positivos Total de resultados negativos Porcentaje C % o más % o más C50 20 % más 90 % o más C50-20 % C50 C % C5 C50 C95 Nota: Existe una probabilidad del 5 % de que las conclusiones sean erróneas

53 Precisión En este caso: Muestras > C % Muestras < C50 20 % Resultados Consistentes

54 Precisión Contienen el intervalo c % al rango C5- C95? Si Concentración Total de muestras Total de resultados positivos Total de resultados negativos Porcentaje C % o más % o más C50 20 % menos 87,5 % o menos C50-20 % C50 C % C5 C50 C95 Nota: Existe una probabilidad del 5 % de que las conclusiones sean erróneas

55 Precisión En este caso: Muestras > C % Resultados Consistentes Muestras < C50 20 % Pueden no arrojar resultados consistentes

56 Precisión Contienen el intervalo c % al rango C5- C95? Si Concentración Total de muestras Total de resultados positivos Total de resultados negativos Porcentaje C % o menos ,5 % o menos C50 20 % más 90 % 0 más C50-20 % C50 C % C5 C50 C95 Nota: Existe una probabilidad del 5 % de que las conclusiones sean erróneas

57 Precisión En este caso: Muestras > C % Muestras < C50 20 % Pueden no arrojar resultados consistentes Resultados Consistentes

58 Precisión : Definiciones

59 Precisión : Definiciones Repetibilidad (S r ) - El mismo procedimiento de medida - El mismo laboratorio - El mismo operador - El mismo equipo - Repeticiones en un intervalo corto de tiempo Es lo que comúnmente denominamos precisión intracorrida o intraserie

60 Precisión : Definiciones Expresión: S r Repetibilidad (Desvío Estándar) SD r (Desvío Estándar) CV r (Coeficiente de Variación)

61 Precisión : Definiciones

62 Precisión : Definiciones Precisión Intermedia o Intra laboratorio (S i ) - El mismo procedimiento de medida - El mismo laboratorio - El mismo operador o no - El mismo equipo - Repeticiones en un intervalo prolongado de tiempo Es lo que se conoce como precisión intra laboratorio También se la conoce como precisión total

63 Precisión : Definiciones Expresión: Precisión Intermedia o Intralaboratorio S i (Desvío Estándar) SD i (Desvío Estándar) CV i (Coeficiente de Variación)

64 Precisión : Definiciones Expresión: Precisión Intermedia o Intralaboratorio S RW (Desvío Estándar) SD RW (Desvío Estándar) CV RW (Coeficiente de Variación)

65 Precisión : Definiciones

66 Precisión : Definiciones Reproducibilidad (S R ) - El mismo procedimiento de medida - Distinto lote de reactivo o no - Distinto lote de calibrador o no - Distinto laboratorio - Distinto operador - Distinto equipo - Distinto entorno

67 Precisión : EP 15 A2 (2) Repetibilidad y precisión intermedia para procedimientos de medida con relación de positividad S/CO.

68 Precisión : EP 15 A2 Precisión (EP 15 A2) Qué necesito? a)- El protocolo. b)- 2 materiales de control - niveles de decisión médica (*) Positivo débil (*) Positivo c)- Planillas de cálculo o software

69 Precisión : EP 15 A2 Día 1 Día 2 Día 3 Día 4 Día 5 Rep. 1 Rep. 3 Rep. 1 Rep. 3 Rep. 1 Rep. 3 Rep. 1 Rep. 3 Rep. 1 Rep. 3 Rep. 2 Rep. 2 Rep. 2 Rep. 2 Rep. 2 Desvío Estándar Repetibilidad (S r ) Varianza para las medias diarias (S b2 ) Desvío Estándar Intralaboratorio (S i ) Grados de Libertad Efectivos (T)

70 Precisión : EP 15 A2 Fundamento: - Estimar la desviación estándar en condiciones de repetibilidad Sr (recordar 3 replicados por día). - Estimar la desviación estándar entre días (recordar triplicados, media diaria,5 días). - Combinar varianzas y estimar la desviación estándar intermedia o intralaboratorio Si (antes llamada total).

71 Precisión : EP 15 A2 - Trabajar las especificaciones del inserto del fabricante para llevarlas a la concentración del material que nosotros usamos.

72 Precisión : EP 15 A2 Datos de inserto HCV S/CO Concentración Repetibilidad Precisión Intermedia SDr CV r SDi CV i Mis datos HCV S/CO Concentración Repetibilidad Precisión Intermedia SDr CV r SDi CV i

73 Precisión : EP 15 A2 CV % HCV S/CO Concentración Repetibilidad Precisión Intermedia SDr CV r SDi CV i Concentración : CV r : 1.0 % SDr :?? S/CO

74 Precisión : EP 15 A2 CV = SD x 100 Media SDr = CV r * Media 100 SDr = 1.0 * SDr = SDr = Concentración : CV r : 1.0 %

75 Precisión : EP 15 A2 CV % HCV S/CO Concentración Repetibilidad Precisión Intermedia SDr CV r SDi CV i Concentración : CV i : 1.2 % SDi :?? S/CO

76 Precisión : EP 15 A2 CV = SD x 100 Media SDi = CVi * Media 100 SDi = 1.2 * Concentración : CV i : 1.2 % SDi = SDi = 0.024

77 Precisión : EP 15 A2 HCV S/CO Concentración Repetibilidad Precisión Intermedia SDr CV r SDi CV i SDr= SDi= CV r = 1.0 CV i = 1.2

78 Precisión : EP 15 A2 - Comparar la desviación estándar obtenida en condiciones de repetibilidad con la especificación adaptada obtenida a partir del inserto del fabricante para repetibilidad o de ser necesario con su valor de verificación.

79 Precisión : EP 15 A2 Repetibilidad Si S r (datos propios) < SD r (fabricante) Si S r (datos propios) > SD r (fabricante) Repetibilidad verificada Repetibilidad Aplicar verificación

80 Precisión : EP 15 A2 Si S r (datos propios) < V.V. SD r (valor de verificación) Verificación de Repetibilidad Aceptada Si S r (datos propios) > V.V. SD r (Valor de verificación) Verificación de Repetibilidad Rechazada

81 Precisión : EP 15 A2 - Comparar la desviación estándar obtenida en condiciones de precisión intermedia con la especificación adaptada obtenida a partir del inserto del fabricante para precisión intermedia o de ser necesario con su valor de verificación.

82 Precisión : EP 15 A2 Precisión Intermedia Si S i (datos propios) < SD i (fabricante) Si S i (datos propios) > SD i (fabricante) Precisión Intermedia verificada Precisión Intermedia Aplicar verificación

83 Precisión : EP 15 A2 Si S i (datos propios) < V.V. SD i (valor de verificación) Verificación de Precisión Intermedia Aceptada Si S i (datos propios) > V.V. SD i (Valor de verificación) Verificación de Precisión Intermedia Rechazada

84 Precisión : EP 15 A2 Retornemos a nuestro caso de aplicación!! HCV en suero (S/CO) Instrumento: SuperViral Reactivo: SuperViral Plus

85 Precisión : EP 15 A2 CV = (SD/Media) * 100 SD = (CV * Media) / 100 SD = (2.1 * 2.42) / 100 SD = 0.051

86 Precisión : EP 15 A2 CV = (SD/Media) * 100 SD = (CV * Media) / 100 SD = (6.6 * 2.42) / 100 SD = 0.160

87 Precisión : EP 15 A2 Especificaciones del fabricante tomadas del inserto

88 Precisión : EP 15 A2 Triplicados durante 5 días

89 Precisión : EP 15 A2 No fue necesario trabajar con los valores de verificación

90 Precisión: Modelo Simplificado Procedimiento para Repetibilidad: - Seleccionar un material con concentración desafiante (control positivo débil). - Procesar el material de control 20 veces dentro de la misma corrida analítica. - Estimar: Media, desviación estándar y coeficiente de variación (estos estadísticos han sido obtenido en condiciones de repetibilidad).

91 Precisión: Modelo Simplificado Replicado Resultado Unidades 1 2,78 S/CO 2 2,97 S/CO 3 3,01 S/CO 4 2,68 S/CO 5 2,59 S/CO 6 3,00 S/CO 7 2,89 S/CO 8 2,76 S/CO 9 2,65 S/CO 10 2,73 S/CO 11 2,98 S/CO 12 3,03 S/CO 13 2,67 S/CO 14 2,76 S/CO 15 2,89 S/CO 16 2,54 S/CO 17 2,98 S/CO 18 3,00 S/CO 19 2,67 S/CO 20 2,69 S/CO Media 2,814 S/CO DEr 0,1600 S/CO CVr 5,7 % N 20 Criterio para verificación de precisión en condiciones de repetibilidad CVr < TEa* 0,25 TEa = 25 %

92 Precisión: Modelo Simplificado Replicado Resultado Unidades 1 2,78 S/CO 2 2,97 S/CO 3 3,01 S/CO 4 2,68 S/CO 5 2,59 S/CO 6 3,00 S/CO 7 2,89 S/CO 8 2,76 S/CO 9 2,65 S/CO 10 2,73 S/CO 11 2,98 S/CO 12 3,03 S/CO 13 2,67 S/CO 14 2,76 S/CO 15 2,89 S/CO 16 2,54 S/CO 17 2,98 S/CO 18 3,00 S/CO 19 2,67 S/CO 20 2,69 S/CO Media 2,814 S/CO DEr 0,1600 S/CO CVr 5,7 % N 20 Criterio para verificación de precisión en condiciones de repetibilidad CVr % < TEa* 0,25 5,7 % < 25 * 0,25 5,7 % < 6,25 Repetibilidad Aceptada TEa = 25 %

93 Precisión: Modelo Simplificado Procedimiento para Precisión intermedia o intralaboratorio - Seleccionar un material con concentración desafiante (control positivo débil). - Procesar el material una vez por día durante 30 días. - Estimar: Media, desviación estándar y coeficiente de variación (estos estadísticos han sido obtenido en condiciones de precisión intermedia).

94 Precisión: Modelo Simplificado Fecha Resultado Unidades 01/03/2013 2,78 S/CO 02/03/2013 2,98 S/CO 03/03/2013 3,03 S/CO 04/03/2013 2,76 S/CO 05/03/2013 2,49 S/CO 06/03/2013 2,98 S/CO 07/03/2013 3,10 S/CO 08/03/2013 2,67 S/CO 09/03/2013 2,87 S/CO 10/03/2013 2,56 S/CO 11/03/2013 2,87 S/CO 12/03/2013 2,98 S/CO 13/03/2013 3,03 S/CO 14/03/2013 3,01 S/CO 15/03/2013 2,98 S/CO 16/03/2013 2,67 S/CO 17/03/2013 2,56 S/CO 18/03/2013 2,56 S/CO 19/03/2013 3,01 S/CO 20/03/2013 2,98 S/CO 21/03/2013 2,46 S/CO 22/03/2013 2,67 S/CO 23/03/2013 2,56 S/CO 24/03/2013 2,89 S/CO 25/03/2013 2,90 S/CO 26/03/2013 3,02 S/CO 27/03/2013 2,98 S/CO 28/03/2013 2,39 S/CO 29/03/2013 2,78 S/CO 30/03/2013 2,87 S/CO Media 2,813 S/CO DEi 0,2049 S/CO CVi 7,3 % N 30 Criterio para verificación de precisión intralaboratorio CVi < TEa* 0,33 TEa = 25 %

95 Precisión: Modelo Simplificado Fecha Resultado Unidades 01/03/2013 2,78 S/CO 02/03/2013 2,98 S/CO 03/03/2013 3,03 S/CO 04/03/2013 2,76 S/CO 05/03/2013 2,49 S/CO 06/03/2013 2,98 S/CO 07/03/2013 3,10 S/CO 08/03/2013 2,67 S/CO 09/03/2013 2,87 S/CO 10/03/2013 2,56 S/CO 11/03/2013 2,87 S/CO 12/03/2013 2,98 S/CO 13/03/2013 3,03 S/CO 14/03/2013 3,01 S/CO 15/03/2013 2,98 S/CO 16/03/2013 2,67 S/CO 17/03/2013 2,56 S/CO 18/03/2013 2,56 S/CO 19/03/2013 3,01 S/CO 20/03/2013 2,98 S/CO 21/03/2013 2,46 S/CO 22/03/2013 2,67 S/CO 23/03/2013 2,56 S/CO 24/03/2013 2,89 S/CO 25/03/2013 2,90 S/CO 26/03/2013 3,02 S/CO 27/03/2013 2,98 S/CO 28/03/2013 2,39 S/CO 29/03/2013 2,78 S/CO 30/03/2013 2,87 S/CO Media 2,813 S/CO DEi 0,2049 S/CO CVi 7,3 % N 30 Criterio para verificación de precisión intralaboratorio CVi < TEa* 0,33 7,3 % < 25 * 0,33 7,3 % < 8,25 % Precisión intralaboratorio Aceptada TEa = 25 %

96 Precisión (3) Repetibilidad y precisión intermedia para procedimientos de medida de expresión binaria. - De los controles positivos débiles se esperan resultados positivos - De los controles positivos se esperan resultados positivos

97 Precisión Grupo 1 Verificación Verificación de un ensayo IVD/CE o de un sistema de para la detección de anticuerpos virales específicos, detección de antígenos virales o pruebas de acido nucleícos. Parámetro Cantidad de Muestras Necesarias Pruebas de detección de Antígenos o Anticuerpos Ácidos Nucleícos (NAT) Cualitativas 1 muestra Cuantitativas (+) por Cualitativas Cuantitativas Veracidad triplicado en una 1 Positivas 3 misma muestra corrida (+ 3 d ) por 3 3 triplicado Positivas Débiles 3 analítica en una misma corrida 3 analítica 3 3 Negativas muestra (+) una Repetibilidad (SDr) ves 1 muestra por día durante (+ 3 d ) por día días Positivas 1 durante tres 4 días Con excepción de: 1 3 HIV( 1y 2), HTLV (1y2), Hepatitis B, C y D Positivas Débiles Precisión Intermedia (SDi) Positivas 1 2 Series de 10 diluciones de una muestra positiva por 1 1 Positiva Débil 1 1 duplicado 1 1 Linealidad Positiva

98 Agenda Introducción Evaluación de Procedimientos de Medida Valor de Corte Requisitos de la Calidad Precisión Sensibilidad y Especificidad Diagnóstica Conclusiones

99 Grupo 1 Se establecen diferencias para: Grupo 2

100 Sensibilidad y Especificidad Diagnóstica Grupo 1 Verificación Verificación de un ensayo IVD/CE o de un sistema de para la detección de anticuerpos virales específicos, detección de antígenos virales o pruebas de acido nucleícos. Parámetro Cantidad de Muestras Necesarias Pruebas de detección de Antígenos o Anticuerpos Ácidos Nucléicos (NAT) Cualitativas 1 muestra Cuantitativas (+) por Cualitativas Cuantitativas Veracidad triplicado en una 1 Positivas 3 misma muestra corrida (+ 3 d ) por 3 3 triplicado Positivas Débiles 3 analítica en una misma corrida 3 analítica 3 3 Negativas muestra (+) una Repetibilidad (SDr) ves 1 muestra por día durante (+ 3 d ) por día días Positivas 1 durante tres 4 días Con excepción de: 1 3 HIV( 1y 2), HTLV (1y2), Hepatitis B, C y D Positivas Débiles Precisión Intermedia (SDi) Positivas 1 2 Series de 10 diluciones de una muestra positiva por 1 1 Positiva Débil 1 1 duplicado 1 1 Linealidad Positiva

101 Sensibilidad y Especificidad Diagnóstica HIV I y II, Hepatitis A,B,C y D HTLV I y II Grupo 2 Verificación

102 Sensibilidad y Especificidad Diagnóstica HIV, HCV, HBsAg, HTLV Qué? - Sensibilidad Diag. - Especificidad Diag. - Precisión 7 Positivas 20 Muestras 6 Positivas Débiles Requisitos Mínimos 7 Negativas Grupo 2 Verificación 1 Positivo 1 Positivo Débil

103 Sensibilidad y Especificidad Diagnóstica HIV, HCV, HBsAg, HTLV Cómo? - Sensibilidad Diag. EP 12 A2 - Especificidad Diag. EP 12 A2 - Precisión EP 15 A2 Grupo 2 Verificación

104 Sensibilidad y Especificidad Diagnóstica Alguna definiciones: - Sensibilidad Diagnóstica La probabilidad de obtener un resultado positivo por el método evaluado en presencia de la condición estudiada - Verdadero Positivo Muestra que se sabe positiva para la condición evaluada y es clasificada como positiva por el método evaluado

105 Sensibilidad y Especificidad Diagnóstica - Falso Negativo Muestra que se sabe positiva para la condición evaluada y es clasificada como negativa por el método evaluado. - Especificidad Diagnóstica La probabilidad de obtener un resultado negativo por el método evaluado en ausencia de la condición estudiada.

106 Sensibilidad y Especificidad Diagnóstica - Falso Positivo Muestra que se sabe negativa para la condición evaluada y es clasificada como positiva por el método evaluado. - Verdadero Negativo Muestra que se sabe negativa para la condición evaluada y es clasificada como negativa por el método evaluado.

107 Sensibilidad y Especificidad Diagnóstica - Sensibilidad Analítica (límite de detección) Es la cantidad mas pequeña que podemos detectar para medir la condición estudiada. - Especificidad Analítica Es la capacidad del método para detectar lo que verdaderamente queremos detectar.

108 Sensibilidad y Especificidad Diagnóstica - Valor predictivo Negativo (%) Es el porcentaje de individuos con resultados negativos por el método evaluado que verdaderamente no poseen la condición en estudio. - Valor Predictivo Positivo (%) Es el porcentaje de individuos con resultados positivos por el método evaluado que verdaderamente poseen la condición en estudio.

109 Sensibilidad y Especificidad Diagnóstica - Prevalencia Frecuencia de la condición de interese expresada como porcentaje del número total de individuos de la población estudiada.

110 Sensibilidad y Especificidad Diagnóstica Sensibilidad y Especificidad Qué necesitamos? a)- El protocolo. b)- Muestras desafiantes con criterio de exactitud diagnostica para la condición en estudio. (*) Paneles (*) Muestras de pacientes c)- Planillas de cálculo o software.

111 Sensibilidad y Especificidad Diagnóstica

112 Sensibilidad y Especificidad Diagnóstica

113 Sensibilidad y Especificidad Diagnóstica Necesito aproximadamente 20 pacientes que no posean la condición en estudio. (con criterio de exactitud diagnóstica) Se buscan muestras desafiantes. No se tiene en cuenta la prevalencia de la condición en estudio en la población target.

114 Sensibilidad y Especificidad Diagnóstica Referencia Referencias Positivas Referencias Negativas Método de Campo Positivo Negativo Positivo Negativo Método de Campo TP: Positivos Verdaderos FN: Falsos Negativos FP: Falsos Positivos TN: Negativos Verdaderos

115 Sensibilidad y Especificidad Diagnóstica Referencia Referencias Positivas Referencias Negativas Método de Campo Positivo Negativo Positivo TP FN Negativo FP TN Método de Campo TP: Positivos Verdaderos FN: Falsos Negativos FP: Falsos Positivos TN: Negativos Verdaderos

116 Sensibilidad y Especificidad Diagnóstica Método de Campo Positivo Negativo Referencia Positivo Negativo TP FP FN TN TP+FN FP+TN TP+FP FN+TN TP: Positivos Verdaderos FN: Falsos Negativos FP: Falsos Positivos TN: Negativos Verdaderos

117 Sensibilidad y Especificidad Diagnóstica Referencia Método de Campo Positivo Negativo Positivo Negativo TP +FN: 12 TP +TN: TP: 11 FN: 1 TN:11 FP: 1 TP: Positivos Verdaderos FN: Falsos Negativos FP: Falsos Positivos TN: Negativos Verdaderos TN +FP:12 FN +TN:12

118 Sensibilidad y Especificidad Diagnóstica Tablas de Contingencia Permiten calcular 4 parámetros de desempeño - Falsos Positivos - Falsos Negativos - Sensibilidad - Especificidad Permiten calcular 2 valores predictivos - Probabilidad de Resultado positivo (PVP) - Probabilidad de Resultado negativo (PVN)

119 Sensibilidad y Especificidad Diagnóstica Método de Campo Positivo Negativo Referencia Positivo Negativo TP FN FP TN TP+FN FP+TN Sensibilidad = TP TP + FN TP+FP FN+TN TP: Positivos Verdaderos FN: Falsos Negativos FP: Falsos Positivos TN: Negativos Verdaderos

120 Sensibilidad y Especificidad Diagnóstica Método de Campo Positivo Negativo Referencia Positivo Negativo TP FN FP TN TP+FN FP+TN Especificidad = TN TN + FP TP+FP FN+TN TP: Positivos Verdaderos FN: Falsos Negativos FP: Falsos Positivos TN: Negativos Verdaderos

121 Sensibilidad y Especificidad Diagnóstica Método de Campo Positivo Negativo Referencia Positivo Negativo TP FN FP TN TP+FN FP+TN Prevalencia = TP +FN N TP+FP FN+TN N TP: Positivos Verdaderos FN: Falsos Negativos FP: Falsos Positivos TN: Negativos Verdaderos N: Número total de muestras evaluadas

122 Sensibilidad y Especificidad Diagnóstica Método de Campo Positivo Negativo Referencia Positivo Negativo TP FN FP TN TP+FN FP+TN TP+FP FN+TN Valor predictivo positivo = TP TP + FP TP: Positivos Verdaderos FN: Falsos Negativos FP: Falsos Positivos TN: Negativos Verdaderos

123 Sensibilidad y Especificidad Diagnóstica Método de Campo Positivo Negativo Referencia Positivo Negativo TP FN FP TN TP+FN FP+TN Valor predictivo Negativo = TP+FP FN+TN TN FN + TN TP: Positivos Verdaderos FN: Falsos Negativos FP: Falsos Positivos TN: Negativos Verdaderos

124 Sensibilidad y Especificidad Diagnóstica Retornemos a nuestro caso de aplicación!! HCV en suero (S/CO) Instrumento: SuperViral Reactivo: SuperViral Plus

125 Sensibilidad y Especificidad Diagnóstica

126 Sensibilidad y Especificidad Diagnóstica

127 Sensibilidad y Especificidad Diagnóstica

128 Sensibilidad y Especificidad Diagnóstica

129 Sensibilidad y Especificidad Diagnóstica Especificaciones de inserto Sensibilidad: 100% Especificidad: %

130 Sensibilidad y Especificidad Diagnóstica La sensibilidad declarada por el fabricante se encuentra dentro del intervalo de confianza de la sensibilidad obtenida. La especificidad declarada por el fabricante se encuentra dentro del intervalo de confianza de la especificidad obtenida.

131 Sensibilidad y Especificidad Diagnóstica Factores Críticos - Muestras con criterio de exactitud diagnóstica. - Grado de acuerdo / Sensibilidad y Especificidad. - Cantidad de muestras. - Intervalos de confianza para las estimaciones de sensibilidad y especificidad.

132 Sensibilidad y Especificidad Diagnóstica Criterio de Exactitud Diagnóstica Los mejores criterios disponibles en la actualidad para establecer la presencia o ausencia de la condición, evento o característica de interés utilizando un único método o combinación de métodos que incluyen las pruebas de laboratorio, estudios por imágenes, patología, y la información clínica, incluyendo el seguimiento.

133 Sensibilidad y Especificidad Diagnóstica Validación de un procedimiento de medida - Prevalencia. - Muestras con criterio de exactitud diagnóstica. - Cantidad de muestras.

134 Sensibilidad y Especificidad Diagnóstica Validación de un procedimientos de medida Sensibilidad Especificidad Valores predictivos Grado de acuerdo

135 Sensibilidad y Especificidad Diagnóstica Verificación de procedimiento de medida - Muestras con criterio de exactitud diagnóstica. - Cantidad de muestras. Sensibilidad Especificidad

136 Sensibilidad y Especificidad Diagnóstica Verificación de procedimiento de medida - Se comparan dos o más métodos analíticos. - Ninguno de los métodos genera resultados con criterio de exactitud diagnóstica. Grado de acuerdo positivo Grado de acuerdo negativo

137 Sensibilidad y Especificidad Diagnóstica Cantidad de muestras - Depende del uso previsto del estudio y el grado de confianza deseado sobre las estimaciones. - La composición de la muestra depende de la prevalencia de la condición en estudio en la población de interés. - Sugerencia para validaciones mínimo de 50 muestras positivas y 50 negativas. - CE: (2009/886/CE) aplica a fabricantes.

138 Sensibilidad y Especificidad Diagnóstica

139 Sensibilidad y Especificidad Diagnóstica Cantidad de muestras - Muestras desafiantes (Verificaciones) - Evaluar la cantidad de muestras necesarias de acuerdo a la amplitud deseada para el intervalo de confianza de las estimaciones. - Paneles con muestras con criterio de exactitud diagnóstica y distinto nivel de reactividad.

140 Sensibilidad y Especificidad Diagnóstica Intervalos de Confianza para Sensibilidad y Especificidad - Existen diferentes modelos. - Intervalos de confianza para proporciones binomiales (falla para tamaños de muestra pequeños). - Método de Clopper Pearson (Complejo). - Sugerido: score confidence intervals de Wilson.

141 Sensibilidad y Especificidad Diagnóstica Sensibilidad Intervalo de Confianza del 95 % 100 x ( Q1,se Q2,se), 100 x (Q1,se +Q2,se) Q3,se Q3,se TP : Positivos Verdaderos FN : Falsos Negativos

142 Sensibilidad y Especificidad Diagnóstica Especificidad Intervalo de Confianza del 95 % 100 x ( Q1,es Q2,es), 100 x (Q1,es +Q2,es) Q3,es Q3,es TN : Negativos Verdaderos FP : Falsos Positivos

143 Sensibilidad y Especificidad Diagnóstica Vamos a simular distintas situaciones - Requisitos mínimos. - Presencia de falsos negativos. - Duplicar tamaño de muestra. - Impacto de falsos negativos sobre muestras mas grandes. - Requisitos de la CE para los fabricantes.

144 Requisitos mínimos (Sensibilidad) Validación : 50 (+) Verificación : 7 (+) 6 (+)d

145 Requisitos mínimos (Sensibilidad) Validación : 49 (+) 1 FN Verificación : 7 (+) 5 (+)d 1 FN

146 Tamaño de Muestra (Sensibilidad) Validación : 100 (+) Verificación : 14 (+) 12 (+)d

147 Tamaño de Muestra (Sensibilidad) Validación : 99 (+) 1 FN Verificación : 14 (+) 11 (+)d 1 FN

148 Tamaño de Muestra (Sensibilidad) Validación : 98 (+) 2 FN Verificación : 14 (+) 10 (+)d 2 FN

149 Tamaño de Muestra (fabricantes CE) (Sensibilidad) HBsAg : 430 (+) HIV 1 y 2 : 530 (+)

150 Requisitos mínimos (especificidad) Validación : 50 (-) Verificación : 7 (-)

151 Requisitos mínimos (especificidad) Validación : 49 (-) 1 FP Verificación : 6 (-) 1 FP

152 Tamaño de Muestra (especificidad) Validación : 100 (-) Verificación : 14 (-)

153 Tamaño de Muestra (especificidad) Validación : 99 (-) 1 FP Verificación : 13 (+) 1 FP

154 Tamaño de Muestra (especificidad) Validación : 98 (-) 2 FP Verificación : 12 (-) 2 FP

155 Tamaño de Muestra (fabricantes CE) (Especificidad) HBsAg : 5300 (-) HIV 1 y 2 : 5300 (-)

156 Tamaño de Muestra (fabricantes CE) (Especificidad) HBsAg : 5298 (-) 2 FP HIV 1 y 2 : 5298 (-) 2 FP

157 Sensibilidad y Especificidad Diagnóstica

158 Sensibilidad y Especificidad Diagnóstica

159 Agenda Introducción Evaluación de Procedimientos de Medida Valor de Corte Requisitos de la Calidad Precisión Sensibilidad y Especificidad Diagnóstica Conclusiones

160 Conclusiones -Conocer el desempeño del método en condiciones estables -Verificar si el desempeño es aceptable según nuestros requisitos de calidad hacer correctamente. el control de calidad.. correcto!!!!!!

161 Conclusiones Por Qué? Objetivo Principal del Laboratorio Resultados Clínicamente útiles

162 Conclusiones La calidad no es un destino la calidad es una jornada continua que nos mantiene en la dirección correcta!!!!!!!!

163 Por su participación GRACIAS!