Taller de Validación de Métodos Verificación de Procedimientos de Medidas Cualitativos: Enfermedades Infecciosas. PONENTE: Gabriel A.

Taller de Validación de Métodos Verificación de Procedimientos de Medidas Cualitativos: Enfermedades Infecciosas PONENTE: Gabriel A. Migliarino

Agenda Introducción Evaluación de Procedimientos de Medida Valor de Corte Requisitos de la Calidad Precisión Sensibilidad y Especificidad Diagnóstica Conclusiones

Introducción Cuál es el tema principal de esta presentación? Evaluar las características de desempeño de los procedimiento de medida cualitativos: Enfermedades Infecciosas

Introducción Procedimientos de medida cualitativos - Tienen dos interpretaciones posibles Positivo/Negativo Reactivo/No Reactivo Reactivo/Negativo Presente/Ausente > al valor de corte/<al valor de corte

Introducción Uso previsto de los procedimientos de medida cualitativos: Para tamizar Diagnóstico Confirmatorio Monitoreo

Introducción Procedimientos de Medida para Tamizar - Tamizar una población sana en busca de una enfermedad o condición oculta. - Los resultados inicialmente positivos son seguidos por otro tipo de pruebas. - Altamente sensibles.

Introducción Procedimientos de Medida para Tamizar - Resultados Falsos Negativos con severas consecuencias. Transfusiones sanguíneas Condiciones graves no tratadas - Producen falsos positivos. Existen pruebas de confirmación Consecuencias sociales/económicas leves

Introducción Procedimientos de Medida para Diagnóstico - Se emplean para diagnosticar una enfermedad o condición que se presume presente. - Sensibles y Específicos. - Si existe prueba confirmatoria puede tolerarse una pequeña disminución de la especificidad.

Introducción Procedimientos de Medida de Confirmación - Permiten establecer un diagnóstico al médico tratante a través de la confirmación o verificación de resultados. - Altamente específicos. - Alto valor predictivo positivo. - No tan sensibles.

Introducción La utilidad clínica de estos procedimientos de medida esta dada por: Sensibilidad Especificidad Valore predictivo Prevalencia de la enfermedad o condición en la población examinada

Evaluación de Procedimiento de Medida Evaluación: término genérico para cualquier estudio que mide la capacidad de desempeño de un ensayo; NOTA: El término evaluación se puede aplicar a un procedimiento que es menos estricto que el requerido para la validación y verificación. http://login.clsi.org/termsall.cfm

Evaluación de Procedimiento de Medida Validación: Verificación de que los requisitos especificados son adecuados para un uso previsto. (2.45 JCGM 200:2008) Cconfirmación, mediante el suministro de evidencia objetiva, de que se han cumplido los requisitos para una utilización o aplicación específica prevista. (ISO 9000)

Evaluación de Procedimiento de Medida Verificación: Aportación de evidencia objetiva de que un elemento satisface los requisitos especificados. Ejemplo 2 La confirmación que se satisfacen las propiedades de funcionamiento declaradas o los requisitos legales de un sistema de medida. (2.44 JCGM 200:2008) Confirmación, mediante el suministro de evidencia objetiva, de que se han cumplido los requisitos especificados. (ISO 9000)

Evaluación de Procedimiento de Medida Estudios que se realizan para determinar si un método cumple con los requisitos de calidad del usuario y/o especificaciones de desempeño del fabricante Validaciones y/o Verificaciones Protocolos Aleatorio Evaluación de errores Sistemático Empleo de herramientas estadísticas Magnitud del error Utilidad clínica del resultado TE Sigma TEa

Evaluación de Procedimiento de Medida EVALUACIÓN VALIDACIÓN VERIFICACIÓN

Evaluación de Procedimiento de Medida Procedimiento de medida Marca IVD/CE Aprobados FDA Desarrollo casero Modificados Mezclas Verificación Validación Validación Validación

Evaluación de Procedimiento de Medida Parámetros de desempeño a ser evaluados: Validación Precisión (Repetibilidad) Precisión (Intralaboratorio o Intermedia) Exactitud Diagnóstica (Sensibilidad, Especificidad, Valores predictivos, Tasas de falsos positivos y falsos negativos) Recuperación (Sensibilidad Analítica) Selectividad (Especificidad Analítica) Valor de Corte Verificación Precisión (Repetibilidad) Precisión (Intralaboratorio o Intermedia) Exactitud Diagnóstica (Sensibilidad, Especificidad) No aplica No Aplica No Aplica

Valor de Corte Son establecidos por los fabricantes. - uso previsto del procedimiento de medida - Sensibilidad Diagnóstica deseada - Especificidad Diagnóstica deseada Los estudios de precisión se deben realizar cerca de la zona de corte.

Valor de Corte Valor de corte Cut Off En un mundo ideal!!! En el mundo real!!!

Valor de Corte Zona de Incertidumbre Corresponde a la región en la cual se obtienen respuestas falsas (falso negativo o falso positivo)

Valor de Corte 95% Repito el ensayo 100 veces Y 50 veces me da (+) y otras 50 veces (-) 5% Repito el ensayo 100 veces Repito el ensayo 100 veces Repito el ensayo 100 veces Repito el ensayo 100 veces Y 95 veces me da (+) y otras Y 95 veces me da (-) y otras y las 100 veces me da (+) y las 100 veces me da (-) 5 veces (-) 5 veces (+) 0 veces (-) 0 veces (+) 5% 95% dil. dilución dilución dil.

Valor de Corte

Valor de Corte S/CO S : Valor de lectura de la muestra CO : Valor de lectura del punto de corte Relación de positividad

Valor de Corte C5:? Qué ocurre si repito una muestra varias veces cuya S/CO esta por debajo de C5? C95:? Qué ocurre si repito una muestra varias veces cuya S/CO esta por encina de C95? Intervalo C5 C95 ; C50:? Qué ocurre si repito una muestra varias veces que se encuentra justo en el medio de este intervalo C50?

Requisitos de la Calidad Premisa: Debemos contar con un requisito de la calidad (TEa) para el procedimiento de medida evaluado. - Fuente para establecer (TEa) Estado del arte - Fuente de los datos a)- Esquemas de Evaluación externa de la calidad b)- Esquemas Interlaboratorio c)-control estadístico interno de la calidad

Requisitos de la Calidad Estimación del TEa a partir del resumen anual EQAs Vamos a trabajar con los datos del grupo par de comparación. Z Score

Requisitos de la Calidad Estimación del TEa a partir del resumen anual EQAs (1) Identifiquemos en el resumen de datos de final de ciclo los coeficientes de variación del grupo par de comparación y la cantidad de datos. CV: Coeficiente de variación N: Cantidad de datos TEa: Requisito de calidad

Requisitos de la Calidad Estimación del TEa a partir del resumen anual EQAs (2) Multiplicar para cada encuesta el Coeficiente de variación del grupo par por el N del grupo par. CV: Coeficiente de variación N: Cantidad de datos TEa: Requisito de calidad

Requisitos de la Calidad Estimación del TEa a partir del resumen anual EQAs (3) Efectuar una sumatoria del N de los grupo par y de la columna CV*N. CV: Coeficiente de variación N: Cantidad de datos TEa: Requisito de calidad

Requisitos de la Calidad Estimación del TEa a partir del resumen anual EQAs (4) Dividir la sumatoria de CV*N entre la sumatoria de N. Sumatoria de CV*N = 1511.73 Sumatoria de N = 180 1511.73 180 Coeficiente de variación ponderado del grupo par de comparación del ciclo 2011 8.4 % = 8.4 % CV: Coeficiente de variación N: Cantidad de datos TEa: Requisito de calidad

Requisitos de la Calidad Estimación del TEa a partir del resumen anual EQAs (5) Multiplicar por tres 3 el coeficiente de variación ponderado del grupo par de comparación obtenido para el procedimiento de medida en el ciclo en estudio para obtener una estimación del requisito de calidad del procedimiento de medida de acuerdo al estado del arte. TEa = 8.4 % * 3 TEa = 25.2 % CV: Coeficiente de variación N: Cantidad de datos TEa: Requisito de calidad

Requisitos de la Calidad Estimación del TEa a partir del resumen anual EQAs TEa = 25.2 % CV: Coeficiente de variación N: Cantidad de datos TEa: Requisito de calidad

Requisitos de la Calidad Estimación del Coeficiente de Variación Ponderado Vamos a trabajar con un nivel de control de HBsAg. Vamos a juntar los datos de control interno del nivel del control seleccionado para el HBsAg. Vamos a armar una planilla con los datos. Vamos a estimar el coeficiente de variación promedio ponderado para el nivel de control seleccionado.

Requisitos de la Calidad Estimación del Coeficiente de Variación Ponderado

Requisitos de la Calidad Estimación del Coeficiente de Variación Ponderado Vamos a generar una tercera columna multiplicando CV por n.

Requisitos de la Calidad Estimación del Coeficiente de Variación Ponderado Vamos a efectuar la sumatoria de datos de la columna n y CV*n.

Requisitos de la Calidad Estimación del Coeficiente de Variación Ponderado Recordemos la formula para estimar el CV promedio ponderado: CV (ponderado) = CV * n n

Requisitos de la Calidad Estimación del Coeficiente de Variación Ponderado CV * n = 1412.1 n = 255

Requisitos de la Calidad Estimación del Coeficiente de Variación Ponderado Recordemos la formula para estimar el CV promedio ponderado: CV (ponderado) = CV * n CV * n = 1412.1 n CV (ponderado) = 1412.1 n = 255 CV (ponderado) = 5.5% 255

Requisitos de la Calidad Estimación del TEa a partir del Coeficiente de Variación Ponderado Los resultados acumulados del control estadístico interno de la calidad de un procedimiento de medida son reflejo del estados del arte. A partir de estos datos podemos acceder a información sobre el estado del arte del procedimiento evaluado. Vamos a trabajar con el coeficiente de variación promedio ponderado para establecer un requisito de la calidad.

Requisitos de la Calidad Estimación del TEa a partir del Coeficiente de Variación Ponderado Multiplicar por tres 3 el coeficiente de variación ponderado obtenido para el procedimiento de medida a partir de los datos de control estadístico interno de la calidad de varios meses para obtener una estimación del requisito de la calidad del procedimiento de medida de acuerdo al estado del arte. CV (ponderado) = 5.5% TEa = 5.5 % * 3 TEa = 16.5 %

Precisión La precisión debe ser evaluada cerca del valor de corte. (1) Experimento cualitativo cerca del valor de corte. (2) Repetibilidad y precisión intermedia para procedimientos de medida con relación de positividad S/CO. (3) Repetibilidad y precisión intermedia para procedimientos de medida de expresión binaria.

Precisión (1) Experimento cualitativo cerca del valor de corte C50. - Determinar si un intervalo, por ejemplo C50 + 20 % incluye el intervalo C5 C95. - Mas del 20 % de los resultados son precisos. - Dos posibilidades: 1)- Valor de corte provisto por el fabricante 2)-Valor de corte no provisto por el fabricante

Precisión Preparar 3 muestras de buen volumen: Muestra Concentración Muestra 1 C50 + 20 % Muestra 2 C 50 Muestra 3 C50 20 % Procesar cada muestra 40 veces y calcular el % de resultados positivos y negativos para cada muestra.

Precisión Está bien preparada la C50? - Tomamos los 40 resultados de la C50. Total de resultados Cantidad de resultados (+) Porcentaje Conclusión 40 13 o menos 32,5 C50 incorrecta 40 27 o más 67,5 C50 incorrecta 40 Entre 14 y 26 35 % a 65 % C50 correcta Nota: Existe una probabilidad del 5 % de que las conclusiones sean erróneas

Precisión Contienen el intervalo c50+ 20 % al rango C5- C95? Si Concentración Total de muestras Total de resultados positivos Total de resultados negativos Porcentaje C50 + 20 % 40 35 o menos --- 87,5 % o menos C50 20 % 40 --- 35 0 menos 87,5 % o menos C50-20 % C50 C50 + 20 % C5 C50 C95 Nota: Existe una probabilidad del 5 % de que las conclusiones sean erróneas

Precisión En este caso: Muestras > C50 + 20 % Muestras < C50 20 % Pueden no arrojar resultados consistentes

Precisión Contienen el intervalo c50+ 20 % al rango C5- C95? Si Concentración Total de muestras Total de resultados positivos Total de resultados negativos Porcentaje C50 + 20 % 40 36 o más --- 90 % o más C50 20 % 40 --- 36 0 más 90 % o más C50-20 % C50 C50 + 20 % C5 C50 C95 Nota: Existe una probabilidad del 5 % de que las conclusiones sean erróneas

Precisión En este caso: Muestras > C50 + 20 % Muestras < C50 20 % Resultados Consistentes

Precisión Contienen el intervalo c50+ 20 % al rango C5- C95? Si Concentración Total de muestras Total de resultados positivos Total de resultados negativos Porcentaje C50 + 20 % 40 36 o más --- 90 % o más C50 20 % 40 --- 35 0 menos 87,5 % o menos C50-20 % C50 C50 + 20 % C5 C50 C95 Nota: Existe una probabilidad del 5 % de que las conclusiones sean erróneas

Precisión En este caso: Muestras > C50 + 20 % Resultados Consistentes Muestras < C50 20 % Pueden no arrojar resultados consistentes

Precisión Contienen el intervalo c50+ 20 % al rango C5- C95? Si Concentración Total de muestras Total de resultados positivos Total de resultados negativos Porcentaje C50 + 20 % 40 35 o menos --- 87,5 % o menos C50 20 % 40 --- 36 0 más 90 % 0 más C50-20 % C50 C50 + 20 % C5 C50 C95 Nota: Existe una probabilidad del 5 % de que las conclusiones sean erróneas

Precisión En este caso: Muestras > C50 + 20 % Muestras < C50 20 % Pueden no arrojar resultados consistentes Resultados Consistentes

Precisión : Definiciones

Precisión : Definiciones Repetibilidad (S r ) - El mismo procedimiento de medida - El mismo laboratorio - El mismo operador - El mismo equipo - Repeticiones en un intervalo corto de tiempo Es lo que comúnmente denominamos precisión intracorrida o intraserie

Precisión : Definiciones Expresión: S r Repetibilidad (Desvío Estándar) SD r (Desvío Estándar) CV r (Coeficiente de Variación)

Precisión : Definiciones Precisión Intermedia o Intra laboratorio (S i ) - El mismo procedimiento de medida - El mismo laboratorio - El mismo operador o no - El mismo equipo - Repeticiones en un intervalo prolongado de tiempo Es lo que se conoce como precisión intra laboratorio También se la conoce como precisión total

Precisión : Definiciones Expresión: Precisión Intermedia o Intralaboratorio S i (Desvío Estándar) SD i (Desvío Estándar) CV i (Coeficiente de Variación)

Precisión : Definiciones Expresión: Precisión Intermedia o Intralaboratorio S RW (Desvío Estándar) SD RW (Desvío Estándar) CV RW (Coeficiente de Variación)

Precisión : Definiciones Reproducibilidad (S R ) - El mismo procedimiento de medida - Distinto lote de reactivo o no - Distinto lote de calibrador o no - Distinto laboratorio - Distinto operador - Distinto equipo - Distinto entorno

Precisión : EP 15 A2 (2) Repetibilidad y precisión intermedia para procedimientos de medida con relación de positividad S/CO.

Precisión : EP 15 A2 Precisión (EP 15 A2) Qué necesito? a)- El protocolo. b)- 2 materiales de control - niveles de decisión médica (*) Positivo débil (*) Positivo c)- Planillas de cálculo o software

Precisión : EP 15 A2 Día 1 Día 2 Día 3 Día 4 Día 5 Rep. 1 Rep. 3 Rep. 1 Rep. 3 Rep. 1 Rep. 3 Rep. 1 Rep. 3 Rep. 1 Rep. 3 Rep. 2 Rep. 2 Rep. 2 Rep. 2 Rep. 2 Desvío Estándar Repetibilidad (S r ) Varianza para las medias diarias (S b2 ) Desvío Estándar Intralaboratorio (S i ) Grados de Libertad Efectivos (T)

Precisión : EP 15 A2 Fundamento: - Estimar la desviación estándar en condiciones de repetibilidad Sr (recordar 3 replicados por día). - Estimar la desviación estándar entre días (recordar triplicados, media diaria,5 días). - Combinar varianzas y estimar la desviación estándar intermedia o intralaboratorio Si (antes llamada total).

Precisión : EP 15 A2 - Trabajar las especificaciones del inserto del fabricante para llevarlas a la concentración del material que nosotros usamos.

Precisión : EP 15 A2 Datos de inserto HCV S/CO Concentración Repetibilidad Precisión Intermedia SDr CV r SDi CV i 2.100 0.0210 1.0 0.0252 1.2 Mis datos HCV S/CO Concentración Repetibilidad Precisión Intermedia 1.984 SDr CV r SDi CV i

Precisión : EP 15 A2 CV % HCV S/CO Concentración Repetibilidad Precisión Intermedia SDr CV r SDi CV i 2.1000 0.0210 1.0 0.0252 1.2 Concentración : 1.984 CV r : 1.0 % SDr :?? 1.0 1.984 2.100 S/CO

Precisión : EP 15 A2 CV = SD x 100 Media SDr = CV r * Media 100 SDr = 1.0 * 1.984 100 SDr = 0.01984 SDr = 0.020 Concentración : 1.984 CV r : 1.0 %

Precisión : EP 15 A2 CV % HCV S/CO Concentración Repetibilidad Precisión Intermedia SDr CV r SDi CV i 2.1000 0.0210 1.0 0.0252 1.2 Concentración : 1.984 CV i : 1.2 % SDi :?? 1.2 1.984 2.100 S/CO

Precisión : EP 15 A2 CV = SD x 100 Media SDi = CVi * Media 100 SDi = 1.2 * 1.984 100 Concentración : 1.984 CV i : 1.2 % SDi = 0.0238 SDi = 0.024

Precisión : EP 15 A2 HCV S/CO Concentración Repetibilidad Precisión Intermedia 1.984 SDr CV r SDi CV i 0.020 1.0 0.024 1.2 SDr= 0.020 SDi= 0.024 CV r = 1.0 CV i = 1.2

Precisión : EP 15 A2 - Comparar la desviación estándar obtenida en condiciones de repetibilidad con la especificación adaptada obtenida a partir del inserto del fabricante para repetibilidad o de ser necesario con su valor de verificación.

Precisión : EP 15 A2 Repetibilidad Si S r (datos propios) < SD r (fabricante) Si S r (datos propios) > SD r (fabricante) Repetibilidad verificada Repetibilidad Aplicar verificación

Precisión : EP 15 A2 Si S r (datos propios) < V.V. SD r (valor de verificación) Verificación de Repetibilidad Aceptada Si S r (datos propios) > V.V. SD r (Valor de verificación) Verificación de Repetibilidad Rechazada

Precisión : EP 15 A2 - Comparar la desviación estándar obtenida en condiciones de precisión intermedia con la especificación adaptada obtenida a partir del inserto del fabricante para precisión intermedia o de ser necesario con su valor de verificación.

Precisión : EP 15 A2 Precisión Intermedia Si S i (datos propios) < SD i (fabricante) Si S i (datos propios) > SD i (fabricante) Precisión Intermedia verificada Precisión Intermedia Aplicar verificación

Precisión : EP 15 A2 Si S i (datos propios) < V.V. SD i (valor de verificación) Verificación de Precisión Intermedia Aceptada Si S i (datos propios) > V.V. SD i (Valor de verificación) Verificación de Precisión Intermedia Rechazada

Precisión : EP 15 A2 Retornemos a nuestro caso de aplicación!! HCV en suero (S/CO) Instrumento: SuperViral Reactivo: SuperViral Plus

Precisión : EP 15 A2 CV = (SD/Media) * 100 SD = (CV * Media) / 100 SD = (2.1 * 2.42) / 100 SD = 0.051

Precisión : EP 15 A2 CV = (SD/Media) * 100 SD = (CV * Media) / 100 SD = (6.6 * 2.42) / 100 SD = 0.160

Precisión : EP 15 A2 Especificaciones del fabricante tomadas del inserto

Precisión : EP 15 A2 Triplicados durante 5 días

Precisión : EP 15 A2 No fue necesario trabajar con los valores de verificación

Precisión: Modelo Simplificado Procedimiento para Repetibilidad: - Seleccionar un material con concentración desafiante (control positivo débil). - Procesar el material de control 20 veces dentro de la misma corrida analítica. - Estimar: Media, desviación estándar y coeficiente de variación (estos estadísticos han sido obtenido en condiciones de repetibilidad).

Precisión: Modelo Simplificado Replicado Resultado Unidades 1 2,78 S/CO 2 2,97 S/CO 3 3,01 S/CO 4 2,68 S/CO 5 2,59 S/CO 6 3,00 S/CO 7 2,89 S/CO 8 2,76 S/CO 9 2,65 S/CO 10 2,73 S/CO 11 2,98 S/CO 12 3,03 S/CO 13 2,67 S/CO 14 2,76 S/CO 15 2,89 S/CO 16 2,54 S/CO 17 2,98 S/CO 18 3,00 S/CO 19 2,67 S/CO 20 2,69 S/CO Media 2,814 S/CO DEr 0,1600 S/CO CVr 5,7 % N 20 Criterio para verificación de precisión en condiciones de repetibilidad CVr < TEa* 0,25 TEa = 25 %

Precisión: Modelo Simplificado Replicado Resultado Unidades 1 2,78 S/CO 2 2,97 S/CO 3 3,01 S/CO 4 2,68 S/CO 5 2,59 S/CO 6 3,00 S/CO 7 2,89 S/CO 8 2,76 S/CO 9 2,65 S/CO 10 2,73 S/CO 11 2,98 S/CO 12 3,03 S/CO 13 2,67 S/CO 14 2,76 S/CO 15 2,89 S/CO 16 2,54 S/CO 17 2,98 S/CO 18 3,00 S/CO 19 2,67 S/CO 20 2,69 S/CO Media 2,814 S/CO DEr 0,1600 S/CO CVr 5,7 % N 20 Criterio para verificación de precisión en condiciones de repetibilidad CVr % < TEa* 0,25 5,7 % < 25 * 0,25 5,7 % < 6,25 Repetibilidad Aceptada TEa = 25 %

Precisión: Modelo Simplificado Procedimiento para Precisión intermedia o intralaboratorio - Seleccionar un material con concentración desafiante (control positivo débil). - Procesar el material una vez por día durante 30 días. - Estimar: Media, desviación estándar y coeficiente de variación (estos estadísticos han sido obtenido en condiciones de precisión intermedia).

Precisión: Modelo Simplificado Fecha Resultado Unidades 01/03/2013 2,78 S/CO 02/03/2013 2,98 S/CO 03/03/2013 3,03 S/CO 04/03/2013 2,76 S/CO 05/03/2013 2,49 S/CO 06/03/2013 2,98 S/CO 07/03/2013 3,10 S/CO 08/03/2013 2,67 S/CO 09/03/2013 2,87 S/CO 10/03/2013 2,56 S/CO 11/03/2013 2,87 S/CO 12/03/2013 2,98 S/CO 13/03/2013 3,03 S/CO 14/03/2013 3,01 S/CO 15/03/2013 2,98 S/CO 16/03/2013 2,67 S/CO 17/03/2013 2,56 S/CO 18/03/2013 2,56 S/CO 19/03/2013 3,01 S/CO 20/03/2013 2,98 S/CO 21/03/2013 2,46 S/CO 22/03/2013 2,67 S/CO 23/03/2013 2,56 S/CO 24/03/2013 2,89 S/CO 25/03/2013 2,90 S/CO 26/03/2013 3,02 S/CO 27/03/2013 2,98 S/CO 28/03/2013 2,39 S/CO 29/03/2013 2,78 S/CO 30/03/2013 2,87 S/CO Media 2,813 S/CO DEi 0,2049 S/CO CVi 7,3 % N 30 Criterio para verificación de precisión intralaboratorio CVi < TEa* 0,33 TEa = 25 %

Precisión: Modelo Simplificado Fecha Resultado Unidades 01/03/2013 2,78 S/CO 02/03/2013 2,98 S/CO 03/03/2013 3,03 S/CO 04/03/2013 2,76 S/CO 05/03/2013 2,49 S/CO 06/03/2013 2,98 S/CO 07/03/2013 3,10 S/CO 08/03/2013 2,67 S/CO 09/03/2013 2,87 S/CO 10/03/2013 2,56 S/CO 11/03/2013 2,87 S/CO 12/03/2013 2,98 S/CO 13/03/2013 3,03 S/CO 14/03/2013 3,01 S/CO 15/03/2013 2,98 S/CO 16/03/2013 2,67 S/CO 17/03/2013 2,56 S/CO 18/03/2013 2,56 S/CO 19/03/2013 3,01 S/CO 20/03/2013 2,98 S/CO 21/03/2013 2,46 S/CO 22/03/2013 2,67 S/CO 23/03/2013 2,56 S/CO 24/03/2013 2,89 S/CO 25/03/2013 2,90 S/CO 26/03/2013 3,02 S/CO 27/03/2013 2,98 S/CO 28/03/2013 2,39 S/CO 29/03/2013 2,78 S/CO 30/03/2013 2,87 S/CO Media 2,813 S/CO DEi 0,2049 S/CO CVi 7,3 % N 30 Criterio para verificación de precisión intralaboratorio CVi < TEa* 0,33 7,3 % < 25 * 0,33 7,3 % < 8,25 % Precisión intralaboratorio Aceptada TEa = 25 %

Precisión (3) Repetibilidad y precisión intermedia para procedimientos de medida de expresión binaria. - De los controles positivos débiles se esperan resultados positivos - De los controles positivos se esperan resultados positivos

Precisión Grupo 1 Verificación Verificación de un ensayo IVD/CE o de un sistema de para la detección de anticuerpos virales específicos, detección de antígenos virales o pruebas de acido nucleícos. Parámetro Cantidad de Muestras Necesarias Pruebas de detección de Antígenos o Anticuerpos Ácidos Nucleícos (NAT) Cualitativas 1 muestra Cuantitativas (+) por Cualitativas Cuantitativas Veracidad triplicado en una 1 Positivas 3 misma muestra corrida (+ 3 d ) por 3 3 triplicado Positivas Débiles 3 analítica en una misma corrida 3 analítica 3 3 Negativas 3 3 3 3 1 muestra (+) una Repetibilidad (SDr) ves 1 muestra por día durante (+ 3 d ) por día días Positivas 1 durante tres 4 días Con excepción de: 1 3 HIV( 1y 2), HTLV (1y2), Hepatitis B, C y D Positivas Débiles 1 3 1 3 Precisión Intermedia (SDi) Positivas 1 2 Series de 10 diluciones de una muestra positiva por 1 1 Positiva Débil 1 1 duplicado 1 1 Linealidad Positiva 0 0 0 1

Grupo 1 Se establecen diferencias para: Grupo 2

Sensibilidad y Especificidad Diagnóstica Grupo 1 Verificación Verificación de un ensayo IVD/CE o de un sistema de para la detección de anticuerpos virales específicos, detección de antígenos virales o pruebas de acido nucleícos. Parámetro Cantidad de Muestras Necesarias Pruebas de detección de Antígenos o Anticuerpos Ácidos Nucléicos (NAT) Cualitativas 1 muestra Cuantitativas (+) por Cualitativas Cuantitativas Veracidad triplicado en una 1 Positivas 3 misma muestra corrida (+ 3 d ) por 3 3 triplicado Positivas Débiles 3 analítica en una misma corrida 3 analítica 3 3 Negativas 3 3 3 3 1 muestra (+) una Repetibilidad (SDr) ves 1 muestra por día durante (+ 3 d ) por día días Positivas 1 durante tres 4 días Con excepción de: 1 3 HIV( 1y 2), HTLV (1y2), Hepatitis B, C y D Positivas Débiles 1 3 1 3 Precisión Intermedia (SDi) Positivas 1 2 Series de 10 diluciones de una muestra positiva por 1 1 Positiva Débil 1 1 duplicado 1 1 Linealidad Positiva 0 0 0 1

Sensibilidad y Especificidad Diagnóstica HIV I y II, Hepatitis A,B,C y D HTLV I y II Grupo 2 Verificación

Sensibilidad y Especificidad Diagnóstica HIV, HCV, HBsAg, HTLV Qué? - Sensibilidad Diag. - Especificidad Diag. - Precisión 7 Positivas 20 Muestras 6 Positivas Débiles Requisitos Mínimos 7 Negativas Grupo 2 Verificación 1 Positivo 1 Positivo Débil

Sensibilidad y Especificidad Diagnóstica HIV, HCV, HBsAg, HTLV Cómo? - Sensibilidad Diag. EP 12 A2 - Especificidad Diag. EP 12 A2 - Precisión EP 15 A2 Grupo 2 Verificación

Sensibilidad y Especificidad Diagnóstica Alguna definiciones: - Sensibilidad Diagnóstica La probabilidad de obtener un resultado positivo por el método evaluado en presencia de la condición estudiada - Verdadero Positivo Muestra que se sabe positiva para la condición evaluada y es clasificada como positiva por el método evaluado

Sensibilidad y Especificidad Diagnóstica - Falso Negativo Muestra que se sabe positiva para la condición evaluada y es clasificada como negativa por el método evaluado. - Especificidad Diagnóstica La probabilidad de obtener un resultado negativo por el método evaluado en ausencia de la condición estudiada.

Sensibilidad y Especificidad Diagnóstica - Falso Positivo Muestra que se sabe negativa para la condición evaluada y es clasificada como positiva por el método evaluado. - Verdadero Negativo Muestra que se sabe negativa para la condición evaluada y es clasificada como negativa por el método evaluado.

Sensibilidad y Especificidad Diagnóstica - Sensibilidad Analítica (límite de detección) Es la cantidad mas pequeña que podemos detectar para medir la condición estudiada. - Especificidad Analítica Es la capacidad del método para detectar lo que verdaderamente queremos detectar.

Sensibilidad y Especificidad Diagnóstica - Valor predictivo Negativo (%) Es el porcentaje de individuos con resultados negativos por el método evaluado que verdaderamente no poseen la condición en estudio. - Valor Predictivo Positivo (%) Es el porcentaje de individuos con resultados positivos por el método evaluado que verdaderamente poseen la condición en estudio.

Sensibilidad y Especificidad Diagnóstica - Prevalencia Frecuencia de la condición de interese expresada como porcentaje del número total de individuos de la población estudiada.

Sensibilidad y Especificidad Diagnóstica Sensibilidad y Especificidad Qué necesitamos? a)- El protocolo. b)- Muestras desafiantes con criterio de exactitud diagnostica para la condición en estudio. (*) Paneles (*) Muestras de pacientes c)- Planillas de cálculo o software.

Sensibilidad y Especificidad Diagnóstica

Sensibilidad y Especificidad Diagnóstica Necesito aproximadamente 20 pacientes que no posean la condición en estudio. (con criterio de exactitud diagnóstica) Se buscan muestras desafiantes. No se tiene en cuenta la prevalencia de la condición en estudio en la población target.

Sensibilidad y Especificidad Diagnóstica Referencia Referencias Positivas Referencias Negativas Método de Campo Positivo Negativo Positivo Negativo Método de Campo TP: Positivos Verdaderos FN: Falsos Negativos FP: Falsos Positivos TN: Negativos Verdaderos

Sensibilidad y Especificidad Diagnóstica Referencia Referencias Positivas Referencias Negativas Método de Campo Positivo Negativo Positivo TP FN Negativo FP TN Método de Campo TP: Positivos Verdaderos FN: Falsos Negativos FP: Falsos Positivos TN: Negativos Verdaderos

Sensibilidad y Especificidad Diagnóstica Método de Campo Positivo Negativo Referencia Positivo Negativo TP FP FN TN TP+FN FP+TN TP+FP FN+TN TP: Positivos Verdaderos FN: Falsos Negativos FP: Falsos Positivos TN: Negativos Verdaderos

Sensibilidad y Especificidad Diagnóstica Referencia Método de Campo Positivo Negativo Positivo Negativo 11 1 1 11 12 12 TP +FN: 12 TP +TN: 12 12 12 TP: 11 FN: 1 TN:11 FP: 1 TP: Positivos Verdaderos FN: Falsos Negativos FP: Falsos Positivos TN: Negativos Verdaderos TN +FP:12 FN +TN:12

Sensibilidad y Especificidad Diagnóstica Tablas de Contingencia Permiten calcular 4 parámetros de desempeño - Falsos Positivos - Falsos Negativos - Sensibilidad - Especificidad Permiten calcular 2 valores predictivos - Probabilidad de Resultado positivo (PVP) - Probabilidad de Resultado negativo (PVN)

Sensibilidad y Especificidad Diagnóstica Método de Campo Positivo Negativo Referencia Positivo Negativo TP FN FP TN TP+FN FP+TN Sensibilidad = TP TP + FN TP+FP FN+TN TP: Positivos Verdaderos FN: Falsos Negativos FP: Falsos Positivos TN: Negativos Verdaderos

Sensibilidad y Especificidad Diagnóstica Método de Campo Positivo Negativo Referencia Positivo Negativo TP FN FP TN TP+FN FP+TN Especificidad = TN TN + FP TP+FP FN+TN TP: Positivos Verdaderos FN: Falsos Negativos FP: Falsos Positivos TN: Negativos Verdaderos

Sensibilidad y Especificidad Diagnóstica Método de Campo Positivo Negativo Referencia Positivo Negativo TP FN FP TN TP+FN FP+TN Prevalencia = TP +FN N TP+FP FN+TN N TP: Positivos Verdaderos FN: Falsos Negativos FP: Falsos Positivos TN: Negativos Verdaderos N: Número total de muestras evaluadas

Sensibilidad y Especificidad Diagnóstica Método de Campo Positivo Negativo Referencia Positivo Negativo TP FN FP TN TP+FN FP+TN TP+FP FN+TN Valor predictivo positivo = TP TP + FP TP: Positivos Verdaderos FN: Falsos Negativos FP: Falsos Positivos TN: Negativos Verdaderos

Sensibilidad y Especificidad Diagnóstica Método de Campo Positivo Negativo Referencia Positivo Negativo TP FN FP TN TP+FN FP+TN Valor predictivo Negativo = TP+FP FN+TN TN FN + TN TP: Positivos Verdaderos FN: Falsos Negativos FP: Falsos Positivos TN: Negativos Verdaderos

Sensibilidad y Especificidad Diagnóstica Retornemos a nuestro caso de aplicación!! HCV en suero (S/CO) Instrumento: SuperViral Reactivo: SuperViral Plus

Sensibilidad y Especificidad Diagnóstica Especificaciones de inserto Sensibilidad: 100% Especificidad: 99.76 %

Sensibilidad y Especificidad Diagnóstica La sensibilidad declarada por el fabricante se encuentra dentro del intervalo de confianza de la sensibilidad obtenida. La especificidad declarada por el fabricante se encuentra dentro del intervalo de confianza de la especificidad obtenida.

Sensibilidad y Especificidad Diagnóstica Factores Críticos - Muestras con criterio de exactitud diagnóstica. - Grado de acuerdo / Sensibilidad y Especificidad. - Cantidad de muestras. - Intervalos de confianza para las estimaciones de sensibilidad y especificidad.

Sensibilidad y Especificidad Diagnóstica Criterio de Exactitud Diagnóstica Los mejores criterios disponibles en la actualidad para establecer la presencia o ausencia de la condición, evento o característica de interés utilizando un único método o combinación de métodos que incluyen las pruebas de laboratorio, estudios por imágenes, patología, y la información clínica, incluyendo el seguimiento. http://login.clsi.org/termsall.cfm

Sensibilidad y Especificidad Diagnóstica Validación de un procedimiento de medida - Prevalencia. - Muestras con criterio de exactitud diagnóstica. - Cantidad de muestras.

Sensibilidad y Especificidad Diagnóstica Validación de un procedimientos de medida Sensibilidad Especificidad Valores predictivos Grado de acuerdo

Sensibilidad y Especificidad Diagnóstica Verificación de procedimiento de medida - Muestras con criterio de exactitud diagnóstica. - Cantidad de muestras. Sensibilidad Especificidad

Sensibilidad y Especificidad Diagnóstica Verificación de procedimiento de medida - Se comparan dos o más métodos analíticos. - Ninguno de los métodos genera resultados con criterio de exactitud diagnóstica. Grado de acuerdo positivo Grado de acuerdo negativo

Sensibilidad y Especificidad Diagnóstica Cantidad de muestras - Depende del uso previsto del estudio y el grado de confianza deseado sobre las estimaciones. - La composición de la muestra depende de la prevalencia de la condición en estudio en la población de interés. - Sugerencia para validaciones mínimo de 50 muestras positivas y 50 negativas. - CE: (2009/886/CE) aplica a fabricantes.

Sensibilidad y Especificidad Diagnóstica Cantidad de muestras - Muestras desafiantes (Verificaciones) - Evaluar la cantidad de muestras necesarias de acuerdo a la amplitud deseada para el intervalo de confianza de las estimaciones. - Paneles con muestras con criterio de exactitud diagnóstica y distinto nivel de reactividad.

Sensibilidad y Especificidad Diagnóstica Intervalos de Confianza para Sensibilidad y Especificidad - Existen diferentes modelos. - Intervalos de confianza para proporciones binomiales (falla para tamaños de muestra pequeños). - Método de Clopper Pearson (Complejo). - Sugerido: score confidence intervals de Wilson.

Sensibilidad y Especificidad Diagnóstica Sensibilidad Intervalo de Confianza del 95 % 100 x ( Q1,se Q2,se), 100 x (Q1,se +Q2,se) Q3,se Q3,se TP : Positivos Verdaderos FN : Falsos Negativos

Sensibilidad y Especificidad Diagnóstica Especificidad Intervalo de Confianza del 95 % 100 x ( Q1,es Q2,es), 100 x (Q1,es +Q2,es) Q3,es Q3,es TN : Negativos Verdaderos FP : Falsos Positivos

Sensibilidad y Especificidad Diagnóstica Vamos a simular distintas situaciones - Requisitos mínimos. - Presencia de falsos negativos. - Duplicar tamaño de muestra. - Impacto de falsos negativos sobre muestras mas grandes. - Requisitos de la CE para los fabricantes.

Requisitos mínimos (Sensibilidad) Validación : 50 (+) Verificación : 7 (+) 6 (+)d

Requisitos mínimos (Sensibilidad) Validación : 49 (+) 1 FN Verificación : 7 (+) 5 (+)d 1 FN

Tamaño de Muestra (Sensibilidad) Validación : 100 (+) Verificación : 14 (+) 12 (+)d

Tamaño de Muestra (Sensibilidad) Validación : 99 (+) 1 FN Verificación : 14 (+) 11 (+)d 1 FN

Tamaño de Muestra (Sensibilidad) Validación : 98 (+) 2 FN Verificación : 14 (+) 10 (+)d 2 FN

Tamaño de Muestra (fabricantes CE) (Sensibilidad) HBsAg : 430 (+) HIV 1 y 2 : 530 (+)

Requisitos mínimos (especificidad) Validación : 50 (-) Verificación : 7 (-)

Requisitos mínimos (especificidad) Validación : 49 (-) 1 FP Verificación : 6 (-) 1 FP

Tamaño de Muestra (especificidad) Validación : 100 (-) Verificación : 14 (-)

Tamaño de Muestra (especificidad) Validación : 99 (-) 1 FP Verificación : 13 (+) 1 FP

Tamaño de Muestra (especificidad) Validación : 98 (-) 2 FP Verificación : 12 (-) 2 FP

Tamaño de Muestra (fabricantes CE) (Especificidad) HBsAg : 5300 (-) HIV 1 y 2 : 5300 (-)

Tamaño de Muestra (fabricantes CE) (Especificidad) HBsAg : 5298 (-) 2 FP HIV 1 y 2 : 5298 (-) 2 FP

Conclusiones -Conocer el desempeño del método en condiciones estables -Verificar si el desempeño es aceptable según nuestros requisitos de calidad hacer correctamente. el control de calidad.. correcto!!!!!!

Conclusiones Por Qué? Objetivo Principal del Laboratorio Resultados Clínicamente útiles

Conclusiones La calidad no es un destino la calidad es una jornada continua que nos mantiene en la dirección correcta!!!!!!!!

Por su participación GRACIAS!