Actualización en la Verificación de Procedimientos de Medida Cuantitativos. Un modelo de aplicación para el Laboratorio Clínico

Transcripción

1 Actualización en la Verificación de Procedimientos de Medida Cuantitativos Un modelo de aplicación para el Laboratorio Clínico

2 Agenda Introducción Evaluación de Procedimientos de Medida Procedimientos de Medida Cuantitativos Precisión Veracidad Rango Analítico Intervalos de Referencia Evaluación de Desempeño Conclusiones

3 Introducción Se trata de: Evaluación de Errores Premisa para poder juzgar la aceptación de un procedimiento de medida: Establecer los Requisitos de la Calidad

4 Introducción Instrumento correctamente instalado Requisitos de la Calidad Evaluación de Métodos Planificación del Control Estadístico Interno de la Calidad VALIDACIÓN Implementación del esquema planificado Participación en un esquema de evaluación externa de la calidad VERIFICACIÓN Ahora si puedo informar muestras de pacientes

5 Agenda Introducción Evaluación de Procedimientos de Medida Procedimientos de Medida Cuantitativos Precisión Veracidad Rango Analítico Intervalos de Referencia Evaluación de Desempeño Conclusiones

6 Evaluación de Procedimientos de Medida Estudios que se realizan para determinar si un método cumple con los requisitos de la calidad del usuario y/o especificaciones de desempeño del fabricante Validaciones y/o Verificaciones Protocolos Aleatorio Evaluación de errores Sistemático Empleo de herramientas estadísticas Magnitud del error Utilidad clínica del resultado TE Sigma TEa

7 Evaluación de Procedimientos de Medida Tipo de Error Concepto Vinculado Estadístico Aleatorio Precisión CV; SD y Varianza Sistemático Veracidad Media; Sesgo Total Exactitud TE Referencias CV: Coeficiente de Variación SD: Desvío Estándar TE: Error Total

8 Evaluación de Procedimientos de Medida EVALUACIÓN VALIDACIÓN VERIFICACIÓN

9 Evaluación de Procedimientos de Medida Procedimiento de medida Marca IVD/CE Aprobados FDA Desarrollo casero Modificados Mezclas Verificación Validación Validación Validación

10 Evaluación de Procedimientos de Medida Verificación Confirmar que el laboratorio utilizando un procedimiento de medida puede obtener un desempeño semejante al declarado por el fabricante en el inserto del ensayo

11 Evaluación de Procedimientos de Medida Qué parámetros de desempeño deben ser verificados? Criterios: - ISO 15189:2007; ISO 15189: Regulaciones CLIA CAP - Joint Commission - Resultados Clínicamente Útiles

12 Evaluación de Procedimientos de Medida Parámetros de desempeño -Precisión - Veracidad - Rango Reportable Verificación de Procedimientos de Medida Cuantitativos - Límite de Cuantificación (cuando corresponda) - Intervalos de referencia (cuando corresponda)

13 Evaluación de Procedimientos Precisión de Medida Proximidad entre las indicaciones o valores medidos obtenidos en mediciones repetidas de un mismo objeto u objetos similares, bajo condiciones especificadas - Condiciones de repetibilidad - Condiciones de precisión intermedia - Reproducibilidad Verificación de Procedimientos de Medida Cuantitativos

14 Evaluación de Procedimientos Precisión Modelos: de Medida -EP 5 A2 -EP 15 A2 - Precisión simple en condiciones de repetibilidad - Precisión simple en condiciones de precisión intermedia Verificación de Procedimientos de Medida Cuantitativos

15 Evaluación de Procedimientos de Medida Veracidad (ISO 15189) Proximidad entre la media de un número infinito de valores medidos repetidos y un valor de referencia Exactitud Proximidad entre un valor medido y un valor verdadero de un mensurando Verificación de Procedimientos de Medida Cuantitativos

16 Evaluación de Procedimientos de Medida Veracidad (ISO 15189) Modelos -EP 9 A2 - Comparación Alternativa -EP 15 A2 - Recuperación - Interferencias - Correlación Verificación de Procedimientos de Medida Cuantitativos

17 Evaluación de Procedimientos Rango Analítico de Medida Rango de valores de un mensurando que pueden ser obtenidos a partir de un procedimiento de medida sin necesidad de diluir la muestra Términos Vinculados -Linealidad -AMR Verificación de Procedimientos de Medida Cuantitativos

18 Evaluación de Procedimientos de Medida Intervalo de Referencia Es el intervalo entre, e incluyendo, los límites de referencia (límite de referencia bajo y alto) - Límite de referencia: Es un valor derivado de una distribución de referencia, utilizado para propósitos descriptivos. Verificación de Procedimientos de Medida Cuantitativos

19 Evaluación de Procedimientos de Medida - Verificación de Intervalos de referencia: Proceso por el cual uno se asegura, con un intervalo de confianza razonable, usando un número relativamente chico de individuos de referencia (por ejemplo n=20), que un intervalo de referencia establecido de manera apropiada o transferido de otro estudio puede ser utilizado localmente. Modelo -C 28 A3 Verificación de Procedimientos de Medida Cuantitativos

20 Procedimientos de Medida Cuantitativos Verificación de Procedimientos de Medida Cuantitativos Parámetro Protocolo Aplicación Precisión EP 15 A2 Siempre Veracidad EP 15 A2 Siempre Linealidad EP 6 A Siempre Límite de cuantificación EP 17 A Cuando aplique Intervalo de Referencia C 28 A3 Cuando aplique

21 Agenda Introducción Evaluación de Procedimientos de Medida Procedimientos de Medida Cuantitativos Precisión Veracidad Rango Analítico Intervalos de Referencia Evaluación de Desempeño Conclusiones

22 Precisión : EP 15 A2 Precisión y Veracidad

23 Precisión : EP 15 A2 Precisión (EP 15 A2) Qué necesito? a)- El protocolo. b)- 2/3 materiales de control - niveles de decisión médica c)- Planillas de cálculo o software

24 Precisión : EP 15 A2 Día 1 Día 2 Día 3 Día 4 Día 5 Rep. 1 Rep. 3 Rep. 1 Rep. 3 Rep. 1 Rep. 3 Rep. 1 Rep. 3 Rep. 1 Rep. 3 Rep. 2 Rep. 2 Rep. 2 Rep. 2 Rep. 2 Desvío Estándar Repetibilidad (S r ) Varianza para las medias diarias (S b2 ) Desvío Estándar Intralaboratorio (S i ) Grados de Libertad Efectivos (T)

25 Precisión : EP 15 A2 Fundamento: - Estimar la desviación estándar en condiciones de repetibilidad Sr (recordar 3 replicados por día). - Estimar la desviación estándar entre días (recordar triplicados, media diaria, 5 días). - Combinar varianzas y estimar la desviación estándar intermedia o intralaboratorio Si (antes llamada total).

26 Precisión : EP 15 A2 - Trabajar las especificaciones del inserto del fabricante para llevarlas a la concentración del material que nosotros usamos. - Estimar valores de verificación para las especificaciones del fabricante obtenidas en condiciones de repetibilidad y precisión intermedia.

27 Precisión : EP 15 A2 - Comparar la desviación estándar obtenida en condiciones de repetibilidad con la especificación adaptada obtenida a partir del inserto del fabricante para repetibilidad o de ser necesario con su valor de verificación.

28 Precisión : EP 15 A2 Repetibilidad Si S r (datos propios) < SD r(fabricante) Si S r (datos propios) > SD r(fabricante) Repetibilidad verificada Repetibilidad Aplicar verificación

29 Precisión : EP 15 A2 Si S r (datos propios) < V.V. SD r (valor de verificación) Verificación de Repetibilidad Aceptada Si S r (datos propios) > V.V. SD r (Valor de verificación) Verificación de Repetibilidad Rechazada

30 Precisión : EP 15 A2 - Comparar la desviación estándar obtenida en condiciones de precisión intermedia con la especificación adaptada obtenida a partir del inserto del fabricante para precisión intermedia o de ser necesario con su valor de verificación.

31 Precisión : EP 15 A2 Precisión Intermedia Si S i (datos propios) < SD i(fabricante) Si S i (datos propios) > SD i(fabricante) Precisión Intermedia verificada Precisión Intermedia Aplicar verificación

32 Precisión : EP 15 A2 Si S i (datos propios) < V.V. SD i (valor de verificación) Verificación de Precisión Intermedia Aceptada Si S i (datos propios) > V.V. SD i (Valor de verificación) Verificación de Precisión Intermedia Rechazada

33 Precisión : EP 15 A2

34 Precisión : EP 15 A2 La planilla efectúa los cálculos:

35 Precisión : EP 15 A2 La planilla saca sus conclusiones

36 Precisión : EP 15 A2 <

37 Precisión : EP 15 A2 <

38 Agenda Introducción Evaluación de Procedimientos de Medida Procedimientos de Medida Cuantitativos Precisión Veracidad Linealidad Intervalos de Referencia Evaluación de Desempeño Conclusiones

39 Veracidad : EP 15 A2 Día 1 Día 2 Día 3 Día 4 Día 5 Rep. 1 Rep. 3 Rep. 1 Rep. 3 Rep. 1 Rep. 3 Rep. 1 Rep. 3 Rep. 1 Rep. 3 Rep. 2 Rep. 2 Rep. 2 Rep. 2 Rep. 2 Media de las 15 repeticiones (X) Varianza de las 15 repeticiones (S x2 ) Desvío Estándar de las 15 repeticiones (S x ) Incertidumbre asociada a la estimación del valor verdadero (S a ) Intervalo de verificación de la media

40 Veracidad : EP 15 A2 Seleccionar dos materiales de control que cuenten con una estimación confiable de su valor verdadero. Tomar los datos de la corrida de precisión. Estimar una media a partir de los datos propios. Estimar un intervalo de confianza para la media estimada.

41 Veracidad : EP 15 A2 Verificar si la mejor estimación del valor verdadero del material empleado se encuentra incluida dentro del intervalo de verificación de la media obtenida.

42 Veracidad : EP 15 A2 Media de los 15 resultados (3 x 5) X X = mg/dl

43 Veracidad : EP 15 A2

44 Veracidad : EP 15 A2 X = mg/dl S a = mg/dl Intervalo de Verificación = x ( ) 1/2 Intervalo de Verificación =

45 Veracidad : EP 15 A Intervalo de Verificación =

46 Veracidad : EP 15 A2 Media acumulada del grupo par de comparación Valor Evaluado mg/dl Verificación Aceptada Intervalo de Verificación =

47 Agenda Introducción Evaluación de Procedimientos de Medida Procedimientos de Medida Cuantitativos Precisión Veracidad Rango Analítico Intervalos de Referencia Evaluación de Desempeño Conclusiones

48 Linealidad Linealidad Aplica el concepto de linealidad estadística y clínica

49 Linealidad En los protocolos de linealidad se ensayan una serie de muestras de concentración conocida, o una serie de muestras diluidas. Las muestras o diluciones deben cubrir la mayor parte del rango de medición analítico (AMR) del procedimiento de medida seleccionado. AMR es el rango de valores de analito que un método puede medir directamente en una muestra sin ninguna dilución, concentración u otro pre tratamiento que no es parte del ensayo habitualmente.

50 Linealidad Pueden emplearse: Qué muestras? Estándares Soluciones comerciales Muestras de pacientes Muestras suplementadas

51 Linealidad Qué diluyente empleo cuando uso muestras no comerciales? Dependiendo del analito pueden emplearse: Solución fisiológica Agua Suero bovino Albúmina Muestras sin o con bajas concentraciones de analito. Diluyente recomendado por el fabricante.

52 Linealidad Protocolo de concentraciones equidistantes. Partes iguales 0 % 25 % 50 % 75 % 100 % Partes iguales Partes iguales

53 Linealidad

54 Linealidad Linealidad estadística Ecuación obtenida a partir de los datos Orden 2, 3, 4 Orden 1 Y = m.x + b Procedimiento de medida estadísticamente y clínicamente lineal en el rango evaluado El procedimiento de medida no es estadísticamente lineal en el rango evaluado Evaluar linealidad Clínica

55 Linealidad Linealidad Clínica Error de no Linealidad Error Error de no Sistemático Linealidad Error Sistemático Hasta el 50 % del Requisito de la Calidad

56 Linealidad : Estadística Se ingresan los valores obtenidos de los triplicados de cada dilución y luego se selecciona Update

57 Curva obtenida A Referencia Orden 1 Ensayo no lineal desde el punto de vista estadístico Selecciono la solapa polinomios

58 Curva grado 3 Selecciono la solapa Nonlinearity

59 Curva obtenida Referencia Orden 1

60 Linealidad : Estadística mg/dl Error de no linealidad Máximo a X= 500 mg/dl Promedio Unidades Máximo error de no linealidad X= 500 mg/dl En concentración: 3.76 mg/dl En porcentaje: 0.77 %

61 Linealidad : Clínica mg/dl Error de no linealidad Máximo a X= 500 mg/dl Promedio Unidades Máximo error de no linealidad X= 500 mg/dl En concentración: 3.76 mg/dl En porcentaje: 0.77 % TESa permitido se presupuesta como 50% ETa TESa = 0,50 * 10% TESa = 5 %

62 Agenda Introducción Evaluación de Procedimientos de Medida Procedimientos de Medida Cuantitativos Precisión Veracidad Rango Analítico Intervalos de Referencia Evaluación de Desempeño Conclusiones

63 Intervalos de Referencia Verificación de Intervalos de Referencia

64 Intervalos de Referencia (1) INDIVIDUOS DE REFERENCIA Componen una (2) POBLACIÓN DE REFERENCIA De la cuál es seleccionada una (3) MUESTRA DE GRUPO DE REFERENCIA En la cuál son determinados (4) VALORES DE REFERENCIA Que caracterizan (5) DISTRIBUCIÓN DE REFERENCIA Desde la cuál son calculados (6) LÍMITES DE REFERENCIA Que pueden definir (8) VALOR OBSERVADO en una persona pueden ser comparados con (7) INTERVALOS DE REFERENCIA

65 Intervalos de Referencia Seleccionar un grupo de individuos sanos (muestra) de la población. 20 individuos. Criterios de exclusión Consumo de alcohol Transfusión Presión sanguínea alta Abuso de drogas Prescripción de drogas Factores genéticos Hospitalización reciente Enfermedad reciente Lactancia Obesidad Ocupación Anticonceptivos orales Embarazo Cirugía Consumo de tabaco Abuso de vitamina

66 Intervalos de Referencia Evaluación de los datos Si NO más de 2 valores caen fuera del intervalo propuesto El IR se considera verificado para el Laboratorio

67 Intervalos de Referencia Evaluación de los datos Si 3 o 4 valores caen por fuera del intervalo propuesto El Laboratorio debería considerar seleccionar y evaluar 20 datos nuevos

68 Intervalos de Referencia Evaluación de los datos Si 5 o más valores caen fuera del intervalo propuesto El Laboratorio debería considerar determinar su propio IR

69 Intervalos de Referencia Resumen Cantidad de Individuos fuera del intervalo de referencia propuesto sobre 20 individuos evaluados Porcentaje Conclusión / Acción < 2 <10 % Intervalo Propuesto Verificado de 3 a 4 de 15 a 20 % Ensayar 20 individuos sanos nuevos. >5 > 25 % Establecer Intervalo de Referencia Si se evalúan más de 20 individuos prestar atención a los porcentajes

70 Cantidad de Individuos fuera del intervalo de referencia propuesto sobre 20 individuos evaluados Porcentaje Caso de Aplicación Conclusión / Acción Herramientas: C 28 A3 < 2 <10 % Intervalo Propuesto Verificado de 3 a 4 de 15 a 20 % Ensayar 20 individuos sanos nuevos. >5 > 25 % Establecer Intervalo de Referencia

71 Agenda Introducción Evaluación de Procedimientos de Medida Procedimientos de Medida Cuantitativos Precisión Veracidad Rango Analítico Intervalos de Referencia Evaluación de Desempeño Conclusiones

72 Evaluación de Desempeño Tomamos las estadísticas obtenidas en los estudios de verificación. Experimento de Precisión Experimento de Veracidad CV Sesgo Consideramos el requisito de la calidad seleccionado de acuerdo al uso previsto del procedimiento de medida

73 Evaluación de Desempeño Error Sistemático Sesgo Error Total TE Error Aleatorio SD o CV TE TEa SD: Desvío estándar CV: Coeficiente de variación TE: Error total TEa: Requisito de la Calidad

74 Evaluación de Desempeño TE (c) = Sesgo (c) + Z * SD TE (%) = Sesgo (%) + Z * CV SD: Desvío estándar CV: Coeficiente de variación TE: Error total Z: 2

75 Evaluación de Desempeño TEa Sigma σ CV Sesgo CV: Coeficiente de variación σ : Sigma TEa: Requisito de la Calidad

76 Evaluación de Desempeño Sigma (σ) = ( TEa % Sesgo % ) CV % CV: Coeficiente de variación σ : Sigma TEa: Requisito de la Calidad

77 Evaluación de Desempeño Sigma Desempeño σ <2 2 < σ < 3 3 < σ <4 Inaceptable, no válido como procedimiento de medición de rutina. Marginal, necesita que se le aplique un esquema de mejoramiento de la calidad. Pobre, va a necesitar de un esquema de control estadístico interno de la calidad con más de una corrida analítica (R) y varios resultados por corrida (N). 4 < σ < 5 Bueno, con un esquema de reglas múltiples se asegura la utilidad clínica de los resultados. 5 < σ < 6 σ > 6 Muy Bueno, con un esquema de regla única se asegura la utilidad clínica de los resultados. Excelente!!!!!!!!!!!!

78 Agenda Introducción Evaluación de Procedimientos de Medida Procedimientos de Medida Cuantitativos Precisión Veracidad Rango Analítico Intervalos de Referencia Evaluación de Desempeño Conclusiones

79 Conclusiones -Conocer el desempeño del método en condiciones estables -Verificar si el desempeño es aceptable según nuestros requisitos de la calidad hacer correctamente. el control de calidad.. correcto!!!!!!

80 Conclusiones Por Qué? Objetivo Principal del Laboratorio Resultados Clínicamente útiles

81 MUCHAS GRACIAS!