VALIDACIÓN I Validación-Verificación Tipos de Validación Características de desempeño Clarificando conceptos: Exactitud-Veracidad, Linealidad, Límite de detección-sensibilidad- Límite de decisión, etc. Taller 4 Leonardo Merino Science Department Swedish National Food Agency Santiago de Chile, Julio 2013 Estudio de validación: Què? Validación es la confirmación, a traves del examen y el aporte de evidencias objetivas, de que se cumplen los requisitos partículares para un uso específico previsto. ISO/IEC 17025 Principio básico de la validación: The process of providing documented evidence that something does what it is intended to do Kenneth Chapman, Pharmaceutical Technology, Oct 1991 1
Verificación, es la comprobación de que el laboratorio aplica el método correctamente. Traceability in Chemical Measurement EURACHEM/CITAC Guide, June 2002 El laboratorio, previamente a poner un método en uso rutinario, debe comprobar y documentar de que tiene la competencia para usarlo. Esto significa que el laboratorio debe investigar y documentar que es capaz de obtener resultados que corresponden con las características de desempeño establecidas en el método. NMKL Procedure No. 4 (l996) Estudio de validación: Porqué? Porqué se debe validar? Eticas: Evaluación good y optimización science de las características de performance del método Técnicas: Establece la trazabilidad de las mediciones Calcula la incertidumbre de la medición Identificación Provee de reactivos datos iniciales químicos para e instrumentos el control requeridos de calidad analítico Comerciales: aumenta la credibilidad del laboratorio Normativas: cumplir requerimientos legales, ISO 17025 2
Tipos de validación Validación externa (entre laboratorios) - Mínimo 8 (5) laboratorios independientes - Mínimo 5 materiales deberán ser usados - Mínimo 1-2 determinaciones por muestra Validación interna (dentro del laboratorio) - según diseños experimentales establecidos Each may stand alone or complement... Relación entre validación externa, interna y verificación Grado de Validación externa Método externamente validado en un estudio colaborativo Método validado en un estudio colaborativo, pero usado con una matriz diferente o un nuevo instrumento Método publicado en la literatura con información acerca de importantes características de desempeño Método publicado en la literatura científica sin información de importantes características de desempeño Método desarrollado internamente Validación interna o Verificación recomendada Verificación de veracidad y precisión Verificación de veracidad y precision, probablemente el LOD Verificación, probablemente una validación interna mas extensa Validación interna completa Validación interna completa Adaptado de NMKL Procedure No. 4 (2009) 3
Características de desempeño (1) Las características de desempeño de un método analítico, aplicado bajo determinadas condiciones experimentales, son parámetros cuantitativos de fundamental importancia, usados en la evaluación de la utilidad del método para un propósito establecido. Wilson, A.L. (1970) Características de desempeño (2) Error total Exactitud Error sistemático Veracidad Selectividad (Interferencias) Sesgo (Recuperación) Rango de aplicación Calibración Sensibilidad Límite de detección (Límite de cuantificación) Repetibilidad Error aleatorio Precisión Reproducibilidad Límite de decisión, CC α Capacidad de detección, CC Robustez Incertidumbre de la Medición 4
La relación entre conceptos básicos Tipos de errores Error sistemático Características de desempeño (cualitativo) Veracidad Expresión cuantitativa Sesgo (R) Error (total) Exactitud Incertidumbre de la Medición Error aleatorio Precisión Desviación estándar Accred Qual Assur (2007) 12:45-47. Understanting the meaning of accuracy, trueness and precision. Resultado individual o promedio de resultados? Los resultados de los análisis están generalmente basados en mediciones analíticas individuales más bien que en el promedio de determinaciones repetidas. Por lo tanto, los analistas estamos interesados en la exactitud de una medición analítica individual. Usando una apropiada definición de exactitud tiene importantes consecuencias práctica, asi métodos que dan resultados imprecisos podrían ser definidos como exactos, cuando los resultados individuales obtenidos claramente no son exactos. Kirchmer, C (1983): Quality control in water analyses. Environ. Sci. Technol., Vol 17, No. 4 5
Exactitud - Precisión - Veracidad PRECISIÓN. Grado de concordancia entre resultados de análisis independientes obtenido bajo condiciones establecidas (ISO 3534). (Se cuantifica como desviación estándar). VERACIDAD. Grado de concordancia entre el valor medio obtenido de una gran serie de resultados y un valor de referencia aceptado (ISO 3534). (Se cuantifica como sesgo, puede ser correctamente contrastado con precisión). EXACTITUD. Grado de concordancia entre un resultado del ensayo y un valor de referencia aceptado. Nota: Exactitud cuando se aplica a un grupo de resultados, incluye la combinación de errores aleatorios y sistematicos (ISO 3534). No debe ser usado como contraste de precisión. ISO 3534 EU Directiva 96/23/CE AMC technical brief -2003 Selectividad / Especificidad (1) Selectividad, es una medida de la capacidad de un método analítico de diferenciar entre el analito de interes y otros componentes presentes en la muestra. Especificidad, la propiedad de un procedimiento analítico de determinar solamente el analito de interes. La especificidad es considerada como el 100% de selectividad. (Muchos autores recomiendan abandonar el uso de este término ) 6
SELECTIVIDAD (2) HPLC - Nitrato en una muestra de espinaca a) Columna cromatógrafica-aniónica débil SELECTIVIDAD (3) HPLC - Nitrato en una muestra de Zanahoria a) Columna cromatógrafica-aniónica debil b) Columna cromatógrafica-aniónica fuerte Con la cromatografía y otras técnicas de separación se han descubierto muchas interferencias de métodos antiguos. Asi, antiguos métodos Especificos son ahora definidos como selectivos. 7
Típicos procedimientos para evaluar selectividad Analizar Blancos Muestras fortificadas Añadir potenciales interferencias y medir sus efectos En cromatografia buscar evidencias de sobreposición de picos, chequear resolución,etc Comparación con otro método Debe estar basado en un principio diferente Rango de Aplicación Rango de Aplicación, Es el rango de concentración en el cual se ha demostrado que el metodo produce resultados que son adecuados para los objetivos previstos (i.e. incertidumbre aceptable). El rango inferior es definido por el límite de detección. Un criterio para establecer el rango superior es cuando la sensibilidad del método decrece significativamente (e.g. El punto en donde la pendiente de la curva se desvía de la curva original por más del 5%). Es una buena práctica demostrar que el rango puede ser excedido entre 10-20% de lo establecido por el método 8
Señal del instrumento 1.0 0.8 0.6 0.4 0.2 0 LoD Rango de aplicación y linealidad LoQ Rango de Aplicación Rango lineal 0 0.2 0.4 0.6 0.8 1.0 1.2 Concentración Sensibilidad LoD = Limite de Detección LoQ = Limite de cuantificación Calibración y Linealidad 35 Fumonisin FB 1 Calibración es un conjunto de operaciones para establecer una relación entre las señales de un sistema de medición (señal del instrumento) y los valores aceptados de los estándares de calibración (cantidad del analito). 30 y = 0,0177x - 0,4322 R² = 0,9952 25 A 20 r 15 e a 10 5 0 0 400 800 1200 1600 Conc. FB 1- (ng/ml) El objetivo principal es predecir valores de x (concentración del analito) con un mínimo de incertidumbre en el rango de interes. Propiedades de importancia de la curva de calibración: a) Linealidad b) Pendiente c) Intercepto 9
ANOVA y los cálculos de regresión Estadísticos de regresión Multiple-R (r) 0,9555 R-Cuadrado (R 2 ) 0,9131 Adjustado R-Cuadrado 0,9118 Error Estándar 2,5320 Observaciones 70 Fumonisin FB 1 35 30 y = 0,0177x - 0,4322 25 R² = 0,9952 A 20 r 15 e a 10 5 0 0 400 800 1200 1600 Conc. FB 1- (ng/ml) ANOVA df SS MS F Sign. F Regresión 1 4578 4578 714,1 8,67E-38 Residual 68 436 6,41 Total 69 5014 Coeficiente Error Estándar t-stat p-value Low 95% Upper 95% Intercepto 2,3890 0,5242 4,5578 2,21E-05 1,3431 3,4350 X variable 1 (pendiente) 0,0286 0,0011 26,7222 8,67E-38 0,0265 0,0307 El test de significancia en ANOVA es un test de significancia de correlación, no es un test de linealidad. ANOVA y Regresión: Coeficientes de correlación (r) y (R 2 ) r es una medida de correlación no una medida de linealidad. R 2 describe las fracción de la variancia total que es aportada por la curva de calibración. Este coeficiente puede ser usado como un indicador aproximado de la utilidad de la regresión. r no permite muchas inferencias válidas en química analítica. Su uso debe ser evitado. Thompson, M. (2011). Notes on Statistics and Data Quality for Analytical Chemist 10
ANOVA ANOVA y Regresión : Uso de Residuales Grados de libertad Suma de Cuadrados Cuadrado Medio F calculado P-valor Regresión 1 6.233 6.233 1027 3.93 E-41 Residual 64 0.388 0.006 Total 65 6.622 Un valor F muy significante debe ser obtenido en experimentos de calibración Los residuales son las diferencias entre un valor y observado, y el valor y calculado usando la ecuación de calibración. Gráficamente cuando los residuales están aleatoriamente distribuídos alrededor del cero puede ser interpretado como un indicador de linealidad. ANOVA y Regresión : Evaluación de la pendiente y el intercepto Coeficiente Error estándar t cal Valor-p Intervalo inferior, 95% Intervalo superior, 95% Intercepto 0.019 0.016 1.174 0.245-0.013 0.051 Pendiente 0.779 0.024 32.050 3.93 E-41 0.731 0.828 Es la pendiente y el intercepto significativamente diferentes de cero? Pendiente debe ser significativamente diferente de cero, ya que es esencial que los valores de x e y esten altamente correlacionados. El p-value debe ser muy pequeño, p<<0.05 Intercepto podría ser significativamente diferente de cero (ver los intervalos). El t obs debe ser menor que el t crit, o tambien, el p-value debe ser mayor que el nivel de significancia elegido (α = 0.05) 11
Minimizando la incertidumbre de predicción de la curva de calibración 40 Fumonisin FB 1 30 y = 0,0177x - 0,4322 A R² = 0,9952 r 20 e 10 a 0 0 400 800 1200 1600 Conc. FB 1- (ng/ml) El error estándar de la curva de calibración puede ser reducido por: Aumentar N, el número de mediciones de la muestra (N = 1-3) Aumentar n, el número de mediciones independientes de la curva de calibración (n = 5-6) Procurar que la concentración medida este cerca del centro del rango de calibración. Ellison S, Barwick V. (2009). Practical Statistical for the Analytical Scientist Recomendaciones para el diseño experimental de la curva de calibración 40 30 A r 20 e 10 a 0 Fumonisin FB 1 y = 0,0177x - 0,4322 R² = 0,9952 0 400 800 1200 1600 Conc. FB 1- (ng/ml) Si la incertidumbre de la calibración es importante se recomienda las seguir las siguientes recomendaciones: Use al menos 5 mediciones independientes Distribuya de un modo regular las concentraciones a medir Procurar que la concentración media de las soluciones patrones este cerca de los niveles de concentración de interes. Aumentar el número de replicados independientes. Ellison S, Barwick V. (2009) Practical Statistical for the Analytical Scientist. La documentación del estudio de validación deberá demostrar la estabilidad de la curva de calibración, es decir, que tan bien se pueden reproducir en diferentes ocasiones (diferentes veces el mismo día o en diferentes días) (Horwitz on Validation, 2003) 12
Sensibilidad Sensibilidad (pendiente de la curva de calibración), cociente entre el cambio en la indicación de un sistema de medición y el cambio correspondiente en el valor de la cantidad objeto de la medición (Codex, CAC/GL 72-2009) Un método es sensible si pequeños cambios en la concentración produce grandes cambios en la respuesta analítica. Sensibilidad no es un parámetro de especial importancia en validación, debido a que es frecuentemente dependiente del instrumento. Dentro de un sistema de control de calidad la sensibilidad puede ser usada para evaluar la estabilidad de un instrumento y comprobar la necesidad de mantenimiento. Metod validering handbok (2011). Magnuson B. & Örnemark, U. Límite de detección (LOD) y Límite de cuantificación (LOQ) Límite de detección es la más baja concentración del analito que puede distinguirse con cierta confidencia estadística de la concentración cero, considerando la incertidumbre de la medición analítica. (Thompson, M. Analytical Proceedings, 1987, vol. 24) El concepto esta basado en un razonamiento estadístico y es especificado de tal modo que los riesgos de cometer errores falso positivos y falso negativos son mantenidos a niveles de significancia aceptables (5%) Límite de cuantificación es la más baja concentración del analito que puede cuantificarse con cierta confiabilidad. No existe una base estadística para definir el LOQ. Si se considera una desviación estándar relativa de 10% como aceptable o confiable, obtendremos un LOQ = 10s. Este criterio es el comunmente utilizado. 13
Analogía: Buscando un barco en medio de un mar tormentoso En esta analogía del límite de detección, son las fluctuaciones y las alturas de las olas en comparación con el tamaño del barco lo que mas influye en nuestra capacidad para observar el barco. De la misma manera como la variabilidad y el tamaño de las señales del blanco (ruido) la que limita nuestra capacidad de detectar la presencia del analito. Límite de detección Error Tipo I Muestra = Blanco Media = 0 y B P Error Tipo I -3-2 - 2 3 4 2S b 5 Tipos de Error Error Tipo I = Falso positivo (afirmar equivocadamente que una substancia está presente) 14
Límite de detección Error Tipo II Muestra = Blanco Media = 0 y B Muestra P Tipo II Tipo I -3-2 - 2 3 4 2S b Types of Error Error Tipo I = Falso positivo (afirmar equivocadamente que una substancia esta presente) 5 Error Tipo II = Falso negativo (afirmar equivocadamente que una substancia no esta presente) Definición del límite de detección Muestra = Blanco Media = 0 y Límite de detección B Muestra P Type II Type I -3-2 - 2 3 4 2S b 3S b 5 Límite de Detección (LoD) = medida del blanco (bl) + 3s bl Donde S bl es la desviación estándar del blanco o del estándar de más baja concentración. 15
Cálculo del límite de detección en análisis cuantitativo Experimentos: 1. Basado en la repetibilidad del método. Realizar 6-10 determinaciones de muestras de ensayo naturales o fortificadas de la mas baja concentración medible. Calcular la desviación estándar (s). LOD=Blanco+3s. 2. Basado en la curva de calibración. Calcular el intercepto (y B ) y el error estandar (s y/x ) de la curva de calibración. Use la ecuación LOD= y B +3s y luego convertir las unidades instrumentales a unidades de concentración. Usar muestras fortificadas en lugar de soluciones patrones para incluír el efecto de la matriz. 3. De la medición del ruido/fondo. Medir el fondo y calcular la desviación estándar del ruido (s). LOD=Fondo+3s Control de contaminantes Límites analíticos Sustancias para las que no se ha establecido un límite permitido 1 cola, 99%, 1 cola, 95%, Muestra blanco muestra contaminada Límite de decisión = Ccα = 2.33S B Capacidad de detección = CC = 2.33S B + 1.64 S s EU Directiva 96/23/CE - 2002 16
Control de contaminantes Límites legales Sustancias para las que se ha establecido un límite permitido Límite de decisión = CCα = X PL + 1.64S PL Capacidad de detección = CC = X s + 1.64S PL + 1.64 S s EU Directiva 96/23/CE - 2002 Como reportar resultados de concentraciones cercanas o por debajo del LOD? 1. A nivel internacional no existe actualmente unanimidad en definir y calcular el LOD. Se recomienda seguir las recomendaciones del sector o describir claramente el procedimiento utilizado. 2. Los resultados analíticos reportados al cliente deberán ser acompañados de su respectiva incertidumbre. 3. Evitar las prácticas comunes de reportar los resultados <LOD como: a) cero; b) No detectado; c) <LOD. 4. En situaciones especiales en que se obtiene resultados negativos estos pueden ser reportados como cero. En este caso se recomienda mantener un registro y eventualmente informar al cliente. Analytical Methods Committee, Analyst (2001), 126, 256-259 17
Los límites de detección son importantes cuando la incertidumbre expandida de la medición es aproximadamente comparable con la concentración del analito. Michael Thompson (2011) A detection limit is something to stay well away from El uso principal del límite de detección es advertir al analista del nivel de concentración que en lo posible es mejor evitar. En la moderna metrología química su utilidad empieza a ser cuestionada. Michael Thompson (2011) Taller 5 Discuta la linealidad de la curva de calibración usando el análisis de regresión. Interprete el valor del intercepto y su variación para juzgar la conveniencia de forzar la curva de calibración a traves del punto de origen Referencias Wilson, A.L. The Performance Characteristics of Analytical Methods-I (1970) Talanta 17, 21-29 Miller & Miller. Estadística y Quimiometría para Química Analítica. Prentice Hall. 2002 Method validation Course 0072. LGC limited. London Kirchmer, C.J. Estimation of Detection Limits for Environmental Analytical Procedures. Chapter 4. American Chemical Society 1988 Thompson, M. Detection limits-confidence or uncertainty, Analytical Proceedings, 1987, Vol 24 Prichard E., Barwick V. Quality Assurance in Analytical Chemistry. Wiley & Sons Ltd, 2007 Mangusson, B & Örnemark, Ulf (2011). Metodvalidering Handbok. SP-Sweden Analytical Methods Committee (2000). Measurement of near zero concentration: recording and reporting results that fall close to o below the detection limit. Analyst, 126, 256-259 18