S6: Exactitud de los resultados. El nuevo enfoque: trazabilidad e incertidumbre Compatibilidad de resultados de medida. Estimación y tratamiento de errores sistemáticos Raúl Rigo Bonnin Laboratori Clínic Hospital Universitari de Bellvitge
COMPATIBILIDAD Compatibilidad metrológica [VIM 2.47] propiedad de un conjunto de resultados de medida de un mensurando específico, tal que, para cualquier par de valores medidos distintos, el valor absoluto de su diferencia es inferior a un cierto múltiplo seleccionado de la incertidumbre de medida estándar de esta diferencia El VIM utiliza la palabra compatibilidad en el sentido de ser similar en cuantía tanto para los valores medidos como para la incertidumbre de medida
Resultado de medida? Mensurando? Valor medido? Incertidumbre? Compatibilidad?
COMPATIBILIDAD Mensurando = Magnitud sometida a una medición (p.ej: la concentración de ion potasio en el plasma) Valor medido = valor obtenido como consecuencia de una medición (p.ej.: valor obtenido en un analizador) 4,58 mmol/l Resultado de medida = valor medido + información adicional pertinente (p.ej. Incertidumbre de medida) (4,58 ± 0,13) mmol/l
COMPATIBILIDAD Un laboratorio procesa una muestra de un paciente para una magnitud determinada y obtiene un valor X 1. Otro laboratorio procesa la misma muestra para la misma magnitud y obtiene un valor X 2. Son los resultados obtenidos por ambos laboratorios similares, equivalentes, equiparables (COMPATIBLES)? El valor medido X 1 tendrá asociado una incertidumbre u 1 El valor medido X 2 tendrá asociado una incertidumbre u 2 LOS RESULTADOS SERÁN COMPATIBLES SI:
COMPATIBILIDAD POR QUÉ TIENE INTERÉS ESTUDIAR LA COMPATIBILIDAD METROLÓGICA? Para conocer si dos resultados de medida se refieren al mismo mensurando Por ejemplo: Serán similares o equivalentes los resultados obtenidos por un analizador si se mide la concentración de alaninaaminotransferasa en el plasma a 37 ºC o a 30 ºC? Está el analizador midiendo lo mismo? Srm Alanina-aminotransferasa; c.cat.(37 ºC) Srm Alanina-aminotransferasa; c.cat.(30 ºC)
COMPATIBILIDAD Para conocer si, entre mediciones, el mensurando varía en función del tiempo (p.ej.: como consecuencia del cambio en las condiciones de trabajo, del procedimiento de medida, de las condiciones de la muestra, etc ) Por ejemplo: Se desea medir la concentración de alanina-aminotransferasa en el plasma en una muestra de un paciente obtenida el día de su extracción y 10 días después. Serán similares o equivalentes los resultados que se obtengan? Para conocer si las mediciones realizadas para una magnitud son correctas o no (p.ej.: como consecuencia de la aparición de un sesgo)
COMPATIBILIDAD CUÁNDO TIENE INTERÉS ESTUDIAR LA COMPATIBILIDAD METROLÓGICA? En el diseño, en la selección y en la validación o verificación de procedimientos de medida
INTRODUCCIÓN Muchas veces los resultados de medida de una magnitud biológica pueden ser comparables (son trazables a una misma referencia) pero NO compatibles entre sí debido, p.ej., a la existencia de un sesgo significativo no considerado o que no se ha corregido Desde el enfoque de la incertidumbre, y de acuerdo con el GUM, un sesgo significativo debería ser corregido SIEMPRE pero CÓMO LO CORREGIMOS? HEMOS DE INCLUIR ESTE SESGO COMO UNA FUENTE MÁS DE INCERTIDUMBRE? CÓMO LO REALIZAMOS? ESTUDIO Y TRATAMIENTO DEL SESGO ESTUDIOS DE COMPATIBILIDAD DE RESULTADOS DE MEDIDA
Estudio y tratamiento del error sistemático (sesgo de medida)
DEFINICIONES Veracidad de medida [VIM 2.14] proximidad entre la media de un número infinito de valores medidos repetidos y un valor de referencia La veracidad no tiene valor numérico pero está relacionado inversamente con el error sistemático, el cual puede ser estimado a partir del sesgo de medida
DEFINICIONES Error sistemático (de medida) [VIM 2.17] componente del error de medida que, en mediciones repetidas, permanece constante o varía de manera predecible Únicamente puede realizarse una estimación del error sistemático, ya que sólo es posible efectuar un número finito de mediciones Sesgo (de medida) [VIM 2.18] valor estimado de un error sistemático
INTRODUCCIÓN EL SESGO PUEDE PRODUCIRSE: Como consecuencia del proceso de calibración de un sistema de medida Debido a interferencias por otros componentes de la muestra (P.ej.: hemólisis, icterícia, lipemia) Debido a una contaminación Por la utilización o tratamiento de muestras particulares (recuperación y efecto matriz) Entre sistemas de medida
INTRODUCCIÓN CUÁNDO Y POR QUÉ ESTUDIAR EL SESGO? En el diseño, selección y en la validación o verificación de procedimientos (y sistemas) de medida Para asegurar la ausencia de sesgos relevantes (superiores al requisito metrológico establecido por el laboratorio) Para introducir, en el cálculo de la incertidumbre de medida, componentes asociados a eventuales factores de corrección Para garantizar la compatibilidad de resultados de medida, a lo largo del tiempo, en un sistema de medida para una magnitud biológica determinada
INTRODUCCIÓN Para garantizar la compatibilidad de resultados de medida entre diferentes sistemas de medida del laboratorio que permiten medir una misma magnitud biológica Para garantizar la compatibilidad de resultados de medida entre diferentes laboratorios
Estudio del sesgo debido al proceso de calibración
ESTUDIO DEL SESGO PARA EL ESTUDIO DEL SESGO (CALIBRACIÓN) Se calcula la diferencia entre la media de un número determinado de mediciones repetidas y un valor de referencia. Como valor de referencia se emplea un valor convencional el cual puede ser: Un valor asignado a un material de referencia Un valor obtenido mediante un procedimiento de medida primario (p.ej.: gravimetría o pesada) Un valor obtenido mediante un procedimiento de medida de referencia (p.ej.: HPLC-MS/MS) Un valor obtenido en un programa de evaluación externa de la calidad o o Valor consensual global Valor consensual grupal Se calcula la incertidumbre de medida asociada al valor estimado del sesgo Se lleva a cabo un estudio de compatibilidad Se realiza una interpretación y tratamiento del sesgo obtenido, si procede
ESTUDIO DEL SESGO
MUESTRAS PARA EL ESTUDIO Materiales de referencia certificados Preparados por institutos de metrología u otros organismos relacionados con la metrología NIST, IRMM, NIBSC, LGC, OMS, USP, EP Materiales de referencia comerciales (calibradores o controles) Preparados por empresas del diagnóstico in vitro Preparar siguiendo las indicaciones del proveedor El proveedor debe indicar la incertidumbre y la trazabilidad
DISEÑO EXPERIMENTAL Procesar, en 3-5 series y en días distintos, el material de referencia por duplicado En cada serie puede emplearse un vial distinto o el mismo vial si se garantiza la estabilidad de la magnitud Es preferible realizar una calibración entre series Detectar los posibles valores aberrantes y eliminarlos (prueba de Grubbs, Dixon, etc) Calcular la media, la desviación estándar y el coeficiente de variación para los valores medidos obtenidos
Estimar el sesgo DISEÑO EXPERIMENTAL Calcular la incertidumbre de medida estándar y la incertidumbre de medida expandida asociada al valor estimado para el sesgo : Incertidumbre estándar asociada al material de referencia : Incertidumbre estándar asociada al valor medio obtenido en el estudio : Incertidumbre combinada relativa del sistema de medida
DISEÑO EXPERIMENTAL Realizar el estudio de compatibilidad, comparando el valor absoluto del sesgo obtenido con su incertidumbre de medida expandida Si : La media de los valores obtenidos para el material de referencia y el valor asignado al material SON COMPATIBLES. EL SISTEMA DE MEDIDA NO PRESENTA UN SESGO SIGNIFICATIVO Si : La media de los valores obtenidos para el material de referencia y el valor asignado al material NO SON COMPATIBLES. EL SISTEMA DE MEDIDA PRESENTA UN SESGO SIGNIFICATIVO
INTERPRETACIÓN Si se observa un sesgo significativo: Puede ignorarse, si éste es inferior al requisito metrológico para el sesgo establecido por el laboratorio Puede modificarse el procedimiento de medida (principalmente los materiales de calibración o el proceso de calibración) y volver a repetir el estudio Puede aplicarse un factor de corrección proporcional: o La corrección mediante un factor genera una incertidumbre de medida:
LIMITACIONES Falta de intercambiabilidad entre las muestras de pacientes y los materiales de referencia Este procedimiento no permite diferenciar los sesgos de tipo proporcional de los constantes. El factor de corrección aplicado sólo es válido si existe un sesgo proporcional Este procedimiento no permite estudiar el sesgo: Debido a interferencias por otros componentes de la muestra (P.ej.: hemólisis, icterícia, lipemia) Debido a una contaminación Debido a la utilización de muestras particulares (efecto matriz)
Ejemplo Se desea evaluar la existencia de un sesgo en un sistema de medida que permite medir la concentración de sustancia de calcio en el suero, mediante la utilización de un material de referencia certificado del NIST Material de referencia 956c del NIST: µ = 2,438 mmol/l; U (k=2) = 0,016 mmol/l Valor medio obtenido por el laboratorio (n = 10): 2,31 mmol/l Incertidumbre combinada del sistema de medida: 3,201 % El requisito para el sesgo de medida relativo del laboratorio: 5 %
Ejemplo INCERTIDUMBRE ASOCIADA AL VALOR ESTIMADO PARA EL SESGO
Ejemplo Como La media de los valores obtenidos para el material de referencia y el valor asignado al material NO SON COMPATIBLES. EL SISTEMA DE MEDIDA PRESENTA UN SESGO SIGNIFICATIVO
Ejemplo TRATAMIENTO DEL SESGO ES SUPERIOR AL REQUISITO DEL SESGO ESTABLECIDO POR EL LABORATORIO? NO debería ignorarse ya que el sesgo estimado es superior al correspondiente requisito establecido por el laboratorio PODEMOS MODIFICAR EL PROCEDIMIENTO DE MEDIDA (CALIBRADORES, PROCEDIMIENTO DE CALIBRACIÓN)? NO ya que se trata de un sistema cerrado : No podemos modificar los criterios del procedimiento de calibración ni cambiar de calibrador
SI Ejemplo TRATAMIENTO DEL SESGO PODEMOS APLICAR UN FACTOR DE CORRECCIÓN? Podemos aplicar este factor a cada uno de los valores medidos que obtenga el sistema de medida Pero deberemos incluir la incertidumbre debida al factor de corrección a la hora de estimar la incertidumbre de medida del sistema de medida:
ESTUDIO DE INTERCAMBIABILIDAD Compatibilidad de resultados entre sistemas de medida: Estimación del sesgo entre sistemas de medida
INTRODUCCIÓN CUANDO ESTUDIAR EL SESGO ENTRE SISTEMAS DE MEDIDA? En el diseño, selección y en la validación o verificación de procedimientos (y sistemas) de medida Cuando se va a sustituir un sistema de medida para una magnitud biológica por otro y se desea conocer la intercambiabilidad entre ambos (comprobar que los resultados de medida obtenidos por ambos son compatibles), con el fin, p.ej., de mantener los valores de referencia biológicos Cuando el laboratorio dispone de dos sistemas de medida para medir una misma magnitud biológica. Se ha de comprobar que los resultados obtenidos entre ambos sean compatibles, con el fin, de garantizar la transferabilidad de los valores de referencia biológicos
CONSIDERACIONES El sistema de medida empleado como referente para la intercambiabidad puede ser: De similar jerarquía metrológica (Ej: sistemas existentes habitualmente en el laboratorio y POCT): Propiedades metrológicas similares (imprecisión, LOQ, linealidad, ) Sin sesgo o con sesgos corregidos (se han realizado estudios previos del mismo, p.ej., empleando materiales de referencia) De jerarquía metrológica superior. Un procedimiento (y sistema) de medida de referencia Los sistemas de medida deberían tener la misma especificidad
MUESTRAS PARA EL ESTUDIO Muestras de pacientes Utilizar un mínimo de 40 Deben obtenerse siguiendo las instrucciones de trabajo del laboratorio Al menos el 50 % de ellas deben presentar valores dentro del intervalo de referencia de la magnitud en estudio Los valores de la magnitud deben ser representativas del intervalo de medida, el cual debería ser similar para ambos sistemas de medida No deben estar hemolizadas, ictéricas, lipémicas o presentar otros tipos de interferencias conocidas
DISEÑO EXPERIMENTAL Procesar, aleatoriamente y entre 3-5 series distintas, las muestras de pacientes por ambos sistemas de medida Las muestras deberían procesarse en un intervalo de tiempo lo menor posible (minimizar el efecto de la imprecisión) Es preferible realizar una calibración en cada serie y en ambos sistemas de medida Detectar los posibles valores aberrantes por parejas y eliminarlos Por inspección visual, y Procedimiento de las diferencias absolutas y relativas Realizar un análisis de las diferencias y de regresión lineal
DISEÑO EXPERIMENTAL ANÁLISIS DE LAS DIFERENCIAS Calcular las diferencias (D i ) para cada pareja de valores medidos obtenidos por ambos sistemas de medida: y i = Valores del sistema a evaluar x i = Valores del sistema referente Calcular el pomedio de cada pareja de valores Calcular las diferencias relativas porcentuales (DR i ) para cada pareja de valores medidos obtenidos por ambos sistemas de medida, respecto al valor promedio:
DISEÑO EXPERIMENTAL Representar gráficamente D i o DR i vs (y i + x i )/2 La diferencia entre los valores medidos de los sistemas de medida puede ser descrita mediante la media de las diferencias (D m o DR m ) y por su correspondiente desviación estándar (s D o s DR ) Calcular los valores medios de las diferencias D m o DR m Calcular las correspondientes desviaciones estándar de los valores medios s n n 2 ( Di Dm ) ( DRi i 1 i 1 D sdr n 1 n 1 DR m ) 2
DISEÑO EXPERIMENTAL Calcular el intervalo de confianza (IC) del 95 % para la media NO EXISTE UN SESGO SIGNIFICATIVO ENTRE AMBOS SISTEMAS DE MEDIDA SI: Ambos IC (95 %) incluyen el valor 0 EXISTE UN SESGO CONSTANTE SIGNIFICATIVO ENTRE AMBOS SISTEMAS DE MEDIDA SI IC D (95 %) NO incluye el valor 0 IC DR (95 %) incluye el valor 0
DISEÑO EXPERIMENTAL EXISTE UN SESGO PROPORCIONAL SIGNIFICATIVO ENTRE AMBOS SISTEMAS DE MEDIDA SI IC DR (95 %) NO incluye el valor 0 IC D (95 %) incluye el valor 0 EXISTE UN SESGO CONTANTE Y PROPORCIONAL SIGNIFICATIVO ENTRE AMBOS SISTEMAS DE MEDIDA SI Ambos IC (95 %) NO incluyen el valor 0
DISEÑO EXPERIMENTAL ANÁLISIS DE REGRESIÓN LINEAL Representar gráficamente los valores de y i vs x i y i = Valores del sistema a evaluar x i = Valores del sistema referente Mediante regresión lineal, obtener los valores de la ordenada en el origen (a), de la pendiente (b) y el coeficiente de correlación (r) Regresión lineal paramétrica de Deming Regresión lineal no paramétrica de Passing-Bablok Regresión lineal simple Calcular el intervalo de confianza (IC) del 95 % para a y b
DISEÑO EXPERIMENTAL NO EXISTE UN SESGO SIGNIFICATIVO ENTRE AMBOS SISTEMAS DE MEDIDA SI: r > 0,975 IC (95 %) para a incluye el valor 0 IC (95 %) para b incluye el valor 1 EXISTE UN SESGO CONSTANTE SIGNIFICATIVO ENTRE AMBOS SISTEMAS DE MEDIDA SI r > 0,975 IC (95 %) para a NO incluye el valor 0 EXISTE UN SESGO PROPORCIONAL SIGNIFICATIVO ENTRE AMBOS SISTEMAS DE MEDIDA SI r > 0,975 IC (95 %) para b NO incluye el valor 1 EXISTE UN SESGO CONSTANTE Y PROPORCIONAL SIGNIFICATIVO ENTRE AMBOS SISTEMAS DE MEDIDA SI r > 0,975 IC (95 %) para a NO incluye el valor 0 IC (95 %) para b NO incluye el valor 1
INTERPRETACIÓN Para considerar la existencia de un sesgo, éste debe ser significativo tanto en el análisis de las diferencias como en el de la regresión lineal Si se observa un sesgo constante, este no es aconsejable que se corrija debido a que es de difícil interpretación ya que suele ser debido a: Un efecto de la matriz en alguno de los sistemas de medida Una diferente especificidad de los sistemas de medida Si se observa un sesgo proporcional significativo:
DISEÑO EXPERIMENTAL Puede ignorarse, si éste es inferior al requisito metrológico para el sesgo establecido por el laboratorio Puede modificarse el procedimiento de medida (principalmente los materiales de calibración o el proceso de calibración) y volver a repetir el estudio Puede aplicarse un factor de corrección proporcional o La corrección mediante un factor genera una incertidumbre de medida, la cual debería incluirse en el cálculo de la incertidumbre de medida del sistema de medida L inf = Límite inferior del IC 95 % de b L sup = Límite superior del IC 95 % de b
LIMITACIONES Cuando existe diferente especificidad entre los sistemas de medida Cuando existe un efecto de la matriz en alguno de los sistemas El factor de corrección aplicado sólo es válido si existe un sesgo proporcional. Este procedimiento no permite estudiar el sesgo: Debido a interferencias por otros componentes de la muestra (P.ej.: hemólisis, icterícia, lipemia) Debido a una contaminación Debido a la utilización de muestras particulares (efecto matriz)
Ejemplo Se desea realizar un estudio de intercambiabilidad entre dos sistemas de medida (uno en el laboratorio de urgencias y otro ubicado en la consulta de Pneumología; POCT) que permiten medir la presión parcial (en mmhg) de oxígeno en la sangre n = 104
Ejemplo ANÁLISIS DE LAS DIFERENCIAS D m = 6,80 mmhg s D = 4,63 mmhg IC 95 % = [-2,47 16,1] DR m = 12,0 mmhg s DR = 3,92 mmhg IC 95 % = [4,16 19,8] EXISTE UN SESGO PROPORCIONAL
POCT = Y Ejemplo ANÁLISIS DE REGRESIÓN LINEAL URG = X POCT = Y URG = X EXISTE UN SESGO PROPORCIONAL
Ejemplo TRATAMIENTO DEL SESGO ES SUPERIOR AL REQUISITO DEL SESGO ESTABLECIDO POR EL LABORATORIO? Podría ignorarse ya que el sesgo estimado es inferior al correspondiente requisito establecido por el laboratorio Si no se quisiera ignorar:
Ejemplo APLICARÍAMOS UN FACTOR DE CORRECCIÓN Podemos aplicar este factor a cada uno de los valores medidos que obtenga el sistema de medida a evaluar (POCT). Pero deberemos incluir la incertidumbre debida al factor de corrección a la hora de estimar la incertidumbre de medida del sistema de medida:
GRACIAS raulr@bellvitgehospital.cat