EVALUACION DE RESULTADOS INTRA-LABORATORIO EDWIN GUILLEN Servicio Nacional de Metrología INDECOPI Simposio de Metrología Lima PERU - Mayo del 2010 1
EVALUACION DE RESULTADOS INTRA-LABORATORIO INTRODUCCION La norma ISO 17025:2005 General requirements for the Competence of Testing and Calibration Laboratories en el capitulo 5 Requisitos Técnicos,acápite 5.1.1 indica que : Muchos factores determinan si los ensayos y calibraciones realizadas por un laboratorio son correctos y confiables. 2
Estos factores incluyen contribuciones de : Factores humanos. Instalaciones y Condiciones Ambientales. Métodos de Ensayos y Calibración n así como validación n de métodos. m Equipos. Trazabilidad de la medición. Manipulación n de los objetos a ensayar y calibrar. 3
Todos estos factores contribuyen en diferentes proporciones e intensidades a la incertidumbre total de la medición n y difieren considerablemente entre los diversos tipos de ensayos y calibraciones. Obtenido el resultado final y calculada su incertidumbre asociada, aún a n si se considera que se está cumpliendo con todos los requisitos técnicos t y metrológicos es necesario asegurar la calidad de los resultados. 4
En efecto, el capítulo 5.9 de la misma norma ISO 17025:2005 sobre Aseguramiento de la calidad de los resultados de ensayo y calibración señala que : el laboratorio debe tener procedimientos de control de la calidad para monitorear la validez de los ensayos y calibraciones realizadas. Este monitoreo puede incluir lo siguiente: A). B) Participación n en programas de comparaciones interlaboratorios o de ensayos de aptitud 5
C) Repetición n de los ensayos o calibraciones usando el mismo método m u otro diferente. D) Reensayo o recalibración n de los objetos retenidos. En todos los casos típicamente t se debe comparar si el resultado x 1 con incertidumbre asociada U 1 es, o no es, compatible con el resultado x 2 con incertidumbre asociada U 2 6
- En el caso de comparaciones interlaboratorios, la comparación n puede hacerse a través s del llamado índice de compatibilidad E n : E n x U 1 2 1 x 2 U 2 2...(1) Si E n es menor o igual que 1 se considera que los resultados son compatibles Si E n es mayor que 1 se considera que los resultados NO son compatibles 7
Sin embargo si ambos resultados son producidos en el mismo laboratorio como son los casos C) y D) mencionados arriba o para el importante caso de comparar los resultados de dos analistas del mismo laboratorio en general NO es aceptable aplicar la misma fórmula f (1) para el índice de compatibilidad. 8
POR QUE NO ES ACEPTABLE? La razón n es que típicamente t cuando se producen dos resultados en el mismo laboratorio hay muchos factores que son comunes como por ejemplo, las magnitudes de influencia en las condiciones ambientales (temperatura, humedad relativa, presión, alimentación n eléctrica, etc. ), equipos e instrumentos de medición n comunes, métodos y procedimientos de calibración comunes, etc. Al haber varios factores de influencia que son comunes los resultados están, casi 9 generalmente, altamente correlacionados.
Por lo tanto al calcular la incertidumbre combinada de la diferencia Ix 1 - x 2 I no puede despreciarse esta correlación n y por lo tanto dicha incertidumbre combinada ya no es simplemente la raíz z cuadrada de : 2 U U 1 2 2 Sino que habría a que añadir a adir el término t que tiene en cuenta esta alta correlación 10
Calcular este término t de la notable correlación n existente, muchas veces no es fácil, además s típicamente t no es un término positivo sino mas bien negativo lo cual es lógico l ya que al haber varios factores comunes los dos resultados x 1 ; x 2 deberían tender a parecerse más m entre si y por lo tanto la diferencia entre ellos debería a ser más m s pequeña a y la incertidumbre de la diferencia debería ser correspondientemente más m s pequeña.
Por otro lado la comparación n entre los resultados de dos analistas del mismo laboratorio puede ser tan importante como para determinar la competencia técnica de los mismos. En efecto, la norma ISO 17025:2005 en su acápite 5.2.1 indica que : 12
La dirección n del laboratorio debe ASEGURAR LA COMPETENCIA TECNICA DE TODOS LOS QUE OPERAN EQUIPOS ESPECIFICOS, REALIZAN ENSAYOS Y/O CALIBRACIONES, EVALUAN LOS RESULTADOS Y FIRMAN LOS INFORMES DE ENSAYO Y CERTIIFICADOS DE CALIBRACION.. El personal debe estar calificado sobre la base de una apropiada HABILIDAD DEMOSTRADA.. Cómo puede el laboratorio ASEGURAR LA COMPETENCIA TECNICA DE TODO ese personal? Cómo puede demostrarse objetivamente esa competencia técnica t y esa habilidad? 13
Una buena manera es justamente comparando apropiadamente sus resultados intralaboratorio. El criterio que se propone puede ser aplicable si el laboratorio ya puede confiar en que al menos uno de sus analistas tiene dicha competencia, posiblemente porque es el analista de mayor experiencia y habilidad y es el analista que participó haciendo las mediciones en una comparación n interlaboratorios en la cual el laboratorio ha participado con éxito. Denotemos por comodidad a ese analista como el analista 1 y su resultado como x 1 y su incertidumbre como U 1 14
Cuando se desea saber si otro analista cualquiera, llamémosle mosle el analista 2, tiene competencia técnica, una forma de demostrarlo objetivamente es comparando los resultados e incertidumbres del analista 2 con los del analista 1. Si se demuestra que los resultados son metrológicamente compatibles, esto es una evidencia objetiva de que el analista 2 da resultados compatibles con los del analista 1 y por lo tanto que también n puede confiarse en la competencia técnica t del analista 2. 15
Solo una vez que la competencia técnica t del analista 2 ha sido demostrada objetivamente la dirección n del laboratorio debería a emitir la autorización n formal a dicho analista 2 para hacer ese tipo de ensayos o calibraciones, tal como se dice en el acápite 5.2.5 de la norma ISO 17025: La dirección n del laboratorio debe autorizar personal específico para realizar tipos particulares de muestreos, ensayos y/o calibraciones particulares, emitir informes de ensayos y certificados de calibración, dar opiniones e interpretaciones y manejar tipos particulares de equipos. 16
El laboratorio debe mantener registros pertinentes de las autorizaciones, de la competencia técnicat cnica habilidades de todo el personal técnico t incluyendo el personal contratado. Esta información n debe estar fácilmente disponible y debe incluir la fecha en la cual se CONFIRMO la autorización n y/o la COMPETENCIA TECNICA 17
Volvamos entonces al problema de cómo c calcular adecuadamente un índice de compatibilidad entre dos resultados altamente correlacionados, es decir: Si el resultado x 1 con incertidumbre asociada U 1 es, o no es, compatible con el resultado x 2 con incertidumbre asociada U 2, estando x 1 y x 2 altamente correlacionados 18
Dado que evaluar el término t de correlación n no es fácil entonces para evaluar la compatibilidad de ambos resultados se propone el siguiente criterio: 19
CRITERIO PROPUESTO PARA LA COMPATIBILIDAD ENTRE DOS RESULTADOS INTRA- LABORATORIO 20
A continuación n por comodidad se tratará el caso de dos analistas 1 y 2 pero el criterio es igualmente aplicable a cualquier par de resultados 1 y 2 del mismo laboratorio para los cuales se desea saber si son compatibles o no. En particular es aplicable a los dos casos c) y d) que menciona la norma ISO 17025 en su capitulo 5.9 : c) Repetición n de los ensayos o calibraciones usando el mismo método m u otro diferente. d) Reensayo o recalibración n de los objetos retenidos. 21
CRITERIO PROPUESTO Un analista 1 efectúa a n 1 veces el mismo ensayo o calibración n y obtiene n 1 resultados (por ejemplo n 1 = 4 veces). Denotemos el promedio de sus n 1 resultados como x 1, y la desviación n estándar de los n 1 resultados como s 1. 22
Similarmente un analista 2 efectúa n 2 veces el mismo ensayo o calibración n y obtiene n 2 resultados (por ejemplo n 2 = 4 veces) ). Denotemos el promedio de sus n 2 resultados como x 2, y la desviación n estándar de los n 2 resultados como s 2. 23
Las desviaciones estándar s 1 y s 2 deberían ser también n suficientemente pequeñas as. En principio se espera que s 1 sea menor que la menor incertidumbre expandida de los n 1 resultados obtenidas por el analista 1 y que s 2 sea menor que la menor incertidumbre expandida de los n 2 resultados obtenidos por el analista 2. 24
Si se considera que la diferencia entre los dos resultados (x 1 x 2 ) se debe esencialmente a la variabilidad aleatoria de las magnitudes de influencia en el curso de la medición entonces podría a aplicarse el criterio de que la diferencia I x 1 x 2 I no debe ser más m s grande que la razonable variación n esperada solo por la variabilidad aleatoria de las magnitudes de influencia en el curso de la medición. 25
Entonces para comparar las repetibilidades de ambos analistas aplicamos el test F de Fisher- Snedecor. Según n el acápite 1.3.5.9 del manual estadístico stico on line del NIST formamos el estadístico stico F dado por: 2 s2 F...(2) 2 s 1 26
Claramente se observa que entre más m parecidas sean entre sís las repetibilidades de los dos analistas, es decir entre más m se parezcan entre sís s 1 y s 2 entonces el estadístico stico F será más s cercano a 1. 27
Escojamos la designación n de los analistas 1 y 2, que hasta aquí ha sido arbitraria, de modo que se le asigne el numero 1 al analista que muestra la más m s pequeña a s, por lo que F siempre será mayor o igual que 1. Posiblemente el analista 1 sea el más s experimentado.
El número n de grados de libertad para los resultados 1 y 2 son respectivamente: n 1 1 2 n2 1...(3) 1...(4) 29
Escojamos un nivel de significancia adecuado para el test F. Es muy usual adoptar un nivel de significancia del 95%, por lo que en las tablas de la distribución F (o usando las herramientas estadísticas sticas del Excel que lo da directamente) puede verse que para un nivel de significancia del 95 % con v 1 y v 2 grados de libertad en el numerador se tiene un valor dado que llamamos el F critico 30
En el caso del ejemplo dado, para 3 grados de libertad en el denominador y 3 grados de libertad en el numerador, con un nivel de significancia del 95% se tiene : F critico = 9,2766 31
por lo que s 2 no puede ser mayor que: F crítico 9,2766 3,046 veces la desviación n estándar de s 1. 32
La desviación n estándar ponderada de los dos resultados está dada por: s p 2 1 1s 1 2s 2 2 2...(5)
Denotamos como E t el coeficiente de compatibilidad para los resultados de los dos analistas. Según n se deduce del acápite 1.3.5.3 del manual estadístico stico on line del NIST; E t está dado por: x1 x2 Et...(6) t s / n 1/ n critico p 1 1 2 donde t critico es el valor que se obtiene en las tablas de la distribución n t de Student para un nivel de probabilidad escogido ( típicamente t 95 % ) y para (v 1 +v 2 ) grados de libertad. 34
Para el caso del ejemplo se tienen (3+3) = 6 grados de libertad y para un 95% de probabilidad, entonces el valor de t critico es 2,45. Esto puede verse también n en la tabla G.2 de la Guía a de Incertidumbre (GUM). 35
Si E t es menor o igual que 1 se concluye que no hay diferencia estadísticamente sticamente significativa entre los resultados del analista 1 con los resultados del analista 2 y por lo tanto sus resultados son compatibles. Si E t es mayor que 1 se concluye que sís hay diferencia estadísticamente sticamente significativa entre los resultados del analista 1 con los resultados del analista 2 y por lo tanto sus resultados NO son compatibles. 36
EJEMPLO 37
SU ATENCION!! 38