TUTORIAL EVALUACIÓN ESTADÍSTICA DE LOS RESULTADOS DR. ARTURO MANLIO TERRÉS SPEZIALE CONFORME A ISO /IEC 17043:2010. México

Transcripción

1 EVALUACIÓN ESTADÍSTICA DE LOS RESULTADOS CONFORME A ISO /IEC 17043:2010 FOR.SGC.38. VERSION TUTORIAL DR. ARTURO MANLIO TERRÉS SPEZIALE México

2 EVOLUCION DE LOS ENSAYOS DE APTITUD

3 VARIABILIDAD TOTAL 2 2 VT = VB + VA VA = Variabilidad Analítica VT = Variabilidad Total VB = Variabilidad Biológica

4 VARIABILIDAD TOTAL 2 2 VT = VB + VA VA VT VB

5 CUANDO ESTA UN METODO EN CONTROL? VARIABILIDAD BIOLOGICA X VARIABILIDAD ANALITICA R: Cuando la VA < VB: CVR < 1.0 CVr = COEFICIENTE DE VARIACION RELATIVO CVa % / CVb %

6

7 CONFIABILIDAD = EXACTITUD + PRECISION ERROR TOTAL = INEXACTITUD + IMPRECISION Precisión: Depende buen mantenimiento del equipo y se verifica en el Programa Interno de Control de Calidad Exactitud: Depende de una buena calibración y se verifica en el EEEC Confiabilidad: Es la suma de Precisión y Exactitud Error Total: Es la resultante de la falta de Precisión y de Exactitud combinadas.

8 CC = VA < VB VARIACION ANALITICA VARIACION BIOLOGICA

9

10 NIVELES DE CONFIABILIDAD META: MANTENER LA VARIABILIDAD ANALITICA EN CONTROL VARIACION ANALITICA 6S VARIACION BIOLOGICA Aspen Tonks -2ds -1ds +1ds +2ds

11 METAS ANALITICAS

12

13

14 ERROR ESTÁNDAR DE LA MEDIA DS N RAIZ ESM La incertidumbre será menor mientras mayor sea la magnitud de la N ES=ERROR ESTÁNDAR Incertidumbre de la Media ES = DS / RAIZ n

15 El Error Estándar de la Media equivale al nivel Six Sigma cuando la muestra contiene 36 datos DS N RAIZ ESM ES=ERROR ESTÁNDAR Incertidumbre de la Media ES = DS / RAIZ n

16 EVALUACION ESTADISTICA EEEC CONSTA DE 4 GRUPOS 1: PARAMETRIZACION 2: VARIABILIDAD BIOLOGICA 3: VARIABILIDAD ANALITICAS : METAS 4: CONFIABILIDAD: EVALUACION DEL DESEMPEÑO

17 EVALUACION ESTADISTICA EEEC CONSTA DE 23 ELEMENTOS

18 PARAMETRIZACION

19 VARIABILIDAD BIOLOGICA

20 METAS ANALITICAS

21 CONTROLES CERTIFICADOS

22

23 VALOR ASIGNADO "LA PRINCIPAL DIFERENCIA ENTRE LOS PROGRAMAS DE EVALUACION EXTERNA DE LA CALIDAD DESARROLLADOS CONFORME A ISO /IEC 17043:2010 Y LOS QUE UTILIZABAMOS EN EL PASADO DEPENDE FUNDAMENTALMENTE DE QUE EN LOS PREVIOS EL VALOR ASIGNADO DEPENDIA DEL CONSENSO DE RESULTADOS EMITIDOS POR LOS PARTICIPANTES DENTRO DE CADA GRUPO DE TRABAJO MIENTRAS QUE EN LA ACTUALIDAD DAMOS UNA MAYOR IMPORTANCIA A LA TRAZABILIDAD Y A LA VALIDACION DE LOS VALORES ASIGNADOS" - CONSENSO INTRAGRUPAL NO ES SINÓNIMO NIMO DE CONFORMIDAD - PARA MAS INFORMACION CONSULTA /trazabilidad

24 VALOR ASIGNADO VALOR VALOR ASIGNADO ASIGNADO X MODO MODO A: A: TRAZABLE TRAZABLE : : INTERSISTEMAS INTERSISTEMAS MODO MODO B: B: CONSENSO: CONSENSO: INTRAGRUPAL INTRAGRUPAL La vigilancia mensual y anual de la trazabilidad valida homogeneidad y estabilidad del control La vigilancia mensual y anual de la trazabilidad valida homogeneidad y estabilidad del control QC PROCESS QC PROCESS MODO A: EVALUACION AUTOMATICA TODOS LOS RESULTADOS MODO A: EVALUACION AUTOMATICA TODOS LOS RESULTADOS CUANDO EL PIV > 100 SE PROCEDE A CUANDO EL PIV > 100 SE PROCEDE A MODO B: VALIDACION INTRASISTEMA CONSENSO MENSUAL MODO B: VALIDACION INTRASISTEMA CONSENSO MENSUAL

25 EVALUACION DE DESEMPEÑO

26 T SCORE INDICE DE DESVIACION ESTÁNDAR T = VALOR RESULTADO ASIGNADO - DSB MEDIANA DEL RANGO VALOR OBSERVADO DESVIACIÓN ESTÁNDAR BIOLOGICA [ 90.0 mg/dl 80.0 mg/dl] / 10.8 mg/dl = 0.9 DS X -1 SD + 1DS -2 2 SD + 2SD Esta Prueba Sirve Para Ubicar Un Resultado Dentro De Los Limites De Referencia En Función De La Curva De Gauss -3 SD +3 SD 68% 95% 99.7 Límites de Referencia T = IDS = 0.9

27 DELTA SCORE EN LA CURVA DE GAUSS Donde se ubica el resultado del reportado por el laboratorio? R. En la columna P = 0.9 DS Donde se ubica el valor Asignado al control? R. En la columna R = 0.6 DS Delta Score = = 0.3

28 DELTA SCORE DELTA SCORE VALOR ASIGNADO VALOR REPORTADO 3 DS X LIMITES DE REFERENCIA

29 DELTA SCORE DELTA SCORE ENDOCRINOLOGIA: DELTA SCORE

30 EVALUACION DE LA EXACTITUD Bias = % de de Error = Sesgo [[ Valor Observado // Valor Asignado ]]--1 X 100 Mientras mas bajo sea el % de error mayor será la exactitud del métodom

31 PRECISION La precisión depende del buen mantenimiento del analizador Cada laboratorio la debe calcular en su PICC: Programa Interno de CC En el EEEC se calcula sobre el Nivel Aspen ( CVR = 0.5) de manera constante Tonks = 1 DS = 1.0 Aspen = ½ DS = 0.5 El nivel Tonks equivale al CVb % en una proporción de 1:1

32 CONFIABILIDAD = PRECISION y EXACTITUD VE ERROR TOTAL = SESGO + IMPRECISION INEXACTITUD VO Delta Score -1 SD + 1DS ACCESA LA CALCULADORA SIGMAMETRICS /herramientas -22 SD + 2SD -3 SD IMPRECISION +3 SD CVR 68% 95% 99.7 VARIABILIDAD ANALITICA ERROR TOTAL X 100 = PIV

33 ERROR TOTAL PARAMETRICO 2 2 ETP = Delta Score x CVR LAS ELEVAMOS AL CUADRADO PARA ELIMINAR EL SIGNO CVR En el EEEC se usa el Nivel Aspen = 0.5 como una constante Cada laboratorio debe calcular su CVR para poder integrar los resultados de su PICC con los del EEEC Delta Delta Score Score ACCESA CALCULADORA SIGMAMETRICS /herramientas

34 EVALUACION DEL DESEMPEÑO ET = (Delta Score)2 ( CVR )2

35 NIVELES DE CONFIABILIDAD TONKS El PIV representa La magnitud relativa de la Variabilidad Analítica con relación a la Variabilidad Biológica VA = 25% VB = 100% PIV = 25 Nivel: Tonks

36 NIVELES DE CONFIABILIDAD Tonks = Sigma 4

37 CONFIABILIDAD INTEGRADA Precisión: Se verifica en el PICC. Programa Interno de Control de Calidad Exactitud: Se verifica en el EEEC. Esquema de Evaluación Externa de la Calidad

38 CONFIABILIDAD INTEGRADA Precisión: Se verifica en el PICC. Programa Interno de Control de Calidad Exactitud: Se verifica en el EEEC. Esquema de Evaluación Externa de la Calidad Confiabilidad: Es la suma de Precisión y Exactitud Error Total: Es la resultante de la falta de Precisión y de Exactitud combinadas. Confiabilidad Integrada: Cada laboratorio debe calcular su CVR para poder integrar los resultados de su PICC con los del EEEC utilizando la calculadora sigmametrics que se presenta en la siguiente página y que se encuentra disponible en nuestro portal de Internet. ACCESA LA CALCULADORA SIGMAMETRICS /herramientas

39 /herramientas

40

41 PRUEBAS CUALITATIVAS CONTROLAR LAS UNIDADES DE REPORTE Captura de resultados cualitativos en forma numérica Positivo = 1.0 ( incluye la sensibilidad en el antibiograma ) Incierto = 0.50 ( incluye la zona gris en inmuno métodos ) Negativo = 0.01 ( incluye la resistencia en el antibiograma ) No valorado = 0.00 ( cuando se deja un resultado en blanco equivale a esta cifra )

42 Sensibilidad = Probabilidad de prueba (+) en presencia de enfermedad Especificidad = Probabilidad de prueba ( - ) en ausencia de enfermedad

43 PRUEBAS CUALITATIVAS A B C D E F G H I J K L M N Ñ O P Q R S T V Nombre del Analito Unidad de Medición Resultado del Laboratorio Limite de Referencia Mínimo ( - 2ds) Límite de Referencia Máximo ( + 2ds) Mediana de los Límites de Referencia ( D + E ) / 2 Rango = ( E - D ) Tonks: Variabilidad Biológica Grupal = [ cuartil ] = ( G / 4 ) CVB%: Coeficiente de Variación Biológico = ( H ) % Valor Esperado Mínimo = K - Ñ ( Nivel de Incertidumbre Six Sigma del Valor Asignado ) Valor Esperado = Media de los Participantes en el Grupo de Trabajo Método Específico Valor Esperado Máximo = K + Ñ ( Nivel de Incertidumbre Six Sigma del Valor Asignado ) Aspen: Expresado como Desviación Estandar Meta Analítica Aspen = Tonks CVB% / 2 Six Sigma: Expresado como Desviación Estandar Meta Analítica Six Sigma = Tonks CVB% / 6 Score del Laboratorio = C Banner Score del Grupo de Trabajo Banner Concordancia IV = Índice de Varianza = Varianza x 100 = ( U x 100 )

44 CALCULO DEL PIV RESULTADO CUALITATIVOS REACTIVO 1.00 ZONA GRIS NO REACTIVO RESULTADO LIMITES TORCH Toxoplasma IgG Cualitativa Toxoplasma IgM Cualitativa Rubeola IgG Cualitativa Rubeola IgM Cualitativa CMV IgG Cualitativa CMV IgM Cualitativa Herpes 1 IgG Cualitativa Herpes 1 Igm Cualitativa Herpes 2 IgG Cualitativa Herpes 2 IgM Cualitativa Herpes 1 / 2 IgG Cualitativa Herpes 1 / 2 IgM Cualitativa NEG POS IV =SQRT((GPO-LAB)*(GPO-LAB))*200 LAB GPO COMPARADOR IV RELEVANCIA MEDICA CONCORDANCIA FALSO FALSO FALSO FALSO FALSO FALSO FALSO FALSO FALSO NEGATIVO FALSO FALSO POSITIVO FALSO 0 30

45 BACTERIOLOGIA

46 BACTERIOLOGIA

47

48 RESUMEN DEL CICLO PREVIO

49 INFORME GRAFICO ACUMULATIVO ANUAL Y MENSUAL

50 ASESORIA ON LINE..

51 REVISION DE RESULTADOS ACCESA LA CALCULADORA SIGMAMETRICS / herramientas

52 MEJORA: QQCDC

53 La entrega de los Diplomas se realiza al terminar la ronda anual en formato electrónico a través del portal de cada Laboratorio. REQUISITOS Participación puntual en 10/12 ciclos de la ronda anual. Todos los programas en control con PIV < 100 Evidencia de mejora continua de la calidad.

54 BIBLIOGRAFIA ISO 13528:2015. Statistical Methods for Proficiency Tesying by Interlaboratory Comparison

55 BIBLIOGRAFIA

56 COMPRENDER GENERA EN EL SER HUMANO UNA SENSACION DE FELICIDAD PORQUE LE BRINDA UNA MAYOR POSIBILIDAD DE SOBREVIVIR Carl Sagan (1996)