OSASUN SAILA Osasun Sailburuordetza Osasun Publikoaren eta Adikzioen Zuzendaritza DEPARTAMENTO DE SALUD Viceconsejería de Salud Dirección de Salud Pública y Adicciones Ejercicios de Intercomparación Jornadas de Referencia sobre Análisis de Alimentos Microbiología Centro Nacional de Alimentación 5-7 de junio 2013 Gipuzkoako Osasun Publikoko Laborategia Laboratorio de Salud Pública de Gipuzkoa Carmen Zigorraga Arrien
Ejercicios de Intercomparación Requerimiento UNE EN ISO /IEC 17025 apdo.5.9: Aseguramiento de la calidad 5.9.1: El laboratorio debe tener procedimientos de control de la calidad para realizar el seguimiento de la validez de los ensayos y calibraciones llevados a cabo Dicho seguimiento de ser planificado y revisado y puede incluir, entre otros, los elementos siguientes:.b) la participación en comparaciones interlaboratorios o programas de ensayos de aptitud;. 5.9.2: Los datos del control de calidad deben ser analizados. legal legal COM (Comisión europea 2013) 265 final : Propuesta de Reglamento del Parlamento europeo y del consejo relarivo a los controles oficiales Art. 37 Obligaciones de los laboratorios oficiales- Apdo.2: A petición del laboratorio de referencia de la Unión Europea o del LNR, los laboratorios oficiales participarán en pruebas comparativas interlaboratorios organizadas para los análisis, pruebas o diagnósticos que realicen en su calidad de laboratorios oficiales. Política de ENAC sobre Intercomparaciones NT-03 Rev.5 Sep 2012 Guia sobre la participación en programas de intercomparación G-ENAC-14 Rev 1 Sep 2008
CONTROL OFICIAL CONTROL OFICIAL Laboratorios acreditados (ISO/IEC 1725:2005) Exigencia Conseguir la acreditación Mantenimiento del alcance en el tiempo Alcances ámplios Validación de métodos Evaluación de las actividades de control de calidad de los ensayos Controles Internos Participación en ensayos de Intercomparación/ensayos de aptitud apropiados al alcance Problema: logístico económico PLAN DE PARTICIPACION DE INTERCOMPARACIONES (EI) (NT-03, EA-4/18) Establecer criterios para participar en Ejercicios de Intercomparación Definir: - Nivel / Familia de ensayos incluidos en el alcance - Frecuencia Evaluación
Herramientas para Validación y Caracterización de un método: Materiales de referencia: - Establecen la trazabilidad de los valores asignados - No están disponibles o no cubren el intervalo deseado Competencia Técnica Control interno en rutina: - Los factores del método no varían - No se ponen de manifiesto influencias desconocidas que interfieran en el método (matrices, interferencias ) por no tener referencia externa. Ejercicios de Intercomparación: -Se identifican diferencias entre laboratorios - Se aseguran las actividades intralaboratorio - Se pueden identificar errores (procedimientos inadecuados, equipos, cualificaciones ) - Se comparan resultados emitidos a lo largo del tiempo-tendencias Aporta una evaluación externa e independiente del ensayo
CRITERIOS PARA PARTICIPAR EN UN EJERCICIO DE INTERCOMPARACIÓN A. Nivel/Familia B. Frecuencia Ideal EI específico para cada matriz, técnica, parámetro. Familia de ensayos Problema: logístico Factores que intervienen en un ensayo: Producto/matriz objeto de ensayo Distinguir entre diferentes productos/matrices Método de ensayo Se ajusta al objetivo que quiero evaluar cualitativo/cuantitativo / PCR Parámetro Se corresponda con el que queremos evaluar Intervalo de trabajo que se quiere cubrir Condiciones de ensayo A efectos de Aseguramiento de calidad Justificar la equivalencia comparabilidad Datos Validación Mismo método standard (ISO ) El resultado del ejercicio de intercomparación debe estar correlacionado con los otros componentes del grupo
CRITERIOS PARA PARTICIPAR EN UN EJERCICIO DE INTERCOMPARACIÓN (G-14 r1:2008) A. Nivel/Familia B. Frecuencia Cada Laboratorio ha de definir la frecuencia mínima de participación En función de: Complejidad del método: a mayor complejidad mayor frecuencia Variabilidad de matrices o interferentes de difícil control en la validación Volumen de actividad: No por baja frecuencia analítica el control ha de ser bajo Histórico de intercomparaciones La frecuencia ha de ser coherente con el empleo de otras herramientas de control: (MR, Control Interno, muestras ciegas, participación en desarrollo de métodos/validación de métodos, caracterización de MRs.) Recomendaciones (EA-4/18, NT-03) Para cada ensayo/familia incluidos en el alcance, al menos UNA participación en el periodo entre reevaluaciones
Ej: Caso estudio 2 Laboratorio de análisis microbiológico EA-4/18 TA:2010 - Guidance on de level and frequency of proficiency testing participation Análisis acreditados por el Laboratorio Recuento de E.coli en productos cárnicos Recuento de Salmonella en productos cárnicos Recuento de E. coli en vegetales Recuento de Salmonella en vegetales Recuento de E.coli en productos lácteos Recuento de E,coli en agua de consumo Recuento de E.coli en aguas de piscinas Método analítico Parámetro Matrices Validación A E.coli Ptos. cárnicos SI A E.Coli Vegetales SI B E.Coli Ptos. lácteos SI C Salmonella Ptos. cárnicos Si C Salmonella Vegetales SI D E.Coli Aguas consumo D E.Coli Piscinas Si SI Resultado familias del ejercicio Recuento de E.coli en productos cárnicos y vegetales Recuento de Salmonella en productos cárnicos y vegetales Recuento de E. coli en productos lácteos Recuento de E.coli en aguas de consumo y piscinas Racionalizar la carga de los ensayos de intercomparación?
OPCIONES de Participación n en Programas de Intercomparación (NT-03) 1º Organizados por proveedores acreditados según norma ISO/IEC 17034 2º Organizados por proveedores no acreditados según norma ISO/IEC 17034 3º Participación de número estadísticamente adecuado de laboratorios 4º Participación de un número no adecuado de laboratorio (valor de referencia para la medida no de consenso) 5º Dificultad en participar Tener en cuenta 1.Muestra de ensayo: homogénea, estable, lo mas aproximado a las muestras que analizamos habitualmente 2. Transporte 3. Instrucciones claras y completas.. 4. Estadística utilizada en la evaluación ( conforme a G-ENAC 14 ): tipo de método de evaluación valor asignado/valor de consenso 5. Informe: datos de participación, resultados, incertidumbre evaluación del rendimiento
EVALUACIÓN del EJERCICIO EN MICROBIOLOGIA - Valor asignado: valor asignado a partir del diseño de muestras, resultados y controles internos obtenidos por el laboratorio organizador (Informe preliminar ) valor asignado por consenso (media o mediana de los participantes) (informe final) Pruebas estadísticas - Identificación de resultados anómalos y Valoración de la participación: Cálculo de Percentiles: para un número de participantes superior a 50. Percentiles de 11º a 89º Percentiles de 6º a 10º o de 90º a 95º Percentiles de 0º a 5º o de 96º a 100º satisfactorio cuestionable insatisfactorio Test de Mediana Robusta: comparación del resultado del laboratorio con respecto a la mediana del conjunto. Mediana ±2Sd satisfactorio Mediana ±2Sd a Mediana ±3Sd cuestionable > Mediana ±3Sd insatisfactorio
EVALUACIÓN del EJERCICIO EN MICROBIOLOGIA Desviación Mediana Absoluta (MAD): Cálculo de la diferencia del resultado del laboratorio con respecto a la mediana del conjunto* una constante (1,4826)= valor MAD. Menos de 50 participantes. Mediana ±2MAD satisfactorio Mediana ±2MAD a Mediana ±2,58 MAD cuestionable > Mediana ±2,58 MAD insatisfactorio Regla de las 0.5 unidades log 10 : Fundamentada en criterios microbiológicos Mediana ± 0,5 log satisfactorio > Mediana ± 0,5 log cuestionable o insatisfactorio Puntuación Z-score: Diferencia entre el resultado del participante y el valor asignado (mediana de participantes). Z= -1,99 a +1,99 satisfactorio Z= (x-x) σ Z= -2 a -2,99 ó +2 +2,99 cuestionable Z=<-3,00 ó >+3,00 insatisfactorio (NMP Z= ±3 y ±5) σ : conforme con el fin pretendido HPA: σ= 0,35, σ Legionella = 0,55 Senate: σ= 0,25 Si 3*μ x > σ (x-x) Z = σ 2 +μ 2 x
Evaluación de Dispersión de datos del conjunto de participantes Excelente indicador de la bondad del ejercicio en microbiología Se debe evaluar la relación entre la dispersión obtenida en el ejercicio y la considerada adecuada al fin pretendido > De otro modo puede ser indicativo de una distribución bimodal σ p : desviación adecuada al fin pretendido σ ejercicio : desviación estándar que describe la dispersión de resultados de los participantes n Resultados dispersos: Tipo de muestra? Materiales utilizados (cepas?) Recuentos bajos
Casos prácticos RESULTADOS INSATISFACTORIOS/ CUESTIONABLES 1. Recuento de NMPde E.coli y Salmonella en moluscos (AESAN) Detección Salmonella: A/P Metd: ISO 6579 Recuento E. coli: NMP ISO 16649-3 Preparación de la muestra Inóculo Controles de homogeneidad y estabilidad Evaluación de los resultados Recuento de NMP: - Transformación logarítmica de los resultados de NMP - Cálculo de media y DESVEST de los dos duplicados - Cálculo de Zscore σ=0,24 en términos de log decimal (ISO/TS 22117:2010) X= valor asignado mediana de los participantes X: valor del laboratorio Z= (x-x) σ Z 3 Satisfactorio (mediana ±0.72 log) 3<Z 5 Cuestionable (±0.72 a 1.20 log) (HPE) Z>5 No satisfactorio (±1.20 log) Satisfactorio: mediana±2,68 σ Cuestionable: mediana ±>2,68±<4 σ No satisfactorio: mediana:±<4 σ σ=0,26 en términos de log decimal
2. Casos prácticos Standard (HPE) Detección Patógenos: A/P Recuento de indicadores: Enterobacterias, Coliformes Recuento de aeróbios Evaluación: RESULTADOS INSATISFACTORIOS/ CUESTIONABLES organiza Detección: Ausencia/Presencia Identificación, serotipo. Recuentos: diferencia valor laboratorio y mediana de participantes. ± 0,5 log Distri butio Sample n No: No: fecha AÑO Indicators FEPTU (log10 values) Differenc e FEPTU EVAL inicial Participa nts median (log10 values) Lab Lab (log10 values) Differen ce median a HPA 211 E0464 15/09/10 2010 Enterobacterias 3,97-0,32 OK 3,9 4,47E+03 3,65-0,25 OK EVAL final Upper Cut off Lower Cut off 0,5-0,5 1/2 ptos (max.2) VRBG 2 Z-score COMENTARIOS HPA 215 E0471 31/1/11 2010 Enterobacterias 4,5-0,50 OK 4,25 2,24E+03 4,00-0,25 OK 0,5-0,5 VRBG 1 HPA 215 E0472 31/1/11 2010 Enterobacterias 3,15-0,05 OK 3,40 1,26E+03 3,10-0,30 OK 0,5-0,5 VRBG 2 HPA 223 E0488 23/10/11 2011 Enterobacterias 3,91-0,57 MAL 3,77 2,20E+03 3,34-0,43 OK 0,5-0,5 VRBG 2 AESAN F1-12 F1-12-074-11 17/10/11 2011 Enterobacterias 3,77 2,60E+03 3,41-0,36 OK 0,5-0,5 VRBG 2-0,62 z-score manual HPA 227 E0495 23/4/12 2012 Enterobacterias 3,3-0,12 OK 3,50 1,50E+03 3,18-0,32 OK 0,5-0,5 VRBG 2-0,62 z-score manual HPA 227 E0496 23/4/12 2012 Enterobacterias 3,04 0,44 OK 3,04 3,00E+03 3,48 0,44 OK 0,5-0,5 VRBG 2-0,62 z-score manual HPA 235 E0511 3/10/12 2012 Enterobacterias 5,5-0,35 OK 5,63 1,40E+05 5,15-0,48 OK 0,5-0,5 VRBG 2-0,62 z-score manual HPA 235 E0511 3/10/12 2012 Enterobacterias 3,54-0,18 OK 3,61 2,30E+03 3,36-0,25 OK 0,5-0,5 VRBG 2-0,62 z-score manual AESAN F1-12 F1-12-078-12 16/10/12 2012 Enterobacterias 3,36 0,02 OK 3,36 2,40E+03 3,38 0,02 OK 0,5-0,5 VRBG 2-0,62 z-score manual 1,00 Tendencias rto Enterobacterias PNT MAL 06 - Extended Scheme (2010-2012) Estudio de tendencias 0,80 0,60 0,40 0,20 0,00-0,20-0,40-0,60-0,80-1,00
3. Casos prácticos PT46 Norovirus (Genotipos I y II) y Virus de Hepatitia A en Moluscos (CEFAS) Detección: Recuento Evaluación: Detección: Porcentaje de exactitud global de muestras de moluscos Recuentos: Descripción de nº de copias de cada Laboratorio (no se evalúa) Resultados globales de los participantes TP: verdadero positivo FN: Falso negativo FP: Falso positivo TN: Verdadero Negativo N: Total de ejercicios RESULTADOS INSATISFACTORIOS/ CUESTIONABLES Resultados cuantitativos de los participantes copias/g en
EVALUACION DE EJERCICIO Y DEL PROVEEDOR G-ENAC-14 Guia sobre participación en programas de intercomparc.