PRINCIPIOS DE VALIDACIÓN DE LAS PRUEBAS DE DIAGNÓSTICO PARA LAS ENFERMEDADES INFECCIOSAS

Transcripción

1 CAPÍTULO PRINCIPIOS DE VALIDACIÓN DE LAS PRUEBAS DE DIAGNÓSTICO PARA LAS ENFERMEDADES INFECCIOSAS RESUMEN La validación consiste en la evaluación de un proceso para determinar su idoneidad para un uso particular e incluye la optimización y demostración de las características de realización. Un ensayo validado genera resultados de una prueba que identifica la presencia de un componente (ej. un anticuerpo) y permite realizar predicciones acerca del estado de los sujetos analizados. Los ensayos realizados sobre individuos o poblaciones con diversos fines, tales como ayudar a: documentar la ausencia de la enfermedad en un país o región, evitar su propagación a través del comercio, erradicar una infección de una región o país, confirmar el diagnóstico de casos clínicos, estimar la prevalencia de la infección para facilitar el análisis de riesgos, identificar los animales infectados con el fin de implementar medidas de control y clasificar los animales según la salud de la manadas o el estado de inmunización después de la vacunación. Es posible validar una única prueba para uno o varios propósitos mejorando algunas características de su realización en cada caso (por ejemplo, elevando el nivel de sensibilidad del diagnóstico - hasta el 99,99%- y disminuyendo a la vez su especificidad para un ensayo general, o inversamente, estableciendo una alta especificidad asociada a un bajo nivel de sensibilidad en una prueba confirmativa). Los principios de validación abordados en este capítulo se centrarán principalmente en los métodos para detectar anticuerpos en sueros. No obstante, estos mismos principios podrían aplicarse a la validación de pruebas para otros componentes en sueros o tejidos. En el capítulo 1.1.3, Validación y control de calidad de los métodos de la reacción en cadena de la polimerasa utilizados para el diagnóstico de las enfermedades infecciosas, se amplían los principios aquí esbozados al análisis de un método directo de detección del agente infeccioso: ensayo de diagnóstico molecular. Si consideramos las variables que pueden afectar a la realización de un ensayo, podremos apreciar más claramente los criterios que deben tenerse en cuenta para su validación. Estas variables pueden agruparse en tres categorías: (a) la muestra - que refleja las interacciones hospedador/organismo que influye en la composición y concentración del componente a analizar en la muestra de suero; (b) el sistema de ensayo - que incluye factores físicos, químicos, biológicos y técnicos que afectan a la capacidad de la prueba para detectar en la muestra un componente específico; y (c) el resultado de la prueba - es decir, la capacidad del sistema de ensayo para predecir de forma precisa el estado del individuo o de la población en relación con el componente en cuestión. Los factores que afectan la concentración y la composición de un componente de la muestra de suero son atribuibles principalmente al hospedador y son o bien inherentes (v.g. edad, sexo, raza, estado nutricional, preñez, respuesta inmunológica) o adquiridos (v.g. anticuerpo adquirido de forma pasiva, inmunidad activa propiciada por vacunación o infección). Factores no relacionados con el hospedador, tales como la contaminación o el deterioro de la muestra, pueden afectar también al componente a analizar en dicha muestra. Los factores que interfieren con la precisión analítica del sistema de prueba incluyen: la instrumentación, el error técnico, la selección y calibración de reactivos (tanto químicos como biológicos), la exactitud y los límites de aceptación de los controles, los recipientes de las reacciones, la calidad del agua, el ph y la fuerza iónica de los tampones y diluyentes, las temperaturas de incubación y su duración y el error introducido por la detección de componentes estrechamente relacionados del tipo de anticuerpos con reacción cruzada, el factor reumatoide o el anticuerpo heterófilo. Manual de pruebas de diagnóstico para los animales acuáticos

2 Chapter Principles of validation of diagnostic assays for infectious diseases Las medidas que influyen en la capacidad del resultado de la prueba para predecir con exactitud la infección y el nivel de un componente analizado en el hospedador 2 son la sensibilidad y especificidad diagnósticas y la prevalencia de la enfermedad en la población objeto de la prueba. La sensibilidad y especificidad diagnósticas se derivan de los resultados de pruebas con muestras obtenidas de los animales de referencia seleccionados con un estado conocido del componente objeto de análisis. Los métodos usados para seleccionar los animales de referencia son cruciales para la exactitud de las estimaciones (5). El grado en que los animales de referencia representan todas las variables medioambientales y del hospedador en la población examinada tiene una influencia fundamental en la adecuada interpretación de los resultados. Por ejemplo, los clínicos experimentados saben que un ensayo validado para un tipo de ganado del norte de Europa puede que no sea adecuado para suministrar resultados válidos cuando se aplica a poblaciones de ganado de África. La capacidad del resultado positivo o negativo de una prueba para predecir de forma precisa el estado de un animal o población con respecto a una infección es la consideración más importante para la validación de un ensayo. Esta capacidad no sólo depende de un ensayo preciso y muy fiable, y de estimaciones cuidadosamente obtenidas acerca de la sensibilidad y la especificidad de diagnóstico, sino que también está muy influenciada por la prevalencia de la infección en la población sometida a análisis o por la probabilidad de que un animal esté infectado según criterios clínicos. Sin una estimación real de la prevalencia de la enfermedad en esa población o de la probabilidad de infección en un animal aislado, la interpretación del resultado positivo o negativo de una prueba puede resultar dudosa. Por supuesto, antes de considerar validado un ensayo se deben tener en cuenta muchas variables (5, 16). Sin embargo, no hay consenso sobre si el concepto de validación de un ensayo es un proceso temporalmente limitado, en el que solamente se optimizan y estandarizan aquellos factores inherentes al ensayo, o bien si supone una validación continuada del ensayo por todo el tiempo en el que el ensayo puede ser usado. De acuerdo con lo descrito, el término "ensayo validado" puede llevar a varias interpretaciones entre los técnicos de laboratorio y los veterinarios clínicos. Por consiguiente, se ofrece una definición funcional de la validación de un ensayo como marco para las directrices esbozadas a continuación. En teoría, todas las pruebas diagnósticas deberían ser completamente validadas para uno o varios fines, pero en la práctica a veces existen limitaciones para una validación completa. A. DEFINICIONES DE VALIDACIÓN DE UN ENSAYO Definición 1. Desde la perspectiva de los resultados del laboratorio obtenidos en una prueba a lo largo del tiempo, un ensayo validado proporciona de forma consistente resultados de prueba que identifican a los animales como positivos o negativos para un componente o proceso (v.g. anticuerpo, antígeno o endurecimiento en el sitio de prueba de la piel) y, por inferencia, predice con exactitud el estado de infección y/o exposición de animales con un grado predeterminado de certeza estadística 3. Esto es conocido como validez analítica. 2 A lo largo de este capítulo, los términos positivo y negativo se emplean con relación a los resultados de pruebas y nunca para designar el estado de infección o el nivel de anticuerpo/antígeno en el hospedador. Cuando se hace referencia a infección o compuesto a analizar se supone la existencia de algún modo de exposición a un agente infeccioso que puede ser detectado de modo directo (como antígeno) o indirecto (como anticuerpo) por una prueba de ensayo. 3 Según esta definición, la sensibilidad y especificidad diagnósticas son características de la realización de una prueba para una población estudiada. Ambas carácterísticas determinan en conjunción con la prevalencia de la enfermedad en la población- la probabilidad de que un resultado concreto de una prueba refleje el verdadero estado del animal. Puede aceptarse como validada una prueba si se dispone de estimaciones fiables de la sensibilidad y la especificidad diagnósticas para la población estudiada. Esto no implica la exigencia de unos determinados valores-umbral de esos dos parámetros. En aplicaciones prácticas, unos valores de sensibilidad o especificidad bajos o problemas de diagnóstico debidos a una prevalencia baja de la enfermedad se compensan con el diseño de muestreo o combinando muchas pruebas de diagnóstico ya sea en paralelo, ya sea secuenciadas. La selección de las pruebas, el proceso de muestreo, la combinación de múltiples pruebas en un determinado régimen de ensayo y la regla de interpretación de resultados hacen posible una definición del proceso de diagnóstico. 12 Manual de pruebas de diagnóstico para los animales acuáticos 2006

3 Capítulo Principios de validación de las pruebas de diagnóstico para las enfermedades infecciosas Definición 2. Desde la perspectiva de un investigador o usuario de la prueba, la validación de un ensayo es el desarrollo y verificación de las características de realización del método de prueba a un nivel definido de confianza estadística para una población diana particular. Esto también se conoce como validez de diagnóstico. Para cualquier definición, el ensayo es válido sólo en la medida en que sus características de realización son coherentes con el propósito para el que se propone el ensayo. Este capítulo se centrará en los principios que fundamentan el desarrollo y mantenimiento de un ensayo validado. Las repeticiones previas de este capítulo (12) eran una versión resumida de un artículo de reseña (9). En ese momento, el objetivo era completar la Definición 1 de validación de un ensayo. En este capítulo ampliado y actualizado, el contenido se reestructura en partes de una validación de prueba con el formato de la Plantilla de Validación de la OIE, y abarca las definiciones 1 y 2 de validación de un ensayo. Además del proceso de validación per se, se ofrece orientación sobre métodos científicamente sólidos para el desarrollo, mantenimiento y extensión de los criterios de validación para un ensayo dado. Se debe enfatizar que un ensayo, cuando se aplica a poblaciones diana, minimizará las clasificaciones erróneas de animales como positivos falsos o negativos falsos sólo en la medida en que la validez está asegurada para todos los elementos del proceso de validación del ensayo. (Véase la sección C). Esto supone que el ensayo es adecuado para lo que se pretende (v.g. un ensayo confirmativo probablemente producirá muchos resultados negativos-falsos si se utiliza como un ensayo de análisis preliminar). Esto también supone que un método de prueba bien documentado y bien diseñado y unos reactivos estandarizados y apropiados, en combinación con técnicos bien preparados, proporcionará un ensayo estable en el laboratorio. Además, esto supone un uso exhaustivo del diseño experimental más riguroso y de las herramientas epidemiológicas y estadísticas. Dichas herramientas se requieren para reducir el sesgo, errores aleatorios y falsas suposiciones acerca de la población de referencia de los animales sobre las que se hacen estimaciones de realización del ensayo (5). Finalmente, esto supone que, en la práctica, el ensayo se aplica dentro del contexto de un programa de garantía de calidad riguroso. B. VALIDACIÓN DE UN ENSAYO INTRODUCCIÓN 1. SELECCIÓN DE UN ENSAYO ADECUADO PARA EL FIN PERSEGUIDO El documento de la OIE Standard for Management and Technical Requirements for Laboratories Conducting Tests for Infectious Animal Diseases (14) es una interpretación específica de los requisitos descritos de forma más general relativos a la norma de calidad internacional 17025:2005 de la ISO/IEC para los laboratorios de prueba (8). La Norma de Calidad de la OIE estipula claramente que los métodos de prueba y los procedimientos relacionados deben ser apropiados para aplicaciones de diagnóstico específicas con el fin de que los resultados de las pruebas sean relevantes. En otras palabras, el ensayo debe ser adecuado a un fin. Además, en la Norma de Calidad se pone de manifiesto que con el fin de que el método de la prueba sea considerado apropiado, éste debe validarse adecuadamente y que dicha validación debe respetar los principios esbozados en los capítulos sobre validación de este Manual de animales acuáticos. Mientras este capítulo trata de la validación y de la adecuación para un propósito desde una perspectiva científica, también debería tenerse en cuenta que otros factores pueden afectar la relevancia de un ensayo con respeto a la adecuación para un propósito. Estos factores incluyen no solo la adecuación del diagnóstico del ensayo sino también su aceptación por parte de las comunidades científica y reguladora, la aceptación por parte del cliente y la viabilidad proporcionada por los recursos de laboratorio. A menudo se pasan por alto los requisitos de tipo operativo que pueden incluir los costes de ejecución, los requisitos de equipamiento, nivel de sofisticación técnica y de habilidades de interpretación, disponibilidad de kits/reactivos, caducidad del producto, requisitos de transporte, seguridad, bioseguridad, rendimiento de las muestras, tiempo para la devolución, aspectos de control de calidad y garantía de calidad. Manual de pruebas de diagnóstico para los animales acuáticos

4 Chapter Principles of validation of diagnostic assays for infectious diseases Como se esboza en la información de fondo en la Certificación de ensayos de diagnóstico de la página Web de la OIE ( el primer paso es seleccionar un tipo de ensayo que pueda ser validado para un uso particular. El fin o fines perseguidos mediante un ensayo se han definido ampliamente como: a) Demostrar que la población está libre de infección (aparentemente, prevalencia cero) i) Libre con y/o sin vacunación ii) Libre historicamente iii) Restablecimiento de la libertad mediante el seguimiento de los brotes; b) Demostrar que están libres de infección animales individuales o productos con fines comerciales; c) Demostrar eficacia de las políticas de erradicación; d) Confirmar el diagnóstico de casos clínicos; e) Estimar la prevalencia de la exposición o infección para facilitar el análisis de riesgos (inspecciones, clasificación del estado de salud de las manadas, implementación de medidas de control de la enfermedad); f) Determinar el estado inmune de los animales individuales o de las poblaciones (después de la vacunación). Como se dijo anteriormente, cuando analizamos un ensayo para un propósito específico, deberían considerarse otros factores de adecuación en el proceso inicial de toma de decisiones. Los requisitos operativos son a menudo pasados por alto y pueden incluir: costes de ejecución, requisitos de equipamiento, disponibilidad de kits/reactivos, caducidad del producto, requisitos de transporte, seguridad, bioseguridad, rendimiento de las muestras, tiempos para la devolución, etc. 2. CONSIDERACIONES INICIALES PARA EL DESARROLLO DE UN ENSAYO En este capítulo se utilizará un enzimoinmunoensayo indirecto (ELISA) para la detección de anticuerpos, con el fin de ilustrar los principios de validación de un ensayo. Este es un tipo de ensayo que puede ser difícil de validar debido a la amplificación de señales de los componentes específicos y no específicos (2). Esta metodología sirve para poner de relieve los problemas que necesitan ser abordados en cualquier proceso de validación de un ensayo. Los mismos principios básicos se utilizan en la validación de otros formatos de ensayos simples y complejos. El capítulo 1.1.3, Validación y control de calidad de los métodos de la reacción en cadena de la polimerasa utilizados para el diagnóstico de enfermedades infecciosas, describe los principios para la validación de las técnicas de amplificación de genes. La selección de muestras apropiadas, de instrumentación calibrada y de una metodología relevante para alcanzar el fin deseado, constituyen elementos cruciales para la validación de un ensayo. La continuidad en los experimentos está asegurada cuando los reactivos y las muestras se seleccionan, se preparan adecuadamente, se dividen en alícuotas, y se guardan para su uso en cada experimento. Esto reduce la variabilidad y proporciona datos necesarios para establecer controles apropiados a fin de asegurar la validez de cada realización del ensayo. a) Muestras de control Es útil seleccionar cuatro o cinco muestras (de suero en nuestro ejemplo) cuyos niveles de anticuerpos contra la infección del agente en cuestión oscilen entre alto y bajo. Además, se precisa una muestra que no contenga anticuerpos. Estas muestras serán utilizadas para optimizar los reactivos del ensayo y el protocolo durante los estudios de viabilidad y más tarde como muestras control. Las muestras preferentemente deberían representar a los animales de los que se sabe que están o no infectados, procedentes de la población que eventualmente va a ser objeto del ensayo validado. Las muestras deberían haber dado los resultados esperados en uno o más ensayos serológicos distintos del que se está validando. Las muestras provienen preferentemente de animales individuales pero pueden representar agrupaciones de muestras de varios animales. Una 14 Manual de pruebas de diagnóstico para los animales acuáticos 2006

5 Capítulo Principios de validación de las pruebas de diagnóstico para las enfermedades infecciosas práctica que resulta adecuada es preparar un gran volumen de cada muestra (v.g. 100ml o más si es posible) y dividirlo en alícuotas de 0,1 ml para almacenarlas a -20ºC o menos. Se descongela una alícuota de cada muestra, se usa en los experimentos y luego es preferible descartarla. Si no resulta práctico descartar la alícuota, ésta se puede mantener a +4ºC entre experimentos durante al menos dos semanas; sin embargo, existe la posibilidad de que la muestra se deteriore en esas circunstancias. Entonces se descongela otra alícuota para una futura experimentación. Este método proporciona la misma fuente de suero con el mismo número de ciclos de congelación y descongelación para todos los experimentos (la repetición de la congelación y descongelación puede desnaturalizar los anticuerpos, por lo que aquella debe evitarse). Además, la variación se reduce cuando el investigador utiliza la misma fuente de suero para todos los experimentos en lugar de alternar distintos sueros entre experimentos. Este enfoque tiene la ventaja añadida de generar una serie de datos válidos para muestras que se manejan repetidamente. Después de que se completan las fases iniciales de validación de un ensayo, una o varias muestras pueden convertirse en control o controles de suero que constituyen la base para la expresión de los datos y para las estimaciones de la repetitividad tanto durante el ensayo como entre las realizaciones del mismo. Estas muestras también pueden servir como estándares de referencia si se ha predeterminado su actividad; tales estándares proporcionan la seguridad de que las realizaciones del ensayo están produciendo datos precisos (16). Es muy conveniente incluir los Sueros Internacionales Estándar de la OIE, si están disponibles. Con esto se puede lograr la armonización entre el ensayo que se está desarrollando y el método de prueba estándar en el que normalmente se utilizan los sueros internacionales estándar (15). b) Selección del método para obtener resultados normalizados La normalización ajusta los resultados originales de las pruebas de todas las muestras relativas a los valores de control incluidas en cada realización del ensayo (no debe confundirse con transformación de los datos para conseguir una distribución normal de Gauss). El método de normalización y expresión de los datos debería determinarse, preferiblemente, una vez finalizados los estudios de viabilidad. Las comparaciones de los resultados obtenidos día a día y entre laboratorios son más precisas si se utilizan datos normalizados. Por ejemplo, en los sistemas ELISA, los valores originales de densidad óptica (absorbancia) son mediciones absolutas que están influenciadas por las temperaturas ambientales, los parámetros de las pruebas y la instrumentación fotométrica. Para justificar esta variabilidad, los resultados se expresan como una función de la reactividad de una o más muestras de control de sueros que se incluyen en cada una de las realizaciones del ensayo. En el ELISA indirecto, la normalización de los datos se consigue expresando los valores de la absorbancia en uno de los varios modos posibles (16). Un método simple y útil es expresar todos los valores de la absorbancia como un porcentaje de un único control de suero positivo alto que se incluye en cada placa (ratio Muestra/Positiva o M/P). (Este control debe producir un resultado que esté comprendido dentro del límite lineal de la medición). Este método es adecuado para muchas aplicaciones. Se puede aplicar un procedimiento de normalización más riguroso calculando los resultados a partir de una curva estándar generada por varios controles de suero. Esto requiere un algoritmo más sofisticado, como por ejemplo una regresión lineal o un análisis log-logit. Este planteamiento es más preciso porque no se basa solamente en muestras de control muy positivas para la normalización de los datos, sino que en él se utilizan más bien varios sueros control, ajustados a los valores esperados, para trazar una curva estándar desde la que se extrapola el valor de la muestra. Este método también permite la exclusión de un valor de control que puede quedar fuera de los límites de confianza esperados. Para los ensayos a punto final mediante titulación de muestras, tales como neutralización (vírica) del suero, cada realización del ensayo se acepta o rechaza en función de que los valores de control estén dentro de unos límites predeterminados. Como los valores de la muestra generalmente no están ajustados al valor de control, los datos no están normalizados en el sentido estricto del término. Manual de pruebas de diagnóstico para los animales acuáticos

6 Chapter Principles of validation of diagnostic assays for infectious diseases Sea cual sea el método utilizado para la normalización de los datos, es esencial que incluya controles adicionales para cualquier reactivo que pueda introducir variabilidad y, por tanto, entorpezca los intentos de obtención de validez de un ensayo. Es preciso que los valores de normalización de los citados controles se hallen dentro de límites predeterminados (v.g. dentro de un múltiplo apropiado de la desviación estándar de la media de muchas realizaciones de cada control). Los límites elegidos deben reflejar una tasa razonable y tolerable de rechazo de la realización del ensayo y un riesgo aceptable de que algunas muestras de prueba puedan ser clasificadas de forma incorrecta. C. VALIDACIÓN DEL ENSAYO PARTE 1 1. OPTIMIZACIÓN Y ESTANDARIZACIÓN DE LOS REACTIVOS Utilizando sueros control como se describe en la sección B.2 de este capítulo, las concentraciones/diluciones óptimas de antígeno absorbido por la placa, el suero, el conjugado de enzima-anticuerpo y la solución de sustrato se determinan por medio del sistema de tablero de ajedrez de cada reactivo frente a todos los demás reactivos, después de la confirmación de la mejor selección de recipientes de reacción (generalmente la evaluación de dos o tres tipos de placas de microtitulación, cada una con sus diferentes características vinculantes, para minimizar la actividad de fondo mientras se consigue la máxima propagación de la actividad entre las muestras negativas y las muestras positivas altas). Los experimentos adicionales determinan las variables físicas, químicas y temporales del protocolo, incluyendo las temperaturas de incubación y las duraciones; el tipo, el ph, la molaridad del diluyente, tampones de lavado y bloqueo y el equipo utilizado en cada fase del ensayo (por ejemplo las pipetas y los sistemas de lavado que proporcionan una mejor reproducibilidad). a) Rango operativo lineal del ensayo El rango de valores que constituye el rango operativo lineal de un ensayo se determina mejor mediante diluciones seriadas en las cuales un suero positivo alto se diluye de forma seriada en un suero negativo. Luego cada dilución se realiza en una dilución de trabajo óptima en un tampón, y los resultados se representan en forma de curva de respuesta. Esta curva, a veces denominada curva de dosis-respuesta, como es el caso en aplicaciones farmacológicas, establece el rango lineal de los valores del ensayo que son válidos para usar en la prueba. b) Calibración frente a reactivos de referencia i) Estándares internacionales Pueden usarse los sueros estándar y otros reactivos disponibles de la OIE, OMS, FAO u otras organizaciones internacionales para homologar el ensayo con los resultados esperados obtenidos de los reactivos de actividad conocida. ii) Estándares internos Los controles de suero internos (utilizados para la normalización de los datos) y los sueros secundarios estándar adicionales, tales como positivo bajo, positivo alto y sueros negativos (utilizados para las estimaciones de repetitividad en realizaciones rutinarias subsiguientes del ensayo) se pueden adecuar a la curva de respuesta para conseguir los valores esperados para tales sueros. 2. REPETITIVIDAD Es necesaria la evidencia de repetitividad (concordancia entre las réplicas dentro de una realización del ensayo y entre distintas realizaciones del mismo) para garantizar el posterior desarrollo del ensayo. Esto se logra mediante la evaluación de los resultados de un mínimo de tres muestras internas que representen la actividad dentro del rango lineal del ensayo. Los cuadruplicados de estas muestras se prueban en al menos cuatro realizaciones del ensayo para determinar la variación dentro de una 16 Manual de pruebas de diagnóstico para los animales acuáticos 2006

7 Capítulo Principios de validación de las pruebas de diagnóstico para las enfermedades infecciosas realización (en una placa). La variación entre distintas realizaciones se determina utilizando las mismas muestras en un mínimo de 20 realizaciones (en total), por dos o más operarios, preferiblemente en diferentes fechas. Todas las realizaciones deben ser independientes entre sí. A efectos de información sobre los resultados del ELISA, comúnmente se utilizan los valores originales de absorbancia para calcular la repetitividad durante esta parte de la validación porque no se sabe si los resultados del suero control positivo alto, que podrían utilizarse para calcular los valores normalizados, son reproducibles en las primeras realizaciones del formato del ensayo. Además, aún no se han establecido los valores esperados para los controles. Los coeficientes de variación (CV: desviación estándar de las réplicas por la media de las réplicas), generalmente inferior al 20% para los valores de absorbancia originales de la mayoría de las muestras (muestras de titulación baja pueden tener CVs mayores), indican repetitividad adecuada en esta fase del desarrollo del ensayo. Sin embargo, si se produce evidencia de variación excesiva (>30%) de la mayoría de las muestras en la realización del ensayo o entre las distintas realizaciones del mismo, deben llevarse a cabo más estudios preliminares para determinar si es posible la estabilización del ensayo o si debería abandonarse el formato de la prueba. Esto es importante, porque un ensayo que es inherentemente variable tiene una gran probabilidad de no soportar el rigor de la prueba diaria de muestras procedentes de la población diana de animales. Cuando una muestra de control de suero está próxima a agotarse, es esencial preparar y ensayar repetidamente una muestra de reemplazo antes de que se agote el suero. Se incluye la muestra potencial de control en realizaciones del ensayo antes del agotamiento del control original para establecer su relación proporcional con el control casi agotado. Si la muestra agotada fue un control positivo en los ELISA en que el valor normalizado se expresa como un porcentaje de ese control positivo, la diferencia proporcional entre el suero original y el de reemplazo durante la actividad del ELISA debe ser factorizado dentro del algoritmo de normalización para mantener el mismo corte, y, en consecuencia, la misma sensibilidad y especificidad diagnósticas del ensayo. Cuando haya que utilizar otros reactivos de reemplazo, tales como el antígeno para la captura del anticuerpo, los mismos deben producirse utilizando los mismos criterios que para los reactivos originales y deben probarse en al menos 5 realizaciones del ensayo utilizando un panel de sueros que se haya diseñado para ese fin. Debe evaluarse la consistencia de los lotes de reactivos (en serie) de forma que se minimice la variabilidad del ensayo a medida que se precisen nuevos lotes. En la medida de lo posible, es importante cambiar sólo un reactivo cada vez para evitar el problema añadido de evaluar más de una variable al mismo tiempo. La variabilidad se minimiza cuando los reactivos están bien caracterizados por métodos distintos al del ensayo diana. 3. DETERMINACIÓN DE LA ESPECIFICIDAD Y SENSIBILIDAD ANALÍTICAS La especificidad analítica del ensayo es el grado en el que el ensayo no produce reacción cruzada con otros componentes y la sensibilidad analítica es la cantidad más pequeña detectable del componente en cuestión. La especificidad analítica se evalúa utilizando un panel de muestras obtenidas de animales que hayan estado expuestos a organismos genéticamente relacionados que puedan estimular la reacción cruzada de los anticuerpos, o los sueros de animales con presentaciones clínicas similares. Este análisis cerca del vecino es útil para determinar la probabilidad de reacciones positivas-falsas en el ensayo. También es apropiado para documentar el criterio de especificidad de grupo que incluye la detección del componente objeto de análisis en los sueros procedentes de animales que han experimentado infecciones/exposición a un grupo completo o serotipo de organismos que son de interés. La sensibilidad analítica se evalúa mediante el análisis de dilución de punto final, que indica la dilución del suero a la que el componente ya no es detectable, o al menos, no es distinguible de la actividad o de los sueros negativos. El momento más temprano en el que se puede detectar el anticuerpo tras la exposición a un agente infeccioso afecta a la sensibilidad analítica. Este efecto se puede deducir probando las muestras de sangre extraídas en serie de animales con exposición posterior al agente en cuestión. La duración de la presencia de anticuerpos también afecta a la sensibilidad analítica, que Manual de pruebas de diagnóstico para los animales acuáticos

8 Chapter Principles of validation of diagnostic assays for infectious diseases puede determinarse mediante pruebas en serie a largo plazo de animales experimentalmente infectados/expuestos. Si lo que se persigue con el ensayo es el análisis de la actividad de los anticuerpos en los animales, la sensibilidad analítica debe ser alta para conseguir la mayor probabilidad posible de detectar animales infectados. Si no se puede lograr una sensibilidad analítica muy alta, puede que el ensayo no sea apto como ensayo de análisis. Alternativamente, si el propósito del ensayo es la confirmación de otro procedimiento de diagnóstico independiente, se requiere que la especificidad analítica minimice la cantidad de reacción cruzada. Si no se puede lograr ninguno de estos objetivos, hay que recalibrar o reemplazar los reactivos, o debe abandonarse el ensayo. D. VALIDACIÓN DEL ENSAYO PARTE 2 1. DETERMINACIÓN DE LAS CARACTERÍSTICAS OPERATIVAS DEL ENSAYO DESPUÉS DEL ESTABLECIMIENTO DE UN MÉTODO ESTÁNDAR DE ENSAYO Y DE LOS CRITERIOS DE LOS REACTIVOS. Las estimaciones de la sensibilidad y especificidad diagnósticas son los indicadores primarios de ejecución establecidos durante la validación del ensayo. Estos indicadores deben establecerse después del ensayo y los reactivos son estandarizados; la alteración de los protocolos o los reactivos pueden requerir el reestablecimiento de las características de realización. Ellos son la base para el cálculo de otros parámetros desde los cuales se hacen inferencias acerca de los resultados de las pruebas. Por lo tanto, es imperativo que las estimaciones de la sensibilidad y especificidad diagnósticas sean tan exactas como sea posible. Preferentemente, estas estimaciones se derivan del ensayo de series de muestras de animales de referencia con un historial conocido y un estado infeccioso relacionado con la enfermedad/infección en cuestión y relevante para el estado o región en los que ha de aplicarse la prueba, pero no siempre es posible tal cosa. Debería optarse por un diseño de muestreo que permita una estimación de las características de realización del diagnóstico. Sin embargo, éste es un proceso difícil, complicado por las limitaciones financieras y logísticas. También está limitado por el hecho de que pueden no existir ni una población de referencia ni estándares de referencia. A continuación ofrecemos ejemplos de poblaciones de referencia y de metodologías que pueden ayudar en la determinación de las características de realización de la prueba que se esta validando. a) Poblaciones de animales de referencia i) Animales de referencia infectados o expuestos y no infectados o no expuestos La selección de animales de referencia para evaluar las características de ejecución requiere que las variables atribuibles a la población diana estén representadas en las poblaciones de animales de referencia infectados/expuestos y no infectados/no expuestos. Las variables incluyen, aunque no de forma exclusiva, especies, edad, sexo, reproducción, estado nutricional, preñez, estado de infección, estado inmunológico incluyendo el historial de las vacunas y deben anotarse y considerarse los datos históricos, epidemiológicos y clínicos, incluyendo la historia de la enfermedad de la manada. ii) Estado de los animales de referencia determinado por otros ensayos En serología, el estándar de comparación es el resultado de un método o combinación de métodos con los cuales se compara el nuevo ensayo. Aunque el término patrón de oro se usa normalmente para describir cualquier estándar de comparación, debería limitarse a los métodos que clasifican de forma inequívoca a los animales como infectados o no infectados. Algunos métodos de aislamiento tienen problemas de repetitividad y de sensibilidad. Los métodos tipificables como métodos de referencia incluyen el aislamiento inequívoco del agente o criterios histopatológicos y patognomónicos. Debido a que un verdadero método de referencia es inexistente o imposible de alcanzar, a menudo se necesitan estándares de comparación relativos; el más común de ellos incluye los resultados de otros ensayos serológicos. Los cálculos de la sensibilidad y especificidad 18 Manual de pruebas de diagnóstico para los animales acuáticos 2006

9 Capítulo Principios de validación de las pruebas de diagnóstico para las enfermedades infecciosas diagnósticas son más fiables cuando está disponible el método de referencia para la comparación. Cuando sólo están disponibles los estándares relativos de comparación, las estimaciones de la sensibilidad y especificidad diagnósticas para el nuevo ensayo pueden verse afectadas debido a que el error de las estimaciones de la sensibilidad y especificidad diagnósticas se traslada a dichas estimaciones en el nuevo ensayo. Ciertamente, cuando utilizamos pruebas de referencia imperfectas, sin procurar evitar cualquier sesgo, las estimaciones de realización de la sensibilidad y especificidad diagnósticas de la nueva prueba serán defectuosas y, por tanto, inaceptables. iii) Animales de referencia infectados o vacunados experimentalmente Los sueros obtenidos de forma secuencial de animales infectados o vacunados experimentalmente se utilizan para validar un nuevo ensayo. Tales observaciones repetidas de los mismos animales no son aceptables para establecer las estimaciones de la sensibilidad y especificidad diagnósticas en un periodo único de post-exposición porque violan los requisitos estadísticos de las observaciones independientes. Por tanto, es preciso un muestreo de animales experimentales individuales en un punto del tiempo. Además, la exposición a organismos en condiciones experimentales o la vacunación pueden provocar respuestas de anticuerpos que no son, ni cuantitativa ni cualitativamente, las propias de una infección natural de la población diana (9). La cepa del organismo, la dosis y la ruta de administración a los animales experimentales son ejemplos de variables que pueden producir errores cuando se extrapolan las estimaciones de la sensibilidad y especificidad diagnósticas a la población diana. Por estas razones, la validación de un ensayo no debería basarse solamente en animales experimentales. iv) Animales de referencia - Estado desconocido Cuando no es posible agrupar los sueros de animales cuyo estado infeccioso es desconocido, es posible estimar la sensibilidad y especificidad diagnósticas mediante métodos distintos al de referencia o mediante modelos de clase latente (3, 7). Como estos modelos estadísticos son complejos, debería consultarse a un experto para que proporcione asistencia sobre la forma más adecuada de conducir y describir el muestreo de la población o poblaciones diana, sobre las características de otras pruebas incluidas en el análisis y sobre la elección adecuada del modelo y de los métodos de estimación basados en la literatura revisada por pares. 2. DETERMINACIÓN DEL UMBRAL Para llevar a cabo las estimaciones de la sensibilidad y especificidad diagnósticas del nuevo ensayo, primero deben categorizarse los resultados de las pruebas como positivos o negativos. Esto se consigue mediante un punto de corte (umbral o límite de decisión) en la escala continua de resultados de la prueba. Aunque para ese fin se han descrito muchos métodos, ilustraremos con tres ejemplos diferentes estrategias junto con sus ventajas y limitaciones. El primer método establece un punto de corte basado en la distribución de frecuencias (9) de los resultados de las pruebas con animales de referencia infectados y no infectados. Este punto de corte puede establecerse empíricamente por inspección visual de las distribuciones de frecuencia, por medio del análisis de las características de tipo receptor-operador (ROC) (6, 17), o por selección que favorezca bien a la sensibilidad y especificidad diagnósticas, dependiendo del uso que se vaya dar a un ensayo concreto (11). Un segundo enfoque es establecer el punto de corte basándose sólamente en los animales de referencia no infectados, por ejemplo, el percentil 99 en una distribución de frecuencias de los valores de un ensayo para animales de referencia sanos; esto proporciona una estimación de la especificidad diagnóstica pero no de la sensibilidad diagnóstica. El tercer método proporciona un punto de corte intrínseco basado en los resultados de la prueba en sueros extraídos aleatoriamente de la población diana sin conocerse de antemano el estado de infección de los animales (4). Si se da un solapamiento considerable en la distribución de los valores de las pruebas con animales de estado infeccioso conocido, resulta difícil seleccionar un corte que clasifique adecuadamente estos animales según su estado infeccioso. En vez de un corte único, pueden seleccionarse dos que definan una sensibilidad diagnóstica alta (v.g. la inclusión del 99% de los valores de los animales infectados), y Manual de pruebas de diagnóstico para los animales acuáticos

10 Chapter Principles of validation of diagnostic assays for infectious diseases una especificidad diagnóstica alta (v.g. el 99% de los valores de animales no infectados). Los valores que estén entre estos percentiles se clasificarán como sospechosos o ambiguos y requerirán una comprobación mediante un ensayo confirmativo o volver a ensayarse para detectar la existencia de seroconversión. Lo normal es que la selección de la línea divisoria refleje la finalidad del ensayo. Por ejemplo, un ensayo de diagnóstico designado para la sensibilidad diagnóstica alta versus un ensayo confirmativo designado para la especificidad diagnóstica alta requerirá diferentes cortes en el mismo sistema de ensayo. Aunque la finalidad dictamine el corte, sigue siendo deseable un análisis ROC, que mostrará la el potencial de realización del ensayo en otros enclaves epidemiológicos. 3. ESTIMACIONES DE LA REALIZACIÓN DEL ENSAYO a) Número de animales de referencia requerido El número y la clase de muestras de referencia unido a las metodologías utilizadas para obtener las estimaciones de la sensibilidad y especificidad diagnósticas son de la mayor importancia si se quiere validar adecuadamente el ensayo para su utilización con la población de animales objetivo del ensayo. Es posible calcular el número necesario de muestras de referencia de los animales cuyo estado de infección/exposición se conoce para las determinaciones de la sensibilidad y especificidad diagnósticas que tendrán límites definidos estadísticamente. En otro sitio (5, 9), se proporcionan las fórmulas y tablas para determinar el número de muestras necesario. b) Estimaciones de la sensibilidad y especificidad diagnósticas basadas en animales de referencia con un estado de infección definido La selección del corte permite la clasificación de los resultados de las pruebas dentro de las categorías positivo o negativo. La determinación de la sensibilidad y especificidad diagnósticas se realiza asociando los datos categóricos negativos/positivos con el estado infeccioso conocido de cada animal mediante una tabla (tabla 1) de dos direcciones (2 2). Después de establecer el corte, los resultados de las pruebas con sueros estándar se pueden clasificar como positivos verdaderos (PV) o negativos verdaderos (NV) si concuerdan con los resultados de la prueba de referencia (o con otros estándares de comparación). Alternativamente, se pueden clasificar como positivos falsos (PF) o como negativos falsos (NF) si no concuerdan con el estándar. La sensibilidad de diagnóstico se calcula como PV/PV+NF) mientras que la especificidad de diagnóstico es NV (NV+PF); el resultado de ambos cálculos se expresa generalmente en porcentajes (tabla 1). Tabla 1. Cálculos de la sensibilidad y especificidad diagnósticas mediante una tabla de 2 2 que asocia el estado de infección con los resultados de la prueba con animales de referencia Animales de referencia cuyo estado infeccioso es conocido Infectados (n = 600) No infectados (n = 1400) Positivo Resultados de la Prueba PV NF PF NV Negativo Sensibilidad de Diagnóstico Especificidad de Diagnostico PV PV + NF = = 95.0% NV NV + PF 1354 = 1400 = 96.7% 20 Manual de pruebas de diagnóstico para los animales acuáticos 2006

11 Capítulo Principios de validación de las pruebas de diagnóstico para las enfermedades infecciosas c) Estimaciones de la sensibilidad y especificidad diagnósticas basadas en animales con estado infeccioso no definido Tal como se mencionó anteriormente, estos modelos estadísticos son complejos, y debería buscarse el consejo de los expertos no sólo para el diseño del estudio de evaluación sino también para la interpretación de las estimaciones de la sensibilidad y especificidad diagnósticas. Se ha recomendado a la OIE formar un grupo de expertos para dirigir la aplicación de los modelos de clase latente y para elaborar las directrices de los modelos a utilizar en la validación y certificación de ensayos por la OIE. 4. COMPARACIÓN Y ARMONIZACIÓN DE ENSAYOS La mayoría de los nuevos ensayos se desarrollan para mejorar las técnicas existentes. Con el fin de demostrar que un nuevo ensayo supone una mejora de las técnicas existentes, debe existir alguna forma de comparación que demuestre dicho avance. La comparación puede estar relacionada con aspectos de realización analítica o de diagnóstico. También puede estar relacionada con aspectos operativos tales como coste, resistencia, tiempos de respuesta, productividad, etc. Si el nuevo ensayo se va a incorporar a un régimen de diagnóstico que involucra otros métodos de prueba, debe establecerse la base lógica para su uso, la interpretación de los datos y la toma de decisiones. Si se dispone de un método internacional estándar (15) para la detección de un componente, es posible armonizar la realización de ese método con la del método que se está desarrollando. Este proceso requiere el uso de los mismos controles de suero y/o estándares en ambos ensayos. Si se dispone de sueros estándar de la OIE u otros sueros internacionales estándar, a ser posible, de por lo menos tres (negativo, positivo bajo y positivo alto), los mismos deben incluirse en el estudio de comparación de ensayos. Esto podría conducir a un nuevo ensayo que es añadido a un método estándar internacional y a sueros internacionales estándar (15). En ese momento se puede realizar la armonización de estos dos ensayos. Es vital que se controlen todas las muestras, los reactivos de las pruebas y el protocolo o las instrucciones para realizar el ensayo. Si los reactivos suministrados no provienen de una fuente común, los laboratorios deberán producir y caracterizar los reactivos de forma independiente. Esto permitirá la determinación de la adecuación del protocolo para la producción y la caracterización de los reactivos. Esto proporciona los datos necesarios para determinar si es necesario establecer una única fuente compartida de reactivos bien caracterizados. Una parte de la evaluación es la determinación de que el protocolo o las instrucciones sean completas, claras y precisas. Si se requieren instrucciones verbales, el investigador debería considerar la revisión del protocolo para garantizar la inclusión de dichas instrucciones. Si se determina que el protocolo o las instrucciones se interpretaron de manera diferente, entonces éstas deben reescribirse y puede ser necesario establecer de nuevo la reproducibilidad utilizando el protocolo o las instrucciones revisadas. E. VALIDACIÓN DEL ENSAYO PARTE 3 1. DETERMINACIÓN DE LA REPRODUCIBILIDAD DE UN ENSAYO Debe evaluarse la reproducibilidad de un ensayo que se pretende distribuir a muchos laboratorios (como un kit comercial); dicha reproducibilidad se define como la capacidad de un método de prueba para proporcionar resultados consistentes cuando se aplica a alícuotas de las mismas muestras probadas en diferentes laboratorios. Esto se consigue probando un panel de sueros en al menos tres laboratorios, utilizando el mismo método de prueba y los mismos paneles de sueros. Se reúne un panel de prueba formado por al menos 20 muestras. Preferentemente, estas serán muestras individuales de animales de la problación diana, que representan el rango de actividad del ensayo anticipada en esa población. Si no se dispone de dichas muestras, es aceptable, aunque no óptimo, el uso de una dilución de un suero positivo alto con un suero negativo para conseguir el rango de la actividad. Son deseables las réplicas de aproximadamente un 20% de las muestras como comprobación de la repetitividad dentro de cada laboratorio participante. Cada muestra se divide en alícuotas proporcionando series de Manual de pruebas de diagnóstico para los animales acuáticos

12 Chapter Principles of validation of diagnostic assays for infectious diseases paneles idénticos para su distribución entre los laboratorios participantes. Se codifica la identidad de la muestra para su uso en pruebas ciegas y cada panel se maneja y transporta a los laboratorios participantes, donde se almacena de forma idéntica. Las estadísticas descriptivas para los datos de los paneles de prueba acumuladas de los laboratorios incluyen la media, la desviación estándar y el rango de los resultados para cada muestra así como los controles. La evaluación de la precisión y veracidad en cada laboratorio se facilita en forma de gráficas de Youden. Los datos ayudarán a informar sobre la legitimidad de los límites de control superior e inferior del ensayo establecidos por el investigador 1. IMPLEMENTACIÓN DEL PROGRAMA F. VALIDACIÓN DEL ENSAYO PARTE 4 La última prueba de la utilidad de un ensayo consiste en el éxito obtenido tras su aplicación o aplicaciones. Esto incluirá los programas internacionales, regionales o nacionales. A medida que se vayan desarrollando y apareciendo nuevas y mejores pruebas en Internet, éstas sustituirán a las pruebas existentes siempre que se pruebe su superioridad para este fin. Sin embargo, esto sólo sucederá si dichas pruebas se utilizan de forma rutinaria y se documenta su utilidad de forma periódica. En virtud de la progresión natural de los avances tecnológicos y en materia de diagnóstico, algunos de los nuevos ensayos se convierten en el nuevo estándar de comparación. Como tales, los ensayos pueden conseguir, de forma progresiva, el reconocimiento nacional, regional e internacional. Como estándares reconocidos, estos ensayos también se utilizarán para desarrollar reactivos de referencia para los objetivos de control de calidad, competencia y armonización. Los reactivos de referencia también pueden convertirse igualmente en estándares internacionales. El último nivel de validación en los Registros de la OIE incluye documentación relacionada con la aplicación vigente y los niveles de reconocimiento para el ensayo en cuestión. Con ello se pretende proporcionar a los usuarios potenciales una fuente de información imparcial. 2. SEGUIMIENTO DE LA VALIDEZ DE LA OPERATIVIDAD DEL ENSAYO a) Interpretación de los resultados de las pruebas factores que afectan a la validez del ensayo Los resultados de un ensayo son útiles solamente si las inferencias realizadas a partir de los mismos son precisas. Un error común es asumir que un ensayo con una sensibilidad diagnóstica de 99% y una especificidad diagnóstica de 99% generará un resultado positivo-falso y uno negativo-falso por aproximadamente cada 100 pruebas con animales de la población diana. Tal ensayo puede ser preciso y exacto, pero produce resultados de prueba que no predicen con exactitud el estado infeccioso. Por ejemplo, si la prevalencia de la enfermedad en la población objeto del ensayo es de sólo 1 por cada animales, y la proporción de una prueba positivafalsa es de 1 por cada animales (especificidad diagnóstica de 99%), por cada pruebas realizadas con esa población, diez tendrán resultados positivos-falsos y una lo tendrá positivo verdadero. De ahí que sólo en torno al 9% de los resultados de prueba positivos podrá predecir con exactitud el estado infeccioso del animal; los resultados de prueba positivos clasificarán de manera errónea al animal en un 91% de los casos. Esto ilustra el hecho de que la capacidad de un resultado de prueba negativo o positivo para predecir el estado infeccioso del animal depende de la prevalencia de la infección en la población objeto del análisis (10). Por supuesto, es probable que la prevalencia haya sido determinada por el uso de una prueba serológica con su propia clasificación inherente y errónea de resultados. Es necesaria una estimación de la prevalencia en la población diana para calcular los valores predictivos de los resultados de prueba positivos (PV+) o negativos (PV ). Cuando los valores de 22 Manual de pruebas de diagnóstico para los animales acuáticos 2006