CERTEZA DIAGNÓSTICA EN LA EVALUACIÓN DE LESIONES DE SENO POR ULTRASONIDO ESTUDIO DE CURVAS ROC

Transcripción

1 CERTEZA DIAGNÓSTICA EN LA EVALUACIÓN DE LESIONES DE SENO POR ULTRASONIDO ESTUDIO DE CURVAS ROC

2 CERTEZA DIAGNÓSTICA EN LA EVALUACIÓN DE LESIONES FOCALES DE SENO POR ULTRASONIDO ANTES Y DESPUÉS DE LA UTILIZACIÓN DE UN PROGRAMA DE DIAGNÓSTICO ASISTIDO POR COMPUTADOR (CAD, COMPUTER ASSISTED DIAGNOSIS): ESTUDIO DE CURVAS RE- CEPTOR OPERADOR DE MÚLTIPLES OBSERVADORES - MÚLTIPLES CASOS AUTOR: Gustavo A. Triana R. M.D. Médico Radiólogo Hospital Universitario Fundación Santa Fe de Bogotá Tesis presentada a la Facultad de Medicina Como requisito parcial para optar al grado de Maestría en Epidemiología Clínica Pontificia Universidad Javeriana Marzo de 2011

3 COAUTORES Y MIEMBROS DEL COMITÉ DE GRADO Juan Manuel Lozano M.D. MSc. Profesor titular. Departamento de Epidemiología Clínica y Bioestadística Pontificia Universidad Javeriana Fabián Gil. Bioestadístico. Profesor asistente. Departamento de Epidemiología Clínica y Bioestadística Pontificia Universidad Javeriana Javier A. Romero. M.D MSc. Médico Radiólogo y Epidemiólogo Clínico Hospital Universitario Fundación Santa Fe de Bogotá Miembros del comité de trabajo externo Felipe Uriza M.D. MSc. Médico radiólogo y Epidemiólogo Clínico Jefe Departamento de Radiología Hospital Universitario San Ignacio

4 CONTENIDO Página. 1. Introducción Marco Teórico Pregunta y Objetivos de la investigación Métodos Resultados Discusión Conclusiones Referencias..72

5 LISTA DE TABLAS. Página. 1. Categorías BI-RADS, interpretación y conducta Resumen de las publicaciones encontradas Fases de los estudios de certeza en pruebas diagnósticas Parámetros utilizados en el cálculo del tamaño de muestra Tabla para el cálculo de los tamaños de muestra en estudios de certeza diagnóstica con múltiples observadores múltiples observaciones Resumen de las variables del estudio Comparación de los métodos de análisis estadístico en los estudios de múltiples observadores múltiples observaciones Áreas promedio bajo la curva ROC de todos los observadores sin y con B-CAD Áreas promedio bajo las curvas ROC sin y con B-CAD.Comparaciones Intra observadores por grupos

6 10.Áreas promedio bajo las curvas ROC sin y con B-CAD. Comparación interobservadores por grupos Áreas bajo la curva ROC, individuales, de todos los observadores sin y con B- CAD Áreas bajo la curva ROC, comparaciónes interobservadores individuales, de todos los observadores sin y con B-CAD Áreas parciales e Índices de áreas parciales bajo las curvas ROC de todos los observadores LISTA DE FIGURAS. 1. Formato de salida programa OBUMRM Formato de salida programa DBM MRMC Formato de salida programa MEDCALC Curva ROC PROMEDIO de todos los observadores Curvas ROC áreas promedio por grupos, observadores NOVATOS,

7 MODERADAMENTE EXPERTOS y EXPERTOS sin y con el uso del B-CAD Curvas ROC de todos los observadores sin el uso del B-CAD Curvas ROC de todos los observadores con el uso del B-CAD.50 LISTA DE ANEXOS. Página. 1. Listado de las lesiones malignas evaluadas Listado de las lesiones benignas evaluadas Formato de recolección de información sin B-CAD Formato de recolección de información con B-CAD Interfase de trabajo del programa B-CAD y formato de reporte generado Aprobación Comité de ética en Investigación Fundación Santa Fe de Bogotá Léxico incluído en el B-IRADS.91

8 8. Áreas promedio de todos los observadores sin y con el uso de B-CAD. Métodos de Obuchowski-Rockette, Dorfmann-Berbaum-Metz y Wilcoxon-Mann-Whitney.., Tabla resumen de cambios en la evaluación sin y con B-CAD de todos los observadores Características operativas y puntos de corte de las curvas ROC Curvas ROC individuales de los observadores sin y con CAD Características operativas y puntos de corte de las curvas ROC de cada uno de los observadores

9 RESUMEN Objetivo: Determinar si la introducción de un programa de diagnóstico asistido por computador B-CAD mejora la certeza diagnóstica, medida como el área promedio bajo la curva ROC, comparado con el diagnóstico usual sin apoyo del computador, en la determinación de benignidad o malignidad de las lesiones focales de seno evaluadas por ultrasonido. Diseño: Estudio de curvas ROC (Receptor operador) de múltiples observadores-múltiples casos (MRMC, multiple reader-multiple cases). Lugar: Fundación Santa Fe, centro de atención terciaria en Bogotá, Colombia. Población: Mujeres que asisten para evaluación de patología mamaria mediante ultrasonido, con presencia de imágenes nodulares sometidas a biopsia o nódulos que permanecieron estables en el seguimiento ecográfico por al menos 2 años y en quienes se disponía de las imágenes ultrasonográficas. El número fue de 60 nódulos, con una distribución 1 a 1 entre benignos y malignos. Intervenciones: Evaluación de las imágenes ultrasonográficas antes y después del uso del B- CAD por 2 radiólogos expertos, 2 radiólogos con moderada experiencia y 2 residentes de radiología. Medición: Área promedio bajo la curva ROC de todos los observadores.

10 Resultados: El área promedio bajo la curva ROC de todos los observadores sin el uso del B- CAD fue de 0,76 y con el uso del B-CAD fue de 0,70. No se encontraron diferencias clínica ni estadísticamente significativas entre las áreas sin y con el uso del B-CAD (p 0,26). La comparación dentro de los tres grupos de observadores con y sin B-CAD solo mostró cambios en los observadores novatos, con una menor área (6%) con el uso del B-CAD (p = 0,02). No se encontraron diferencias estadísticamente significativas al comparar como grupos las áreas promedio de los observadores expertos, con los moderadamente expertos y los novatos. La comparación intraobservador individual sin y con el uso del B-CAD no mostró diferencias estadísticamente o clínicamente significativas. Los promedios de las áreas parciales y de los índices de las áreas parciales con una tasa de falsos positivos del 10% de todos los observadores con y sin el uso del B-CAD no mostraron diferencias clínica ni estadísticamente significativas. Conclusiones: El programa B-CAD no modificó el desempeño promedio de todos los observadores y disminuyó ligeramente el desempeño de los observadores novatos. Este resultado no se ha descrito con otros sistemas o programas CAD en las publicaciones encontradas. Los resultados no apoyan la utilización del sistema B-CAD para la caracterización por ultrasonido de las lesiones de seno. Palabras clave: BIRADS; computer aided diagnosis, diagnóstico asistido por computador; Multireader ROC studies, estudios ROC de múltiples observadores; Receiver operating characteristic (ROC) curves, curvas receptor operador ROC; ROC analysis, análisis ROC; diagnostic accuracy, certeza diagnóstica; breast ultrasonography, ultrasonido de seno.

11 SUMMARY Objective: To determine if the introduction of B-CAD 2.2 (computer assisted diagnosis) software improves diagnostic accuracy, measured as the average area under the ROC curve in the evaluation of benign and malignant focal lesions evaluated by ultrasound. Study Design: Multiple Readers-Multiple Cases ROC curves study. Place: Fundación Santa Fe de Bogotá, tertiary care hospital in Bogotá, Colombia. Study Population: Women assisting for ultrasound evaluation of mammary pathology with breast nodules who had previous biopsy or a 2 year follow up of with lesion stability and with available ultrasound images. 30 benign and 30 malignant nodules were included. 2 expert radiologists, 2 radiologists with moderate experience and 2 radiology residents reviewed the images. Study intervention: image review of the images with and without the use of the B-CAD software. Measurement: average area under the ROC curve of the observers. Results: average area under the ROC curve of all the observers without CAD was 0,76 and with B-CAD was 0.70.No statistically significant differences were found(p=0.26). Intraob-

12 server comparison as groups showed a 6% reduction of the area with the use of the B-CAD software in Novice observers. Average area under the ROC curve of expert observers were not statistically different compared to the areas of the radiology residents and observers with moderate experience. Intraobserver comparison did not show any clinically or statistically significant differences. Average Partial area under the ROC curves and partial area index with a false positive rate of 10%, were calculated. No statistically significant differences were found with and without the use of the B-CAD software. Conclusions: B-CAD 2.2 software did not improve the average performance of all the observers. Diminished acuracy was found in novice observers as a group. This results has not been described or published before. Based on the results B-CAD use is not justified for the evaluation of breast lesions. Keywords: BIRADS; computer aided diagnosis; Multireader ROC studies; Receiver operating characteristic (ROC) curves; ROC analysis; diagnostic accuracy; breast ultrasonography.

13 INTRODUCCIÓN. Los estudios de imágenes para la evaluación de patología mamaria son cada vez más frecuentes en nuestro medio, recomendándose tamizaje mamográfico rutinario en mujeres mayores de 40 años (1). La eficacia del tamizaje mamográfico se ha demostrado en estudios controlados aleatorizados, en los cuales se ha conseguido una reducción en la mortalidad gracias a la detección en estadios más tempranos de carcinomas ductales in situ, de carcinomas infiltrantes de menor tamaño, que en las pacientes no sometidas a tamizaje (2,3). La mamografía se ha considerado el estándar de oro en el tamizaje del cáncer de seno (1). La ultrasonografía se ha introducido desde hace varios años como una técnica complementaria, especialmente en pacientes con senos densos a la exploración mamográfica, mejorando la especificidad de la mamografía y reduciendo el número de falsos negativos en las pacientes en quienes se ha indicado biopsia por mamografía (3). Existen, sin embargo, algunas limitaciones inherentes al examen ultrasonográfico, las cuales incluyen ser altamente dependiente del operador que realiza el estudio y no ser un examen fácilmente reproducible. Otra importante limitación inicial fue la falta de un método estandarizado de caracterización de lesiones y de recomendaciones sobre el tipo de lesión, lo que crea confusión entre médicos, radiólogos y pacientes. El sistema BI-RADS (Breast imaging and reporting data system) fue desarrollado en 1993 por el Colegio Americano de Radiología (ACR) para estandarizar el lenguaje empleado en 1

14 los reportes de las mamografías, para aclarar las interpretaciones mamográficas y para facilitar la comunicación entre los clínicos. Este sistema incluye un listado de los términos que deben emplearse para describir los hallazgos de la mamografía. Dependiendo de los hallazgos las lesiones se clasifican en 7 categorías, del 0 al 6 (4). Este sistema BI-RADS mamográfico ha sido evaluado extensamente; se han descrito las características operativas de los diferentes hallazgos y su capacidad para discriminar entre lesiones benignas o malignas de seno, así como la variabilidad intra e interobservador, con buenos resultados en ambos casos (5,6). Después del gran éxito alcanzado por el sistema BI-RADS mamográfico en el año 2001 se creó un léxico ecográfico, publicado en la cuarta edición del BI-RADS (4). Esta herramienta ayuda al control de calidad y a mejorar los reportes ecográficos al estandarizarlos, reduce la confusión en la interpretación diagnóstica, facilita el control posterior y mejora el tipo de recomendación (seguimiento, biopsia) de acuerdo al tipo de lesión encontrada (7). El BI-RADS ecográfico incluye la definición de 27 características de las masas en estudio, aplicables a su forma, orientación, márgenes, límites, patrón ecográfico, características del refuerzo ecográfico y tejidos adyacentes; también incluye la definición de calcificaciones, vascularidad y una categoría de casos especiales. Estos hallazgos permiten clasificar los casos en 7 categorías similares a las utilizadas en los estudios mamográficos (4,5). Se han realizado estudios que evalúan la concordancia entre los observadores de las categorías BI- RADS con resultados que muestran mejores concordancias dependiendo del grado de experiencia y entrenamiento de los observadores (8-13). 2

15 Aunque la opinión profesional sigue siendo la piedra angular del diagnóstico médico, se han desarrollado aplicaciones computarizadas novedosas en la interpretación de las imágenes que cada día cuentan con mayor penetración. Las más recientemente creadas son la conocida como CAD (computer aided detection - detección de lesiones asistida por computador) y una derivada de ésta, también conocida como CAD, e identificada con las mismas siglas (computer aided diagnosis - diagnóstico asistido o ayudado por computador). Los sistemas CAD ayudan a los médicos en la identificación de cánceres potenciales después de un estudio de tamizaje. Los algoritmos utilizados por estos sistemas funcionan para ayudar a localizar y caracterizar áreas potenciales en donde se encuentran los tumores, conocidas como áreas de interés (ROI región of interest). Un concepto importante es que la tecnología CAD no pretende reemplazar la interpretación profesional de los médicos, pretende dar más información de las anomalías anatómicas sospechosas. Las aplicaciones CAD son utilizadas predominantemente en la identificación de tumores de seno, pulmón y colon. El primer sistema CAD utilizado se desarrolló para estudios mamográficos. El CAD más ampliamente utilizado en mamografía es el R2. La introducción de este sistema de diagnóstico asistido por computador ha mejorado la sensibilidad en la detección de cáncer de seno en la lectura de los estudios mamográficos, pero a expensas de aumentar el número de falsos positivos. (14,15) Existen diversos desarrollos de programas de computación para el análisis de las imágenes de los estudios ultrasonográficos de la mama. En la actualidad hay tres programas aprobados por la FDA (Food and Drug Administration) para el diagnóstico asistido por computador: 3

16 CADstream, desarrollado por la firma Confirma Inc., QLAB Software, desarrollado por Phillips Ultrasound, y B-CAD, desarrollado por The Medipattern Corporation. Este último recibió su aprobación por la FDA el 26 de Mayo de 2005, para ser comercializado como una aplicación diseñada para asistir en el diagnóstico de lesiones detectadas por ultrasonido de seno. El programa produce una segmentación de las imágenes (delimita sus contornos de los tejidos adyacentes) y clasifica su forma y orientación utilizando un patrón de reconocimiento multivariado. Este método de análisis multivariado utiliza el léxico y las categorías del BI-RADS ecográfico desarrollado por el Colegio Americano de Radiología. Las imágenes de la lesión seleccionada deben ser importadas al programa; el formato de importación incluye imágenes DICOM (Digital Imaging and Communications in Medicine) o en formato JPEG (Joint Photographic Experts Group). La imagen o imágenes analizadas por este programa deben circunscribirse mediante un área de interés de forma circular u ovalada. El área de interés (ROI - región of interest) debe seleccionarse desde el centro de la lesión a evaluar; el programa utiliza un análisis vectorial de los contornos de la lesión para segmentar su contorno produciendo hasta 6 imágenes segmentadas en el monitor. El usuario selecciona la imagen que considera se ajusta mejor a los contornos de la lesión y el programa analiza la imagen seleccionada asignando los diferentes términos descriptivos del sistema BI- RADS, así como las categorías BI-RADS que considera más adecuada para la lesión. Así pues, el proceso de asignación de la categoría BI-RADS no es completamente automático, debiendo ser seleccionado en forma específica por el usuario. El usuario puede modificar los términos descriptores si lo considera necesario. El programa también permite la realización de mediciones, anotaciones y comentarios. Los resultados del análisis se pueden usar para un reporte estructurado que se elabora en forma automática. 4

17 El estudio que se describe en las páginas que siguen buscó establecer si el empleo de un programa de diagnóstico asistido por computador (B-CAD TM 2.2, Medipattern Corporation, Toronto, Canadá) por radiólogos que usan el sistema BI-RADS para interpretar ecografías de mama mejora la precisión diagnóstica en la detección de malignidad en las lesiones detectadas por ultrasonido, en comparación con no usar el programa B-CAD. 5

18 MARCO TEÓRICO Y JUSTIFICACIÓN La ultrasonografía de mama es, en conjunto con la mamografía, una técnica reconocida en la valoración de la patología mamaria. En la práctica actual el ultrasonido se utiliza para evaluar anomalías en la palpación, en la evaluación de los senos densos al examen mamográfico y en la evaluación de anormalidades focales en la mamografía, con caracterización de las mismas entre lesiones quísticas o sólidas. Varios estudios han mostrado que radiólogos experimentados pueden caracterizar con gran certeza las lesiones y diferenciar los nódulos entre malignos y benignos (13). Sin embargo, la introducción de esta técnica inicialmente no fue ampliamente aceptada por las dificultades para caracterizar y clasificar los nódulos quísticos y sólidos en benignos o malignos (13). Una de las estrategias para evaluar el desempeño diagnóstico de la ecografía fue la de estandarizar la descripción de las imágenes y de los reportes de los estudios, estrategia que fue exitosa en los estudios mamográficos. La estandarización de los términos y reportes se logró con la introducción del sistema BI-RADS ultrasonográfico en el año El BI-RADS ecográfico incluye la definición de 27 características de las masas en estudio, aplicables a su forma, orientación, márgenes, límites, patrón ecográfico, características del refuerzo ecográfico y tejidos adyacentes; también incluye la definición de calcificaciones, vascularidad y una categoría de casos especiales. Estos hallazgos permiten clasificar los pacientes en 7 categorías similares a las utilizadas en los estudios mamográficos (4). Estas 6

19 categorías contemplan una conducta implícita en el manejo de las lesiones encontradas que van desde el BI-RADS 1, que es conclusivo de benignidad y no amerita seguimiento ni control, hasta el BI-RADS 5, que indica una alta probabilidad de malignidad y recomienda realizar una biopsia de la lesión. La categoría 6 corresponde a los hallazgos de estudios de seguimiento en casos malignos previamente confirmados. A continuación se resumen brevemente las categorías BI-RADS y sus conductas (Tabla 1): Tabla 1. Categorías BI-RADS Categoría Interpretación Conducta BI-RADS 0 Evaluación incompleta Estudios previos, examen adicional BI-RADS 1 Normal Continuar controles rutinarios BI-RADS 2 Hallazgos benignos Continuar controles rutinarios BI-RADS 3 Probablemente benigno Control en 6 meses BI-RADS 4 Sospechoso de malignidad Biopsia BI-RADS 5 Maligno Biopsia BI-RADS 6 Lesión maligna conocida Seguimiento, respuesta a terapia La categoría BI-RADS 0 implica un seno que debe ser evaluado en forma complementaria mediante otra técnica debido a imágenes técnicamente limitadas o incompletas. La categoría BI-RADS 6 es un examen de seguimiento de un cáncer ya conocido. La categoría BI-RADS 4 se ha subdividido a su vez en tres categorías: 4a con un riesgo pequeño, 4b con un riesgo moderado y 4c que implica un riesgo sustancial de cáncer de seno. El riesgo esperado de 7

20 cáncer para la categoría 4a oscila entre 3% a 49%, y para las categorías 4b y 4c oscila entre 50% a 89%. Todos los nódulos en estas categorías tienen indicación de biopsia. La conducta definida como controles rutinarios implica continuar con los controles previstos de acuerdo a la edad de la paciente, que generalmente se realizan entre 12 a 24 meses (4). En la práctica diaria la tasa de biopsias positivas para lesiones de seno oscila entre un 15% y 30% (3,2). Para reducir la ansiedad en las pacientes sometidas a biopsia y reducir los costos en salud es deseable reducir el número de biopsias de lesiones benignas sin perder las lesiones malignas. Los resultados de estudios mamográficos previos con utilización de CAD han mostrado que la certeza diagnóstica de los radiólogos en distinguir lesiones benignas de malignas mejora cuando se usa el CAD como una segunda opinión (14,15). Con el objeto de localizar estudios que hubieran evaluado la utilización de sistemas CAD en exámenes ultrasonográficos de lesiones del seno se realizó una búsqueda bibliográfica en la base de datos MEDLINE, empleando las palabra BI-RADS, computer assisted diagnosis ultrasound, computer assisted diagnosis breast, computer assisted diagnosis breast ultrasound, y computer aided diagnosis. Además se realizó una revisión de las referencias bibliográficas de los artículos relevantes localizados en la búsqueda en la base de datos. También se realizó una búsqueda manual y electrónica de los contenidos de los congresos de la Radiological Society of North America en los últimos tres años. La búsqueda cubrió el período desde 1993 (año de introducción del BI-RADS) hasta el 1 de Febrero de

21 Se encontraron 18 artículos que describen el desarrollo y el uso de sistemas CAD en la evaluación de lesiones de seno mediante ultrasonido (cinco de ellos publicados desde la presentación del protocolo de esta tesis). Dos artículos evaluaron en forma simultánea las lesiones de seno mediante ultrasonido y mamografía en estaciones de trabajo con CAD (16,17). Dos publicaciones describieron sistemas CAD primitivos para evaluación de nódulos de seno mediante ultrasonido (18,19). Otro más describió un sistema CAD para valoración volumétrica de lesiones de seno por ultrasonido (20). Tres publicaciones describieron sistemas de inteligencia artificial para valoración de lesiones de seno (21,22,23), y otra el análisis de la textura ultrasonográfica de las lesiones de seno (24). Dos artículos describen sistemas CAD para algunas categorías específicas del BI-RADS, y no para todas ellas (25,26). Cuatro publicaciones evaluaron la lectura de radiólogos con y sin la ayuda del CAD (20,27,28,29). Se encontró un comunicado de prensa con la mención de un trabajo presentado en el Congreso Anual del Consorcio Nacional de Centros de Seno (18th anual Conference National Consortium of Breast Centers, Las vegas, EE.UU Marzo 1-5 de 2008) en el cual se estudiaron 100 nódulos con una mejoría en la sensibilidad del 44% en la detección de lesiones malignas de menos de un centímetro de tamaño, sin embargo no se conocen otros detalles del desarrollo de esta investigación (30). Las cinco publicaciones más recientes evalúan sistemas CAD. Tres artículos evalúan los sistemas al analizar lesiones con correlación histológica y no evalúan el desempeño de radiólogos (31,32,33). La Tabla 2 resume las publicaciones que compararon la lectura de observadores antes y después de algún sistema CAD. 9

22 Tabla 2. Resumen de las publicaciones encontradas Referencia No. de lesiones Observadores Medición Recolección Sahiner (20) 101 lesiones: 45 benignas 56 malignas 5 radiólogos dedicados a imágenes de seno, con 3-26 años de experiencia Área promedio bajo la curva: Sin CAD 0,83 Con CAD 0,90 Retrospectiva Shen (27) 626 casos: 407 benignos 219 malignos 5 radiólogos Sensibilidad 98,2% Especificidad 59,5% Mejoría del 5,9 y 8,8 con CAD Retrospectiva Wang (28) 168 lesiones: 85 benignas 83 malignas 8 radiólogos Área ROC Sin CAD 0,81 0,86 Con CAD. 0,86-0,89 No promedios Retrospectiva Horsch(29) 110 lesiones: 51 malignas 59 benignas 6 radiólogos 6 mamografistas Área ROC. 0,83-0,87 mamografistas 0,80-0,84 radiólogos Retrospectiva En las publicaciones previas se emplearon sistemas CAD diferentes al utilizado en este trabajo, que no tienen la aprobación de la FDA con la que cuenta el programa B-CAD de la firma Medipattern. La publicación de Sahiner utilizó un programa CAD con imágenes tridimensionales de las lesiones de seno. Se compararon las áreas ROC de 5 observadores antes y después del uso del CAD, con mejoría del área del 7% con el uso del CAD (20). La publicación de Shen involucró la delimitación manual de los contornos de las lesiones por dos radiólogos expertos, que se comparó con la delimitación de los contornos hecha por el programa, sin comparar las áreas ROC de los observadores (27). El estudio de Wang comparó las áreas 10

23 ROC individuales, sin utilizar las áreas promedio de los 8 radiólogos antes y después de la utilización de un sistema CAD. Este trabajo también utilizó el sistema BI-RADS. Cuatro observadores eran residentes de radiología y cuatro radiólogos con más de 8 años de experiencia. En esta publicación no se hace comparación de las áreas promedio entre los grupos. Las áreas sin CAD oscilaron entre 0,81 y 0,86 y con CAD oscilaron entre 0,86 y 0,89 (28). Por último, la publicación de Horsch evaluó un sistema CAD que consideró los contornos de la lesión identificada en ultrasonido y cuatro características de la imagen que incluyeron la forma, los márgenes, la ecogenicidad y las características acústicas posteriores. En este trabajo no se utilizó el sistema BI-RADS ni su léxico. Este trabajo evaluó doce observadores, 6 mamografistas y 6 radiólogos altamente experimentados, con incremento de las áreas de las curvas ROC del 4% en los dos grupos (29). En las publicaciones mencionadas anteriormente se encuentran diseños similares al utilizado en este trabajo, con varios observadores comparando las curvas ROC antes y después del uso de un sistema CAD. Sin embargo, el hecho de utilizar varios observadores no hace que estos estudios se consideren necesariamente de múltiples observadores. Los trabajos mencionados no cumplen estrictamente el diseño de múltiples observadores - múltiples observaciones porque los métodos analíticos utilizados no contemplaron el cálculo de las áreas promedio de todos los observadores, ni se utilizaron los métodos estadísticos para el cálculo de las áreas que se describirán en la sección de análisis. También se encontraron dos resúmenes de presentaciones de trabajos en el congreso de la RSNA en noviembre de 2010 en Chicago, EE.UU.: 11

24 CODIGO: LL-BRE329 BI-RADS Tutor : CAD-based Advanced Electronic Teaching File for BI-RADS Training in Assessment and Breast US Reporting.Michael Galperin. Phd. CODIGO: LL-BRS-MO3A Subcategorization of Ultrasonographic (US) BI-RADS Category 4: Positive Predictive Values and Affecting Factors. Jung Hyun Yoon. MD. En estos trabajos se describe la utilidad de un sistema CAD para la enseñanza del sistema BI-RADS, en las características de las lesiones y en la aplicación del léxico del sistema. También se describen los valores predictivos positivos de las subcategorías BI-RADS 4ª, 4b y 4c. Una de las aplicaciones potenciales los sistemas de diagnóstico asistido por computador CAD en el área del ultrasonido de seno es la de mejorar el desempeño diagnóstico de observadores no expertos. La disponibilidad de radiólogos expertos dedicados casi exclusivamente a la interpretación de estudios ultrasonográficos de patología mamaria en nuestro país es muy limitada, existiendo algunos centros en ciudades como Bogotá, Medellín y Cali que tienen altos volúmenes de estas patologías. Si los programas de diagnóstico asistido por computador mejoran el desempeño diagnóstico de radiólogos no expertos hasta niveles cercanos o iguales al de los radiólogos expertos, el impacto que esto tendría en la mejoría en la interpretación de los estudios de ultrasonido en estos centros de radiología de práctica general sería muy importante, mejorando la detección de lesiones malignas y reduciendo el número de biopsias innecesa- 12

25 rias. Por otra parte, si el sistema B-CAD mejora la certeza diagnóstica de los observadores expertos, el impacto en los centros altamente especializados tendría igualmente, grandes implicaciones en el manejo de estos pacientes. 13

26 PREGUNTA Y OBJETIVOS DE LA INVESTIGACIÓN PREGUNTA DE INVESTIGACIÓN En radiólogos en nuestro medio que usan el sistema BI-RADS para interpretar ecografías de mama, el uso de un programa de diagnóstico asistido por computador (B-CAD 2.2, Medipattern Corporation, Toronto, Canadá) mejora la certeza diagnóstica (medida como el área debajo de la curva ROC) en la detección de malignidad, comparada con la evaluación sin su uso? 3.1 OBJETIVO PRIMARIO: Determinar si la introducción de un programa de diagnóstico asistido por computador B- CAD mejora la certeza diagnóstica, medida como el área promedio bajo la curva ROC, en la determinación de benignidad o malignidad de las lesiones focales de seno evaluadas por ultrasonido cuando se compara con lo observado por los mismos evaluadores sin el empleo del programa. 3.2 OBJETIVOS SECUNDARIOS Determinar si existen diferencias en la certeza diagnóstica intra observadores, al realizar análisis por subgrupos de los observadores según el grado de experticia, antes y después del uso del programa B-CAD, medida como área promedio debajo de la cur- 14

27 va ROC en la determinación de benignidad o malignidad de las lesiones focales de seno evaluadas por ultrasonido Determinar si existen diferencias en la certeza diagnóstica entre los observadores, al realizar un análisis por subgrupos, según el grado de experticia, antes y después del uso del programa B-CAD, medida como área promedio debajo de la curva ROC en la determinación de benignidad o malignidad de las lesiones focales de seno evaluadas por ultrasonido Establecer el índice de área parcial e índice parcial promedio por encima de una especificidad del 90% con y sin el uso del B-CAD entre los diferentes observadores. 15

28 MÉTODOS. 4.1 TIPO DE ESTUDIO: Estudio de curvas ROC (receptor operador) de múltiples observadores - múltiples casos (MRMC, multiple reader - multiple cases) en las que se evaluará el área bajo la curva ROC de los observadores en la evaluación de lesiones focales de seno detectadas por ultrasonido determinando o no la presencia de malignidad, antes y después de la utilización de B- CAD. Los estudios de certeza de las pruebas diagnósticas se pueden clasificar en diferentes fases. La clasificación propuesta por Zhou, Obuchowski y Mclish (34) considera tres fases en la evaluación de la certeza de las pruebas diagnósticas (Tabla 3). Fases de los estudios de certeza en pruebas diagnósticas Fase Diseño típico Plan de muestreo típico Medida de certeza 1. Temprana o exploratoria Retrospectivo pacientes Casos típicos de enfermedad contra sujetos normales (generalmente voluntarios sanos) Estimados crudos del área bajo la curva ROC y tasa de falsos positivos 2. Intermedia o de desafío Retrospectivo pacientes Casos del espectro de enfermedad con condiciones clínicas que semejen enfermedad Área bajo la curva ROC, tasa de falsos positivos o falsos negativos 3. Avanzada o clínica Prospectivo Tamaño de muestra y observadores mucho más amplio Dependiendo de la aplicación. Áreas parciales bajo las curvas ROC 16

29 El estudio a realizar se consideró como una fase II para efectos del diseño del protocolo. Esta consideración es muy importante para efectos del cálculo del tamaño de muestra y el muestreo de las lesiones y de los observadores (34, 35,36). 4.2 POBLACIÓN DE LAS IMÁGENES POBLACIÓN DE REFERENCIA Mujeres que asisten a los servicios de imágenes diagnósticas para evaluación de patología mamaria mediante ultrasonido POBLACIÓN ELEGIBLE Mujeres que asisten a la Fundación Santa Fe de Bogotá para evaluación de patología mamaria mediante ultrasonido, con imágenes nodulares que hayan sido sometidas a biopsia o imágenes nodulares que hayan permanecido estables en el seguimiento ecográfico por al menos 2 años, y en quienes se disponga de las imágenes ultrasonográficas. 4.3 SELECCIÓN DE LAS IMÁGENES Se incluyeron 60 alteraciones focales ecográficas, en las cuales se disponía de correlación anatomopatológica o estabilidad en la morfología y tamaño en los controles ultrasonográficos de al menos dos años como criterio de benignidad. Se hizo una distribución balanceada, 1 a 1, entre las lesiones malignas y benignas, tratando de que también existiera 17

30 una distribución balanceada en las diferentes categorías BI-RADS. Las categorías BI-RADS 0 y 6, por su naturaleza (evaluación incompleta y lesión maligna conocida, respectivamente), no se consideraron en el estudio debido a que se analizaron lesiones con imágenes adecuadas y completas y los observadores no conocían la histopatología de las lesiones. Para asegurar una distribución balanceada de las lesiones malignas en sus diferentes espectros de presentación se tuvieron en cuenta las siguientes consideraciones: 1. El carcinoma ductal infiltrante constituye el 80% de todas las formas de cáncer mamario (lesiones malignas). Los casos de carcinoma ductal que se incluyeron tuvieron una distribución balanceada de acuerdo a la graduación de Scarff-Blomm- Richardson, escala que tiene en cuenta la formación tubular, el tamaño nuclear y la cuenta de mitosis. Esta escala valora cada ítem del 1 al 3 y es similar a la graduación de Gleason utilizada en el cáncer de próstata (37). Se incluyeron 10 casos de lesiones neoplásicas catalogadas como grado 1, 10 lesiones neoplásicas grado 2 y 10 lesiones neoplásicas grado 3. Dentro de las lesiones grado 1, se incluyeron un carcinoma intralobulillar y dos carcinomas papilares. El promedio de edad de las pacientes con lesiones malignas fue 51,4 años, con un rango de edad de años. El ancho y el alto promedio de las lesiones malignas fue de 14,2 y 12,9 mm, con un rango de 3-25 y 7-40 mm, respectivamente. Se hizo una enumeración detallada de las lesiones malignas (Anexo 1). 18

31 2. Las lesiones benignas se seleccionaron tratando de que existiera una distribución que abarcara las diferentes categorías BI-RADS. El promedio de edad de las pacientes con las lesiones benignas fue de 45,2 años, con un rango de años. El ancho y el alto promedio de los nódulos fue de 14,3 y 8,3 mm, con rangos de 3-25 y 3-17 mm respectivamente. Se incluyeron 13 fibroadenomas, 5 cambios por adenosis y 12 lesiones que abarcaron mastopatía proliferativa o fibroquística con hiperplasia ductal, estromal, columnar, quistes simples y un quiste abscedado. Se hizo una enumeración detallada de las lesiones benignas (Anexo 2). Las imágenes se obtuvieron en forma retrospectiva y prospectiva de las pacientes de los servicios de ultrasonido y de cirugía de seno de la Fundación Santa Fe de Bogotá, quienes fueron evaluadas mediante estudio de ecografía o biopsia de seno y en quienes rutinariamente se utilizó el sistema BI-RADS al hacer el reporte ecográfico. Todas las lesiones tuvieron verificaciónón histológica CRITERIOS DE INCLUSIÓN Se incluyeron las imágenes que mostraron lesiones o alteraciones focales ecográficas que se encontraron fotografiadas en al menos dos planos ortogonales, en formato de imagen DICOM o JPEG, obtenidas con transductor lineal de alta resolución (al menos 10 MHz) y en las que se dispusiera de resultados de anatomía patológica (para los casos sometidos a biopsia para confirmación por patología de la presencia o ausencia de malignidad) o de 19

32 estabilidad en su morfología en el seguimiento ecográfico por lo menos durante 2 años (para casos no sometidos a biopsia) CRITERIOS DE EXCLUSION Imágenes de lesiones que no incluyan por completo la lesión en los planos de imagen o con diagnósticos patológicos no conclusivos. 4.4 POBLACION DE LOS OBSERVADORES El estudio de curvas ROC de múltiples lectores se ha convertido en una frecuente herramienta de investigación en radiología. Con esta herramienta un investigador puede comparar la certeza diagnóstica de los exámenes que se basan en la interpretación subjetiva de los estudios. Esto es importante porque muchos exámenes radiológicos son interpretados subjetivamente y existen diferencias substanciales en la habilidad de los lectores para interpretarlos. Por lo tanto un diseño con uno o dos lectores no puede medir apropiadamente la certeza de estos exámenes (38) POBLACIÓN DE REFERENCIA. Radiólogos colombianos que realizan e interpretan estudios de ultrasonido de mama POBLACIÓN ELEGIBLE. 20

33 Radiólogos y residentes de radiología de la Fundación Santa Fe de Bogotá que realizan e interpretan estudios ultrasonográficos de seno SELECCIÓN DE LOS OBSERVADORES Por el tipo de estudio de múltiples observadores y por las consideraciones del tamaño de muestra (ver más adelante) se consideró necesaria la participación de 6 observadores. La distribución de los observadores pretendió ser lo más amplia posible, reflejando los distintos grados de experiencia y capacitación y así evitar el sesgo de selección de los observadores. Por razones de logística se incluyeron únicamente observadores de la Fundación Santa Fe de Bogotá. Se incluyeron dos observadores experimentados (5 a 10 años de experiencia) en ultrasonido de seno, con dedicación de al menos un 30% de su tiempo en la realización e interpretación de estudios de ultrasonido de seno, dos radiólogos generales con formación completa en ultrasonido y que dedican aproximadamente un 10% de su tiempo a la realización de estudios de ultrasonido de seno, y dos residentes de 4to. año de radiología que finalizaron su entrenamiento ultrasonográfico. Con el propósito de evaluar los objetivos secundarios se consideraron tres subgrupos de la siguiente forma: dos observadores con un nivel alto de experiencia (expertos), dos observadores con un nivel medio de experiencia (moderadamente expertos) y dos observadores novatos. 21

34 4.6 TAMAÑO DE LA MUESTRA Según el método descrito por Obuchowski (36), se realizó un estudio de curvas ROC de múltiples observadores de datos correlacionados. La hipótesis nula es que los promedios del área bajo de las curvas son iguales y la hipótesis alterna es que los promedios del área bajo de la curva son diferentes. Ho : µ1 = µ2 Ha : µ1 µ2 Donde µi (i=1,2) es el promedio de áreas bajo la curva para la población de observadores. Se consideró una diferencia en el área promedio de las curvas de 10% como clínicamente relevante. Corresponde a una distribución F no central que se utiliza en el cómputo del poder y el tamaño de muestra (39). Los parámetros se describen a continuación (Tabla 4): Ј ² λ= 2(σb²(1-rb)+ σw²/k+ σc²[(1-r1)+(j-1)(r2-r3)] 22

35 Tabla 4. Parámetros utilizados en el cálculo del tamaño de muestra Parámetro Ј σb² σw² σc² r1 r2 r3 rb Descripción Número de observadores µ1 - µ2, diferencia sospechada Variabilidad inter-observadores con el mismo examen y los mismos sujetos Variabilidad inter-observador con el mismo examen y los mismos sujetos en dos lecturas diferentes Variabilidad dentro de la muestra de sujetos Correlación entre las certezas diagnósticas estimadas de la misma muestra de pacientes y por el mismo observador usando exámenes diferentes Correlación entre las certezas diagnósticas estimadas de la misma muestra de pacientes por observadores diferentes usando el mismo examen Correlación entre las certezas diagnósticas estimadas de la misma muestra de pacientes por observadores diferentes usando diferentes exámenes Correlación entre las certezas diagnósticas obtenidas cuando el grupo de observadores evalúa la misma muestra de sujetos usando diferentes exámenes La Tabla 5, extraída del artículo de Obuchowsi (39), simplifica los cálculos y muestra los diferentes tamaños de muestra, dependiendo del grado de certeza alta o baja, de la prueba diagnóstica (área bajo la curva de 0,75 ó 0,90 respectivamente), de la diferencia esperada con las presunciones anotadas previamente (pequeña: 0,05, moderada: 0,10, grande: 0,15), de la relación de casos con y sin la condición y con los niveles de variación interobservador e intraobservador de 0,05. Se observa el importante efecto de disminución en el tamaño de la muestra al aumentar el número de observadores: 23

36 Tabla 5. Tamaño de muestra para estudios de certeza diagnóstica de múltiples observadores, múltiples observaciones (39) Obuchowski N. Sample size calculations in studies of test accuracy. Stat Methods Med Res 1998;7:

37 La medida de certeza (accuracy) es el área debajo de la curva ROC. Después de revisar la literatura se encontró que la certeza diagnóstica supuesta de los observadores es alta, con una área de Asumimos que una diferencia en la certeza de las dos observaciones sin y con el B-CAD de al menos 0.10 es clínicamente significativa. Con una frecuencia de pacientes con y sin la condición de 1:1, una variación interobservadores moderada (definida como una variación interobservador o interobservador del 0,05 en los valores de certeza (20)), y utilizando 6 observadores se considera un tamaño de muestra de 39 casos (asumiendo un poder del 80%, un error alfa de 0.05 y una hipótesis a dos colas) (26). Se asumió una correlaciónón entre las dos lecturas de 0.47, que corresponde al valor promedio de las correlaciones encontradas por Rockette (35); aunque un estudio con un diseño similar encontró correlaciones de 0.90 (20), para efectos de mayor poder se consideró el estimativo promedio de Rockette. La gran ventaja de este diseño, al aumentar el número de observadores, es la importante disminución en los requerimientos en el número de nódulos. Al considerar el diseño balanceado de un caso maligno por cada caso benigno, y con el fin de incluir un mayor espectro de lesiones malignas, se decidió aumentar el tamaño de muestra en un 50% y utilizar 60 observaciones, 30 de nódulos malignos y 30 de nódulos benignos, para un total de de 360 observaciones sin el uso del B-CAD y 360 observaciones con el uso del B-CAD PROCEDIMIENTO DE OBSERVACIÓN Las imágenes seleccionadas se revisaron en una pantalla de lectura de alta definición. Esta pantalla permite hacer mediciones del tamaño y variar el brillo y el contraste, así como magnificar las imágenes. El orden de presentación de las imágenes se estableció de manera alea- 25

38 toria mediante una lista de números aleatorios para cada observador. No se realizó ningún entrenamiento o capacitación previa del sistema BI-RADS en estos observadores, para simular las condiciones de la práctica general durante la realización de estudios ecográficos de seno. Antes de iniciar el estudio se adelantó una reunión preliminar con los observadores para explicar el tipo de estudio, mostrar los formatos de recolección de datos (Anexos 2 y 3), aclarar las dudas e inquietudes en el diligenciamiento y corregir posibles deficiencias en su diseño. Con los observadores se realizó un entrenamiento y capacitación en el uso del programa B-CAD empleando las imágenes y casos disponibles en el programa (30 casos diferentes), que también se usaron para practicar la recolección de la información. Se realizó un procedimiento de lectura secuencial en dos pasos con el análisis de cada imagen, primero sin la utilización del B-CAD, e inmediatamente utilizando el B-CAD. En cada lectura los observadores evaluaron las imágenes utilizando el sistema BI-RADS para describir las lesiones y para asignar a cada imagen una de las categorías finales de la clasificación. Para ello se usaron los formularios de recolección de datos (Anexos 3 y 4).La lectura secuencial inmediata mostró ser la forma más sensible para demostrar posibles diferencias cuando se realizan estudios comparando lectura asistida y no asistida por computador; además es la que menos demandas logísticas y de tiempo de lectura exige a los observadores (40). Por otra parte, este método de lectura secuencial semeja las condiciones en las que se utilizaría el programa B-CAD en forma rutinaria en la práctica diaria. Para evitar los efectos de la fatiga en los observadores se realizaron tres sesiones de interpretación de las imágenes con un intervalo de tiempo entre las mismas de aproximadamente 2 a 3 días. 26

39 El Anexo 5 presenta un ejemplo de la interfase del programa, de la segmentación de las imágenes y de la evaluación utilizando el léxico y las categorías BI-RADS. La interpretación inicial del radiólogo no se modificó después de lectura con el uso del B- CAD. Los observadores no conocían la prevalencia de lesiones malignas y benignas en el conjunto de las 60 imágenes evaluadas, ni los resultados del estándar de oro. Durante la conducción del estudio no se revisaron ni se discutieron los resultados de la evaluación de cada observador. Tampoco se suministró información adicional como la edad de las pacientes, sus antecedentes ni los hallazgos de estudios relacionados, como estudios mamográficos. Estas condiciones experimentales se consideran adecuadas para estudios de evaluación de certeza de pruebas diagnósticas en fase II. El protocolo de esta investigación fue sometido a revisión y aprobación por parte del Comité de Ética en Investigación de la Fundación Santa Fe de Bogotá. De acuerdo con la resolución 8430 de 1993 del Ministerio de Salud, en estudios sin riesgo el Comité de Ética en Investigación no consideró necesario obtener un consentimiento informado y así lo expresó por escrito al investigador en su comunicación CCEI del 23 de Julio de 2008 (Anexo 6). 27

40 4.8 VARIABLES Área bajo la curva ROC: La medida de certeza (accuracy) de la prueba diagnóstica que se manejó en este proyecto fue el área bajo la curva ROC. El área bajo la curva oscila entre 0 y 1, considerándose perfecta una prueba que tiene un área de 1 y no discriminatoria la que tiene un área de 0,5. El área debajo de la curva tiene varias interpretaciones: A. Es el valor promedio de la sensibilidad para todos los posibles valores de especificidad. B. Es el valor promedio de especificidad para todos los valores posibles de sensibilidad. C. Es la probabilidad de que un paciente con la enfermedad, seleccionado aleatoriamente, tenga un resultado de la prueba que indique mayor grado de sospecha que un paciente sin enfermedad, también seleccionado aleatoriamente. Si se supone que el área ROC de la mamografía en un estudio es de 0.82 y se seleccionan dos pacientes aleatoriamente, uno con cáncer de seno y otro sin él, la probabilidad de que el paciente con cáncer tenga un resultado sugestivo de cáncer de seno es de 0,82. Dicho de otra forma, es la probabilidad de que el resultado del examen diagnóstico ubique en una posición de mayor grado de sospecha al paciente con enfermedad que al paciente sin enfermedad (41). Es una variable continua Área promedio bajo la curva ROC: Se calcula promediando el área promedio debajo de la curva de los diferentes observadores. Es una variable continua. 28

41 4.8.3 Área Parcial debajo de la curva (APDC): El área parcial debajo de la curva (APDC, PAUC - partial area under the ROC curve) corresponde al área debajo de la curva ROC definida por dos valores de la tasa de falsos positivos. En el presente estudio se evaluó el área bajo la curva con una tasa de falsos positivos entre 0 y 10%. Es una variable continua Área promedio parcial bajo la curva ROC: corresponde al promedio de las áreas parciales bajo la curva de los diferentes observadores. Es una variable continua Índice de área Parcial bajo la curva: El APDC dividido por el valor máximo de falsos positivos se conoce como el índice de área parcial (Partial area index). Se interpreta como la sensibilidad promedio para la tasa de falsos positivos. Es una variable continua LÉXICO INCLUIDO EN EL BI-RADS. El Anexo 7 presenta todos los términos incluidos en el léxico del BI-RADS y sus categorías de evaluación, tal y como aparecen en la definición establecida por el ACR. Variable nominal CATEGORÍAS BI-RADS. Se incluyen las 7 categorías, de 0 a 6. Ver Tabla 1. 29

42 4.8.8 VARIABLES DE LA POBLACIÓN DE ESTUDIO Se incluyeron los datos demográficos: Edad de las mujeres sometidas a ultrasonido y de quienes se obtuvieron las imágenes de los nódulos a evaluar. Variable continua Porcentaje de nódulos malignos y benignos. Distribución histopatológica de las lesiones. Variable continua Número de nódulos que fueron llevados a biopsia. Variable continua Tamaño de los nódulos. Variable continua Clasificación histológica Scarf-Bloom-Richardson. Variable ordinal. 4.9 VARIABLES DE LOS EVALUADORES Años de experiencia en la utilización del sistema BI-RADS. Variable continua Nivel de experiencia: radiólogo o residente. Variable ordinal. 30

43 Tabla 6. Resumen de las variables del estudio Variable Nombre Definición Tipo Medición Dependiente primaria Área bajo la curva ROC Es el valor promedio de la sensibilidad para todos los posibles valores de especificidad Continua 0 a 1. Porcentual Dependiente secundaria Área promedio bajo la curva ROC Área debajo de la curva ROC definida por dos valores de la tasa de falsos positivos o de sensibilidad Continua 0 a 1. Porcentual Dependiente secundaria Área Parcial debajo de la curva (APDC) Promedio de las áreas parciales bajo la curva de los diferentes observadores Continua Porcentual Dependiente secundaria Índice de área Parcial bajo la curva El APDC dividido por el valor máximo de falsos positivos Continua Porcentual Independiente Términos BI- RADS Ver texto Nominal Frecuencia Dependiente Categorías BI- RADS Ver texto Ordinal Frecuencia Independiente Variables de la población. Independiente Años de experiencia. Ver texto Continua Años. Porcentaje de malignidad. Milímetros. Ver texto Continua Años. Control Clasificación patológica Ver texto Ordinal Frecuencia. 31

44 4.10 ANÁLISIS DE LA INFORMACIÓN La sensibilidad y la especificidad son las mediciones básicas de certeza de una prueba diagnóstica; sin embargo, sus valores dependen del punto de corte usado para definir un resultado positivo o negativo. Por consiguiente al desplazar este punto de corte la sensibilidad y la especificidad también se modifican o desplazan. Las curvas ROC son una representación gráfica de la sensibilidad de una prueba contra su tasa de falsos positivos para todos los posibles puntos de corte (41). Las curvas ROC no utilizan como definición de certeza diagnóstica (accuracy) el porcentaje de diagnósticos correctos de una prueba, definición que es afectada por la prevalencia de enfermedad y que se calcula con base en un punto de corte único. El concepto de certeza diagnóstica utilizada en las curvas ROC es multicorte y es independiente de la prevalencia, permitiendo la visualización y la comparación directa de dos o más pruebas diagnósticas en una escala común y para todos los puntos de corte posibles. El área parcial debajo de la curva (APDC, PAUC partial área under the ROC curve) en casos de pruebas diagnósticas con altas sensibilidades (>80%) y con tasas de falsos positivos bajas (TFP < 0,10) es una medida de resumen de la certeza (accuracy) más adecuada que el área total bajo la curva. Para efectos de interpretación el APDC se divide por el valor máximo, dado por el rango de la tasa de falsos positivos (máximo - mínimo). El APDC dividido por el valor máximo de falsos positivos se conoce como el índice de área parcial IAP (PAI, Partial área index). Se interpreta como la sensibilidad promedio para la tasa de falsos positivos. El área parcial debajo de la curva APDC es especialmente útil para evaluar curvas ROC que se 32