II. 2. Análisis manual de imágenes médicas: Análisis de la curva ROC (Receiver Operating Characteristic).

Transcripción

1 II. 2. Análisis manual de imágenes médicas: Análisis de la curva ROC (Receiver Operating Characteristic). Psicofísica: calidad física de una imagen médica y calidad del diagnóstico El análisis de la curva característica de operación del receptor (ROC), es una de las herramientas analíticas más importantes para caracterizar el desempeño humano en una tarea de análisis de imágenes y es una área activa de investigación en imágenes médicas. El análisis de la curva ROC se utilizó primero en la interpretación de imágenes de radar. La curva ROC como una descripción de la exactitud del diagnóstico La efectividad clínica de un sistema de imágenes médicas depende usualmente no sólo de las características físicas del sistema y de la presencia o no de anormalidades en el paciente. También depende de las características perceptuales del observador humano o del sistema automático que interpretan las imágenes y del nivel critico de confianza que el observador utiliza para determinar si una imagen es positiva o negativa. Al cambiar el nivel crítico de confianza, cambian la sensibilidad (i.e. La probabilidad de que una imagen positiva sea clasificada correctamente como positiva) y la especificidad (i.e. La probabilidad de que una imagen negativa sea clasificada correctamente como negativa). Entonces no se puede evaluar completamente el desempeño conjunto del observador y del sistema de imágenes en una tarea de diagnóstico (clasificación) utilizando solamente los índices de especificidad y sensibilidad. Es necesario estimar y reportar todas las combinaciones entre especificad y sensibilidad que pueden lograr en conjunto un cierto observador y un cierto sistema de imágenes. Una curva ROC es la gráfica de sensibilidad vs. (1-especificidad) METRICAS DE DESEMPEÑO PARA PROBLEMAS DE DETECCION (DIAGNOSTICO) Las métricas para evaluar procesos de detección involucran la frecuencia relativa de las decisiones correctas e incorrectas que hace un observador a partir de las imágenes médicas ( o de cualquier otro tipo de evidencia (imágenes de satelite, estadisticas numéricas, graficas de voltaje/corriente) apropiadas al proceso de detección del que se trate). Las medidas básicas son: Número de positivos y negativos, verdaderos y falsos (PV, NV, FP, FN). A partir de éstos se calculan la Sensibilidad y la especificidad del proceso de detección (diagnóstico). En el proceso de detección de la presencia o ausencia de una anormalidad en una imagen (p.e. un tumor canceroso vs un tumor benigno), se utilizan comúnmente las categorías: positivo verdadero, positivo falso, negativo verdadero y negativo falso. Los términos positivo y negativo se refieren al diagnóstico

2 hecho por un observador humano o por un sistema automático. Los adjetivos verdadero y falso se refieren a como el diagnóstico corresponde o no con el estado clínico del paciente. Así un positivo verdadero (PV) corresponde al diagnóstico de presencia de una anormalidad cuando ésta realmente existe en el paciente. Un negativo verdadero (NV) corresponde al diagnóstico negativo de una anormalidad cuando efectivamente la anormalidad no existe en el paciente. Los diagnósticos falsos (PF, NF) corresponden a los casos en los que el diagnóstico no corresponde a la realidad clínica del paciente. Sensibilidad y especificidad Son dos métricas de desempeño de un proceso de detección que se construyen a partir del número de PV, PF, NV y NF en una muestra de validación. La sensibilidad de un proceso de detección se refiere a la probabilidad de que una anormalidad (evento) sea detectada cuando realmente existe. La sensibilidad se especifica como una fracción entre 0 y 1, o un porcentaje entre 0 y 100. La suma de PV y FN corresponde al total de positivos en el proceso de detección así la sensibilidad de un sistema de detección se puede calcular como: Sensibilidad= PV/(PV+FN) Una sensibilidad de 1 indica que todas las anormalidades se detectan. La sensibilidad también se denomina como Fracción de Positivos Verdaderos (True Positive Fraction). La métrica que complementa a la sensibilidad es la especificidad la cual mide la probabilidad de que un proceso de detección reporte correctamente la no existencia de una anormalidad (o evento) cuando efectivamente ésta no existe. La suma de NV y PF corresponde al total de falsos en el proceso de detección así, la especificidad de un sistema de detección se puede calcular como: Especificidad=NV/(NV+PF)

3 Una especificidad de 1 indica que nunca se reporta la existencia de una anormalidad ( o evento) cuando ésta no existe. La Fracción de Falsos Positivos (False Positive Fraction) está definida como ( 1-especificidad) y es la fracción de casos normales que se reportan equivocadamente como anormales. Un proceso ideal de detección debe tener una sensibilidad y una especificidad de 1. Lo que implica que detecta la presencia de todas las anormalidades ( o eventos) y nunca reporta equivocadamente la presencia de una anormalidad cuando esta no existe. Ningún proceso de detección complejo, automático o humano es ideal. Para evaluar un proceso de detección es necesario tener los valores de sus dos métricas: especificidad y sensibilidad, ya que una sola métrica no puede evaluar correctamente el proceso. Esto debido a que se puede forzar una sensibilidad de 1 si nuestro sistema de detección reporta todos los casos como positivos ( a lo que corresponde una especificidad de 0) y también se puede forzar una especificad de 1 si nuestro sistema reporta todos los casos como negativos (a esto corresponde una sensibilidad de 0). En la mayoría de procesos de detección se puede lograr mayor sensibilidad si disminuimos la especificidad y viceversa. Curva ROC La curva ROC es la herramienta estandar para graficar todas al posibles combinaciones de sensibildad y especificidad de un proceso de detección. Usualmente se grafica la Fracción de Positivos Verdaderos (TPF) o sensibilidad en el eje Y, vs la Fracción de Falsos Positivos (FPF) o (1-especificidad) en el eje X. En una curva ROC el punto de operación ideal es la esquina superior izquierda donde TPF=1, FPF=0 La diagonal que va de (0,0) a (1,1) corresponde a la decisión aleatoria, ningún proceso de detección puede tener valores debajo de ésta línea. Si los tuviera basta con invertir los resultados ( i.e. hacer los positivos negativos y viceversa).

4 El método tradicional para determinar experimentalmente la curva ROC de un observador humano es el siguiente. Se adquiere un conjunto representativo de imágenes que incluyan casos positivos y negativos. Se le pide al observador que califique cada imagen en una escala de varios niveles que van desde definitivamente anormal hasta definitivamente normal. Se pueden tabular entonces diferentes valores de PV y PF (que corresponden a un punto de operación) para el conjunto de imágenes utilizando cada nivel de certeza como un umbral de decisión. En el caso de los sistemas automáticos de detección (y de análisis de imágenes médicas en este curso) la situación es diferente. Idealmente debe identificarse un parámetro que determine los porcentajes de sensibilidad y especificidad del sistema. En la figura se ilustra un caso muy simple en el que nuestro parámetro es un umbral de decisión con el que se separa a dos distribuciones gaussianas de una variable. Al variar el valor del umbral obtendremos diferentes puntos de operación (PV, PF) con los que se puede graficar la curva ROC del sistema. Existen dos consideraciones importantes en la evaluación de un sistema automático de detección: Es importante identificar el parámetro que efectivamente mueve la frontera de decisión en el espacio de características, es posible que la frontera dependa de varios parámetros. Debe seguirse un método apropiado de entrenamiento y validación del sistema automático. Usualmente durante el desarrollo del sistema se utiliza un conjunto de datos sobre con los que se construye una curva ROC optima variando el umbral de decisión. Esta curva no refleja el desempeño del sistema en

5 un nuevo conjunto de datos independiente del primero, usualmente este desempeño será más bajo.