Sólo cuando la exactiud de dos algoritmos que realizan la misma tarea es comparable, tiene sentido hablar de la eficiencia computacional.

Transcripción

1 II.6. Validación de técnicas automáticas de análisis de imágenes médicas [Handbook of medical image analysis volumen 2. Cap.10: Validation of medical image analysis techniques, K.W. Bowyer.] La validación consiste en la medición (evaluación cuantitativa) del desempeño de un algoritmo de procesamiento y análisis de imágenes. La evaluación del desempeño tiene dos aspectos principales: la eficiencia computacional; y la exactitud del algoritmo. En ésta sección presentamos algunas de las técnicas principales para evaluar la exactitud de un algoritmo de análisis de imágenes. Que nos permitirán hacer afirmaciones del tipo: El algoritmo A es mejor que el algoritmo B para la detección de tumores cancerosos de mama ó El algoritmo A es mejor que el algoritmo B para registro de imágenes de TAC y RMN del cerebro Sólo cuando la exactiud de dos algoritmos que realizan la misma tarea es comparable, tiene sentido hablar de la eficiencia computacional. Cuál es el valor práctico de una afirmación sobre el desempeño (exactitud) de un algoritmo de análisis de imágenes? Consideraremos dos respuestas posibles: Las afirmaciones sobre desempeño sirven como base para la comparación de algoritmos Las afirmaciones sobre desempeño sirven para predecir de manera confiable el funcionamiento de un algoritmo cuando se utilize en cierta aplicación clínica. Existen varios problemas que limitan el valor práctico de las afirmaciones sobre el desempeño de un algoritmo de análisis de imágenes, por ejemplo: validación realizada en un conjunto de datos demasiado pequeño el conjunto de datos de validación no es representativo del problema clínico real métricas de desempeño mal especificadas métodos de entrenamiento y validación inapropiados Durante el resto de la sección presentaremos algunos métodos que contribuyen a realizar afirmaciones con valor práctico sobre el desempeño de un algoritmo de análisis de imágenes. Tipos de problemas de análisis de imágenes Problemas de medición y estimación. En este tipo de problemas el objetivo es medir alguna propiedad de la imagen de entrada y el resultado es usualmente un escalar ó un vector. Por ejemplo, el objetivo puede ser medir el área o el volumen de una anormalidad en una imagen, ó

2 calcular la transformación necesaria para registrar dos imágenes. Problemas de clasificación o detección. En general el objetivo será clasificar la imagen como normal o anormal sin la necesidad de especificar una región dentro de la imagen. En este sentido, este tipo de problemas son un subconjunto del problema más general de segmentación de imágenes. Problemas de segmentación de imágenes. Involucran la división de una imagen en un conjunto de regiones diferentes, de acuerdo a una medida de similitud. Las métricas de desempeño para éste tipo de problemas son generalmente más complejas que las utilizadas en los problemas anteriores. Existen dos versiones del problema de segmentación, en la segmentación genérica de bajo nivel el objetivo es producir descripciones del contenido de una imagen. En el problema de detección y localización de anormalidades el objetivo de encontrar todas las regiones de una imagen que contienen una anormalidad. II.6.1. Métricas básicas de desempeño Métricas para problemas de medición Cuando el objetivo es calcular el valor de alguna cantidad escalar o vectorial, es usual el utilizar alguna medida de error relativo respecto de algún valor de referencia calculado con un método independiente: error relativo= (valor medido- valor de referencia)/valor de referencia Métricas para problemas de detección Positivos y Negativos falsos y verdaderos Curva caracterísitica de recepción del operador (ROC) Métricas para segmentación de imágenes Existen 5 condiciones que pueden darse cuando se compara el resultado de un algoritmo de segmentación con una imagen segmentada de referencia (p.e. Segmentación manual de un experto) Segmentación correcta de una región de interés. Esto se da cuando el traslape entre la región segmentada automáticamente y la región correspondiente en la imagen de referencia cumple con cierto umbral mínimo T. Sobre-segmentación de una región. Se da cuando varias regiones de la imagen segmentada automáticamente, corresponden a una sola región de la imagen de referencia. Cada región individual de la imagen segmentada tiene al menos T por ciento de traslape con la región

3 correspondiente en la imagen de referencia. Sub-segmentación de una región. Esto se da cuando varias regiones de la imagen de referencia corresponden a una sola región de la imagen segmentada automáticamente. Cada región individual de la imagen de referencia debe tener al menos T por ciento de traslape con la región única segmentada automáticamente. Región faltante. Esto se da cuando una región anotada en la imagen de referencia no corresponde con alguna región válida de la imagen segmentada automáticamente. Región producida por ruido. Este tipo de regiones aparecen en la imagen segmentada y no corresponden a ninguna región de la imagen de referencia. M. Sonka and J.M. Fitzpatrick (Eds), Handbook of Med. Ima. vol.2, SPIE Press, Usualmente un tipo de error en una región de la imagen, por ejemplo sobre-segmentación, puede mejorarse al empeorar otro tipo de error en otra región, por ejemplo sub-segmentación. Mediante el ajuste de los parámetros del algoritmo. Aumentar el umbral de traslape T usualmente resulta en un menor número de regiones segmentadas consideradas válidas. Las dos consideraciones anteriores sugieren evaluar el desempeño de un algoritmo de segmentación utilizando una familia de gráficas de desempeño en función del umbral T (Fig.10.8)

4 M. Sonka and J.M. Fitzpatrick (Eds), Handbook of Med. Ima. vol.2, SPIE Press, La evaluación de una sola región segmentada automáticamente es más simple. Por ejemplo la segmentación del ventriculo izquierdo del corazón se puede evaluar comparando contra la anotación manual (por un experto) del ventrículo. Existen varias maneras de hacer la evaluación: a) medición del traslape entre las dos regiones anotadas b) medidas basadas en la distancia normal entre los dos contornos: error medio cuadrático, distancia media absoluta, distancia máxima absoluta, etc. c) otras medidas. Por ejemplo la distancia de Hausdorff (h) de un contorno segmentado (CS) a un contorno de referencia (CR) se define como: h CS, CR =max [ min d cs, cr ] cs CS cr CR donde cs y cr son puntos de los contornos CS y CR, y d(cs, cr) es cualquier métrica entre éstos puntos, por simplicidad se utiliza frecuentemente la distancia euclidiana La definición de h tiene orientación es decir: h(cs,cr) h(cr, CS) Una definición mas general de la distancia de Hausdorff entre dos conjuntos de puntos (contornos) y que es la que usualmente se utiliza es: H (CS, CR) = max {h (CS, CR), h (CR, CS)} Ejemplos:

5 II.6.2. Métodos de entrenamiento y evaluación

6 El entrenamiento se refiere al trabajo que se realiza durante el desarrollo y ajuste de párametros de un algoritmo de análisis de imágenes. La evaluación se refiere a la estimación del desempeño (principalmente la exactitud) del algoritmo. La métrica de desempeño puede variar dependiendo de la aplicación: segmentación, registro, detección. Pero el objetivo de la evaluación es siempre producir un estimado sin sesgo del desempeño del algoritmo. El principio básico del entrenamiento y la evaluación es que ambos deben realizarse en conjuntos de datos que no se intersecten. Una (mala) práctica común consiste en modificar el algoritmo para mejorar los resultados sobre el conjunto de evaluación. Una vez hecho esto debería, evaluarse el desempeño sobre un nuevo conjunto de datos y no sobre el conjunto de evaluación original. Esto se conoce como evaluar sobre datos de entrenamiento. El desempeño de un algoritmo evaluado de ésta forma producirá resultados demasiado optimistas. El segundo aspecto más importante de una metodología de entrenamiento y evaluacion apropiada consiste en hacer el mejor uso de conjuntos de datos que usualmente son limitados, debido a varios factores: costos necesidad de utilizar datos representativos (pocos positivos entre un gran número de negativos) necesidad de contar con datos de referencia anotados por uno o varios expertos En las subsecciones siguientes asumimos que se cuenta con un número apropiado de ejemplos de referencia (p.e. imágenes anotadas por un experto). Mitad y mitad Cuando contamos con un buen número de ejemplos anotados, es posible dividir el conjunto en dos partes y utilizar una mitad para entrenamiento y la otra para evaluación. Una evaluación más completa se puede lograr entrenando y validando con ambas mitades. Los resultados de validación finales se forman con el promedio de las dos mitades. La división de los datos en mitades debe hacerse de forma aleatoria, y cada mitad debe mantener las proporciones de ejemplos positivos y negativos, representativas de la situación clínica. Deje uno fuera (leave one out) Con ésta tecnica de entrenamiento y validación, se maximiza el uso del conjunto de datos. Un conjunto de N ejemplos se divide N veces en un conjunto de entrenamiento de N-1 ejemplos y un sólo ejemplo de validación. El algoritmo se entrena y evalua N veces sobre particiones distintas de los datos. Los resultados finales de evaluacion se obtienen promediando los

7 resultados de los N ejemplos de evaluación. Validación cruzada de n-modos La validación cruzada es una generalización del método anterior. Se separa un porcentaje del conjunto de datos, que se utiliza para evaluación y el resto se utiliza para entrenamiento. La partición se repite tantas veces como sea posible, p.e. podemos dividir de 10 maneras distintas un conjunto en 10% evaluacion y 90% entrenamiento. Igual que antes los resultados finales de evaluación se calculan como el promedio sobre todos los conjuntos evaluados. La selección de un técnica de entrenamiento y evaluación depende de la cantidad de ejemplos anotados disponibles y del tiempo que toma el entrenamiento. En general, el desempeño de un sistema será mejor mientras más grande sea el un conjunto de datos de entrenamiento. Las mejoras en el desempeño no se comportan de manera lineal con resepcto al tamaño del conjunto de datos de entrenamiento. Cuando el conjunto es muy pequeño, ligeros incrementos en los datos pueden proporcionar mejoras notables en el desempeño. Mientras que para conjuntos grandes los incrementos en el conjunto de datos de entrenamiento producen mejoras poco significativas.

8 M. Sonka and J.M. Fitzpatrick (Eds), Handbook of Med. Ima. vol.2, SPIE Press, II.6.3. Aspectos prácticos Recordemos que el objetivo de la evaluación de un sistema de análisis de imágenes es producir una especificación de desempeño (exactitud) con el menor sesgo posible, que nos permita: 1. Comparar varios sistemas entre si, utilizando la especificación respectiva 2. Predecir el desempeño del sistema durante su uso clínico En ésta seccción presentamos algunos de los factores que reducen la validez de una especificación.

9 Podemos agrupar éstos factores en 4 categorias principales: sesgo optimista introducido en los datos; artefactos producidos por el sensor de imágenes; criterios de detección subjetivos; problemas con las imágenes de referencia. Uso de datos sintéticos. Se puede producir imágenes sintéticas utilizando algún modelo computacional del proceso de adquisición de imágenes. Usualmente se producen imagenes sintéticas de dificultad variable mediante la adición de ruido sobre una imagen original. Tambienn es posible simular anormalidades mediante el procesamiento de una imagen normal. En cualquier caso la utilidad de las imágenes sintéticas se limita a las pruebas de corrección de un algoritmo en su etapa de desarrollo. Cualquier evaluación del desempeño del algoritmo debe realizarse sobre las mismas imágenes (datos) que se producen en la aplicación clínica. Conjuntos de datos con dificultad variable Existen diferentes maneras en las que un conjunto de datos puedn incluir algún sesgo que produzca resultados optimistas. La condición básica es el tamaño del conjunto, en general los conjuntos de datos pequeños son más simples y el análisis automático produce mejores resultados. Aún los conjuntos de datos grandes pueden presentar un nivel muy diferente de dificultad de análisis. Esto depende de factores como la población de la que se tomaron los datos, o de la introducción de un sesgo al muestrear los datos. La mejor forma de comparar el desempeño de dos sistemas diferentes es evaluarlos en el mismo conjunto de datos. Una buena forma de medir el desempeño de un sistema es evaluarlo en varios conjuntos grandes de datos construidos de manera independiente. Conjuntos de datos filtrados de forma inadvertida Es usual descartar casos raros cuando se forma un conjunto de datos. Entonces si en la prática clínica se presenta uno de éstos casos raros, el comportamiento del sistema será impredecible.

10 M. Sonka and J.M. Fitzpatrick (Eds), Handbook of Med. Ima. vol.2, SPIE Press, La mejor manera de formar el conjunto de datos es tomarlos todos del flujo clínico, sin descartar nada. Artefactos específicos del sensor de imágenes Es importante tener en cuenta la posible existencia de artefactos introducidos durante la adquisición de un conjunto de imágenes. Por ejemplo en la Fig se muestran algunos artefactos introducidos durante la digitalización de placas de mamografía.

11 M. Sonka and J.M. Fitzpatrick (Eds), Handbook of Med. Ima. vol.2, SPIE Press, Criterios de detección subjetivos En cualquier situación en la que una anormalidad ocupa una región definidad dentro de una imagen. Es necesario establecer criterios objetivos para realizar la comparación de los resultados automáticos contra la imagen de referencia anotada por un experto. Para esto las regiones de una anormalidad deben estar anotadas en ambas imágenes de manera compatible para realizar la comparación (muchas veces se anotan igual). La cuantificación de la correspondencia entre los resultados automáticos y del experto de be hacerse de forma automática y utilizando métricas apropiadas (que al menos puedan justificarse).

12 La Fig. siguiente ilustra el criterio de 50% de traslape entre la región detectada automáticamente y la imagen de referencia (anotada por un experto) M. Sonka and J.M. Fitzpatrick (Eds), Handbook of Med. Ima. vol.2, SPIE Press, Metodología deficiente de entrenamiento y evaluación Como se mencionó antes, el error más común en la evaluación de un sistema de análisis de imágenes, consiste en modificar los parámetros del sistema en base a los resultados obtenidos sobre el conjunto de datos de evaluación. Si es éste el caso nuestro conjunto de evaluación se vuelve un conjunto de entrenamiento y la evaluación del sistema se debe reportar en otro conjunto de datos diferente. Otro posible problema ocurre cuando se producen varias imágenes de un mismo paciente, p.e. cortes tomográficos (RMN, TAC, US), ó varias vistas (mamografia). En estos casos la división de conjunto de datos en entrenamiento/evaluación debe realizarse por paciente y no por imagen. Todas las imágenes de un paciente deben incluirse ya sea como datos de entrenamiento ó como datos de evaluación. Problemas relacionados con las imágenes de referencia Existen 3 aspectos importantes en un conjunto de imágenes de referencia:

13 1. Cuál es el nivel de detalle necesario? 2. Como disminuir los errores de categorización 3. Cuál es el nivel del error de cuantización? El nivel de detalle necesario está relacionado con el propósito del análisis de las imágenes. Por ejemplo la base de datos DDSM (Digital Database for Screening Mamography) utiliza 4 categorias de alto nivel: normal, benigno sin requerir analisis adicional, benigno que requiere analisis adicional, maligno. A su vez los casos identificados como malignos se clasificaron de acuerdo a los términos de BI-RADS del colegio de radiologia de EU. El primer nivel de clasificación del tumor es: masa ó calcificación; Las masas se pueden describir de acuerdo a la forma y los márgenes. Las calcificaciones se pueden describir de acuerdo al tipo (p.e. microcalcificaciones) y la distribución (p.e. radial). El nivel de detalle descrito se considera apropiado para desarrollar sistemas de diagnóstico de cáncer de mama asistido por computadora. Los problemas de categorización, son los errores introducidos en un conjunto de datos con respecto a la clase a la que pertenece una imagen (benigna/maligna). Estos errores se pueden introducir por un manejo descuidado de la informacion o por una valoración equivocada del experto. Una manera de reducir la valoración equivocada consiste en repetir la anotación de la imagen un cierto tiempo posterior a la primera anotación si las anotaciones coinciden se toman los datos como válidos. Existe otro tipo de error de categorización debido a la incertidumbre sobre la clase a la que pertenece una imagen (benigna/maligna), que se presenta cuando la información sobre una anormalidad no permite identificarla con certeza. Finalmente la variabilidad cuantitativa de un conjunto de imágenes de referencia se debe a las variaciones que se presentan en cualquier conjunto de medidas realizadas por expertos humanos. En el caso de la anotación por un sólo experto existe un error de quantización intra-observador, y en el caso de varios expertos tenemos además un error entre-observadores (inter-observer).

14 M. Sonka and J.M. Fitzpatrick (Eds), Handbook of Med. Ima. vol.2, SPIE Press, 2000.

15 Conclusión de la sección La realización de especificaciones exactas y sin sesgo sobre la exactitud de un sistema de análisis de imágenes médicas es una tarea difícil. Sin embargo la comparación entre diferentes sistemas (algoritmos) puede hacerse más sencilla y confiable si los investigadores siguen algunas recomendaciones: Primero reporte la evaluación sobre un conjunto público de datos, siempre que sea posible. Si su conjunto de datos presenta retos nuevo hagalo público de ser posible. Segundo especifique claramente los criterios de detección (para deteminar la presencia de positivos) utilizados durante la evaluacion de la exactitud. Tercero, especifique claramente los métodos de entrenamiento y evaluación utilizados. Si contamos con conjuntos de datos, criterios de detección y métodos de entrenamiento y evaluación comunes a dos ó mas sistemas diferentes. La comparación entre sistemas será muy exacta y confiable. Sin embargo la estimación del desempeño de los mismos sistemas en una aplicación clinica real, sigue siendo poco exacta o confiable. Ya que para lograr alta exactitud necesitamos que los conjuntos de datos utilizados sean representativos de la situación clinica real durante periodos largos. En general la estimación del desempeño clínico de los sistemas de análisis de imágenes médicas es un área que requiere todavia esfuerzos importantes. BIBLIOGRAFIA S.S. Reddi, S.F. Rudin, H.R. Kevashan (1984), An optimal multiple threshold scheme for image segmentation, IEEE Trans. On Systems Man and Cybernetics, 14, pp N. Otsu (1979), A threshold selection method from gray-level histograms, IEEE Trans. On Systems Man and Cybernetics, 9, 1, pp Cootes T.F., Taylor C.J. (2001), Statistical models of appearance for computer vision, Technical report, Wolfson Image Analysis Unit, University of Manchester, UK. Maintz J.B.A., Vergiever M.A. (1998), A survey of medical image registration, Med. Image Anal., vol.2, pp.136. Cootes T.F., Taylor C.J., Cooper D.H., Graham J., Active shape models -Their training and application. Comput. Vision Image Understanding 61,