PLATAFORMA DE BÚSQUEDA DE IMÁGENES HISTOLÓGICAS POR SIMILITUD VISUAL. Tecnalia Research & Innovation Derio. España.

Transcripción

1 PLATAFORMA DE BÚSQUEDA DE IMÁGENES HISTOLÓGICAS POR SIMILITUD VISUAL C. L. Saratxaga 1, A.Picón 1, S. Rodriguez-Vaamonde 1, A. López-Carrera 1, J. Echazarra 1, A. Bereciartua 1, E. Garrote 1 1 Area de negocio de Visión por Computador. División ICT-EST. Fundación Tecnalia Research & Innovation Derio. España. Resumen. En este trabajo se presenta una plataforma de búsqueda de imágenes histológicas basada en información visual clínicamente relevante. El objetivo es simplificar el trabajo de localización y obtención de muestras de tejido en investigación, docencia y diagnóstico, disponibles en redes de biobancos a nivel mundial. Para ello, se propone un método de indexación de imágenes que permite crear una firma digital compacta de cada imagen, que describe los elementos visuales presentes creando una base de datos digital de muestras interconectadas. Se ha desarrollado un sistema de búsqueda en el que, a partir de una imagen de búsqueda, se indican las muestras visualmente similares desde el punto de vista clínico. La plataforma ha sido validada por patólogos de 8 hospitales utilizando muestras de cáncer de colon, mama y pulmón. 1. Introducción El proceso actual para la localización de imágenes histológicas resulta largo y poco productivo. Se basa en la realización de consultas específicas a cada biobanco para conocer si disponen de muestras de unas determinadas características. Sólo en España hay más de 50 biobancos, lo que da idea del esfuerzo que puede suponer localizar las muestras. Además, en este proceso no se tiene la garantía de que las muestras encontradas sean las adecuadas, ni resulta sencillo localizar aquellos biobancos que tienen las muestras más apropiadas para un estudio. Por otra parte, esta dinámica infrautiliza las capacidades de los biobancos. Por este motivo, se propone una herramienta que permite la búsqueda de muestras en base a sus características visuales, es decir, a cómo se verían a través de un microscopio en su propio laboratorio. Esta aproximación constituye un auténtico reto, ya que la naturaleza propia e inherente a la variabilidad de las imágenes, los pequeños matices visuales que implican uno u otro diagnóstico, o la variabilidad en la categorización de una imagen histopatológica por parte de los profesionales son aspectos muy relevantes. Además de dotar de un sistema de búsqueda profesional de muestras, se abren nuevas posibilidades para la explotación de los datos contenidos en los biobancos como herramienta de apoyo al diagnóstico. De esta forma, un facultativo puede utilizar una imagen histológica propia y el sistema es capaz de devolver aquellas imágenes histológicas que presenten una mayor similitud visual desde el punto de vista clínico. Así, el profesional puede diagnosticar analizando los datos diagnósticos de muestras similares como si de un atlas histológico inteligente (sólo muestra aquellos casos similares) se tratara. También puede ser utilizado en docencia como proveedor de muestras de ejemplo. El trabajo presentado se organiza como sigue. En la sección 2, se describe el estado del arte en sistemas de recuperación de imágenes por similitud visual así como los objetivos del sistema propuesto. En la sección 3, se realiza una introducción al procedimiento de obtención de imágenes de carácter histológico así como el procesamiento matemático necesario para

2 extraer la información visual. En la sección 4, se detalla la metodología implementada en el desarrollo de la plataforma, tanto para generar la descripción interna de las imágenes como para su recuperación cuando se realiza una búsqueda. En la sección 5, se analizan los resultados obtenidos en la validación de la plataforma. Finalmente, en la sección 6, se exponen las conclusiones y líneas de trabajo futuras. 2. Contexto El sistema propuesto se enmarca dentro de los sistemas de Recuperación de Imágenes Basados en Contenido (CBIR en inglés), que han demostrado ser una tecnología muy relevante a la hora de explotar la información de diferentes tipos de repositorios médicos. Técnicamente, pueden ser descritos como herramientas que utilizan contenidos visuales para buscar imágenes dentro de grandes bases de datos de acuerdo con los intereses del usuario. La mayoría de los CBIR actuales contemplan una arquitectura jerarquizada. Comienzan analizando información de bajo nivel de las imágenes, como es el color, con el objetivo de buscar aquel espacio de color que mejor permita analizar la textura para capturar, aplicando diversos algoritmos, las características de la imagen tanto a nivel local como global. Como resultado de este análisis, se obtiene un descriptor de imagen que permite caracterizarla y recuperarla durante la búsqueda. En [1] y [2] se realiza una revisión de diferentes soluciones de este tipo desarrolladas en el ámbito médico. Los trabajos previamente realizados en sistemas CBIR aplicados a imágenes médicas no son aplicables a las necesidades actuales existentes en el análisis de imágenes histológicas. Muller et al [1] realizan una revisión exhaustiva de diferentes sistemas CBIR aplicados a imágenes médicas mediante metodologías tradicionales [3] basadas en la generación de diccionarios de palabras visuales, núcleos adecuados y valoración global del contenido de la imagen. Sin embargo, estos sistemas presentan bajas tasas de sensibilidad y especificidad, por lo que es necesaria su adaptación para su uso en aplicaciones reales en el campo histológico. Es también importante tener en cuenta que para los métodos más novedosos de caracterización de objetos basados en Deep Learning [4] no hay referencias de haber sido aplicados en la caracterización de imágenes de histología. El trabajo más completo en esta área es el desarrollado por el equipo de Caicedo et al [5] en el que se propone la subdivisión de la imagen histológica en regiones y la extracción de características texturales y de color en las mismas, que son cuantificadas mediante el cálculo de un diccionario de palabras visuales para cada tipo de características. Estos trabajos son extendidos mediante el cálculo de la variabilidad del diccionario de palabras visuales [6] o la inclusión de técnicas de Machine Learning [7,8] para establecer la relación entre las características visuales y el contenido semántico, algo que también ha sido tratado por otros autores que utilizan técnicas de Boosting para esta tarea de clasificación [9]. Sin embargo, las soluciones mencionadas anteriormente han sido validadas únicamente sobre conjuntos reducidos de imágenes histológicas provenientes de un único servicio de histopatología, no demostrando su viabilidad operativa real. Además, presentan limitaciones en cuanto a la definición de los conceptos de similitud visual, definición de la arquitectura y distribución de elementos en la imagen, así como en la representación de la variabilidad entre patólogos en el diagnóstico. Por otro lado, uno de los principales problemas que presentan las muestras histológicas es su variabilidad en apariencia final ya que son tratadas con diferentes tipos de tinción y el resultado final cromático sobre la muestra depende de factores como la

3 concentración, el tiempo de exposición o el proveedor. En este sentido, la plataforma propuesta está siendo validada con imágenes provenientes de 8 hospitales diferentes y en diferentes patologías. Asimismo, el método de análisis desarrollado para el procesamiento de las imágenes se realiza a diferentes escalas (10x, 20x, 40x) emulando el proceso de diagnóstico seguido por los expertos, lo que permite aumentar la precisión del sistema identificando automáticamente las regiones de interés y caracterizando los distintos tipos de tejido. 3. Obtención y anotación de imágenes histológicas Para cumplir con los objetivos de desarrollo es necesario crear una base de datos consistente y con información suficiente para la validación de la metodología propuesta. En este sentido, el trabajo actual ha sido validado utilizando la base de datos creada en el proyecto Biopool [10]. Estas imágenes incluyen muestras tanto de tejido sano como de tumoral y tratadas con tinciones de Hematoxilina-Eosina (HE). De cara a integrar la variabilidad y el conocimiento de los patólogos en el modelo matemático [11], se diseñó un proceso de etiquetado en el que participaron 12 patólogos diferentes. Para ello, se aplicó una metodología basada en la determinación de cuatro grados de similitud entre pares de imágenes, tal y como se lleva a cabo en otras especialidades [12]. Ante la imposibilidad de valorar todos los pares de imágenes posibles, se seleccionaron los pares siguiendo una distribución estadística determinada en base a una primera estimación de la similitud visual que genera parejas de imágenes con grados de similitud controlados [13]. 4. Proceso de indexación y recuperación de la imagen La plataforma trabaja en dos fases. En primer lugar se realiza una indexación de las imágenes, proceso en el que se obtiene una firma numérica por cada imagen. Esta firma asocia un número que permite describir cada una de las características visuales de la imagen, conjuntos de elementos, su distribución y formas de agrupación, entre otros. Esta indexación hace posible la búsqueda, en la que se aplican diversas estrategias para medir la similitud entre las imágenes y mostrar al usuario aquellas de la base de datos que se consideren más similares a la imagen referenciada en la búsqueda. Los dos procesos se explican a continuación Indexación de imágenes histológicas En el caso de imágenes histológicas no es posible realizar un análisis genérico similar al usado en imágenes convencionales, donde se estudia la estructura global de la imagen, sino que requiere analizar la distribución y presencia de pequeñas microestructuras texturales en la imagen (necrosis, mucus ) y la composición de estructuras de orden superior compuestas a partir de dichas estructuras (tipos de tejidos, glándulas ). El análisis de las imágenes debe establecer correctamente las relaciones entre las características visuales perceptivas y su relevancia clínica, al igual que se ha aplicado en otros campos [14]. La indexación de las imágenes es un proceso complejo que habitualmente se realiza en varias etapas, y tiene como objetivo encontrar el mínimo número de características que mejor puedan representar la información de cada imagen. La imagen se divide en subregiones, que permiten analizar las características y variaciones locales por separado. A continuación se

4 ejecutan algoritmos que extraen las características de la región y que son utilizados para crear la firma (o descriptor) de la misma. Estos algoritmos están destinados a extraer diferentes características, como son el color, la textura, o bordes y contornos. Después de estas conversión se realizan cálculos básicos como la Media, la Varianza o el Histograma. En cuanto a las características de textura, se extraen utilizando operadores como el Local Binary Pattern, matrices de co-ocurrencia o Tamura (entre otros), ya que tienen en cuenta la información de los pixeles vecinos al que se quiere calcular, y donde se asignan diferentes pesos dependiendo de lo que se quiera medir. Por otro lado, el análisis de las características de ejes y bordes se puede realizar utilizando operadores basados en el gradiente de la imagen o wavelets. El procedimiento total de indexación se ilustra en la Figura 1. En primer lugar, un conjunto de descriptores multi-escala se utilizan para describir matemáticamente e integrar la información visual contenida en cada uno de los niveles de detalle de la imagen (sub-elementos, agrupaciones, y arquitectura). Estos descriptores configuran una descripción de región (Paso 2), y son utilizados para crear un diccionario de palabras visuales, que se obtiene mediante la utilización de técnicas de agrupamiento conocidas como Clustering. Entonces, los descriptores de región se procesan de nuevo y se obtienen unos nuevos descriptores que indican la relación de cada elemento respecto al diccionario (Paso 3). Finalmente, se realiza una descripción de más alto nivel de cada una de las regiones haciendo uso de histogramas, midiendo la aparición de cada tipo de palabra del diccionario en cada una de las regiones de la imagen (Paso 4). Como resultado, cada imagen se describe utilizando una serie de índices numéricos que se representan en un vector de N números, completando el proceso de indexación. Figura 1: Metodología implementada en la indexación de las imágenes 4.2. Búsqueda por similitud visual El objetivo del proceso de búsqueda es el de recuperar aquellas imágenes previamente indexadas que presenten una similitud mayor a la imagen proporcionada por el usuario. Para que sea posible la obtención de resultados de búsqueda apropiados, es necesario haber realizado previamente una indexación adecuada, ya que el motor de búsqueda trabaja directamente con los índices generados en este proceso. Asimismo, cuando se produce una nueva búsqueda, la imagen proporcionada es analizada siguiendo el mismo proceso de generación de su propio descriptor. Este descriptor es entonces comparado con el de las imágenes que forman parte de la base de datos.

5 El método más utilizado para la localización de los índices con mayor similitud, está basado en el uso de distancias comunes entre el índice de la imagen de búsqueda y el conjunto de vectores indexados, localizando las más cercanas según los valores de distancia. Esta técnica es una de las aproximaciones más efectivas, ya que realiza un análisis exhaustivo de todo el espacio, por lo que es posible encontrar las imágenes similares de forma muy precisa. Adicionalmente, se puede incrementar la precisión modificando la métrica utilizada empleando la técnica conocida como Metric Learning. De esta forma, utilizando algoritmia basada en esta técnica (ICML), se hace posible adaptar una métrica genérica de Mahalanobis al caso especial y a los descriptores visuales con lo que se está trabajando. Los resultados de las anotaciones proporcionadas por los patólogos se han incorporado en el sistema mediante esta técnica de aprendizaje, ya que permite integrar el conocimiento y variabilidad humana a la definición de similitud, haciendo que los resultados mostrados sean los esperados por los patólogos. De cualquier modo, tanto en este caso como en el anterior, la complejidad de la búsqueda es lineal O(n), lo que no resulta útil cuando se trabaja con grandes cantidades de imágenes. Por ello, empleamos técnicas basadas en KD-Tree para realizar un cálculo de distancias aproximado, pero fiable, que permite aumentar la escalabilidad del sistema. 5. Análisis de resultados Para analizar los resultados, y dado que no hay estudios de referencia, se ha decidido comparar los resultados de la precisión del sistema con la precisión genérica del estado del arte en búsquedas textuales en internet [15]. Aunque a priori es conocido que la dificultad inherente a las muestras histológicas es mayor que la de las imágenes convencionales. La precisión se entiende como el porcentaje de imágenes correctas devueltas entre las N primeras imágenes. En nuestro caso se ha utilizado N=10. Para su validación se han utilizado subconjuntos de test de los análisis realizados por los mismos patólogos. Los intervalos de confianza obtenidos para esta precisión (p_value=0.05) fueron los siguientes: Estado del arte (búsqueda textual) Biopool (sin metric learning) Biopool (metric learning) [0,615 0,666] [0,721 0,767] Tabla 1: Intervalos de confianza en el análisis de la precisión Como se puede apreciar, los resultados obtenidos mediante la utilización de los descriptores de imagen (sin metric learning) se aproximan a los del estado del arte de la tecnología de búsqueda de texto genérica en internet, que es mucho menos restrictiva en cuanto a requerimientos de búsqueda. Sin embargo, con la utilización de las técnicas basadas en metric learning se obtienen valores superiores de precisión, siendo validados por las propias decisiones de similitud realizadas por los propios patólogos. Asimismo, el funcionamiento y los resultados de la plataforma se pueden ver en el video que se referencia en el artículo: 6. Conclusiones y trabajo futuro En este trabajo se expone un sistema que permite la recuperación de imágenes visualmente similares a las imágenes histológicas de Hematoxilina-Eosina almacenadas en diferentes

6 biobancos. El sistema modela el proceso utilizado por patólogos para la recuperación de imágenes similares en base a los criterios clínicos de los propios patólogos, y se integra en el sistema mediante técnicas de Metric Eearning, incluyendo una descripción de la imagen multi-escala que permite combinar desde los detalles minúsculos hasta la arquitectura en un descriptor compacto. Los resultados de precisión obtenidos resultan superiores a las precisiones en otros campos como es la búsqueda por internet generalista (Tabla 1). Este trabajo permite potenciar el papel de los biobancos, su conectividad y el aprovechamiento de las muestras disponibles, permitiendo que cualquier investigador localice de forma precisa las muestras deseadas en cualquier biobanco conectado. Además, se amplía el campo de acción de los biobancos permitiendo su uso para ayuda al diagnóstico y docencia. Como trabajo futuro se considera el escalado del sistema a un número mucho mayor de biobancos (20 biobancos de 6 países han expresado su interés), añadir nuevas patologías, además de incluir de imágenes tratadas con inmunohistoquímica, el historial clínico y datos genéticos. Agradecimientos Este trabajo ha sido parcialmente financiado por el proyecto Biopool bajo la supervisión del Séptimo Programa Marco de la Comisión Europea (grant agreement ). Agradecemos a todo el consorcio Biopool, por su soporte y colaboración para realizar este trabajo. Referencias [1] H. Müller, N. Michoux, D. Bandon, y A. Geissbuhler. A Review of Content-based Image Retrieval Systems in Medical Applications-clinical Benefits and Future Directions. International Journal of Medical Informatics 73, nº 1, 1 24 (2004). [2] P. Aggarwal, H.K. Sardana y G. Jindal. Content Based Medical Image Retrieval: Theory, Gaps and Future Directions. International Journal on Graphics, Vision and Image Processing 9, nº 2, (2009). [3] M. Everingham, L. Van Gool, C. K. I. Williams, J. Winn, y A. Zisserman. The Pascal Visual Object Classes (VOC) Challenge. International Journal of Computer Vision 88, nº 2, (June 2010). [4] T. Dean, M. Ruzon, M.Segal, J. Shlens, S. Vijayanarasimhan, y J. Yagnik. Fast, Accurate Detection of 100,000 Object Classes on a Single Machine. In Proceedings of IEEE CVPR Conference (2013). [5] J. C. Caicedo, y E. Izquierdo. Combining low-level features for improved classification and retrieval of histology images. Transactions on Mass-Data Analysis of Images and Signals 2, nº 1, (2010). [6] J. C. Caicedo, A. Cruz, y F. González. Histopathology image classification using bag of features and kernel functions. Artificial Intelligence in Medicine, (2009). [7] J. Vanegas, J. C. Caicedo, F. González, y E. Romero. Histology image indexing using a non-negative semantic embedding. Medical Content-Based Retrieval for Clinical Decision Support, (2012). [8] A. Cruz-Roa, J. C. Caicedo, y F. A. González. Visual pattern mining in histology image collections using bag of features. Artificial Intelligence in Medicine 52, nº 2, (2011). [9] J. Wang, Y. Li, Y. Zhang, C. Wang, H. Xie, G. Chen, y X. Gao. Bag-of-features based medical image retrieval via multiple assignment and visual words weighting. IEEE transactions on medical imaging 30, nº 11, (2011). [10] Sitio Web proyecto Biopool: [11] J. Eaden, K. Abrams, H. McKay, H. Denley, y J. Mayberry. Inter-Observer Variation between General and Specialist Gastrointestinal Pathologists When Grading Dysplasia in Ulcerative Colitis. The Journal of Pathology 194, nº 2, (2001). [12] E. M. Voorhees y L. P. Buckland. Proceedings of the Eighteenth Text Retrieval Conference, NIST Special Publication , (2009). [13] B. Carterette, V. Pavlu, E. Kanoulas, J. A. Aslam, y J. Allan. "If i had a million queries". In Advances in Information Retrieval, (2009). [14] S. Rodriguez-Vaamonde, L. Torresani y A. Fitzgibbon. What Can Pictures Tell Us About Web Pages? Improving Document Search using Images. Proceedings of the 36th international ACM SIGIR conference, (2013). [15] S. Büttcher, y al. "Reliable information retrieval evaluation with incomplete and biased judgements". Proceedings of the 30th annual international ACM SIGIR conference (2007).