UNIVERSIDAD DE EXTREMADURA

Transcripción

1 UNIVERSIDAD DE EXTREMADURA ESCUELA POLITÉCNICA DE CÁCERES INGENIERÍA INFORMÁTICA PROYECTO FIN DE CARRERA Implementación paralela y validación de nuevos algoritmos para detección Director: Antonio Plaza Miguel Autores: Sergio Muñoz Alonso Soraya Blázquez Moreno Cáceres, Octubre 2006

2 CO TE IDOS 1. MOTIVACIONES Y OBJETIVOS Motivaciones Objetivos ANTECEDENTES Concepto de imagen hiperespectral Sensores hiperespectrales Características genéricas Sensores hiperespectrales considerados Sensor AVIRIS Sensor HYDICE Técnicas de análisis hiperespectral y necesidad de paralelismo Técnicas basadas en el modelo lineal de mezcla Necesidad de paralelismo TÉCNICAS DE ANÁLISIS HIPERESPECTRAL Concepto de endmember frente a concepto de target Algoritmos de detección de targets Automated Target Generation Process (ATGP) Unsupervised Fully Constrained Least Squares (UFCLS) Algoritmos de extracción de endmembers Píxel Purity Index (PPI) N-FINDR Iterative Error Analysis (IEA) Desarrollo de un nuevo algoritmo de detección de targets Ángulo espectral (SAD) Implementación serie Implementación paralela Particionamiento de datos Descripción del algoritmo paralelo ANÁLISIS Y DISCUSIÓN DE RESULTADOS Métricas de comparación Similaridad espectral Número de targets necesario Rendimiento computacional Imágenes hiperespectrales reales utilizadas en el estudio Aplicación #1: Detección de targets militares (imagen HYDICE) Aplicación #2: Identificación de minerales (imagen AVIRIS) Comparativa de algoritmos Detección targets en aplicación #1 (targets militares) Número de targets necesario Comparación de firmas espectrales Rendimiento computacional Detección targets en aplicación #2 (identificación minerales) Evaluación del algoritmo IEA Evaluación del algoritmo PPI Estudio comparativo del algoritmo SAD-ATGP HERRAMIENTA PARA LA COMPARACIÓN DE ALGORITMOS Manual de Usuario Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 2

3 5.2. Barra de Menú Archivo Historial Zona de selección de algoritmos Zona de selección de bandas Zona de resultados CONCLUSIONES Y LÍNEAS FUTURAS DE TRABAJO REFERENCIAS BIBLIOGRÁFICAS APÉNDICE: IMPLEMENTACIONES SERIE Y PARALELA DE SAD-ATGP. ERROR! MARCADOR NO DEFINIDO. IMPLEMENTACIÓN SERIE... ERROR! MARCADOR NO DEFINIDO. IMPLEMENTACIÓN PARALELA... ERROR! MARCADOR NO DEFINIDO. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 3

4 1. Motivaciones y objetivos 1.1. Motivaciones El trabajo desarrollado en este Proyecto Fin de Carrera (PFC) se enmarca dentro de las líneas de investigación actuales del Grupo de Redes Neuronales y Procesamiento de Señal (GRNPS) del Departamento de Informática de la Universidad de Extremadura. En sus inicios, la investigación realizada en el GRNPS estuvo orientada al desarrollo de algoritmos de computación neuronal para la cuantificación de espectros. Esta línea de investigación fue pronto extendida al análisis de imágenes hiperespectrales de la superficie terrestre, obtenidas de forma remota, a partir de sensores aerotransportados y de tipo satélite. En concreto, el presente trabajo consiste en la obtención de un nuevo método para la detección de targets (objetivos) en imágenes hiperespectrales de la superficie terrestre. Las aplicaciones potenciales de dicho algoritmo son múltiples, destacando aplicaciones militares tales como detección de material armamentístico camuflado, anomalías, minas antipersona (incluso a nivel sub-píxel), identificación de agentes contaminantes en aguas y atmósfera, etc. A pesar de que muchas de las aplicaciones mencionadas requieren una respuesta en tiempo casi real, el principal problema a la hora de analizar imágenes de elevada dimensionalidad como las consideradas en el presente trabajo radica en la elevada complejidad computacional de su tratamiento, que limita su explotación en situaciones en las que los requerimientos espaciales y temporales son elevados. Por este motivo, uno de los principales objetivos de este PFC es el desarrollo y validación de una implementación paralela de un nuevo algoritmo de detección de targets denominado Spectral Angle Distance-based Automated Target Generation Process (SAD-ATGP), utilizando el lenguaje de programación C++ con llamadas a Message Passing Interface (MPI), capaz de optimizar el rendimiento computacional de las técnicas mencionadas mediante su implementación en arquitecturas de tipo cluster y en redes de computadores. Para la validación de los algoritmos desarrollados en el presente trabajo, se ha empleado una arquitectura paralela de bajo coste, constituida por un cluster de computadores personales interconectados entre sí y gestionados utilizando el Sistema Operativo LinEx, permitiendo así la explotación de las técnicas desarrolladas en aplicaciones que requieren una respuesta en tiempo casi real. En concreto, se han considerado dos aplicaciones reales: 1. Detección de objetivos militares en una imagen hiperespectral obtenida por el sensor HYperspectral DIgital Collection Experiment (HYDICE) en el marco de una campaña experimental financiada por el ejército de Estados Unidos (SITAC). 2. Identificación de minerales en una imagen hiperespectral obtenida por el sensor Airborne Visible Infra-Red Imaging Spectrometer (AVIRIS) operado por el Jet Propulsion Laboratory de NASA sobre el distrito minero de Cuprite en Nevada, Estados Unidos. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 4

5 Por otra parte, otra de las actividades desarrolladas en el presente trabajo consiste en la realización de un estudio cuantitativo y comparativo de diferentes algoritmos para la detección. En la actualidad, existen varias aproximaciones al problema, así como algoritmos desarrollados inicialmente para otros fines pero que pueden ser también utilizados para este propósito (algoritmos para detección de endmembers o firmas espectrales puras, algoritmos para detección de anomalías, etc). Hasta la fecha, no ha sido posible establecer una comparación estándar de dichas aproximaciones debido a dos limitaciones: 1. La falta de implementaciones comparables de dichos algoritmos, que en muchos casos son de carácter comercial y por tanto han sido desarrollados en diferentes lenguajes de programación, impidiendo la obtención de un sistema de comparación fiable y justo, basado en la utilización de un entorno de desarrollo estandarizado y en un mismo sistema computador. 2. La falta de una herramienta software adaptada específicamente a la tarea de comparar y evaluar la precisión y rendimiento computacional de algoritmos de detección. Con vistas a solventar (al menos de forma parcial) las anteriores limitaciones, en el presente PFC se han desarrollado implementaciones de alto nivel de varios algoritmos en MATLAB (la elección de este entorno de programación se basó fundamentalmente en la disponibilidad de varias implementaciones en este entorno y en la posibilidad de desarrollar una herramienta gráfica de comparación fácilmente exportable a otros equipos de investigación debido a la amplia utilización de esta herramienta en la comunidad orientada a análisis de datos hiperespectrales). En este sentido, la obtención de versiones MATLAB de algoritmos muy populares en la comunidad hiperespectral se valora como un paso adelante a la hora de comprender el funcionamiento de dichos algoritmos en diversas aplicaciones. Entre los algoritmos desarrollados, destacan aproximaciones a algoritmos comerciales como Píxel Purity Index (PPI) o N-FINDR y también algoritmos experimentales como ATGP o Iterative Error Analysis (IEA). Entre las líneas futuras de trabajo, se valora especialmente la posibilidad de desarrollar implementaciones en C++ que permitan la paralelización de los mismos utilizando llamadas a MPI. Por último, conviene destacar que uno de los aspectos que han condicionado en mayor medida la selección de las metodologías analizadas en este PFC es la posibilidad de obtener técnicas de análisis computacionalmente eficientes. Los elevados requerimientos computacionales del procesamiento de imágenes hiperespectrales deben traducirse en algoritmos de análisis susceptibles de ser ejecutados en paralelo. Conviene destacar que todas las técnicas consideradas en este trabajo son altamente paralelizables, lo cual facilita el desarrollo de futuras aproximaciones paralelas para soportar los desarrollos de alto nivel introducidos en este trabajo. No obstante, la profundización en un caso de estudio concreto (versión paralela del algoritmo ATGP) permite anticipar algunos de los aspectos clave a la hora de paralelizar otros algoritmos de este tipo en futuros desarrollos. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 5

6 1.2. Objetivos Implementación paralela y validación de nuevos algoritmos para detección Este trabajo pretende desarrollar y comparar técnicas computacionalmente eficientes para la detección, partiendo de la realización de un estudio cuantitativo y comparativo de diferentes aproximaciones al problema existentes en la literatura. La consecución del objetivo general anteriormente mencionado se lleva a cabo en la presente memoria abordando una serie de objetivos específicos, los cuales se enumeran a continuación: Analizar las ventajas e inconvenientes de diferentes algoritmos existentes para la detección. Diseñar una herramienta software de alto nivel que permita establecer comparativas de diferentes algoritmos de forma fiable y justa, basada en la utilización de un entorno de desarrollo estandarizado y en un mismo sistema computador. Establecer un estudio comparativo de diferentes algoritmos de detección de targets en aplicaciones reales, utilizando la herramienta anteriormente mencionada así como datos hiperespectrales obtenidos por sensores de alta generación. Tomando como punto de partida los resultados del estudio anterior, desarrollar un nuevo algoritmo basado en alguna de las aproximaciones anteriores y utilizarlo como caso de estudio, desarrollando una versión paralela de dicho método, de forma que pueda facilitarse la difusión de dicha versión paralela a la comunidad científica dedicada al análisis de datos hiperespectrales. Comprobar la viabilidad de aplicar la metodología diseñada en aplicaciones reales, utilizando para ello imágenes obtenidas por una variedad de sensores hiperespectrales. Comparar los resultados obtenidos por la metodología propuesta con los proporcionados por otras técnicas estándar. Teniendo presentes los anteriores objetivos concretos, procedemos a describir la organización del resto de esta memoria, estructurada en una serie de capítulos cuyos contenidos se describen a continuación: 2) Antecedentes. En este capítulo introductorio se describen los conceptos fundamentales relacionados con análisis hiperespectral y procesamiento de datos, enfatizando la necesidad de técnicas de procesamiento paralelo en este campo. 3) Técnicas de análisis hiperespectral. En este capítulo se describen las técnicas de detección consideradas en este trabajo y se propone un nuevo algoritmo de Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 6

7 detección de targets, basado en una variación de un algoritmo estándar, junto con su implementación paralela. 4) Análisis y discusión de resultados. En este capítulo se describen las diferentes medidas utilizadas para evaluar y comparar algoritmos de análisis hiperespectral orientados a la detección de targets. A continuación, se muestra un análisis experimental de los algoritmos considerados en el presente trabajo en el marco de dos aplicaciones reales: detección de objetivos militares en una imagen HYDICE e identificación de minerales en una imagen AVIRIS. 5) Herramienta de comparación de algoritmos. En este capítulo se describe una herramienta software utilizada para la realización del estudio comparativo descrito en el anterior capítulo. 6) Conclusiones y líneas futuras. Este capítulo está dedicado a resumir las principales aportaciones realizadas por la presente memoria y a mostrar las conclusiones derivadas. Además, el capítulo sugiere un conjunto de líneas de trabajo que pueden ser abordadas en futuros trabajos. La memoria concluye con una serie de referencias bibliográficas utilizadas en el estudio. 7) Apéndice. En este apéndice se detallan las implementaciones serie y paralela del nuevo algoritmo de detección de targets desarrollado en este trabajo. La implementación serie ha sido desarrollada en el lenguaje de programación C, mientras que para la implementación paralela se han incorporado llamadas al interfaz estándar de paso de mensajes Message Passing Interface (MPI). Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 7

8 2. Antecedentes El presente capítulo se organiza de la siguiente forma. En primer lugar, describimos el concepto de imagen hiperespectral, detallando las particularidades y características propias de este tipo de imágenes de alta dimensionalidad. A continuación, describimos algunas características genéricas de los sensores de adquisición de este tipo de datos, haciendo énfasis en los sensores utilizados en el presente trabajo. El capítulo concluye con una visión general de las técnicas de procesamiento (detección de targets) desarrolladas para este tipo de imágenes, enfatizando la necesidad de paralelismo en la implementación de dichas técnicas Concepto de imagen hiperespectral El asentamiento de la tecnología hiperespectral en aplicaciones de observación remota de la tierra ha dado como resultado el desarrollo de instrumentos de medida de muy elevada resolución en los dominios espacial y espectral [1]. Los sensores hiperespectrales adquieren imágenes digitales en una gran cantidad de canales espectrales muy cercanos entre sí, obteniendo, para cada porción de la escena o píxel, una firma espectral característica de cada material [2]. El resultado de la toma de datos por parte de un sensor hiperespectral sobre una determinada escena puede ser representado en forma de cubo de datos, con dos dimensiones para representar la ubicación espacial de un píxel, y una tercera dimensión que representa la singularidad espectral de cada píxel en diferentes longitudes de onda [3]. La Figura 1.1 muestra la estructura de una imagen hiperespectral donde el eje X es el indicador de las líneas, el eje Y es el indicador de las muestras y el eje Z es el número de bandas, es decir, la longitud de onda de esa banda (canal). Bandas 1-4 Muestras Pixel en posición (x,y) ND en banda 4 ND en banda 3 ND en banda 2 ND en banda 1 Líneas Figura 1.1. Concepto de imagen hiperespectral. Como puede apreciarse en la Figura 1.1, el resultado de la toma de datos por parte de un sensor hiperespectral sobre una determinada escena puede ser representado en forma de cubo de datos, con dos dimensiones para representar la ubicación espacial Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 8

9 de un pixel, y una tercera dimensión que representa la singularidad espectral de cada pixel en diferentes longitudes de onda. En concreto, la capacidad de observación de los sensores denominados hiperespectrales permite la obtención de una firma espectral detallada para cada píxel de la imagen, dada por los valores de reflectancia adquiridos por el sensor en diferentes longitudes de onda, lo cual permite una caracterización muy precisa de la superficie de nuestro planeta [4, 5]. Como ejemplo ilustrativo, la Figura 1.2 muestra el procedimiento de análisis hiperespectral mediante un sencillo diagrama, en el que se ha considerado como ejemplo el sensor AVIRIS (Airborne Visible Infra- Red Imaging Spectrometer) [2], desarrollado por NASA/Jet Propulsión Laboratory, el cual cubre el rango de longitudes de onda entre 0.4 y 2.5 µm utilizando 224 canales y resolución espectral de aproximadamente 10 nm. Sensor hiperespectral Imagen hiperespectral Reflectancia 0.4Longitud de onda (µm) 2.5 Firma espectral 224 bandas Pixel hiperespectral Figura 1.2. Adquisición de una imagen hiperespectral por el sensor AVIRIS Como puede apreciarse en la Figura 1.2, la capacidad de observación de este sensor permite la obtención de una firma espectral detallada para cada píxel de la imagen, dada por los valores de reflectancia adquiridos por el sensor en diferentes longitudes de onda, lo cual permite una caracterización muy precisa de la superficie de nuestro planeta [5]. Conviene destacar que, en este tipo de imágenes, es habitual la existencia de mezclas a nivel de subpixel [6], por lo que a grandes rasgos podemos encontrar dos tipos de píxels en estas imágenes: píxel puros y píxel mezcla [7]. Se puede definir un píxel mezcla como aquel en el que cohabitan diferentes materiales. Este tipo de píxel son los que constituyen la mayor parte de la imagen hiperespectral, en parte, debido a que este fenómeno es independiente de la escala considerada ya que tiene lugar incluso a niveles microscópicos [4]. La Figura 1.3 muestra un ejemplo del proceso de adquisición de píxels puros (a nivel macroscópico) y mezcla en imágenes hiperespectrales. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 9

10 4000 Pixel mezcla (suelo + rocas) Reflectancia Long. onda (nm) Pixel puro (agua) Reflectancia Pixel mezcla (vegetación + suelo) Reflectancia Long. onda (nm) Figura 1.3. Tipos de píxels en imágenes hiperespectrales Long. onda (nm) El desarrollo tecnológico introducido por la incorporación de sensores hiperespectrales en plataformas de observación remota de la tierra de última generación ha sido particularmente notable durante los últimos años [8-10]. En este sentido, conviene destacar que dos de las principales plataformas de tipo satélite que se encuentran en funcionamiento en la actualidad: Earth Observing-1 de NASA ( y ENVISAT de la Agencia Espacial Europea ( llevan incorporados sensores de este tipo, permitiendo así la posibilidad de obtener imágenes hiperespectrales de la práctica totalidad del planeta de manera casi continua [11]. A pesar de la gran evolución en los instrumentos de observación remota de la tierra, la evolución en las técnicas de análisis de los datos proporcionados por dichos sensores no ha sido tan notoria [12]. En particular, la obtención de técnicas de análisis hiperespectral avanzadas, capaces de aprovechar totalmente la gran cantidad de información espacial y espectral presente en imágenes hiperespectrales, constituye un objetivo de gran interés para la comunidad científica [13]. A continuación, describimos en detalle las características de los sensores hiperespectrales utilizados en el presente estudio Sensores hiperespectrales Este apartado estará dividido en dos grandes bloques: 1) En un primer bloque se describirán algunos aspectos acerca del funcionamiento de los sensores hiperespectrales más actuales, detallando conceptos como la resolución del sensor, tipos de sensores según la adquisición de datos y relación señal-ruido. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 10

11 2) En un segundo bloque, se describirán de forma detallada los sensores hiperespectrales a partir de los cuales se han obtenido las imágenes utilizadas en el proyecto Características genéricas Las principales características de los sensores hiperespectrales actuales son la resolución del sensor, proceso de adquisición de datos y relación señal-ruido [3]: 1) La resolución de un sensor puede referirse a varios aspectos, entre ellos, la resolución espacial es la capacidad del sensor para obtener información acerca de los detalles espaciales de la imagen o escena. a. La resolución espectral esta relacionada con los parámetros referentes al número de canales espectrales en los que el sensor adquiere datos y la anchura de las bandas espectrales correspondientes a esos canales. Cuanto mayor sea el número de bandas disponibles, mejor se caracterizarán los materiales existentes en la imagen. Conviene que las bandas sean estrechas para que no se introduzcan un promediado de valores que puedan encubrir la diferenciación espectral entre cubiertas. b. La resolución radiométrica indica la sensibilidad del sensor, es decir, tiene la capacidad de detectar variaciones en los valores de radiancia espectral recibida. El número máximo de valores que pueden ser detectados viene limitado por el número de bits utilizados para codificar los valores de radiancia. c. La resolución espacial se basa en la superficie de observación o field of view (FOV) del sensor, que determina el tamaño y forma de cada uno de los píxels en base a una función de integración que depende de las características ópticas del sensor. 2) Según el procedimiento utilizado por los sensores para recibir la radiación de los objetos, el proceso de adquisición de datos determina dos tipos de sensores: d. Sensores de barrido (whiskbroom), basados en la oscilación de un espejo móvil de forma perpendicular a la trayectoria del sensor (ver parte izquierda de la Figura 1.4), permitiendo una exploración en ambos lados de la franja de la dirección de barrido. La información recibida por el componente óptico se dirige a una serie de detectores que la amplifican y la convierten en seña eléctrica. Esta señal puede almacenarse a bordo o ser transmitida hacia estaciones de tierra a través de antenas receptoras. e. Sensores de empuje (pushbroom), formados por una cadena de detectores que cubren el campo de visión del sensor (ver parte derecha de la Figura 1.4). En cada momento se explora una línea Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 11

12 completa que se va desplazando simultáneamente con la plataforma donde se coloca el sensor. Oscilación espejo móvil Cadena de detectores Línea Línea Figura 1.1. Sensor de barrido (izquierda) y de empuje (derecha) 3) Finalmente, la relación señal-ruido o signal-to-noise ratio (SNR), es también un parámetro fundamental para definir la calidad de un sensor hiperespectral [14]. Podemos definirlo como la relación entra la amplitud de la señal obtenida y la amplitud del ruido, es decir, la cantidad de señal adquirida por unidad de ruido. La señal-ruido depende de la sensibilidad del sensor, de la anchura espectral y la cantidad de radiación reflejada por el medio. A medida que estos parámetros aumentan, la relación señalruido también aumenta Sensores hiperespectrales considerados En la actualidad, existe una amplia gama de sensores hiperespectrales de observación remota de la tierra. Dichos sensores pueden clasificarse según el modo en que son transportados (plataforma de transporte) en el momento de la toma de datos. La mayor parte de los sensores hiperespectrales actuales son aerotransportados (siendo el ejemplo más claro de este tipo de instrumentos el sensor AVIRIS. Otros sensores aerotransportados ampliamente utilizados son DAIS 7915 (Digital Airborne Imaging Spectrometer) [8], el cual cubre un amplio rango del espectro mediante 79 canales espectrales comprendidos entre 0.4 y 12.5 µm, y ROSIS (Reflective Optics System Imaging Spectrometer) [8], capaz de medir información espectral entre 0.4 y 0.9 µm utilizando 92 canales espectrales. Ambos sensores han sido desarrollados por la Agencia Espacial Alemana (DLR), y son utilizados de forma regular en numerosas misiones de exploración terrestre financiadas por la Comisión Europea y gestionadas por la Agencia Europea del Espacio (ESA). También destaca el sensor hiperespectral aerotransportado HYDICE (HYperspectral DIgital Collection Experiment) [15] utilizado en aplicaciones militares. Finalmente, en algunos proyectos se utilizan sensores hiperespectrales instalados en plataformas de tipo satélite como CHRIS/Proba ( o Meris ( de la Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 12

13 Agencia Espacial Europea, o Hyperion de NASA. En el presente trabajo, nos centramos en la utilización de dos sensores aerotransportados (AVIRIS y HYDICE), cuyas características son descritas en detalle a continuación. Sensor AVIRIS AVIRIS es un sensor hiperespectral aerotransportado con capacidades analíticas en las zonas visible e infrarroja del espectro [2]. Este sensor está en funcionamiento desde Fue el primer sistema de adquisición de imágenes capaz de obtener información en una gran cantidad de bandas espectrales estrechas y casi contiguas. AVIRIS es un instrumento único en el mundo de la teledetección, pues permite obtener información espectral en 224 canales espectrales contiguos, cubriendo un rango de longitudes de onda entre 0.4 y 2.5 m, siendo el ancho entre las bandas muy pequeño, aproximadamente 0.01 m. En 1989, AVIRIS se convirtió en un instrumento aerotransportado. Desde ese momento, se realizan varias campañas de vuelo cada año para tomar datos mediante AVIRIS. El sensor ha realizado tomas de datos en Estados Unidos, Canadá y Europa, utilizando para ello dos plataformas [16]: Un avión ER-2 perteneciente a NASA/Jet Propulsion Laboratory. El ER-2 puede volar a un máximo de 20 km sobre el nivel del mar, a una velocidad máxima de aproximadamente 730 km/h. Un avión denominado Twin Otter, capaz de volar a un máximo de 4 km sobre el nivel del mar, a velocidades de 130 km/h. Algunas de las características más relevantes en cuanto al diseño interno del sensor AVIRIS son las siguientes: El sensor utiliza un explorador de barrido que permite obtener un total de 614 píxels por cada oscilación. La cobertura de la parte visible del espectro es realizada por un espectrómetro EFOS- A, compuesto por un array de 32 detectores lineales. La cobertura en el infrarrojo es realizada por los espectrómetros EFOS-B, EFOS-C y EFOS-D, compuestos todos ellos por arrays de 64 detectores lineales. La señal medida por cada detector se amplifica y se codifica utilizando 12 bits. Esta señal se almacena en una memoria intermedia donde es sometida a una etapa de preprocesado, siendo registrada a continuación en una cinta de alta densidad de 10.4 GB a velocidad de 20.4 MB/s. El sensor dispone de un sistema de calibración a bordo, que utiliza una lámpara halógena de cuarzo que proporciona la radiación de referencia necesaria para comprobar el estado de los diferentes espectrómetros. A lo largo de los últimos años, el sensor ha ido mejorando sus prestaciones en cuanto a la relación señal-ruido, como se muestra en la Figura 1.5 que Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 13

14 describe la evolución de la relación SNR del sensor a lo largo de los últimos años [17]. Sensor HYDICE Figura 1.5. Evolución de la relación S R del sensor AVIRIS de ASA El sensor HYDICE fue desarrollado por el aval Research Laboratory (NRL) de Estados Unidos y se caracteriza por cubrir un amplio rango del espectro [15], mediante 210 bandas espectrales entre 0.4 y 2.5 m. Tiene un mecanismo de adquisición de datos con sensores de barrido que proporciona un total de 320 pixels por línea. En concreto, el sensor HYDICE fue desarrollado como una estación que almacena datos de tierra y los calibra. El sistema se monta en una plataforma aérea con una base estable para hacer frente a los problemas ambientales. El subsistema de electrónica recoge los datos de la imagen, calibración y diagnostico. La Figura 1.6 muestra el sensor HYDICE junto con una imagen capturada por dicho sensor. Como puede apreciarse en dicha imagen, el sensor fue específicamente desarrollado para ser utilizado en aplicaciones con gran resolución espacial (en torno a 1 metro por píxel). Figura 1.6. Sensor HYDICE Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 14

15 2.3. Técnicas de análisis hiperespectral y necesidad de paralelismo La mayoría de las técnicas de análisis hiperespectral desarrolladas hasta la fecha presuponen que la medición obtenida por el sensor en un determinado píxel viene dada por la contribución de diferentes materiales que residen a nivel sub-píxel [3]. El fenómeno de la mezcla puede venir ocasionado por una insuficiente resolución espacial del sensor, pero lo cierto es que este fenómeno ocurre de forma natural en el mundo real, incluso a niveles microscópicos, por lo que el diseño de técnicas capaces de modelar este fenómeno de manera adecuada resulta imprescindible [5]. No obstante, las técnicas basadas en este modelo son altamente costosas desde el punto de vista computacional. A continuación, detallamos las características genéricas de las técnicas basadas en este modelo y hacemos énfasis en la necesidad de técnicas paralelas para optimizar su rendimiento computacional Técnicas basadas en el modelo lineal de mezcla El modelo lineal de mezcla [18] expresa los píxels mezcla como una combinación lineal de firmas asociadas a componentes espectralmente puros (llamados endmembers) en la imagen [19]. Este modelo ofrece resultados satisfactorios cuando los componentes que residen a nivel sub-píxel aparecen espacialmente separados, situación en la que los fenómenos de absorción y reflexión de la radiación electromagnética incidente pueden ser caracterizados siguiendo un patrón estrictamente lineal. En la actualidad, el modelo lineal de mezcla es el más utilizado en análisis hiperespectral, debido a su sencillez y generalidad [3, 20]. Endmember s Banda j mezcla: 1/2 u + 1/2 s u s mezcla: c1 s + c2 v = c3 u v centroide: 1/3 u + 1/3 v + 1/3 s Endmember v Endmember u mezcla: 1/2 u + 1/2 v Banda i Figura 1.7. Interpretación gráfica del modelo lineal de mezcla El modelo lineal de mezcla puede interpretarse de forma gráfica en un espacio bidimensional utilizando un diagrama de dispersión entre dos bandas poco correlacionadas de la imagen [21], tal y como se muestra en la Figura 1.7. En la misma, Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 15

16 puede apreciarse que todos los puntos de la imagen quedan englobados dentro del triángulo formado por los tres puntos más extremos (elementos espectralmente más puros). Los vectores asociados a dichos puntos constituyen un nuevo sistema de coordenadas con origen en el centroide de la nube de puntos, de forma que cualquier punto de la imagen puede expresarse como combinación lineal de los puntos más extremos, siendo estos puntos son los mejores candidatos para ser seleccionados como endmembers.a pesar de que los algoritmos de detección de targets u objetivos [22-24] en otras aplicaciones no han explotado este modelo, uno de los objetivos del presente trabajo es evaluar las prestaciones de las técnicas de extracción de endmembers en la tarea de detección de targets. El paso clave a la hora de aplicar el modelo lineal de mezcla consiste en identificar de forma correcta los elementos extremos de la nube de puntos N-dimensional. En la literatura reciente se han propuesto numerosas aproximaciones al problema de identificación de endmembers en imágenes hiperespectrales. Por ejemplo, el método Pixel Purity Index (PPI) [25-27] se basa en la generación repetitiva de vectores unitarios con orientación aleatoria en la nube de puntos de forma que todos los puntos de la imagen hiperespectral se proyectan sobre cada vector unitario, identificando los puntos extremos en la dirección definida por dicho vector e incrementando un contador asociado a dichos puntos. Tras la ejecución de un número amplio de iteraciones, se obtiene como resultado una imagen de pureza, formada por los índices asociados a cada uno de los pixels de la imagen, a partir de la cual se extrae un conjunto final de endmembers utilizando técnicas de análisis y visualización interactiva. Por su parte, el método N-FINDR [28, 29] utiliza un procedimiento totalmente automáico para extraer endmembers basado en identificar los vértices del simplex de mayor volumen que puede formarse en la nube de puntos. Las técnicas de identificación de endmembers descritas anteriormente han centrado sus esfuerzos en la interpretación de los datos en el dominio espectral, lo cual resulta altamente interesante en el problema de detección de targets que nos ocupa. No obstante, existen otros algoritmos para detección de targets que emplean como base los conceptos de modelo lineal de mezcla. Por ejemplo, el algoritmo Iterative Error Análisis (IEA) [30] realiza sucesivos desmezclados partiendo de un píxel inicial (el píxel más mezcla de la imagen) identificando en cada iteración el píxel más distinto de los considerados en iteraciones previas, realizando un proceso de detección de targets basado en conceptos de mínimos cuadrados. El algoritmo Unsupervised Fully Constrained Least Squares (UFCLS) [3, 18] utiliza un concepto similar, utilizando esta vez como píxel inicial el píxel con mayor intensidad de la imagen. Por último, otras aproximaciones utilizan criterios de búsqueda distintos, como el algoritmo Automated Target Generation Process (ATGP) [31] que emplea un proceso de proyecciones ortogonales sucesivas [32] que permite identificar píxels espectralmente diferentes y altamente representativos Necesidad de paralelismo Conviene destacar que las técnicas de análisis hiperespectral anteriormente descritas se basan en la realización de operaciones matriciales que resultan muy costosas desde el punto de vista computacional [33]. Sin embargo, el carácter repetitivo de estas operaciones las hace altamente susceptibles de ser implementadas en diferentes tipos de arquitecturas paralelas [34-36], permitiendo así un incremento significativo de su rendimiento en términos computacionales y dotando a dichas técnicas de la capacidad Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 16

17 de producir una respuesta en tiempo casi real. Esta tarea es clave para la explotación de dichas técnicas en aplicaciones que requieren una respuesta en tiempo casi real. Las técnicas de computación paralela han sido ampliamente utilizadas para llevar a cabo tareas de procesamiento de imágenes de gran dimensionalidad [37, 38], facilitando la obtención de tiempos de respuesta muy reducidos. En la actualidad, es posible obtener arquitecturas masivamente paralelas de bajo coste mediante la utilización de sistemas formados por computadores personales (PCs), interconectados entre sí mediante una red de comunicación de altas prestaciones, y gestionados por un Sistema Operativo con elevadas capacidades en cuanto a administración y gestión de redes de computadores. Este tipo de arquitectura de computación paralela, que normalmente utiliza un Sistema Operativo de tipo Linux, se denomina cluster Beowulf [39] (ver Figura 1.8). Figura 1.8. Cluster de computación paralela de tipo Beowulf El uso de clusters de tipo Beowulf en aplicaciones de análisis hiperespectral [40] se revela como una alternativa eficiente y relativamente económica para el procesamiento de este tipo datos complejos [41]. Para lograr el objetivo de implementar de forma computacionalmente eficiente las nuevas técnicas diseñadas en arquitecturas paralelas de bajo coste, proponemos la utilización de un cluster de computación paralela de tipo Beowulf, gestionado utilizando el Sistema Operativo LinEx, el cual destaca por sus elevadas capacidades en cuanto a gestión de equipos de red y por su progresiva incorporación como Sistema Operativo estándar en nuestra región. Asimismo, proponemos la incorporación de una filosofía basada en software libre al problema que nos ocupa, con vistas a facilitar la estandarización de los modelos de computación propuestos al resto de la comunidad científica dedicada al análisis de datos hiperespectrales. En el siguiente capítulo, describimos las técnicas de análisis hiperespectral consideradas en este trabajo y detallamos un nuevo algoritmo paralelo para detección de targets que constituye una de las principales contribuciones del presente trabajo. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 17

18 3. Técnicas de análisis hiperespectral En este capítulo se describirán los algoritmos utilizados para el análisis de imágenes hiperespectrales, enfatizando las posibilidades que ofrecen a la hora de evaluar el grado de pureza de los píxels de la imagen. El capítulo comienza realizando una breve revisión del concepto de target y el concepto de endmember, que serán utilizados con frecuencia a lo largo del resto de la memoria. A continuación, se describen algoritmos para la detección de targets, como ATGP y UFCLS, y para la extracción de endmembers, como PPI, N-FINDR y IEA, que también pueden ser utilizados para extraer targets diferenciados según sus propiedades espectrales. El capítulo concluye con la descripción de las implementaciones serie y paralela de un nuevo algoritmo de detección de targets inspirado en el algoritmo ATGP pero que utiliza un nuevo concepto a la hora de evaluar la similaridad espectral de los targets detectados a lo largo del proceso. Este algoritmo será evaluado comparativamente con el resto de algoritmos considerados en el presente estudio en capítulos sucesivos Concepto de endmember frente a concepto de target De forma previa a la descripción de las técnicas de análisis hiperespectral consideradas en la presente memoria, hacemos hincapié en la distinción entre el concepto de endmember y el concepto de target, que serán utilizados con frecuencia a lo largo del presente documento. El término endmember se refiere a una firma espectral pura que puede utilizarse en el modelo lineal de mezcla (o en modelos de carácter no lineal) para modelar los píxels mezcla de la imagen como una combinación de firmas espectrales puras [42]. Es importante destacar que, para efectuar el proceso de desmezclado de forma satisfactoria, es preciso contar con un conjunto completo de endmembers representativos de los diferentes materiales presentes en la misma. El término target se ha venido aplicando en la literatura a objetivos con características espectrales distintas [3]. Es decir, un conjunto de targets estaría formado por un conjunto de firmas espectrales (puras o no) suficientemente representativas de los diferentes objetos presentes en la imagen y con características espectrales distintas entre sí. Por supuesto, existen similaridades entre el concepto de target y el concepto de endmember. La principal de ellas es el hecho de que un conjunto de targets normalmente contiene firmas espectrales muy diferenciadas entre sí al igual que ocurre en un conjunto de endmembers. No obstante, la principal diferencia entre ambos términos radica en que los endmembers normalmente vienen asociados a firmas espectralmente puras, mientras que el concepto de target normalmente viene asociado a firmas espectrales representativas de los diferentes objetos presentes en la imagen, con independencia de la pureza espectral de dichas firmas [43-45]. Estas consideraciones, por supuesto, condicionan de manera decisiva el desarrollo de técnicas automáticas para detección de targets y endmembers presentes en la literatura. A continuación, ofrecemos una visión general de algunas de las técnicas de detección de targets y de extracción de endmembers más representativas en la literatura. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 18

19 Dichas técnicas han inspirado algunos de los nuevos desarrollos presentados en este trabajo, los cuales serán descritos en apartados sucesivos Algoritmos de detección de targets En este apartado describimos dos aproximaciones clásicas al problema de detección de targets u objetivos espectralmente distintos en imágenes hiperespectrales. Ambos algoritmos utilizan un esquema similar, basado en un proceso iterativo de forma que, en cada iteración, se identifica un nuevo píxel (vector) de la imagen hiperespectral como el target más adecuado, y se añade a una lista de targets existentes. En ambos casos, el proceso se inicia tomando como target inicial el píxel con mayor intensidad (más brillante) de la imagen [31]. Aunque existen otras muchas opciones para inicializar ambos algoritmos, se ha comprobado experimentalmente que el píxel más brillante es siempre seleccionado en el proceso si no se utiliza como target inicial [24]. También hemos comprobado experimentalmente que dicho píxel es siempre detectado por todas las técnicas de extracción de endmembers utilizadas (descritas en apartados sucesivos). Por este motivo, consideramos que la utilización del píxel más brillante como punto de partida en ambos algoritmos supone una selección adecuada Automated Target Generation Process (ATGP) El algoritmo ATGP fue inicialmente desarrollado para encontrar firmas espectrales utilizando proyecciones ortogonales [31]. El algoritmo hace uso de un operador de proyección ortogonal que viene dado por la expresión: P U T 1 T ( U) U = I U U. (1) Donde U es una matriz de firmas espectrales, U T es la traspuesta de dicha matriz, e I es la matriz identidad. El algoritmo utiliza el operador descrito en la expresión (1) de forma repetitiva hasta encontrar un conjunto de p píxels (vectores) ortogonales a partir de un píxel inicial que se pasa al algoritmo como valor inicial. El proceso iterativo efectuado por este algoritmo puede resumirse en los siguientes pasos: 1) Calcular t 0, el píxel más brillante de la imagen hiperespectral, utilizando { } T la siguiente expresión: t 0 = arg max( x, y) F( x, y) F( x, y), donde ( x, y) el píxel (vector) en las coordenadas ( y) F es x, de la imagen. Como puede comprobarse, el píxel más brillante es aquel que resulta en mayor valor al realizar el producto vectorial entre el vector asociado a dicho píxel y su transpuesto F ( x, y) T. 2) Aplicar un operador de proyección ortogonal que denotamos como P U, basado en la expresión (1), con U = t 0. Este operador se aplica a todos los píxels de la imagen hiperespectral. 3) A continuación, el algoritmo encuentra un nuevo target denominado t 1 con el mayor valor en el espacio complementario < t 0 >, ortogonal a t 0, Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 19

20 T { x y [ U ] [ PU ( x, y) ]} 1 arg, F. En otras palabras, el algoritmo busca el píxel con mayor ortogonalidad con respecto a t 0. de la siguiente forma: t = max( ) P F( x, y) 4) El siguente paso es modificar la matriz U añadiendo el nuevo target encontrado, es decir, U = [t 0 t 1 ]. 5) Seguidamente, el algoritmo encuentra un nuevo target denominado t 2 con el mayor valor en el espacio complementario < t 0,t 1 >, ortogonal a T { x y [ U ] [ PU ( x, y) ]} 0 2 arg, F. Es preciso tener en cuenta que, a diferencia del paso 3) en el que U = t 0, en este punto el proyector ortogonal se basa en una matriz U = [t 0 t 1 ], por lo que el concepto de ortogonalidad es diferente. t y t 1, de la siguiente forma: t = max( ) P F( x, y) 6) El proceso se repite, de forma iterativa, para encontrar un tercer target t 3, un cuarto target t 4, hasta que se satisface una determinada condición de terminación para el algoritmo. La condición de terminación considerada en el presente trabajo es alcanzar un número de targets, p, determinado a priori como parámetro de entrada al algoritmo Unsupervised Fully Constrained Least Squares (UFCLS) El algoritmo UFCLS [3, 18] se basa en el modelo lineal de mezcla, descrito en el capítulo anterior, para encontrar un conjunto. Al igual que en el caso del algoritmo ATGP, UFCLS utiliza como target inicial el píxel más brillante de la imagen. No obstante, a diferencia de dicho algoritmo, el UFCLS asume en cada iteración que el conjunto de targets encontrado constituye el conjunto total de endmembers presentes en la escena. Como esta suposición no es cierta en la mayor parte de las ocasiones, UFCLS asume que el siguiente target es el punto con mayor error (least squares error, LSE [24]) tras realizar un desmezclado lineal de la imagen utilizando el conjunto incompleto de endmembers dado por los targets detectados hasta esa iteración. El proceso se basa en un conjunto de pasos que, al igual que en el caso de ATGP, se ejecutan de forma iterativa: 1) Calcular t 0, el píxel más brillante de la imagen hiperespectral, utilizando { } T la siguiente expresión: t 0 = arg max( x, y) F( x, y) F( x, y), donde ( x, y) el píxel (vector) en las coordenadas ( y) F es x, de la imagen. Como puede comprobarse, el píxel más brillante es aquel que resulta en mayor valor al realizar el producto vectorial entre el vector asociado a dicho píxel y su F. transpuesto ( x, y) T 2) Suponer que t 0 es la única firma espectral presente en la imagen hiperespectral y utilizar el algoritmo fully constrained least squares F x, y de la (FCLS) para calcular la abundancia de t 0 en cada píxel ( ) (0) imagen, que puede aproximarse como α ( x, y). Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 20

21 3) Calcular un nuevo target t 1 con mayor error LSE con respecto a t 0 t (0) arg max LSE x y. { } utilizando la siguiente expresión: ( ) ( ) 1 = x, y, 4) Incorporar el target t 1 al conjunto actual de targets y repetir el proceso hasta calcular un segundo target t 2, un tercer target t 3, y así sucesivamente, donce el error LSE en cada iteración k viene dado por la expresión: LSE ( k ) k k (0,1,..., k ) (0,1,..., k) ( x, y) ( x, y) α ( x, y) F( x, y) α ( x, y) T = F. i= 0 i= 0 5) Suponer que t 0 y t 1 son las únicas firmas espectrales presentes en la imagen hiperespectral y calcular un nuevo target t 2 con mayor error LSE t = arg max LSE F x, y t, donde 1 { x, y (, 0) } T ( F x, y, t ) = ( F( x, y) t ) ( F( x y) t ) utilizando la siguiente expresión: ( ) ( ) 0 0, 0. La condición de terminación considerada en el presente trabajo es alcanzar un número de targets, p, determinado a priori como parámetro de entrada al algoritmo. el error LSE viene dado por LSE ( ) 3.3. Algoritmos de extracción de endmembers Los métodos orientados a la extracción de endmembers en imágenes hiperespectrales [19] pueden dividirse en: Métodos interactivos, los cuales se caracterizan porque el proceso de selección de endmembers se realiza siguiendo un proceso supervisado basado en la observación de propiedades relativas al conjunto de datos analizados mediante procedimientos de prueba y error. Al ser métodos supervisados, rara vez se seleccionan endmembers asociados a ruidos u otras fuentes erróneas de la imagen. Métodos automáticos, se caracterizan porque el proceso de selección de endmembers se hace de forma automática. A continuación se describe el algoritmo PPI, perteneciente a los métodos interactivos, y los algoritmos N-FINDR e IEA pertenecientes a los métodos automáticos, con los cuales se ha trabajado en el presente proyecto Píxel Purity Index (PPI) El algoritmo PPI [25-27] pertenece al conjunto de los métodos interactivos y es el más representativo. Su objetivo es localizar los puntos espectralmente más puros de la imagen hiperespectral, basándose en la suposición de que los puntos más extremos del conjunto de puntos son los mejores candidatos para ser utilizados como endmembers. Los parámetros de entrada del algoritmo son el número de iteraciones a realizar y el valor umbral para seleccionar pixels puros. El funcionamiento del algoritmo se describe en los siguientes pasos: Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 21

22 1) En primer lugar, el algoritmo asigna un índice de pureza a todos los pixels de la imagen. El contador de cada punto se inicializa al valor 0. 2) Seguidamente, se genera un vector unitario aleatorio, que recibe el nombre de skewer o divisor. El objetivo de este vector es particionar el conjunto de puntos, como veremos a continuación. 3) El tercer paso consiste en proyectar todos los puntos de la imagen hiperespectral sobre el vector unitario antes generado, identificando los puntos extremos en la dirección definida por el vector unitario. El índice de pureza de los puntos extremos se incrementa en una unidad. 4) Los pasos 2-3 del algoritmo se repiten tantas veces como el usuario especifique en el parámetro de entrada, número de iteraciones. 5) Tras la ejecución de un número amplio de iteraciones, se obtiene como resultado una imagen de pureza formada por los índices asociados a cada uno de los pixels de la imagen. 6) Utilizando el valor umbral especificado como parámetro, se seleccionan los puntos de la imagen cuyo índice de pureza asociado supera dicho valor umbral. Estos puntos son etiquetados como puros. La figura ilustra el procedimiento seguido hasta este punto, suponiendo que se realizan tres iteraciones y que se seleccionan como endmembers aquellos puntos que han sido seleccionados como extremos una o más veces. 7) Los pixels seleccionados se cargan en una herramienta interactiva denominada N-Dimensional Visualizar, la cual permite realizar diagramas de dispersión de los primeros autovectores obtenidos tras la aplicación de una transformación MNF sobre los datos originales. 8) Utilizando la herramienta anteriormente descrita, el usuario selecciona manualmente aquellos puntos o agrupaciones de puntos que aparecen como extremos en proyecciones sucesivas, identificando un conjunto final de endmembers. En el caso de seleccionar una agrupación de puntos, los endmembers se obtienen a partir del cálculo del espectro promedio en cada una de las regiones seleccionadas. El método PPI contiene etapas totalmente automatizadas, como la fase de generación de la imagen de pureza, pero es necesaria una etapa final, altamente interactiva, en la que el usuario selecciona manualmente los pixels que quiere utilizar como endmembers. El usuario no conoce a priori cuál es el número apropiado de endmembers a seleccionar, por lo que debe escoger el número de endmembers en base a su intuición. Este hecho pone de manifiesto la conveniencia de cierto conocimiento a priori sobre la imagen. Esta característica, unida a otras como la aleatoriedad en el proceso de generación de vectores unitarios (ver Figura 2.1), representan los principales inconvenientes de esta metodología [46]. Por otra parte, es importante destacar que el método PPI puede generar endmembers artificiales en caso de que el usuario del método seleccione conjuntos de puntos en el proceso interactivo de identificación de firmas espectrales extremas. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 22

23 Pixel extremo Skewer 1 Skewer 2 Pixel extremo Skewer 3 Pixel extremo Pixel extremo Figura 2.1. Funcionamiento del algoritmo PPI N-FINDR El algoritmo N-FINDR [28-29] utiliza una técnica basada en identificar los endmembers como los vértices del simplex de mayor volumen que puede formarse en el conjunto de puntos. N-FINDR trabaja con todo el cubo de datos original, sin ningún tipo de reducción previa. Los parámetros iniciales recibidos por el algoritmo son el número máximo de endmembers a identificar y el valor de sensibilidad que es un ángulo espectral mínimo que es utilizado a la hora de incorporar un nuevo píxel al conjunto de endmembers seleccionados. El funcionamiento del algoritmo se describe en los siguientes pasos: 1) Inicialmente, se selecciona un número aleatorio de pixels (dependiendo del primer parámetro) y se etiquetan como endmembers. Esta selección inicial será refinada de forma iterativa. 2) El segundo paso consiste en seleccionar un pixel cualquiera de la imagen original. Este pixel va reemplazando de forma sucesiva a cada uno de los endmembers inicialmente seleccionados. 3) Cada vez que tiene lugar un reemplazamiento, se calcula el volumen del hiperpolígono definido por los endmembers iniciales no sustituidos y el nuevo punto considerado. 4) Si el volumen obtenido tras el reemplazamiento es mayor que el que había antes del reemplazamiento, el nuevo punto trae como consecuencia un reemplazamiento en el conjunto de endmembers. En caso contrario, se deshace el cambio. En este paso se analiza también la similaridad espectral del punto con respecto a los endmembers del conjunto (segundo Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 23

24 parámetro), de forma que si el punto es demasiado similar en términos espectrales a los ya almacenados, un pequeño incremento de volumen no se traduce en la incorporación del punto al conjunto por motivos de redundancia. 5) Los pasos 2-5 se repiten de forma iterativa hasta que no se producen más reemplazamientos. Conviene destacar que, en el primer paso del algoritmo, se establece de forma aleatoria un conjunto inicial de endmembers. Si la estimación inicial es adecuada, el algoritmo no necesitará realizar demasiadas iteraciones hasta llegar a la solución óptima. Por el contrario, una estimación inicial errónea puede dar como resultado una alta complejidad computacional del algoritmo [29]. El algoritmo presupone que un aumento en el volumen del hiperpolígono definido al incorporar un nuevo pixel en el conjunto de endmembers conlleva una mayor calidad de los mismos. Sin embargo, la Figura 2.2 demuestra que el hecho de utilizar un polígono de mayor volumen no asegura una mejor descripción del conjunto de puntos. Un parámetro más fiable es el aumento en el número de píxels que pueden describirse utilizando el nuevo conjunto de endmembers. Volumen 1 Banda Y Volumen 2 Volumen 1 > Volumen 2 Banda X Figura 2.2. Funcionamiento del algoritmo -FI DR Para concluir la descripción de este método, es importante destacar que los endmembers identificados por el algoritmo N-FINDR corresponden a píxels pertenecientes al conjunto de datos original. Utilizando este algoritmo, no es posible generar endmembers artificiales, pues los reemplazamientos se realizan siempre utilizando puntos existentes en el conjunto de muestras disponibles. De este modo, puede ocurrir que los endmembers seleccionados no sean los más puros. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 24

25 Iterative Error Analysis (IEA) El algoritmo de análisis de error iterativo, IEA [30], se basa, como su nombre indica, en un procedimiento de análisis sucesivo del error obtenido al utilizar un conjunto de puntos de la imagen original como endmembers. Al igual que N-FINDR, el método IEA trabaja con todo el cubo de datos original, sin aplicar ningún tipo de reducción previa sobre los datos. Los parámetros de entrada que el algoritmo recibe son el número máximo de endmembers a identificar y el umbral de error LSE mínimo [24], utilizado a la hora de seleccionar los puntos. El funcionamiento del algoritmo se describe en los siguientes pasos: 1) El primer paso consiste en seleccionar un vector inicial, que habitualmente es el vector promedio de todos los datos de la imagen (centroide), y se etiqueta como endmember inicial. En este sentido, el algoritmo se diferencia claramente de ATGP y UFCLS que utilizaban como píxel inicial del proceso el píxel con mayor intensidad (el más alejado del centroide). 2) A continuación, se realiza un proceso de estimación de abundancias utilizando el vector centroide anteriormente mencionado. La estimación se efectúa utilizando una técnica de mínimos cuadrados que será explicada en detalle en apartados posteriores. Al tratarse del pixel menos puro en términos espectrales, el proceso de estimación de abundancias dará lugar a errores LSE significativos en la mayor parte de los puntos. 3) En un tercer paso se seleccionan aquellos puntos que dan como resultado un mayor LSE en la estimación. Estos puntos, los más alejados del centroide inicialmente seleccionado, son buenos candidatos para ser utilizados como endmembers. 4) Los puntos anteriormente mencionados son ahora utilizados para estimar las abundancias. De nuevo, la técnica de mínimos cuadrados permite obtener una serie de puntos en los que el LSE en la estimación de abundancias es significativo. 5) A partir de este momento, se repiten de forma iterativa los pasos 3-5 del algoritmo hasta que el conjunto de endmembers contiene tantos puntos como se haya especificado en el primer parámetro de entrada del algoritmo o bien hasta que se alcance un valor global de error RMSE inferior al especificado como segundo parámetro del algoritmo. Observando el funcionamiento del algoritmo, podemos intuir que el método IEA es sensible a la selección del vector inicial a partir del que se realiza todo el proceso. En este caso, la elección del centroide del conjunto de puntos puede considerarse, en términos generales, una decisión acertada, aunque otra alternativa, no considerada por los autores del método, podría ser el elemento más alejado del centroide; esta selección ahorraría una iteración. Una particularidad del método es que no tiene en cuenta la distribución espectral de los endmembers seleccionados, con lo que pueden tenerse muchos endmembers en una determinada zona y muy pocos en otra, tal y como se muestra en la Figura 2.3. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 25

26 Para concluir, destacamos que IEA, al igual que N-FINDR y PPI, selecciona endmembers que se corresponden en todo momento a pixels pertenecientes al conjunto de datos original. Teniendo en cuenta la anterior consideración, no es posible generar endmembers artificiales. Esta característica facilita enormemente la comparación de los dos tipos de algoritmos considerados en el presente trabajo (detección de targets y detección de endmembers) ya que, en ambos casos, los algoritmos seleccionan píxels reales en la imagen hiperespectral, es decir, píxels que pueden ser identificados de forma unívoca a partir de sus coordenadas espaciales y que tienen un vector (firma espectral) asociado en dichas coordenadas [24]. Esta característica no está presente en otros algoritmos de extracción de endmembers como el método ORASIS [47] desarrollado por aval Research Laboratory, que genera firmas espectrales artificiales a partir de diferentes procesos con la imagen. z Endmember 1 Endmember 2 Endmember 3 x y Endmember 4 Figura 2.3. Distribución espectral irregular de endmembers en el método IEA 3.4. Desarrollo de un nuevo algoritmo de detección de targets En este apartado desarrollamos un nuevo algoritmo de detección de targets que supone una variación del método ATGP. Las principales motivaciones de la variación propuesta son enumeradas brevemente a continuación: 1) Uno de los principales objetivos de la variación propuesta es incorporar un criterio basado en la disimilaridad espectral de los sucesivos targets detectados por el algoritmo, ya que se ha observado experimentalmente que el criterio basado en proyecciones ortogonales puede llegar a descartar algunas firmas espectrales altamente representativas debido a las restricciones de ortogonalidad impuestas por el algoritmo ATGP. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 26

27 2) Además, otro de los objetivos perseguidos es eliminar la sensibilidad del algoritmo ATGP a los diferentes factores de iluminación presentes en la escena. En concreto, se ha observado experimentalmente que firmas espectrales correspondientes a un mismo material, presentes en zonas de la imagen con diferente iluminación pueden llegar a ser detectadas de forma múltiple por el algoritmo ATGP. 3) Finalmente, el proceso basado en proyecciones ortogonales puede resultar complejo en términos computacionales, sobre todo cuando se ha de calcular la proyección ortogonal a otras múltiples direcciones (targets). Con vistas a solventar las limitaciones anteriormente citadas, proponemos una variación del algoritmo ATGP basada en la utilización del ángulo espectral como medida base a la hora de obtener los nuevos targets. Esta medida se caracteriza por su capacidad para extraer firmas espectrales altamente representativas de los diferentes componentes presentes en la escena, por su robustez frente a condiciones de iluminación variables en la escena, y por su alta regularidad, lo cual la convierte en una medida altamente paralelizable y susceptible de ser implementada de forma muy eficiente utilizando computación de altas prestaciones. Una última característica de esta medida es el hecho de que ha sido ampliamente utilizada para construir algoritmos de extracción de endmembers, por lo que su utilización en el diseño de un nuevo algoritmo de detección de targets resulta una contribución altamente novedosa. Por otra parte, su incorporación a un esquema de procesamiento similar al de los algoritmos de detección de targets clásicos permite desarrollar un algoritmo híbrido, capaz de incorporar las propiedades básicas tanto de los algoritmos de detección de targets como de los algoritmos de extracción de endmembers. A continuación, describimos el nuevo algoritmo de detección de targets basado en el ángulo espectral. El algoritmo se ha denominado SAD-ATGP (Spectral Angle Distance-based Automated Target Generation Process). En primer lugar, describimos la distancia spectral utilizada. A continuación, detallamos las implementaciones serie y paralela del algoritmo, proporcionando descripciones de alto nivel a nivel de pseudocódigo (las implementaciones de bajo nivel en el lenguaje de programación C con llamadas a la librería Message Passing Interface se muestran en un apéndice). El algoritmo será evaluado con respecto a otros algoritmos de detección de targets y extracción de endmembers en el siguiente capítulo de esta memoria Ángulo espectral (SAD) Sean F ( x, y) y ( x, y) F' dos firmas espectrales expresadas en forma de dos píxels de una imagen hiperespectral (vectores). La distancia angular (SAD) entre ambos vectores se calcula como el coseno del ángulo espectral entre ambos vectores [3], denotado como SAD F x, y, F' x, y, viene dada por la siguiente expresión: ( ( ) ( )) F( x, y), F( x, y) ( ) ( ) x, y F x, y 2 2 SAD( F ( x, y), F' ( x, y) ) = cos (2) F Algunas características interesantes relacionadas con esta medida de disimilaridad espectral se listan a continuación: Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 27

28 El valor de la medida SAD se encuentra siempre entre 0 y 1, puesto que los vectores comparados. Esta situación aparece ilustrada mediante un ejemplo gráfico en la Figura 2.4., en la que se describe de forma gráfica la medida SAD en el caso simplificado de una imagen con 3 bandas espectrales. La medida SAD es invariante frente a la multiplicación de los vectores F ( x, y) y F' ( x, y) por valores constantes. Por lo tanto, se trata de una medida robusta frente a los cambios en la escala de las firmas espectrales debidos a condiciones diferentes de iluminación de la escena, y a divergencias en la orientación angular, condiciones que la convierten en una medida muy apropiada para analizar el grado de similitud en cuanto a la forma de dos firmas espectrales. z u = (x 0, y 0, z 0 ) θ v = (x 1, y 1, z 1 ) x y Mejor caso SAM: cos (θ) = 1, cuando θ = 0 Peor caso SAM: cos (θ) = 0, cuando θ = π /2 Figura 2.4. Ilustración del cálculo del ángulo espectral entre dos vectores Implementación serie El algoritmo SAD-ATGP es un algoritmo iterativo que puede resumirse (a alto nivel) en una serie de pasos que se enumeran a continuación. Los parámetros de entrada del algoritmo son una imagen hiperespectral F y un número de targets a detectar, p. La salida del algoritmo el un conjunto de p targets (vectores) que se corresponden con (1) (2) ( p) píxels reales de la imagen, y que serán denotados como t, t,..., t. 1) Calcular (1) t, el píxel más brillante de la imagen hiperespectral, utilizando { } (1) T la siguiente expresión: t = arg max( x, y) F( x, y) F( x, y), donde ( x, y) el píxel (vector) en las coordenadas ( y) F es x, de la imagen. Como puede comprobarse, el píxel más brillante es aquel que resulta en mayor valor al Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 28

29 realizar el producto vectorial entre el vector asociado a dicho píxel y su transpuesto F ( x, y) T. (1) 2) Asignar el primer target encontrado a una matriz t U=. 3) Calcular un valor de disimilaridad espectral de todos y cada uno de los (1) píxels de la imagen con respecto al target inicial t utilizando la siguiente expresión basada en la distancia angular anteriormente descrita: 1 (1) (1) SAD F( x, y) = cos F( x, y) t F( x, y) t. [ ] ( ) 4) Calcular un segundo target SAD [ ( x, y) ] (2) t seleccionando el píxel con mayor valor (1) (2) F asociado y añadir dicho target a la matriz ( t, t ) U=. 5) Calcular un nuevo valor de disimilaridad espectral de todos y cada uno de los píxels de la imagen con respecto al conjunto de targets calculado (1) (2) hasta este momento, es decir, t y t, utilizando la siguiente expresión: SAD (1) (1) (2) (2) [ F( x, y) ] = cos( F( x, y) t F( x, y) t ) + cos( F( x, y) t F( x, y) t ) 6) Continuar el proceso para generar un tercer target (2) t, un cuarto target (2) t, y así sucesivamente. Dichos targets serán añadidos sucesivamente a la matriz U. Al igual que en el caso del algoritmo ATGP original, la condición de terminación considerada en el presente trabajo es alcanzar un número de targets, p, determinado a priori como parámetro de entrada al algoritmo Implementación paralela En este apartado describimos la implementación en paralelo de SAD-ATGP, abordando en primer lugar el problema de división de datos y otras consideraciones previas. El apartado concluye con una descripción de alto nivel del algoritmo paralelo. Particionamiento de datos La división de los datos previa al procesamiento paralelo de una imagen hiperespectral puede hacerse de dos formas claramente diferenciadas [48, 49]: 1) Particionamiento espectral. Considera que diferentes procesadores de la arquitectura paralela pueden contener partes no solapadas de una misma firma espectral (píxel). Este esquema tiene la desventaja de que, al considerarse la firma espectral (vector) como unidad mínima de procesamiento para el algoritmo SAD-ATGP, se introducirían varias operaciones de comunicación para cada cálculo de la distancia SAD. Dado el enfoque del algoritmo, basado en calcular de forma repetitiva numerosas operaciones de tipo SAD, este tipo de particionamiento resultaría altamente costoso en cuanto a comunicaciones.. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 29

30 2) Particionamiento espacial. Considera que una misma firma espectral (píxel) no puede estar particionada en diferentes unidades de proceso de la arquitectura paralela. La ventaja de este esquema es que las unidades mínimas de cómputo (cálculos de la distancia SAD) podrían realizarse de forma local en cada procesador, limitando las operaciones de comunicación a sincronizaciones globales entre los diferentes procesadores durante el proceso de identificación de nuevos targets. Teniendo en cuenta las consideraciones anteriormente descritas, hemos optado por un particionamiento espacial [37] a la hora de implementar el algoritmo SAD- ATGP. Como aparece ilustrado en la Figura 2.5, este tipo de procesamiento se puede hacer de forma sencilla considerando que cada nodo del cluster va a procesar una sección del cubo de datos no solapada con ninguna otra de las secciones procesadas por otros nodos. Paso 2 Paso 1 Paso 3 Paso 4 Figura 2.5. Particionamiento de datos adoptado para el algoritmo SAD-ATGP A continuación, describimos de forma resumida los diferentes pasos que tienen lugar en el proceso de particionamiento descrito en la Figura 2.5: Paso 1: ó inicialización; en este paso obtenemos la imagen del archivo. Paso 2: Se divide la imagen en bloques de píxels (siendo la profundidad el número de bandas; el alto el número de columnas y el ancho las líneas). Paso 3: Realizamos el particionamiento del cubo de datos y asignando cada partición a un procesador. En este ejemplo, suponemos que tenemos 3 procesadores y una imagen con 16 píxels. La división puede realizarse Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 30

31 dividiendo el número total de líneas por el número de procesadores y teniendo en cuenta la velocidad de cómputo de cada procesador. Paso 4: Se particiona la imagen atendiendo al número de procesadores esclavos en la arquitectura paralela, pudiendo dejar el resto de la imagen en un procesador maestro. Como puede apreciarse en la Figura 2.5, la fase de particionamiento implica un cambio en la carga de los datos, lo cual puede gestionarse de forma sencilla en la implementación haciendo que se indique la posición a partir de la cual es necesario empezar a leer la imagen en lugar de hacer la lectura del conjunto global de datos. Esta operación puede indicarse de forma sencilla dividiendo el número de líneas de la imagen por el número de procesadores. En caso de que la división no fuese exacta, nuestra implementación asigna el resto de píxels en la imagen al procesador maestro, que se encarga de procesar estos datos adicionales y de coordinar el cómputo en los procesadores esclavo. A continuación describimos la implementación paralela del algoritmo a alto nivel (la implementación de bajo nivel, codificada en el lenguaje de programación C con llamadas a Message Passing Interface (MPI) [50-52], puede encontrarse en un apéndice). Descripción del algoritmo paralelo A la hora de realizar la paralelización del algoritmo SAD-ATGP, es necesario incluir una serie de cambios dentro del algoritmo secuencial original, de forma que se permita reducir las comunicaciones y explotar al máximo la potencia de cálculo de los sistemas masivamente paralelos. La principal modificación con respecto al algoritmo serie consiste en que, en lugar de recibir inicialmente el más brillante y luego realizar el cálculo de los más extremos (hablando en términos de ángulo espectral), cada procesador esclavo procede a calcular una función que lo único que realizaría es una nueva iteración del algoritmo SAD-ATGP original con el nuevo conjunto de datos o bien con el nuevo vector introducido de nuevo. Llegados a este punto, tenemos dos opciones de implementación: Comunicar el conjunto de datos que ya teníamos de la fase anterior junto con los nuevos targets extremos seleccionados. Comunicar el nuevo target y realizar el cálculo sobre todos los píxels de la subimagen, almacenando los valores intermedios para realizar una actualización de los mismos con los nuevos ángulos espectrales calculados a lo largo del proceso. Teniendo en cuenta las características de las dos opciones anteriormente mencionadas, hemos optado por elegir la primera para evitar paso de mensajes entre los nodos y así evitar la sobrecarga computacional introducida por el proceso masivo de paso de mensajes en la segunda opción. Teniendo presentes las anteriores consideraciones, procedemos a describir los diferentes pasos ejecutados por nuestra versión paralela de SAD-ATGP: Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 31

32 1) El procesador maestro divide la imagen hiperespectral original F en un conjunto de K particiones mediante los siguientes pasos claramente diferenciados: i. Calcular el número promedio de píxels en cada partición dividiendo el número total de líneas por el número de procesadores, con lo que los primeros K 1 procesadores reciben aproximadamente la misma cantidad de información: if(procesador=0) glines_proc = glines / mp_size; gsamples_proc = gsamples; ii. El último procesador (K) recibe el resto de líneas que no hayan sido asignadas a los primeros K 1 procesadores (conviene destacar que esta implementación, adaptada a sistemas paralelos homogéneos, debería ajustarse para el caso de un sistema paralelo heterogéneo): if(my_rank==0) glines_proc_loc = glines_proc + (glines - (glines_proc * mp_size)); else glines_proc_loc = glines_proc; iii. Como se ha mencionado anteriormente, en caso de que la división no fuese exacta, el resto de la misma se lo queda el procesador maestro. 2) Cada procesador esclavo busca, en paralelo, el píxel con mayor intensidad (más brillante) en su partición local, utilizando la siguiente (1) T t = arg max F x, y F x y, donde i = 1,, K 1. En { } expresión: ( ) ( ) ( ) i x, y, otras palabras, cada píxel (vector) es multiplicado por su transpuesto y el píxel que resulta en un mayor valor es seleccionado. 3) Cada procesador esclavo envía al procesador maestro las coordenadas espaciales ( x, y) del píxel identificado como el más brillante en la partición local, así como el valor asociado a dicho píxel. 4) El procesador maestro recibe la información de los diferentes (1) procesadores esclavo y calcula el píxel más brillante de la imagen, seleccionando el píxel (vector) con mayor valor asociado de todos los píxels en las coordenadas proporcionadas por los esclavos, y después (1) asigna U= t para inicializar el algoritmo. El maestro reeenvía (mediante un broadcast) la matriz U a todos los procesadores esclavo. (2) 5) Cada procesador esclavo busca, en paralelo, el píxel t i en la partición local con mayor distancia SAD relativa a todos los vectores en la matriz (1) U, que de momento solamente contiene un píxel: t. Este proceso se realiza calculando, para cada píxel en la partición local, el valor de la 1 (1) (1) SAD F( x, y) = cos F( x, y) t F( x, y) t. expresión [ ] ( ) t, Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 32

33 6) Una vez identificado el píxel con mayor distancia SAD con respecto a los píxels en U en cada partición local, cada procesador esclavo envía al procesador maestro las coordenadas espaciales ( x, y) del píxel identificado en la partición local, así como el valor asociado a dicho píxel. (2) 7) El procesador maestro identifica un nuevo target t seleccionando el píxel (vector) con mayor valor asociado de todos los píxels en las coordenadas proporcionadas por los esclavos, y después asigna (1) (2) U= t, t. El maestro reeenvía (mediante un broadcast) la matriz U ( ) actualizada a todos los procesadores esclavo. (3) 8) Cada procesador esclavo busca, en paralelo, el píxel t i en la partición local con mayor distancia SAD relativa a todos los vectores en la matriz (1) (2) U, actualmente formada por dos píxels: t y t. Este proceso se realiza calculando, para cada píxel en la partición local, el valor de la expresión (1) (1) (2) (2) SAD F( x, y) = cos F( x, y) t F( x, y) t + cos F( x, y) t F( x, y) t. [ ] ( ) ( ) 9) De nuevo, cada procesador esclavo envía al procesador maestro las coordenadas espaciales ( x, y) del píxel identificado en la partición local, así como el valor asociado a dicho píxel. 10) El proceso se repite hasta que un conjunto de p píxels (1) (2) ( p) t, t,..., t han sido identificados, utilizando la siguiente expresión para calcular los valores SAD asociados a cada uno de los píxels identificados a lo largo p ( i) ( i) SAD F (, y) = cos F( x, y) t F( x, y) t. del proceso: [ ] ( ) x i = 1 En el siguiente capítulo, realizamos una validación de los diferentes algoritmos presentados a lo largo del presente capítulo en el contexto de dos aplicaciones reales basadas en la utilización de datos hiperespectrales AVIRIS y HYDICE. Las propiedades del algoritmo paralelo son también evaluadas en un cluster Linex de computación paralela administrado por el grupo GRNPS y disponible en la Escuela Politécnica de Cáceres. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 33

34 4. Análisis y discusión de resultados En el presente capítulo se muestran los resultados obtenidos tras realizar un estudio cuantitativo y comparativo de las diferentes técnicas de procesamiento descritas en el capítulo anterior. El capítulo comienza con una descripción de las métricas de comparación utilizadas en el presente estudio. A continuación, se describen las características fundamentales de las imágenes hiperespectrales reales utilizadas en el estudio, las condiciones en las que se realizó la toma de datos, la relación señal-ruido, los materiales presentes en la imagen y las características de la información de verdad terreno utilizada en la validación de los diferentes algoritmos. Finalmente, exponemos de forma detallada los resultados obtenidos tras procesar las imágenes anteriormente mencionadas con diferentes algoritmos en el contexto de dos aplicaciones reales: detección de targets militares e identificación de minerales. Para una mejor exposición, presentamos los resultados en dos grandes bloques para profundizar en las características particulares de las dos aplicaciones reales consideradas Métricas de comparación En este apartado se describirán cada una de las medidas utilizadas para realizar el estudio cuantitativo de los diferentes algoritmos considerados. En concreto, las medidas utilizadas han sido las siguientes: Para efectuar las comparativas basadas en la similaridad espectral de los targets seleccionados con respecto a targets de referencia, utilizamos la distancia SAD descrita en el capítulo 3. Otra de las medidas utilizadas a la hora de evaluar la precisión de los algoritmos de detección de targets consiste en el ratio entre el parámetro p (número de targets a detectar por un algoritmo concreto, especificado como parámetro de entrada al algoritmo) y el número real de targets presentes en la escena según la información verdad-terreno. Finalmente, se utilizan medidas relativas al rendimiento computacional de los diferentes algoritmos considerados, incluyendo medidas clásicas como el tiempo de ejecución para la obtención un conjunto de targets, el tiempo total de procesamiento y el speedup o incremento introducido por el procesamiento paralelo. A continuación, destacamos algunos aspectos fundamentales en relación con las métricas anteriormente mencionadas. Conviene aclarar estos aspectos de forma previa a la descripción del estudio comparativo que tendrá lugar en posteriores apartados. Similaridad espectral Cuando la información de verdad terreno se basa únicamente en firmas espectrales, necesitamos un algoritmo de emparejamiento para realizar la comparación entre las firmas extraídas por el algoritmo y las firmas espectrales de referencia. Las firmas espectrales de referencia, por regla general, son obtenidas mediante espectrómetros sobre el terreno, por lo que pueden existir variaciones en la escala debido a las Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 34

35 diferentes condiciones de iluminación y posibles efectos atmosféricos, presentes en la imagen pero no en los espectros tomados de forma directa en el terreno. El algoritmo de emparejamiento utiliza un criterio de similitud basado en la forma de los espectros. Ante la necesidad de medir la similitud de forma independiente de la magnitud de los vectores, la medida seleccionada es el ángulo espectral (SAD) debido a su robustez frente a fenómenos de escalado [3]. Es preciso destacar que las medidas de comparación basadas en la distancia SAD utilizan el cálculo del ángulo espectral para realizar una comparativa entre una firma espectral característica de un objeto que se desea identificar y las firmas espectrales de todos los píxeles de la imagen. Los píxeles obtenidos cuyo valor sea cercano a cero tendrán una alta probabilidad de estar constituidos por el material buscado. En otras palabras, el método utiliza la distancia SAD para caracterizar de forma única a los píxeles en función del ángulo que forman con uno de los ejes del sistema de coordenadas. Los píxeles cuyo ángulo espectral respecto a un vector de referencia de la clase (dado por la información de referencia) sean inferiores a un valor umbral, son asociados a dicha clase, mientras que el resto se asocian a otras clases distintas. La elección de un valor adecuado para el ángulo umbral, así como la relación entre el valor escogido y la distribución de los puntos en el espacio, son los dos factores determinantes a la hora de evaluar si la información angular presenta o no propiedades adecuadas en cuanto a la separación de muestras. Número de targets necesario El número de píxels que un determinado algoritmo ha de generar hasta obtener el número real de targets presentes en la escena se ha considerado tradicionalmente como una medida clave a la hora de evaluar el rendimiento de un determinado algoritmo [53]. Conviene destacar que algunos algoritmos de detección de targets como UFCLS presentan complejidad exponencial, es decir, a medida que el número de targets a detectar, p, se hace mayor, el coste computacional del algoritmo se multiplica. El algoritmo IEA presenta características similares en este aspecto. En este sentido, el ratio entre el número total de targets reales, t, y el parámetro p se considera una medida acertada sobre la precisión del algoritmo. Por el contrario, otros algoritmos como ATGP o SAD-ATGP se caracterizan por emplear un tiempo constante entre la detección de un target concreto y el siguiente target, independientemente de cuántos targets hayan sido identificados a lo largo del proceso. Estos aspectos serán evaluados de forma extensa a lo largo del análisis cuantitativo y comparativo de los diferentes algoritmos considerados. Rendimiento computacional Por último, hemos considerado medidas específicas en relación al rendimiento computacional de los diferentes algoritmos considerados en el estudio. En concreto, las medidas consideradas han sido las siguientes: El tiempo parcial que se tarda en detectar cada uno de los targets de la imagen, comparándolo con todos los algoritmos que forman el conjunto base de referencia del estudio. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 35

36 El tiempo total del procesador, es decir, el tiempo que tarda cada uno de los algoritmos en obtener el conjunto final de p targets. Este tiempo puede calcularse en base a un número de targets fijo para todos los algoritmos, o bien al tiempo que se tarda en localizar los t objetos de interés presentes imagen, por lo que ese número de targets varíará según el caso considerado. Finalmente, como medida de evaluación del rendimiento de la implementación paralela, hemos considerado el speedup o fracción de reducción en el tiempo total de ejecución de la versión paralela de un determinado algoritmo al considerar múltiples procesadores con respecto a la ejecución de la versión serie de dicho algoritmo en un único procesador, en el contexto de una arquitectura paralela homogénea en la que todos los procesadores tienen exactamente la misma velocidad de cómputo. A continuación, mostramos los resultados del análisis comparativo realizado en función de las métricas anteriormente descritas, detallando en primer lugar las características específicas de las dos imágenes hiperespectrales reales consideradas en el estudio Imágenes hiperespectrales reales utilizadas en el estudio A la hora de seleccionar un conjunto de imágenes reales para realizar la experimentación, hemos optado por escoger imágenes que han sido utilizadas en aplicaciones reales relacionadas con la detección de targets u objetivos: 1) La primera aplicación está orientada a evaluar el proceso de detección de targets en un entorno militar, en el que los objetivos son paneles de diferentes tamaños (incluso a nivel sub-píxel) cubiertos de pinturas características de material armamentístico. 2) La segunda aplicación está orientada a la identificación de minerales en un distrito minero de gran complejidad. En ambos casos, existe información verdad-terreno detallada que permite una evaluación cuantitativa de las técnicas de procesamiento consideradas. A continuación, describimos en detalle las imágenes consideradas (obtenidas respectivamente por los sensores HYDICE y AVIRIS, así como las características de la verdad-terreno Aplicación #1: Detección de targets militares (imagen HYDICE) La campaña de simulación de targets militares realizada por el ejército de Estados Unidos en colaboración con SITAC dio lugar a numerosas simulaciones de material armamentístico en distintos escenarios naturales. Una de las imágenes obtenidas en dichas simulaciones estuvo orientada a la detección de targets militares de distintos tamaños en escenarios naturales dominados por abundante vegetación. Para simular dicho escenario, se efectuó un proceso controlado en el que una matriz de paneles artificiales fue colocada artificialmente en un escenario natural y a continuación se llevó a cabo un proceso de toma de datos utilizando el sensor hiperespectral HYDICE [54]. El resultado fue la imagen mostrada en la Figura 4.1, con tamaño de 64x64 pixels y 169 Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 36

37 bandas espectrales (tras eliminar los canales ruidosos) en un rango espectral entre 0,4 y 2,5 µm. p 11, p 12, p 13 p 21, p 22, p 23 p 31, p 32, p 33 p 41, p 42, p 43 p 51, p 52, p 53 Figura 4.1. Imagen HYDICE (detección de targets militares) Como puede apreciarse en la Figura 4.1, la imagen esta formada por un gran campo de hierba y un bosque situado en la parte izquierda. En el centro del campo de hierba están situados 15 paneles de distintos tamaños y con posiciones conocidas, dispuestos en una matriz de 5x3. Cada elemento de la matriz esta representado en la Figura 4.1. por un cuadrado. En la matriz, cada objeto se denota como p ij donde i es un índice correspondiente a las filas y j es un índice correspondiente a las columnas. En cada fila hay tres paneles denotados como p i1, p i2 y p i3 que representan el mismo material en la imagen pero con distintos tamaños (el tamaño de los paneles decrece de izquierda a derecha, de forma que el panel situado más a la izquierda tiene un tamaño de 3x3 metros, el panel central tiene un tamaño de 2x2 metros, y el panel situado más a la derecha tiene un tamaño de 1 metro, por debajo de la resolución espacial de 1.56 metros por píxel de la imagen). Con respecto a las columnas, hay cinco paneles p 1j, p 2j, p 3j, p 4j y p 5j de forma que los paneles en la misma columna tienen el mismo tamaño pero están cubiertos con diferentes tipos de pintura, correspondiente a distintos tipos de objetos militares Aplicación #2: Identificación de minerales (imagen AVIRIS) El distrito minero de Cuprite, Nevada, ha sido utilizado a lo largo de los años como una zona de estudio para la validación de algoritmos de tratamiento de imágenes hiperespectrales, sobre todo, para evaluar la precisión de algoritmos de extracción de endmembers [55, 56]. Esto ha sido posible gracias a la obtención repetitiva de datos en sucesivas campañas utilizando diferentes sensores hiperespectrales (por ejemplo, el sensor AVIRIS de NASA lleva obteniendo datos en Cuprite año tras año desde 1990). Además, el Instituto Geológico de Estados Unidos (USGS) ha realizado, de forma paralela a las campañas de adquisición de imágenes, estudios sobre el terreno que han permitido la obtención de información de verdad terreno muy extensa, favoreciendo la utilización de esta imagen como un estándar a la hora de validar algoritmos de tratamiento de imágenes hiperespectrales. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 37

38 La imagen que hemos utilizado en el estudio (denominada AVCUP95) fue adquirida por el sensor AVIRIS en 1995 y se encuentra disponible online ( La Figura 4.2 muestra la ubicación de la imagen sobre una fotografía aérea de la zona. Visualmente, puede apreciarse la existencia de zonas compuestas por minerales, así como abundantes suelos desnudos y una carretera interestatal que cruza la zona en dirección norte-sur. La imagen consta de 350x350 pixels, cada uno de los cuales contiene 224 valores de reflectancia en el rango espectral 0.4 a 2.5 µm. AVCUP95 Figura 4.1. Ubicación de la imagen AVIRIS Cuprite considerada en el estudio La información de verdad-terreno considerada en el presente trabajo fue obtenida a partir de estudios de campo realizados por expertos del USGS sobre la región Cuprite, utilizando un espectro-radiómetro Beckman con resolución radiométrica de 0.5 nm en el infrarrojo cercano y 0.2 nm en el visible. La elevada resolución radiométrica de este instrumento ha motivado la creación de una librería espectral de firmas convolucionadas con las longitudes de onda de AVIRIS, de forma que se pueda establecer una comparación entre los datos adquiridos por ambos instrumentos de medida en longitudes de onda comunes. La librería espectral convolucionada se denomina AVIRIS-Convolved Digital Spectral Library [56], y se encuentra disponible de forma pública ( La figura 4.3 muestra cuatro firmas espectrales correspondientes a los minerales más abundantes en la zona de estudio: alunite, buddingtonite, calcite y kaolinite. En la figura, estas firmas espectrales aparecen etiquetadas respetando sus identificadores asociados en la librería USGS. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 38

39 1,0 Alunite SUSTDA 1 Buddingtonite HB2301 0,8 0,8 Reflectancia 0,6 0,4 Reflectancia 0,6 0,4 0,2 0,2 0, Longitud de onda (nm) Longitud de onda (nm) 1,0 Calcite WS272 1,0 Kaolinite CM9 Reflectancia 0,8 0,6 0,4 0,2 AVCUP95 Reflectancia 0,8 0,6 0,4 0,2 0, Longitud de onda (nm) 0, Longitud de onda (nm) Figura 4.3. Información verdad-terreno para la imagen AVIRIS Cuprite 4.3. Comparativa de algoritmos En este apartado mostramos los diferentes experimentos realizados con los algoritmos de detección de targets y extracción de endmembers considerados en el estudio. El apartado se ha estructurado de la siguiente forma: 1) En primer lugar, realizamos un estudio comparativo de algoritmos de detección de targets en el contexto de la primera aplicación considerada (detección de targets militares en imagen HYDICE). 2) A continuación, realizamos un estudio comparativo de algoritmos de detección de targetsen el contexto de la segunda aplicación considerada (indetificación de minerales en imagen AVIRIS). 3) Finalmente, realizamos un estudio comparativo del algoritmo paralelo SAD-ATGP propuesto con respecto a la versión serie de dicho algoritmo y con respecto al algoritmo ATGP original Detección targets en aplicación #1 (targets militares) En este apartado, comparamos los algoritmos de detección de targets ATGP y UFCLS utilizando como base la imagen HYDICE. El estudio comparativo se ha realizado en función de diferentes métricas, tales como comparación de posiciones de los targets y comparación de firmas espectrales con respecto a la información verdad-terreno disponible para la imagen. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 39

40 Número de targets necesario Implementación paralela y validación de nuevos algoritmos para detección La primera medida considerada para comparar los algoritmos ATGP y UFCLS es el número de targets necesarios para localizar los objetos de la imagen. En la imagen existen quince paneles fácilmente reconocibles, el interés de la presente comparativa es estudiar el número de targets que son necesarios para localizar los cinco paneles que representan a los distintos materiales que forman la verdad-terreno, es decir, p 1j, p 2j, p 3j, p 4j y p 5j. Los resultados obtenidos a partir de cada uno de los algoritmos considerados se muestran en la Tabla 4.1. Tabla 4.1. úmero de targets necesarios y ratio especificados / reales para ATGP y UFCLS Algoritmo úmero de Targets Ratio p/t ATGP / 5 UFCLS / 5 Como podemos observar en la tabla 4.1, el algoritmo ATGP parece mejor que UFCLS a la hora de detectar objetos en la imagen, en el sentido que UFCLS necesita casi el doble de targets que el ATGP para localizar los 5 targets reales presentes en la imagen. Esto hace que el ratio entre el número total de targets a detectar por cada algoritmo (p) y el número real de targets en la imagen (t) sea favorable a ATGP en este ejemplo concreto ya que el valor de p necesario para detectar todos los targets reales es menor. Podemos comprobar gráficamente el orden en que cada uno de los algoritmos localiza los distintos paneles en la imagen en la Figura 4.4. (a) ATGP (b) UFCLS Figura 4.4. Detección de targets en imagen HYDICE Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 40

41 Como puede observarse en la Figura 4.4, en el algoritmo ATGP los píxeles correspondientes a los paneles son el 3, 5, 6, 17 y 18. En el algoritmo UFCLS son los píxeles 4, 5, 9, 23 y 32 cuyas posiciones en la imagen se ilustran en la Tabla 4.2. Tabla 4.2. Posiciones de targets detectados por ATGP y UFCLS Targets ATGP PosX PosY Targets UFCLS PosX PosY Comparación de firmas espectrales La segunda medida de comparación de algoritmos de detección de targets se ha basado en la utilización de las firmas espectrales. Para ello, se ha calculado el ángulo SAD de cada uno de los píxeles introducidos como parámetro de entrada del algoritmo, y se ha seleccionado el valor más parecido a cada uno de los minerales más representativos que forman la imagen, es decir, los cinco paneles que fueron detectados anteriormente en la escena. Los espectros de cada uno de los paneles que se tienen que detectar en la imagen se representan en las Figuras 4.5 a 4.9. Conviene destacar que, por motivos ilustrativos, la imagen (cuadrada) se ha ensanchado verticalmente para facilitar la visualización de los diferentes paneles. Espectro Panel 1 Radiancia Bandas Figura 4.5. Firma espectral y posición asociada al panel p 11 Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 41

42 Espectro Panel 2 Radiancia Bandas Figura 4.6. Firma espectral y posición asociada al panel p 21 Espectro Panel Radiancia Bandas Figura 4.7. Firma espectral y posición asociada al panel p 31 Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 42

43 Espectro Panel Radiancia Bandas Figura 4.8. Firma espectral y posición asociada al panel p 41 Espectro Panel Radiancia Bandas Figura 4.9. Firma espectral y posición asociada al panel p 51 En primer lugar, se mostrará la tabla con los resultados correspondientes al algoritmo ATGP. En la tabla 4.3, se representan cada uno de los targets seleccionados en la imagen, para este caso, 18, y en la columna cada mineral (o panel), en este caso particular los cinco materiales de interés, que se denotan con p 11, p 21, p 31, p 41 y p 51. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 43

44 Tabla 4.3. Distancias SAD correspondientes a ejecución de algoritmo ATGP con p = 18 Targets p 11 p 21 p 31 p 41 p En la tabla se resaltan en negrita aquellos targets que más se parecen a cada uno de lo minerales de interés. Por ejemplo, cuando se especifican p = 18 targets como parámetro de entrada, el algoritmo ATGP encuentra todos los t = 5 targets reales (ver Figura 4.10) y en este caso, como se han representado el número de targets exactos para encontrar los cinco paneles, vemos en la tabla que su distancia SAD es cero en aquellos targets que se corresponden con alguno de los paneles. Sin embargo, si el número de targets que el algoritmo tiene que detectar es inferior a 18 (por ejemplo, 8 tal y como se muestra en la Figura 4.11) los resultados obtenidos varían, tal y como aparece reflejado en la Tabla 4.4. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 44

45 Figura Ejecución de ATGP con p = 18 (los 5 paneles reales son encontrados) Tabla 4.4. Distancias SAD correspondientes a ejecución de algoritmo ATGP con p = 8 Targets p 11 p 21 p 31 p 41 p Figura Ejecución de ATGP con p = 18 (los 5 paneles reales son encontrados) Como puede comprobarse tanto en la Tabla 4.4 como en la Figura 4.11, con 8 targets solo se detectan 3 paneles: p 11, p 31 y p 51, mientras que los otros targets detectados son los más próximos según la distancia SADa los paneles que no se han Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 45

46 detectado, que son el 7 y el 8. A continuación, en la tabla 4.5 se muestran las distancias SAD relativos al algoritmo UFCLS. En este caso, como se especifico en la primera medida de comparación, se necesitan p = 32 targets para localizar los cinco paneles de la imagen. Al igual que en las anteriores tablas aparecen en negrita aquellos targets más parecidos a cada mineral. Tabla 4.5. Distancias SAD correspondientes a ejecución de algoritmo UFCLS con p = 32 Targets p 11 p 21 p 31 p 41 p Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 46

47 Figura Ejecución de UFCLS con p = 32 (los 5 paneles reales son encontrados) Resulta interesante destacar que, si el algoritmo UFCLS es procesado con p = 18 targets al igual que ATGP, los resultados obtenidos claramente reflejan que dos de los paneles reales presentes en la imagen no son correctamente detectados como consecuencia del número insuficiente de targets especificado como parámetro de entrada del algoritmo (ver Tabla 4.6 y Figura 4.13). Tabla 4.6. Distancias SAD correspondientes a ejecución de algoritmo UFCLS con p = 18 Targets p 11 p 21 p 31 p 41 p Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 47

48 Figura Ejecución de UFCLS con p = 18 (solamente 3 paneles reales son encontrados) La Figura muestra que los targets 4, 5 y 9 coinciden con paneles reales. El panel p 41 se corresponde con el target 8 porque el emparejamiento resulta en la distancia SAD mínima. Sin embargo, el target más parecido al panel p 51 por la distancia SAD mínima sería el 4 pero este ya esta asignado por lo tanto el algoritmo de emparejamiento busca un target cuya distancia sea la menor y no este asignado a ningún otro panel. Tabla 4.6. Tiempos de ejecución (para cada target) de los algoritmos ATGP y UFCLS con p = 18 Targets ATGP UFCLS 1 0,290 0, ,861 0, ,412 4, ,893 8, ,393 14, ,884 21, ,365 28, ,855 39, ,336 50, ,847 62, ,328 76, ,818 93, , , , , , , , , , , , ,014 Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 48

49 Rendimiento computacional Implementación paralela y validación de nuevos algoritmos para detección Para evaluar los dos algoritmos de detección de targets considerados en este apartado, calculamos en primer lugar el tiempo que se tarda en detectar cada uno de los targets del algoritmo seleccionado y, en segundo lugar, el tiempo total que se tarda en procesar cada algoritmo. Teniendo en cuenta que, para el caso del algoritmo ATGP el número de píxels calculados ha sido 18 y para el UFCLS ha sido 32, la Tabla 4.7 muestra los tiempos (en segundos) empleados por cada algoritmo para detectar los diferentes targets. Estos tiempos han sido medidos en un PC Toshiba con procesador Intel(R) Pentium(R) a 1600MHz y 510 MB de memoria RAM. Como puede apreciarse en la Tabla 4.6, el algoritmo ATGP se caracteriza por un ligero incremento del tiempo de ejecución entre targets consecutivos. Esto se debe al hecho de que las proyecciones ortogonales a varios targets son ligeramente más costosas computacionalmente, lo cual implica que los tiempos de generación de nuevos targets sean ligeramente mayores a medida que se incrementa el número de targets. Este efecto es mucho más significativo en el caso del algoritmo UFCLS, en el que los tiempos de ejecución entre cada target aumentan exponencialmente como consecuencia de la mayor complejidad en el proceso de estimación de errores LSE con un mayor número de targets implicados en el proceso. Este efecto se muestra de forma gráfica en las Figuras 4.13 (ATGP) y 4.14 (UFCLS). ALGORITMO ATGP TIEMPO (sg) TARGETS Figura Tiempos de ejecución parciales de ATGP con p = 18 Como puede observarse en la Figura 4.13, la progresión en los tiempos de ejecución parciales de ATGP sigue una progresión lineal. Este efecto contrasta con la progresión en los tiempo de ejecución del algoritmo UFCLS en la Figura 4.14, que siguen una progresión exponencial. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 49

50 ALGORITMO UFCLS TIEMPO (sg) TARGETS Figura Tiempos de ejecución parciales de UFCLS con p = 32 A raíz de los resultados mostrados en las Figuras 4.13 y 4.14, queda claro que el algoritmo ATGP es tanto mejor cuanto mayor es el número de targets. Además, UFCLS necesita más iteraciones para identificar todos los targets en la imagen HYDICE. Si comparamos el porcentaje de mejora del algoritmo ATGP con respecto al UFCLS, observaremos que también existe una progresión notoria en dicha mejora a medida que se incrementa el número de targets. Este efecto aparece ilustrado de forma gráfica en la Figura Mejora de algoritmos % de mejora Mejora Targets Figura Porcentaje de mejora de ATGP respecto a UFCLS con p = 18 Para concluir este apartado, analizamos los tiempos totales de procesamiento de los dos algoritmos considerados. El algoritmo ATGP emplea un total de segudnos para detectar p = 18 targets, los cuales permiten identificar los 5 targets más representativos de la imagen. Por el contrario, el algoritmo UFCLS emplea Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 50

51 segundos para detectar el mismo número de targets (p = 18) lo cual no es suficiente para localizar los 5 targets reales presentes en la escena. Si se quieren obtener dichos targets con UFCLS, el algoritmo debe localizar hasta p = 32 targets en total, empleando un total de segundos en el proceso. La Figura 4.16 muestra un resumen de la anterior situación, comparando el tiempo de proceso total del algoritmo ATGP para localizar p = 18 targets y el tiempo total del algoritmo UFCLS con el mismo número de targets, y por otro lado el tiempo que tardan ambos algoritmos en encontrar los cinco paneles más representativos de la imagen. En este caso, para ATGP necesitamos buscar p = 18 targets y para UFCLS necesitamos buscar p = 32 targets distintos. TIEMPO DE PROCESO TIEMPO (sg) ,15 246,915 8,713 ATGP18 UFCLS18 UFCLS32 Figura Comparativa de tiempos totales empleados por ATGP y UFCLS Detección targets en aplicación #2 (identificación minerales) En este apartado, comparamos los algoritmos de extracción de endmembers IEA y PPI utilizando como base la imagen AVIRIS. Resulta interesante utilizar el algoritmo IEA en la comparación ya que su funcionamiento es similar al de los algoritmos ATGP y UFCLS considerados en el apartado previo. Por otra parte, el algoritmo PPI se ha seleccionado como método representativo de los algoritmos de extracción de endmembers clásicos disponibles en la literatura. El estudio comparativo se ha realizado en función de diferentes métricas, tales como comparación de las posiciones en las que se encuentran ubicados los minerales (disponible en información verdad-terreno de USGS) y comparación de firmas espectrales con respecto a firmas espectrales de referencia obtenidas sobre el terreno en estudios de campo realizados por USGS. En estudios previos con la imagen AVIRIS Cuprite [ver Figura 4.17(a)] se ha determinado que el número de minerales distintos presentes en la escena es de 16. Esta información puede ser contrastada con la información verdad-terreno de USGS. No obstante, para centrar mejor el análisis en los minerales más representativos, se han Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 51

52 considerado 5 minerales representativos, identificados como A (alunite), B (buddingtonite), C (calcite), K (kaolinite) y M (muscovite) [ver Figura 4.17(b)]. La Figura 4.18 muestra firmas espectrales representativas de dichos minerales. (a) Imagen original (b) Posiciones minerales Figura (a) Imagen AVIRIS Cuprite y (b) Posiciones de minerales representativos Evaluación del algoritmo IEA Nuestro primer experimento consistió en evaluar la precisión del algoritmo IEA en la tarea de detección de minearles mediante dos experimentos, uno con p = 16 targets y otro con p = 20 targets. Para validar la precisión del algoritmo, se ha calculado el ángulo SAD de cada uno de los targets detectados con respecto a las firmas espectrales de referencia en la Figura 4.18, y se ha seleccionado el valor más parecido a cada uno de los minerales más representativos que forman la imagen. La Tabla 4.7 muestra los resultados de similaridad espectral correspondiente al algoritmo IEA, representando en las filas los targets seleccionados por el algoritmo en la imagen (p = 16), mientras que en la columna se representa cada mineral, en nuestro los cinco minerales de referencia denotados como A (alunite), B (buddingtonite), C (calcite), K (kaolinite) y M (muscovite). En la tabla, se han resaltado en negrita aquellos targets que más se parecen a cada uno de lo minerales. Para seleccionar los targets se ha calculado la distancia SAM entre cada uno de ellos y los minerales más representativos de la imagen. El targets con menor distancia, es decir, la distancia SAD más cercana a cero ha sido la elegida. En todos los casos no se ha seleccionado el targets con menor distancia, ya que si este ya estaba asociado a otro mineral se ha escogido el siguiente más próximo. Por otra parte, la Figura 4.19 muestra la ubicación de los diferentes targets seleccionados por IEA, resaltando en colores aquellos targets que se corresponden con minerales de referencia presentes en la escena. La precisión del algoritmo se evalúa tanto con p = 16 como con p = 20 para ilustrar el aumento en la precisión del proceso de detección a medida que se incrementa el número de targets. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 52

53 Espectro mineral alunite (A) Espectro mineral buddingtonite (B) 1 0,7 Reflectancia 0,8 0,6 0,4 0, Reflectancia 0,6 0,5 0,4 0,3 0,2 0, Bandas Bandas Espectro mineral calcite (C) 1,2 1 Reflectancia 0,8 0,6 0,4 0, Bandas Espectro mineral muscovite (M) Espectro mineral kaolinite (K) Reflectancia 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0, Bandas Reflectancia 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0, Bandas Figura Firmas espectrales de minerales representativos en la imagen AVIRIS Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 53

54 Tabla 4.7. Similaridad de targets detectados por IEA con p = 16 respecto a minerales de referencia Targets A B C K M (a) (b) Figura Ubicación de targets detectados por IEA con p = 16 (a) y p = 20 (b) Finalmente, la Tabla 4.8 muestra los valores de similaridad espectral para los targets obtenidos en el caso de procesamiento de la imagen con p = 20. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 54

55 Tabla 4.8. Similaridad de targets detectados por IEA con p = 20 respecto a minerales de referencia Targets A B C K M Como puede apreciarse en la Tabla 4.8, incrementar el número de targets en este ejemplo concreto no conlleva un aumento significativo de la precisión del algoritmo, lo cual indica que el valor de p = 16 parece bastante adecuado para los experimentos con la imagen AVIRIS Cuprite. En este punto, conviene destacar que los anteriores experiments se han desarrollado bajo un procesador con la arquitectura x86 y las características técnicas que aparecen descritas en la Tabla 4.9. Además de la arquitectura mostrada en dicha tabla, se ha considerado una segunda arquitectura cuyas principales características aparecen reflejadas en la Tabla Finalmente, la Tabla 4.11 muestra una comparativa entre la ejecución del algoritmo IEA en ambas arquitecturas, con vistas a evaluar el impacto de la arquitectura considerada en el rendimiento computacional del algoritmo. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 55

56 Tabla 4.9. Características de la arquitectura utilizada en los experimentos (definida como Arq1) Características Operating System: System Manufacturer: System Model: Processor: Memory Page File Windows XP Home Edition (5.1, Build 2600) Service Pack 2 (2600.xpsp_sp2_gdr ) TOSHIBA Satellite M30 Intel(R) Pentium(R) M processor 1600MHz 510MB RAM 635MB used, 614MB available Tabla Características de la arquitectura utilizada en los experimentos (definida como Arq2) Características Operating System: System Manufacturer: System Model: Windows XP Professional (5.1, Build 2600) Service Pack 1 (2600.xpsp ) To Be Filled By O.E.M. To Be Filled By O.E.M. Processor: AMD Athlon(tm) 2800+, ~2.1GHz Memory Page File 510MB RAM 276MB used, 972MB available Como puede apreciarse en la Tabla 4.11, los resultados en las dos arquitecturas no difieren sustancialmente para p = 16, siendo la primera arquitectura (Arq1) más rápida que la segunda (Arq2), en particular, a medida que el número de targets se incrementa. Por motivos ilustrativos, la Figura 4.20 muestra una comparativa gráfica de los tiempos parciales obtenidos en ambas arquitecturas monoprocesador en este experimento concreto basado en la detección de p = 16 targets en la imagen AVIRIS Cuprite. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 56

57 Tabla Tiempos de ejecución de IEA (p = 16) en dos arquitecturas Targets IEA16Arq1 IEA16Arq2 1 74,987 77, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,281 Comparacion de tiempos parciales entre ambas máquinas Tiempo (sg) Targets IEA16Arq1 IEA16Arq2 Figura Comparativa de tiempos de ejecución de IEA (p = 16) en dos arquitecturas A continuación, se muestran los tiempos de procesamiento (Tabla 4.12) y comparativa gráfica (Figura 4.21) para un caso de estudio basado en p = 20 targets. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 57

58 Tabla Tiempos de ejecución de IEA (p = 20) en dos arquitecturas Targets IEA20Arq1 IEA20Arq2 1 76,630 78, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,016 Comparación de tie mpos parciale s e ntre arquite cturas Tiempo (sg) Targets IEA20Arq1 IEA20Arq2 Figura Comparativa de tiempos de ejecución de IEA (p = 20) en dos arquitecturas Finalmente, destacamos que el tiempo total que se utiliza el algoritmo IEA para detectar los p = 16 targets es de 7508,336 segundos en la máquina Intel, mientras que el tiempo en la máquina AMD es de 8292,281 segundos, como se puede ver en la Figura Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 58

59 Tiempo de proceso IEA16 Tiempo (sg) ,336 IEA16Arq1 8292,281 IEA16Arq2 Figura Comparativa de tiempos de ejecución de IEA (p = 20) en dos arquitecturas Como se ha ido haciendo a lo largo de todo el apartado, se va a realizar también la comparativa de tiempos referente a las dos arquitecturas cuando el número de targets que se seleccionan son p = 20. Para este caso, el tiempo del algoritmo IEA para p = 20 targets en el procesador Intel es de 13860,56 segundos mientras que en el procesador AMD es de 15754,016segundos. Tiempo de proceso IEA ,016 Tiempo (sg) , IEA20Arq1 IEA20Arq2 Figura Comparativa de tiempos de ejecución de IEA (p = 20) en dos arquitecturas En general, el rendimiento obtenido no es demasiado alentador puesto que el tiempo de procesado es muy elevado en ambos casos. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 59

60 Evaluación del algoritmo PPI El funcionamiento del algoritmo PPI es sensible al parámetro de entrada que indica el número de proyecciones o iteraciones que tiene que procesar el algoritmo. La salida del algoritmo es una imagen con los puntos más puros. Se mostrarán ejemplos de dichas imágenes continuación en una serie de figuras. En los ejemplos se irán presentando resultados con distinto número de proyecciones. Este algoritmo es aleatorio, y por lo tanto los resultados al procesar el mismo número de proyecciones no serán los mismos. Figura Resultados procesamiento con PPI utilizando 100 proyecciones En la Figura 4.24 se muestran los minerales más representativos de la imagen. El algoritmo PPI localiza los puntos más puros de la imagen. En la tabla anterior se ven las coordenadas de dichos puntos y las veces que se selecciona cada uno de ellos. En la gráfica de la derecha se ha marcado con un circulo amarillo aquellos que más veces se repiten por ser los más puros. A continuación evaluamos el rendimiento computacional del algoritmo PPI. El parámetro de entrada del algoritmo es el número de proyecciones o iteraciones que se han de procesar para detectar los puntos más puros de la imagen. En este caso, cuando se procesan un número de iteraciones, el algoritmo puede detectar varias veces los mismos puntos. Cuantas más veces hayan sido detectados, más puros son. El rendimiento computacional, lo hemos calculado en función del tiempo que el algoritmo tarda en procesarse con una serie de parámetros de entrada distintos. En este caso, mostraremos los resultados en los dos tipos de arquitecturas especificadas anteriormente procesando el algoritmo con 100 y 1000 proyecciones. El tiempo de ejecución del algoritmo fue de 687,128 segundos para 100 iteraciones en Arq1 y de 831,422 segundos para el mismo número de iteraciones en la Arq2. Del mismo modo, el tiempo de ejecución del algoritmo fue de 6950,694 segundos para 1000 iteraciones en Arq1 y de 8170,906 segundos para el mismo número de iteraciones en la Arq2. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 60

61 Estudio comparativo del algoritmo SAD-ATGP Para finalizar este apartado, procedemos a realizar un estudio comparativo del algoritmo SAD-ATGP con respecto a otras versiones de ATGP. Las versiones sobre la que se va a trabajar son las siguientes: Versión secuencial en Matlab. Versión secuencial en lenguaje C. Versión paralela en lenguaje C usando MPI para el paso de mensajes. Para las pruebas hemos utilizado los equipos informáticos que se muestran en las Tablas 4.14 y Conviene destacar que el equipo descrito en la Tabla 4.15 forma parte de un cluster de computación paralela formado por 16 nodos idénticos interconectados por una red de comunicación Ethernet y con el sistema operativo Linex. Este cluster será empleado en la validación de la versión paralela del algoritmo SAD- ATGP. Destacamos que en los resultados presentados en la presente memoria se han usado 5 de los 18 nodos del cluster para ilustrar el rendimiento del algoritmo paralelo. Tabla Características sistema computador HP Pavillion Características Operating System: Windows XP Home Edition (5.1, Build 2600) Service Pack 2 (2600.xpsp_sp2_gdr ) System Manufacturer: System Model: Processor: Memory Page File Hewlett Packard Pavillion ZT3000 Intel(R) Pentium(R) M processor 1700MHz 512MB RAM 239MB used, 1009MB available Tabla Características de un nodo del cluster de computación paralela empleado Características Operating System: Processor: Memory Kernel version gnulinex2004r1 Intel(R) Pentium(R) 4 CPU 2.80 MHz 256MB RAM (precompiled) Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 61

62 Tiem pos en paralelo Tiem po (sg) 0,554 0,5535 0,553 0,5525 0,552 P0 P1 P2 P3 Núm ero de procesador Figura Tiempos paralelos de los 5 procesadores del cluster Beowulf En la gráfica anterior (4.25) se muestra el tiempo de cada procesador. Observamos que todos oscilan en los mismos valores, lo cual significa que el balanceo de carga está realizado correctamente y ninguno de los nodos del clúster realiza más procesos más que otro. Mejora Serie-Paralelo 5 targets 2 1,5 Speedup 1 0,5 0 Serie MejoraSP2 MejoraSP3 MejoraSP4 Figura Speedup versión paralela de SAD-ATGP respecto a la versión serie (p = 5) En la Figura 4.26 podemos observar, como partiendo del dato serie cuyo valor es 1, el speedup va creciendo cuando el número de procesadores va aumentando hasta un total de cuatro. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 62

63 Mejora Serie-Paralelo 18 targets Speedup Serie MejoraSP2 MejoraSP3 MejoraSP4 Figura Speedup versión paralela de SAD-ATGP respecto a la versión serie (p = 18) En la Figura 4.27 se muestra el resultado del speedup, partiendo del algoritmo serie y calculando la mejora computacional respecto al algoritmo paralelo con uno, dos, tres, cuatro y cinco procesadores. Podemos observar que la mejora va aumentando cuando se procesa el algoritmo paralelo con dos y tres procesadores respecto al algoritmo serie, pero a partir de este número de procesadores la mejora decrece debido a que la negociación de mensaje entre el master y los workers genera más tiempo que el cálculo. Com paración ATGP AnsiC/Matlab (5 Targets) 2,5 2,373 2 Tiempo (sg) 1,5 1 0,5 0,645 0 ATGPserie5 ATGPmatlab5 Figura Comparativa implementaciones C y Matlab de SAD-ATGP en (p = 5) En la Figura 4.28 se muestra el resultado del tiempo que se tarda en procesar el algoritmo implementado en Matlab y la versión serie implementada en C del algoritmo SAD-ATGP. Como puede observarse, el tiempo del nuevo algoritmo ATGP en serie es 3,679 (D = Tmax / Tmin) veces mejor que la versión desarrollada en Matlab. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 63

64 Por otra parte, la Figura 4.29 compara el tiempo del algoritmo ATGP versión Matlab con el SAD-ATGP paralelo para comprobar que esta versión aumenta la mejora. Com paración ATGP Matlab/SAD-ATGP paralelo 2,500 2,373 2,000 Tiempo (sg) 1,500 1,000 0,500 0, ,000 ATGPMatlab5 SAD-ATGPparalelo5 Figura Comparativa implementaciones C y Matlab de SAD-ATGP (p = 18) Finalmente, mostramos un estudio estadístico que es el resultado de una comparación entre los coeficientes de correlación R 2 (Pearson) al comparar los targets (firmas espectrales) obtenidos por el algoritmo serie y el algoritmo paralelo. Como ejemplo, hemos considerado los dos primeros targets detectados por ambas implementaciones. La Figura 4.30 muestra que los valores obtenidos siguen una correlación lineal, esto significa que los valores son iguales lo que nos indica que ambos algoritmos consiguen los mismos espectros V1serie 6000 V2serie , , , , , , ,00 V1paralelo 0,00 500, , , ,00 V2paralelo Figura Correlación entre los dos primeros targets obtenidos por las versiones serie y paralela de SAD-ATGP. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 64

65 5. Herramienta para la comparación de algoritmos En los anteriores capítulos se han descrito las imágenes utilizadas en el proyecto, los algoritmos y comparativas estudiadas. Además, se han expuesto todos los resultados y las gráficas correspondientes, en las cuales se ha ido explicando cada uno de los objetivos del estudio. Para facilitar todo ese trabajo, se ha desarrollado una herramienta que permite hacer estas comparaciones de forma más sencilla. A continuación, se explica el entorno desarrollado para la herramienta Manual de Usuario El entorno para trabajar con la herramienta está basado en Matlab 6.5 de MathWorks. Iniciamos Matlab y cargamos nuestro espacio de trabajo llamado Herramienta_PFC.mat. Después de esto, ya tenemos el entorno preparado para ejecutar nuestra herramienta. Simplemente tecleando: Run (interfaz) Nos aparecerá una imagen como esta. Figura 5.1. Interfaz de la herramienta de comparación desarrollada En la que tenemos varias zonas. Barra de Menú: Desde aquí se pueden realizar cualquier acción típica de tratamiento de ficheros Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 65

66 Zona de Selección de algoritmos: En esta sección podemos elegir qué algoritmo utilizar con la imagen que hemos cargado. Selección de banda: Pulsando aquí, podemos cambiar la banda de la imagen cargada. Zona de Resultados: En estos cuatro paneles podemos ver la imagen cargada, procesada, una gráfica de estados y otra de tiempos 5.2. Barra de Menú Archivo Figura 5.2. Menú archivo Desde este menú podemos abrir o guardar una imagen para su posterior utilización. Las imágenes que cargamos tienen formato BSQ sin embargo, al guardarlas se hace en.mat, formato legible por MatLab y que nos evitará realizar el proceso de carga de nuevo. Para ello, tras realizar la apertura del fichero de imagen, se solicita al usuario los parámetros de la misma mediante un mensaje como éste. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 66

67 Figura 5.2. Parámetros de la imagen Historial Figura 5.4. Menú historial En el menú historial podemos realizar una carga de la imagen (ya convertida a una variable que pueda leer Matlab) o cargar los resultados obtenidos en sesiones anteriores. La carga de la imagen se realiza en formato.mat, lo que disminuye el tiempo de carga Zona de selección de algoritmos Desde aquí, podemos realizar la selección del algoritmo de procesamiento hiperespectral que necesitemos, de momento se pueden elegir, ATGP, UFCLS, IEA, PPI y N-FINDR, cada uno con sus parámetros de entrada. Estos parámetros se seleccionan por medio de cuadros de diálogo como los siguientes. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 67

68 Algortimo ATGP: Solicita los targets a encontrar Algortimo UFCLS: Solicita los targets a encontrar Algortimo PPI: Necesita el número de targets, R y θ Algortimo PPI: Número de iteraciones que realiza el algoritmo. Algortimo -FI DR: Solicita los targets a encontrar Zona de selección de bandas También podemos realizar una selección de la banda que queremos mostrar en el primer panel, para ello, debemos pulsar el botón Cambiar Banda y elegir el número de banda queremos en el cuadro de diálogo que nos aparece. Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 68

69 Zona de resultados Implementación paralela y validación de nuevos algoritmos para detección En esta sección tenemos cuatro paneles en los cuales nos aparecen los resultados y las imágenes que necesitamos. Los dos paneles superiores contienen, en este orden y de izquierda a derecha, la imagen original que cargamos y la imagen con los targets encontrados una vez ha sido procesada. En los paneles inferiores se muestran gráficas explicativas de lo que ha sido el proceso según el algoritmo utilizado. A continuación veremos unas capturas de la herramienta con los resultados obtenidos. Figura 5.5. Herramienta procesando algoritmo Figura 5.6. Herramienta con resultados obtenidos Proyecto fin de carrera de Ingeniería Informática realizado por Sergio Muñoz y Soraya Blázquez Página 69