Modelado de localización acústica basado en redes neuronales

Transcripción

1 Modelado de localización acústica basado en redes neuronales Gerardo Miramontes de L., José Ismael de la Rosa V., José de Jesús Villa H., María Auxiliadora Araiza E., Claudia Sifuentes G. y Ernesto García D. Laboratorio de Procesamiento Digital de Señales Unidad Académica de Ingeniería Eléctrica Universidad Autónoma de Zacatecas Revista de Investigación Científica Vólumen 2, número 1 ISSN Abstract Acoustic source localization is an amazing ability of many living beings. Characterization of this ability is a very complex task since involves studies in physics, physiology and psicology, among others. Based on intensity and time delay cues, together with spectral contents, the brain can recreate a 3D space from the sounds we hear. Different models, where arrays of microphones and beamforming algorithms have been used, allow the estimation of the direction of arrival and signal enhancement in a predefined direction. A very important application of these models can be found in teleconferencing cameras. These cameras have the capability to steer the focal point in the direction of an active speaker. Some of these systems use an array of two or more microphones. However, many animals and the human, if not all of them, have only two ears, so it was decided to study acoustic source localisation with only two microphones. In this work, some preliminary results in acoustic source localization, at the DSP laboratory, using neural networks are presented. It has been found that interaural difference level cues are important elements in acoustic source localization. A simple model based on neural networks with different activation 1

2 potentials can be set to detect interaural level diferences which can be correlated to direction of arrival of an acoustic source. Resumen La localización de una fuente acústica es una habilidad sorprendente de muchos seres vivos. La caracterización de esta habilidad es una tarea muy compleja ya que involucra estudios de física, fisiología, y psicología entre otros. Basado en la información de la intensidad y el tiempo de retardo, junto con componentes espectrales, el cerebro puede recrear un espacio 3D a partir de los sonidos que escucha. Diferentes modelos, donde se han usado arreglos de micrófonos y algoritmos de conformación de haz, permiten la estimación de la dirección de arribo y mejoramiento de la señal en una dirección predefinida. Una aplicación muy importante de estos modelos se pueden encontrar en cámaras de tele-conferencia. Estas cámaras tienen la capacidad de orientar su foco en la dirección de un locutor activo. Algunos de estos sistemas usan un arreglo de dos o más micrófonos; sin embargo, los humanos y muchos animales, si no es que todos, tienen únicamente dos oídos, de modo que hemos decidido estudiar la localización de fuentes acústicas con sólo dos micrófonos. En este trabajo se presentan resultados preliminares de localización acústica, en el laboratorio de PDS usando redes neuronales. Se sabe que la diferencia de nivel interaural es un elemento importante en la localización de fuentes acústicas. Un modelo simple basado en redes neuronales con diferentes niveles de activación se puede ajustar para detectar la diferencia de nivel interaural la cual puede estar correlacionada con la dirección de arribo de una fuente acústica. 2

3 Palabras clave: localización de fuente acústica, dirección de arribo, redes neuronales. Introducción El desarrollo de sistemas que en forma automática pueden determinar la dirección de una fuente sonora, ha recibido mucho interés dado su creciente aplicación en robots, cámaras para salas de video conferencia, y dispositivos de defensa, entre muchas otras. En estos casos, se han usado arreglos de micrófonos en diferentes configuraciones o arreglos geométricos y la estimación de la dirección de arribo o ángulo de arribo (AdA), también conocido como DOA de sus siglas en inglés. La estimación del AdA está basada en la correcta estimación del retardo relativo entre las señales que llegan a pares de micrófonos [9]. El algoritmo de correlación generalizada está considerado como el método más común para la estimación de retardo temporal. En este caso se calcula la función de correlación cruzada entre las señales que llegan a un par de micrófonos y se busca el retardo que maximiza su valor. La correlación cruzada Rx1,x2 de dos señales x1(t) y x2(t) está relacionada a la transformada inversa de Fourier de la densidad espectral de potencia (DEP) cruzada Gx1,x2, es decir, si entonces (1) (2) 3

4 La estimación de τ es aquel valor que maximiza Rx1,x2, así (3) donde función de correlación es el retardo calculado como el índice del valor máximo de la cruzada normalizada. Si consideramos el arreglo geométrico que se muestra en la Figura 1, donde M0,y M1 son los micrófonos, θo es el ángulo de incidencia, ρo y ρ1 son las distancias desde la fuente a cada uno de los micrófonos, Figura 1. Esquema de arreglo lineal para la estimación del AdA. entonces el cálculo del ángulo de arribo, tomando a C como 324 m/s, se obtiene por (4) 4

5 Sin embargo, esta última expresión no es útil si consideramos la geometría actual en la ubicación de los sensores acústicos (oídos). En un trabajo anterior [7] se desarrolló un sistema para la estimación del ángulo de arribo en una computadora personal y un arreglo lineal de micrófonos, como se muestra en la Figura 2. En la Figura 3 se muestra el resultado obtenido con ese arreglo. Figura 2. Arreglo lineal para la estimación de AdA en una PC. Figura 3. AdA para diferentes puntos en una fuente móvil. Aunque los resultados fueron satisfactorios y suficientes para controlar la orientación de una cámara a base de un motor de pasos, se desea extender el trabajo y considerar el estudio del sistema auditivo en humanos para, posteriormente, incluir el modelo a sistemas automáticos de orientación hacia algún blanco predefinido o en sistemas móviles capaces de evitar colisiones. En 5

6 este último caso la detección de la fuente acústica se refiere al eco producido por un obstáculo o blanco aplicando tecnología de sonar o radar. A esto se le conoce como eco-localización y se usa actualmente en algunos automóviles como dispositivo anticolisión, refiriéndose en realidad a un dispositivo de alarma. Planteamiento del problema El problema que nos interesa estudiar es el modelado del sistema auditivo considerando la forma, dimensiones y ubicación de los oídos en seres humanos. El objetivo es la obtención de un modelo que permita implantar, en un futuro, esta habilidad en un dispositivo móvil. En un trabajo desarrollado por Flores et. al. [1] como tesis de licenciatura en la Universidad Autónoma de Zacatecas, se desarrolló un minirobot capaz de navegar en forma autónoma evitando la colisión con obstáculos por medio de sensores de proximidad infrarroja, así como un sistema de sonar basado en un par emisor/receptor piezoeléctrico. En el caso de los seres humanos se ha encontrado en muchos estudios que la diferencia de nivel interaural (DNI), y la diferencia temporal interaural (DTI) son algunos de los componentes que participan activamente en la localización de una fuente acústica. Un modelo simple para la localización de una fuente acústica se basa en una red neuronal con dos potenciales de activación los cuales son sensibles a la DNI. Los resultados, usando un par de micrófonos como un arreglo lineal, muestran que a partir del retardo temporal de arribo de la señal en cada sensor, se puede estimar en forma azimutal la dirección de la fuente. No obstante para estimar la elevación de la fuente se requiere aumentar la cantidad de 6

7 información, y esta información está contenida en el sistema auditivo compuesto por los oídos (interno y externo), cabeza e inclusive los hombros. Las ondas sonoras que llegan a la cabeza se atenúan en tanto la rodean hacia atrás. A mayor frecuencia, cuya longitud de onda es menor que el tamaño de la cabeza, la atenuación es significativa, pero si la longitud de onda es mayor que el tamaño de la cabeza la señal no es atenuada. Todo esto produce una respuesta en frecuencia dependiente de varios parámetros, dando así una función de transferencia compleja relacionada con la forma de la cabeza y del oído externo. A esta función se le conoce como HRTF (head related transfer function) [4], y cuando se considera su respuesta al impulso se le llama HRIR (head related impulse response) [8]. La medición del la Diferencia Temporal Interaural (DTI) se basa por lo general en el retardo de tiempo para determinar el ángulo de la fuente de sonido. Se supone que la fuente está en el campo lejano de modo que la onda se considera plana. Cuando se usa un arreglo de micrófonos lineal, como el de la figura 2, el ángulo de arribo está dado por la (4). Considerando la forma de la cabeza la señal recorre una distancia extra para llegar al micrófono que se encuentra al otro lado de la fuente. La distancia extra está dada por a = d sen(θ) + d θ (5) donde d es el radio de la esfera que simula la cabeza. Si se conoce la diferencia de trayectorias y el radio de la cabeza entonces se puede calcular el ángulo de la fuente acústica resolviendo la (5) para θ. Para determinar la diferencia de trayectorias a, se mide la DTI como sigue: 7

8 Sea l[k], y r[k] las secuencias de las muestras digitalizadas del sonido en los micrófonos izquierdo y derecho respectivamente. La correlación cruzada entre ellas está definida por Rlr[m]=(1/N) Σ l[n] r[n+m] (6) siendo m desde m max hasta m max donde m max corresponde a la distancia extra que viaja el sonido cuando la fuente está a θ = 90 grados. Esto está dado por mmax= floor((fs d/c) [π/2+1]) (7) donde Fs es la frecuencia de muestreo y floor indica redondeo descendente. Definiendo a m* por entonces la DTI queda dada por m* = arg max Rlr[m], (8) DTI = m*/fs (9) Finalmente se calcula a como a =(C DTI) y nuevamente de (5) se resuelve para θ. Materiales y métodos En un primer momento se propone la evaluación de la diferencia interaural y el uso de una red neuronal, como una aproximación al funcionamiento del sistema auditivo incluyendo la acción cerebral. Utilizando un maniquí de unicel 8

9 se construyó un modelo físico del sistema auditivo con un par de audífonos y un amplificador doble. La salida del amplificador se conectó a la tarjeta de sonido de una PC, donde se midió primero la DNI y posteriormente se construyó una red neuronal bajo el ambiente MATLAB. En la Figura 4 se muestra la construcción del prototipo y la colocación del par de micrófonos. Figura 4. Colocación del par de micrófonos en el conducto auditivo. En la Figura 5 se muestran las señales detectadas por el maniquí y medidas por un osciloscopio con el fin de comprobar su funcionamiento. 9

10 Figura 5. Prueba de funcionamiento del modelo en unicel, el osciloscopio muestra las señales detectadas por cada micrófono ubicados en el interior de la cabeza simulando el conducto auditivo y el oído externo. Construcción de la red neuronal Los modelos a base de redes neuronales han sido usados desde hace años para demostrar y tratar de comprender el funcionamiento de sistemas biológicos. La motivación presente en el Laboratorio de Procesamiento Digital de Señales de la Universidad Autónoma de Zacatecas, es investigar cómo se extrae la información sensorial y cómo se puede relacionar ésta con localización de fuentes acústicas. Si limitamos la dirección del sonido al plano horizontal solamente, la diferencia en la intensidad del sonido en los dos oídos estará correlacionada con la dirección del sonido proveniente desde una fuente sonora. Un modelo basado en redes neuronales [3] supone dos tipos de neuronas, una que recibe una entrada binaural de banda estrecha y responde a la DNI, y la otra que recibe una entrada monoaural de banda ancha y es selectiva a ranuras espectrales. En nuestro caso consideramos sólo la primera. El modelo más simple que se puede construir es aquel que contiene sólo dos neuronas con dos entradas cada una, como se muestra en la Figura 6. 10

11 Figura 6. Modelo del sistema sensorial auditivo a base de una red neuronal. Una entrada proviene del oído derecho y la otra del oído izquierdo. Si la neurona corresponde al lado derecho entonces la entrada del lado derecho será una señal de activación, mientras que si la entrada proveniente del lado contrario será una señal de inhibición. Ajustando diferentes umbrales de disparo se puede construir una red con un número mayor de neuronas, tales que cada una tenga un umbral diferente y que corresponda a una DNI de acuerdo, a su vez, de la dirección de la fuente. Resultados En la Figura 7, donde las unidades son amplitud en volts en la ordenada y tiempo en segundos en la abscisa, se muestran las señales detectadas por cada uno de los micrófonos cuando la fuente se localiza a la derecha de la cabeza. Se puede observar que hay una DNI fácilmente distinguible. Variando el ángulo de la posición de la fuente se tienen diferentes valores para la DNI, como se observa en la Figura 8. 11

12 Figura 7. Señales y su diferencia en amplitud (nivel) para una fuente colocada a la derecha de la cabeza (posición 1). Figura 8. Señales y su diferencia en amplitud para una fuente acústica a la derecha de la cabeza (posición 2). Cambiando la posición de la fuente se obtienen las señales que se muestran en la Figuras 9 y

13 Figura 9. Señales y su diferencia en amplitud (nivel) para una fuente colocada a la izquierda de la cabeza (posición 1). Figura 10. Señales y su diferencia en amplitud (nivel) para una fuente colocada a la izquierda de la cabeza (posición 2). Los resultados arrojados por el código desarrollado en MATLAB, indican si la dirección de la fuente se encuentra a la derecha o a la izquierda de la cabeza. Se mide entre algunos otros parámetros la energía de la señal recibida por cada micrófono, ésta se aplica como señal de entrada a la red neuronal y cada neurona aplica el valor del campo local inducido a una función de activación de tipo sigmoidal y ésta, a su vez, se aplicará a un dispositivo de decisión con disparo por umbral el cual está por ser definido. Para la fuente colocada a ambos lados de la cabeza se obtuvieron los resultados preliminares que se muestran en la Tabla 1. La DNI se toma como la diferencia de energías entre la señal del micrófono del lado izquierdo y el micrófono del lado derecho de modo que, como se muestra en la tabla, si la fuente está del lado derecho el signo de DNI será negativo ya que es mayor, y si está del lado izquierdo será positivo. Para cada neurona la salida será simplemente un valor positivo o negativo, indicando con esto a qué lado se encuentra la fuente, así si la salida de la 13

14 neurona 1, la cual está conectada al micrófono izquierdo, es mayor que cero, entonces la fuente está en ese lado y la salida de la neurona 2 será negativa. Tabla 1. Resultados para cuatro posiciones de la fuente acústica bajo MATLAB Ubicación Salida Matlab Nivel Mic Der. Nivel Mic Izq. DNI DER Der>Izq db db DER Der>Izq db db IZQ Izq>Der IZQ Izq>Der Conclusiones y trabajo a desarrollar Con esta prueba preliminar se ha demostrado que el modelo físico formado por un maniquí, un par de micrófonos, un amplificador de dos canales y una computadora personal, entrega una DNI que puede servir como punto de partida para el modelado del sistema sensorial auditivo y la determinación de la posición de una fuente acústica. Es claro que se deberán incluir muchos otros parámetros en el modelo, como el retardo de tiempo o fase entre las dos señales y las características de respuesta en frecuencia (HRTF) de todo el sistema. Para esto se tienen avances en la generación de una señal multifrecuencia [6] que permitirá medir la HRTF e incluir el efecto del pabellón u oído externo en el sistema de percepción. En el trabajo presentado por Handzel [2] se ha utilizado como modelo de cabeza humana un esfera circular, y con base en ella se han hecho los cálculos teóricos así como la medición experimental. En este trabajo se ha propuesto hacer la medición usando un maniquí con la forma de cabeza humana, pero además se propone, en un futuro inmediato, el uso de moldes humanos del oído externo (orejas) hasta el conducto auditivo donde se 14

15 localizarán los micrófonos. En la Figura 11 se muestra el modelo en latex obtenido con el molde las orejas de uno de los autores. Figura 11. Modelo en latex del oído externo a partir de un oído humano. En realidad el proyecto es mucho más ambicioso que los resultados preliminares presentados aquí, ya que se propone el desarrollo de un modelo que se pueda implantar en un dispositivo móvil similar al desarrollado hace algunos años por [1], pero con más prestaciones entre las cuales se pueden mencionar las siguientes: movimiento autónomo pero con un destino predefinido, es decir, una vez localizada una fuente de sonido, el robot deberá llegar a ella evitando los obstáculos que encuentre en su camino. Un avance [5] en este mismo sentido es la construcción de un robot móvil autónomo (ver Figura 12) controlado por una red neuronal en un procesador digital de señales y un sistema de sonar como plataforma de diseño y que permitirá la continuación de este proyecto. 15

16 Figura 12. Robot móvil autónomo con sistema de sonar y una red neuronal en un DSP. Bibliografía [1] FLORES S. G. A., A. S. TREJO, E. A. CHÁVEZ, Minirobot basado en el MC68HC11A1FN, Tesis de licenciatura, Unidad Académica de Ingeniería, México, Universidad Autónoma de Zacatecas, [2] HANDZEL A., and P. S. KRISHNAPRASAD, Biomimetic sound-source localization IEEE Sensor Journal, vol. 2. núm. 6, Dc. 2003, pp [3] HORIUCHI, T.K. Seeing in the dark: Neuromorphic VLSI Modeling of Bat Echolocation, IEEE Signal Processing Magazine, vol. 22, núm. 5, September [4] JIN C., A. van SCHAIK, V. BEST, AND S. CARLILE, Perceptual Spatial-Audio Coding, Proceedings of the 2003 international Conference on Auditory Display, Boston, MA. USA July 6-9, 2003 pp. ICAD to ICAD [5] MIRAMONTES G, SIFUENTES C., VILLA J., M. ARAIZA, J. I. DE LA ROSA J. I, GARCÍA E. Implementation of a Neuron-based Autonomous Mobil Robot on a DSP, sometido a Encuentro de Investigación en Ingeniería Eléctrica ENINVIE-2006, Abril 5, 6 y 7, [6] MIRAMONTES DE LEÓN, G., F. GÓMEZ AGUILERA, E. GARCÍA DOMÍNGUEZ, A DSP56002-based Frequency Response Network Analyzer Proceedings of the XIV 16

17 International Conference on Electronics, Communications, and Computers, Veracruz, México, Febrero 16-18, [7], D. E. GARCÍA, V. I. DE LA ROSA, M. A. ARAIZA E., J. J. VILLA H., G. C. SIFUENTES, S. S. MANDUJANO, Localización de Fuente Acústica por ERT, Encuentro de Investigación en Ingeniería Eléctrica ENINVIE 2004, Zacatecas, Zacatecas, Febrero de pp [8] SONTACCHI A., M. NOISTERNIG M., P. MDJAK, and R. HÖLDRICH, An Objetive Model of Localisation in Binaural Sound Reproduction Systems, 21st Conference of the Audio Engineering Society, St. Petersburg, Russia, June 1-3, [9] TALANTZIS F., A. G. CONSTANTINIDES, AND L.C. POLYMENAKOS, Estimation of Direction of Arrival Using Information Theory, IEEE Signal Processing Letters, vol. 12, núm. 8, August Zacatecas, Zacatecas. GERARDO MIRAMONTES DE L., JOSÉ ISMAEL DE LA ROSA V., JOSÉ DE JESÚS VILLA H., MARÍA AUXILIADORA ARAIZA E., CLAUDIA SIFUENTES G. Y ERNESTO GARCÍA D., MODELADO DE LOCALIZACIÓN ACÚSTICA BASADO EN REDES NEURONALES, revista de investigación científica, vol. 2 num. 1, 17