Memoria Final. Proyecto Sonacar

Transcripción

1 Memoria Final Proyecto Sonacar

2 ÍNDICE 1- Introducción Presentación del proyecto Objetivos del proyecto Fase Primera. Corpus y análisis de sonidos Especificación de requisitos de usuario Alcance del proyecto Características del prototipo Especificaciones generales del prototipo Análisis de patentes y publicaciones Análisis de productos comerciales Alternativas de solución en distintas investigaciones Arquitectura de sistemas de reconocimiento de sonidos planteada en distintas investigaciones Elaboración de un corpus de sonidos Método de grabación Sonidos de sirenas grabados Sonidos de ruido ambiente grabados Principales características de los sonidos analizados Pruebas de algoritmos Algoritmos de conversión rápida a tiempo-frecuencia...38

3 Comparación de los algoritmos en el procesamiento de una señal real Fase Segunda. Detección y localización del sonido Diseño y montaje plataforma pruebas Desarrollo software detección Pruebas de detección Desarrollo software localización Pruebas detección y localización Diseño prototipo Sonacar Fase Tercera. Reconocimiento y clasificación del sonido Desarrollo del prototipo SONACAR Pruebas de detección y localización de sonidos sobre prototipo Pruebas para reconocimiento automático de sonidos Análisis de partida Influencia de la BD Influencia del Nº de gaussianas Influencia del Nº de parámetros Relevancia de los parámetros Análisis de resultados y difusión Conclusiones Referencias

4

5 1- Introducción 1.1- Presentación del proyecto El presente proyecto está orientado a la resolución de la problemática que las personas con limitación auditiva tienen para poder percibir señales sonoras indicativas de situaciones de emergencia o aviso desde el vehículo. Se trata de mejorar la seguridad activa en la conducción desarrollando un dispositivo que transmita a los ocupantes del vehículo situaciones de emergencia (ambulancia, bomberos, policía ) a través de una torre de pilotos luminosos, una pantalla con avisos iconográficos y textuales o una solución técnica de similares características. Con este proyecto se trata de, en primer lugar, dar la oportunidad de que todas las personas ocupantes de un vehículo, sean conductoras o no, presenten pérdida auditiva o no, puedan percibir por cauces visuales determinadas señales sonoras de emergencia. En segundo lugar, la posibilidad de que una persona sorda pueda conducir cualquier vehículo siempre que no conculque el derecho fundamental a la integridad física de las personas viajantes o del entorno de circulación. Si bien en la actualidad las personas con discapacidad auditiva pueden obtener el permiso de conducción de turismos, llevando a cabo las adaptaciones obligatorias que se determinen en cada caso, las licencias de conducción de vehículos de gran tonelaje, desde los camiones de mercancías hasta los vehículos de pasajeros/as, están vedadas a las personas con sordera. La existencia de un dispositivo visual como el que se plantea en el presente proyecto podría significar en un futuro la revisión del reglamento de concesión de algunas licencias y, en consecuencia, el acceso de las personas sordas a nuevos perfiles laborales hasta entonces vedados. El proyecto está dirigido al colectivo de personas con discapacidad auditiva. En la actualidad el colectivo de personas sordas todavía está sujeto a condicionantes que están dificultando el logro del bienestar personal, el desarrollo de una vida autónoma y la consecución de la plena ciudadanía. Desde la perspectiva tecnológica, los principales condicionantes son éstos:.. Las conquistas sociales, las innovaciones tecnológicas o las disposiciones legales pueden ser insuficientes si no van acompañados de un mayor aprovechamiento de la tecnología al servicio de las personas con discapacidad auditiva que permita disfrutar realmente de los avances producidos... También puede ocurrir que se reconozcan pero no se otorguen nuevos derechos mientras no se cumplan los requisitos necesarios para que ésos se puedan ejercer de modo que se salvaguarde en todo momento la integridad de las personas, grupos, estamentos e instituciones, y que todos o algunos de estos requisitos sean subsanables mediante la disposición de la tecnología adecuada. En el grupo de personas sordas existe una gran diversidad. En ocasiones hablamos de características de la persona sorda pero éstas dependen de numerosos factores, que habremos de tener en cuenta para hacernos una idea

6 real de situación de este grupo. Por un lado, tenemos factores que llamamos invariables, que nos vienen dados, como el momento de aparición de la sordera, el lugar de la lesión y el grado de pérdida auditiva. Por otro lado, existen otro tipo de factores que llamamos variables que concurren en el desarrollo personal: detección precoz, atención temprana, aceptación personal y familiar de la sordera, rehabilitación auditiva y logopédica, estrategias de comunicación con el entorno, utilización de ayudas técnicas, los recursos sociales e institucionales, la información y conocimiento que el entorno cercano y la sociedad en general tiene sobre la sordera y las barreras de comunicación. La interrelación de todos estos factores va a afectar al nivel lingüístico a la persona, a su estructura cognitivo-conductual, a su desarrollo emocional y afectivo y a la adaptación al y del entorno familiar, social, educativo, formativo, laboral... Se dice de la sordera que es una discapacidad invisible. Hay muchas personas sordas que no acuden a los servicios sociales o sanitarios de donde se salen los datos para las estadísticas; por eso existe una disparidad de datos importante. Las últimas estadísticas, recogidas por el Instituto Nacional de Estadística (INE, Encuesta sobre discapacidad, deficiencias y salud, 1999) nos proporcionan los siguientes datos: Discapacidad auditiva España País Vasco Edad (6-64) Edad (mayor de 65) Tabla 1: Porcentaje de personas sordas en España y País Vasco 1.2- Objetivos del proyecto El objetivo principal del proyecto ha sido diseñar y desarrollar un sistema que permita a las personas con discapacidad auditiva severa percibir, durante la conducción, la aproximación de vehículos de emergencia (ambulancia, policía, bomberos). Tomando este objetivo principal, el proyecto SONACAR ha tenido como fin diseñar y desarrollar un producto que cumpla al máximo posible los

7 siguientes requisitos funcionales:.. Que reconozca e identifique todas las fuentes sonoras ligadas a las situaciones de emergencia, sea (si existe tecla de alarma en el vehículo), o sea exterior (ambulancia, bomberos o policía del lugar donde se encuentra el vehículo)... Que intente trasmitir por medios visuales la intensidad y frecuencia del sonido así como localizar las coordenadas espaciales del origen del sonido... Que sea configurable por parte de la persona usuario/a directo/a en lo que respecta a parámetros relativos a la indicación visual de la detección de una señal sonora, incluyendo luminancia, color, parpadeo y duración... Que se pueda implantar en cualquier vehículo y no signifique la modificación del proceso de fabricación del mismo.

8 .. Que, en caso pertinente, sea actualizable por software y mantenga su función independientemente de la posición del vehículo. Para lograr los objetivos mencionados se abordó el proyecto de forma progresiva en 3 etapas o fases sucesivas: 1. Corpus y análisis de sonidos. 2. Detección y localización de sonido. 3. Reconocimiento y clasificación del sonido. Fase 1. Corpus y análisis de sonidos: Como primera fase del proyecto, en ella se han realizado una serie de investigaciones iniciales incluyendo:.. Estado del arte de productos, patentes y publicaciones: Durante los primeros meses de proyecto se analizaron los diferentes artículos relacionados con la detección y clasificación de sonidos... Elaboración de un corpus de sonidos: Se realizaron grabaciones de los distintos sonidos de sirenas de vehículos de emergencia en distintos escenarios reales, así como distintos tipos de ruidos de fondo... Análisis de muestras de sonidos: Se compararon las diferentes muestras de sirenas y ruidos y se observaron las diferencias y similitudes entre ellas... Pruebas de evaluación sobre simuladores de distintos algoritmos de procesamiento de señal utilizando las muestras de sonido grabadas. Se buscó la mejor representación que pudiera caracterizar al conjunto de sonidos almacenados y que sirviera para diferenciarlos de otros sonidos que puedan formar parte del ruido de fondo. Fase 2. Detección y localización del sonido: En esta segunda fase y utilizando los resultados de la primera, se abordó el diseño y desarrollo del prototipo básico. Se implementó inicialmente un prototipo para pruebas sobre plataforma PC que incorporó varios receptores de sonido y sobre el que se realizaron pruebas reales de campo. Fase 3. Reconocimiento y clasificación del sonido: En la tercera y última fase se desarrolló el prototipo final SONACAR. Además, se abordaron pruebas y análisis para el reconocimiento automático de sonidos, y se realizaron las pruebas finales.

9 2- Fase Primera. Corpus y análisis de sonidos 2.1- Especificación de requisitos de usuario Como primera tarea se han establecido las necesidades desde el punto de vista de usuario, representado por el colectivo de personas perteneciente a la Coordinadora Vizcaína de Sordos COORVISOR. Para ello se definió el alcance, características y especificaciones del prototipo a desarrollar en el proyecto. El documento de requisitos generado ha sido el documento de referencia durante toda la duración del proyecto y su posterior validación a través de las pruebas que se han realizado. A continuación se muestran los puntos que lo constituyen Alcance del proyecto Esta especificación de requisitos se dirige al usuario del prototipo final SONACAR. Para conocer sus intereses, expectativas y puntos de vista con respecto al proyecto, durante los primeros meses del inicio de éste se diseñó y entregó una encuesta a una parte representativa del colectivo de personas sordas asociadas a COORVISOR. Es de la evaluación de los resultados de estas encuestas y de las reuniones mantenidas con los representantes de la Coordinadora Vizcaína de Sordos de las que se han extraído las características y especificaciones que han marcado el transcurso del proyecto. En esta encuesta, diseñada y realizada por la propia asociación, se realizan preguntas de interés acerca de permisos/licencias/limitaciones que los encuestados poseen en la conducción, las ayudas técnicas de las que estos disponen en sus hogares, uso de equipamiento informático y punto de vista sobre el diseño del prototipo SONACAR. Los datos más significativos de las respuestas de la encuesta se exponen a continuación:.. Aunque más del 90% de los encuestados (de un total de 30 personas) disponen en sus casas de ordenador, no hay nadie que use PDAs... El 90% de los encuestados utilizan en sus hogares Ayudas Técnicas para la realización de actividades en su vida diaria, ya sea para detectar el timbre de la puerta, el despertador, el llanto del bebé o el teléfono, siendo el medio de transmisión de éstas muy variable (vibración, luces, bucle magnético)... Los encuestados contemplan como opción preferida para transmitir el aviso en el vehículo un medio visual, desplazando a la vibración a la segunda posición.

10 .. Un 61,7% de los encuestados manifiesta que siente ansiedad o miedo ante este tipo de situaciones... El 80% de los encuestados poseen carné de conducir tipo B.

11 Como conclusiones de estos datos, y de las reuniones y conversaciones con los representantes de la asociación COORVISOR se destacan los siguientes requisitos que el prototipo debe cumplir:.. Se debe disponer de un dispositivo accesible; que transmita los avisos utilizando luz o vibración (periféricos más comunes en el colectivo de personas sordas)... Que el dispositivo desarrollado sea portátil y pueda ser instalado en diferentes vehículos sin necesidad de comprar otro nuevo. En este caso, parece que la PDA no es el dispositivo más adecuado al no estar presente en el colectivo de personas sordas tal y como muestra la encuesta... Que, en caso de utilizar medios visuales para la comunicación máquinapersona, no se pierda tiempo en entender el mensaje... Los usuarios encuestados destacaban la importancia de reconocer los sonidos exteriores (las sirenas de ambulancia, policía y bomberos). El reconocer sonidos interiores propios del vehículo, tales como la alarma de robo que se planteó inicialmente, no suscitó gran interés debido a que existen productos comerciales que hacen esta función y no es una cuestión que ponga en peligro su seguridad. Dan prioridad a los sonidos que vengan del exterior del vehículo y no a sonidos que se pueden captar de una radio (que una persona sorda no va a encender) o a gente hablando (ya que en este caso sería el acompañante quien pudiera avisar al conductor de la llegada de la ambulancia, vehículo de bomberos o de la policía)... Aunque la posibilidad de conocer a qué tipo de vehículos de emergencia pertenece la sirena que suena les pareció interesante, se indicó que lo primordial no era la clasificación sino la detección dado que, como explicaron, la acción que se debe hacer en cualquiera de los casos (ya sea con una ambulancia, con un coche de policía o con un coche de bomberos) es la misma: dejar paso... La localización también se identificó como un punto secundario. Cuando una persona sin problemas auditivos escucha una sirena, normalmente, no sabe por donde viene, se basa en los espejos del vehículo para localizarla y ver la distancia que le separa con ella.

12 Características del prototipo Captación de la señal Para captar el audio del ambiente, en el diseño del prototipo se estableció el uso de dos micrófonos que pudieran servir para localizar el sonido, para saber si éste está delante o detrás (éste último caso es el preocupante para el conductor ya que es aquí donde debe ceder el paso). Estos micrófonos deben poseer la característica de ser comerciales y que su rango de frecuencias abarque el abanico de sonidos que el oído humano percibe. Además, deben tener una buena sensibilidad que permita diferenciar sonidos a largas distancias para dar más tiempo al procesado. También, en la medida de lo posible, se debe intentar que estos micrófonos no sean excesivamente grandes para no romper la estética del vehículo, incomodar o quitar visibilidad a los ocupantes. Dispositivo de procesado de la señal Debe tratarse de un dispositivo portátil capaz de ser instalado en cualquier vehículo cuya capacidad de procesamiento sea lo suficientemente alta para implementar los algoritmos de reconocimiento en un tiempo corto. Es de vital importancia que el procesado sea rápido ya que el contexto en el que nos movemos requiere un aviso que no puede superar un gran número de segundos si se desea que el prototipo sea usable. Notificación del aviso El periférico de salida que notifique al usuario la detección y clasificación de la señal debe ser capaz de hacer llegar esta información al usuario en un tiempo mínimo, desde que ésta es identificada hasta que ésta es asimilada. Además, por motivos de seguridad, es necesario que la interacción entre el usuario y la máquina sea mínima para evitar distracciones al volante que puedan derivar en un accidente.

13 Alimentación del dispositivo Se estipula que una característica esencial del diseño debe ser la incorporación de carga mediante la alimentación del mechero del vehículo Especificaciones generales del prototipo El prototipo final SONACAR debe ser capaz de detectar el mayor número posible de sirenas de ambulancia, policía y bomberos. El prototipo final SONACAR debe ser capaz de detectar el mayor número posible de sirenas de ambulancia, policía y bomberos en situaciones adversas de ruido ambiente (ruido de ciudad, autopista, )

14 El prototipo final SONACAR debe trabajar en tiempo real, mientras el vehículo se encuentre en movimiento y con un tiempo de respuesta bajo Análisis de patentes y publicaciones En paralelo a la especificación de requisitos de usuario se ha continuado profundizando en el análisis de patentes y publicaciones enmarcadas en el área de aplicación en la que el proyecto se centra. A continuación se presentan los datos más relevantes de éstas Análisis de productos comerciales El proyecto SONACAR se enmarca en el área de búsqueda de soluciones que permitan a las personas con discapacidad auditiva percibir, por medios visuales, señales sonoras que indiquen alarma o emergencia. En este campo existen en el mercado diversas soluciones o dispositivos pero todos ellos orientados hacia el hogar: A continuación se presentan algunos ejemplos de este tipo de dispositivos:.. Detector de alarma de incendios para habitación de hotel, FIRE CENTURION [1]. Sistema electrónico que detecta la activación de la sirena o alarma de incendios de una habitación de hotel. Al detectar dicho sonido se activa una almohadilla vibratoria y una luz estroboscópica que lanza destellos. Este sistema es apropiado para ser utilizado en cualquier edificio en el que la alarma de incendios está situada en la misma habitación que el sistema CENTURION. El sistema no resulta fiable para detectar alarmas sonoras localizadas en otras habitaciones o en pasillos. Figura 1: Detector de Alarma de Incendios FIRE CENTURION.. Detectores de distintos tipos de sonidos que se producen en una vivienda, tales como timbre de entrada, teléfono, detector de humos, etc. Los sistemas existentes en el mercado constan básicamente de: o una serie de transmisores, cada uno situado lo más cerca posible del origen del sonido que se quiere detectar. Cada transmisor tiene un ajuste de sensibilidad que ayuda a prevenir falsas alarmas. Cuando el transmisor detecta un nivel sonoro determinado, emite una señal indicando la detección del sonido. o Un dispositivo receptor recibe las señales de los distintos emisores y por medios visuales, distintos leds o modos de vibración, indica el transmisor que se ha activado y por tanto el sonido asociado al mismo.

15 Figura 2: Detector de Timbre de la Puerta Estas soluciones existentes en el mercado se basan en la detección de un sonido al superar éste un nivel de intensidad y/o una duración prefijados. En el mercado estatal se ofrecen ejemplos de este tipo: sistemas BELLMAN VISIT y PUZZLE. Aunque no dirigidos a las personas con discapacidad auditiva, existen en el mercado algunos sistemas diseñados para detectan un determinado tipo de sonidos. Este es el caso de algunos detectores de rotura de cristales [2,3], como el que se muestra en la figura, orientados para funciones de seguridad y basados en el reconocimiento del sonido que produce la rotura de un cristal. Figura 3: Detector de rotura de cristales Se trata de un detector acústico que dispone de un micrófono cuyo rango de frecuencia permite una buena captación del sonido a una distancia máxima de 7 m. El sensor cuenta con un microprocesador avanzado para realizar un procesado digital de la señal de sonido, procesando información relacionada con la frecuencia, amplitud y sincronización de cada sonido. Estos sistemas proporcionan una alta sensibilidad de detección y una casi total inmunidad a falsas alarmas. Sin embargo en el campo concreto en el que se centra el proyecto SONACAR, la detección y localización de sonidos procedentes de vehículos de emergencia, no se conoce la existencia de productos comerciales. Hablamos de un sistema detector de sirenas que sea capaz de detectar los sonidos de las sirenas de vehículos de emergencia, sonidos cuyas componentes en frecuencia cambian a un ritmo conocido en un rango o banda de frecuencia y con un periodo conocido.

16 Alternativas de solución en distintas investigaciones Diversas patentes y estudios proponen distintas realizaciones de sistemas de detección de sirenas orientadas hacia el control automático de los semáforos en cruces y así dar preferencia a los vehículos de emergencia, y en algunos casos también hacia la información a las personas con discapacidad auditiva. Como alternativas a la resolución del problema dado en el proyecto SONACAR surgen dos ramas bien diferenciadas y con un enfoque totalmente distinto: 1. Una de las ideas que se plantea es la colocación de un generador y transmisor de algún tipo de señal en cada vehículo de emergencia [4,5,6], por ejemplo señal de ultrasonidos [4], y un sistema receptor colocado en el vehículo de la persona con discapacidad auditiva. El análisis de la señal captada por el receptor permitiría la detección de la presencia de los distintos tipos de vehículos de emergencia. Esta solución implica la incorporación de un sistema transmisor en los vehículos de emergencia. 2. Otra de las ideas que se plantea en los distintos estudios y patentes es la basada en captar y analizar directamente el sonido ambiental y detectar en él los sonidos originados por las sirenas de los vehículos de emergencia. Este enfoque tiene la ventaja de no precisar la instalación de equipos adicionales en los vehículos de emergencia sino utilizar únicamente la captación del sonido de la sirena. Aunque el desarrollo de esta alternativa es excesivamente más complejo, debido a la dificultad que supone la incorporación de dispositivos nuevos en vehículos ajenos y el cambio de reglamentos, ésta será la rama en la que el proyecto SONACAR se centra. Las patentes y estudios analizados basados en esta segunda alternativa presentan distintos métodos para realizar la detección e identificación de los sonidos de sirenas de vehículos. A continuación se resumen algunas de las soluciones y métodos que presenta este enfoque: a) Sistema integrado por un micrófono situado en la parte frontal del vehículo y otro micrófono en la parte trasera [7]. Las señales de ambos micrófonos son tratadas con filtros pasa altos para eliminar las frecuencias de las señales de audio por debajo de un rango determinado. Una vez filtradas las frecuencias no deseadas, el sistema dispone de un detector de nivel sonoro que puede ser ajustado manualmente. Las señales de audio filtradas y que superen el nivel sonoro prefijado provocan la activación de un piloto colocado en el salpicadero del automóvil. b) Sistema basado en técnicas de procesamiento digital de señal aplicando diversos algoritmos para extracción de parámetros que permitan caracterizar y clasificar los sonidos [8, 9]. Distintas

17

18 soluciones que utilizan varios micrófonos distribuidos en distintas orientaciones y un sistema de tratamiento de la señal basado bien en PC, bien en tarjetas de desarrollo específico que incorporen un DSP. Estas soluciones diferencian dos etapas o fases: una primera de detección de un sonido de tipo sirena o emergencia y una segunda de reconocimiento o clasificación de ese sonido detectado. Los distintos estudios e investigaciones se centran en la aplicación de distintos métodos para el reconocimiento automático de este tipo de sonidos comparando los resultados de distintos algoritmos de clasificación estadísticos como por ejemplo Modelos Ocultos de Markov (HMM) y Modelos Mixtos Gaussianos (GMM) [8, 9, 10, 11, 12]. Las investigaciones que se realizan en la actualidad se centran básicamente en los enfoques descritos en el apartado b) [13], el cuál analiza de una forma más estricta la señal, y se dirigen hacia la obtención de técnicas cada vez más fiables, con un mínimo grado de error o detección de falsas alarmas, en ambientes ruidosos (ambiente de ruido real). En este campo se han desarrollado diversas investigaciones, aunque la mayoría de ellas dirigidas al reconocimiento de sonidos no-habla en general Arquitectura de sistemas de reconocimiento de sonidos planteada en distintas investigaciones La arquitectura típica de un sistema de reconocimiento de sonidos ambientales se muestra en la figura 4. En un primer paso la señal es captada y enviada al módulo de filtrado que limpiará la señal para más tarde enviarla al módulo de detección. El módulo de detección es el encargado de analizar la señal y buscar segmentos de audio que puedan contener eventos que estén dentro del conjunto de señales acústicas a identificar. Será el módulo de clasificación en un siguiente paso el que decida a qué clase de sonido pertenecen los eventos (sirena de ambulancia, sirena de policía, sirena de bomberos), para notificárselos al usuario.

19 Figura 4: Arquitectura general de un Sistema de Reconocimiento de Sonidos En los apartados siguientes se presentan los diferentes módulos que constituyen este tipo de sistemas, analizando cómo éstos son aplicados al reconocimiento de sonidos de sirenas Filtrado de la señal Para el análisis de las señales de sonido se propone extraer de la señal acústica sólo los componentes armónicos destacados y sostenidos que correspondan a una alarma. Para ello se filtra la señal de entrada para quedarse únicamente con aquellos segmentos del espectro más destacados y con una lenta variación de frecuencias. Se trata así de eliminar las componentes que puedan aportar el ruido de fondo, aunque éste también puede contribuir con componentes de tono puro que no serán eliminadas por este filtrado inicial. Es necesario realizar un análisis exhaustivo de los rangos de frecuencias que las sirenas comprenden para ser lo más restrictivos posibles en el filtrado y que las demás fases sean más robustas. Hay varios tipos de filtros así como distintas clasificaciones para estos filtros: - De acuerdo con la parte del espectro que dejan pasar y que atenúan hay:.. Filtros pasa alto... Filtros pasa bajo... Filtros pasa banda... Banda eliminada... Multibanda... Pasa todo... Resonador... Oscilador... Filtro peine (Comb filter)... Filtro ranura o filtro rechaza banda (Notch filter)......

20 - De acuerdo con su orden:.. primer orden.. segundo orden De acuerdo con el tipo de respuesta ante entrada unitaria:.. FIR (Finite Impulse Response).. IIR (Infinite Impulse Response).. TIIR (Truncated Infinite Impulse Response) - De acuerdo con la estructura con que se implementa:.. Laticce.. Varios en cascada.. Varios en paralelo Extracción de características Estudios acerca de cuáles son las características para discriminar entre voz y sonidos del entorno han sido y siguen siendo de gran interés en este área de investigación [14] [15]. Sin embargo, decidir qué características son las más significativas de cada sonido es una tarea complicada que la mayoría de las veces conlleva someter a la propia onda sonora a varias pruebas [16]. Investigaciones sobre percepción sonora apuntan que al igual que con el reconocimiento automático del habla, existen sonidos homónimos ( knight y night para el caso del habla) que no pueden ser determinados sin el contexto de otros sonidos [17]. Si por ejemplo, se produce un sonido metálico precedido de un chirrido, la interpretación semántica podría ser la de un choque de un coche, entendiéndose este chirrido como el sonido de los neumáticos al derrapar por la carretera. Por otra parte, si el mismo sonido metálico se combina con goteo de agua y ráfagas de aire, la interpretación semántica podría ser la del ruido de una máquina en una fábrica. A pesar de no existir ningún tipo de semántica que ayude a la clasificación de estos sonidos, estudios realizados en el ámbito del reconocimiento demuestran que, trabajando con un conjunto limitado de clases, ciertos parámetros o características de una señal dan información suficiente para que ésta pueda ser clasificada de una forma correcta, incluso cuando la fuente del sonido que se produzca pueda estar en movimiento [18]. La extracción de características puede dividirse en dos campos: extracción de características estacionarias (basadas en frecuencia) y extracción de características no-estacionarias (basadas en tiempo-frecuencia). La

21 extracción de características estacionarias produce un resultado global destacando las frecuencias contenidas en la señal completa, aunque no hay distinción de cuándo estas frecuencias ocurren. Al contrario, la extracción de características no-estacionarias divide la señal en unidades discretas de tiempo. Esto permite identificar las frecuencias en un área particular de la señal.

22 Se observa cómo, en el primer caso (extracción de características estacionarias), aunque de por sí esta técnica no se basa en el tiempo, para que éste tenga efecto, los estudios segmentan la señal captada en pequeñas regiones. Este híbrido hace que este tipo de parámetros pueda llegar a tener las mismas propiedades de tiempo-frecuencia que los correspondientes a extracción de características no-estacionarias. A continuación se presentan algunos de los parámetros acústicos más comunes en el reconocimiento de sonidos no-habla (algunos de los cuales son comúnmente utilizados en el reconocimiento de instrumentos musicales [19] [20] [21] [22] y la gran mayoría de ellos son utilizados en el reconocimiento del habla). Estas se muestran a continuación según su orden de complejidad: Energía espectral Aunque muy usado en la detección por su simplicidad y bajo coste computacional, escasos experimentos destacan la energía espectral como un parámetro útil a utilizar en la clasificación de señales acústicas. La poca información que este parámetro propicia se debe a que la diferencia entre muchos sonidos impulsivos está caracterizada por el timbre o espectro que estos poseen y no depende tanto de la amplitud de la señal. En diferentes estudios el Fisher Discriminant Ratio (FDR) demuestra la poca información que dota esta característica a la identificación de sonidos impulsivos, haciéndola muy prescindible en la mayoría de los casos [23]. El FDR da una indicación sobre la capacidad de separación de cada parámetro acústico (su valor es más grande que 1 para capacidades de separación buenas). La ecuación que lo define es la siguiente: SSS= == - =kikikjixvarjxixfdr1112])[( )][][( (1) Siendo 2)][][(jxix-la media y la varianza. )(xvar Zero-Crossing Rate (ZCR) Se denota como Zero-Crossing en procesamiento de señal el cambio de signo

23 en la amplitud de la señal, cuando la curva pasa por cero. Zero-Crossing Rate es la tasa de cruces por cero medidos en frecuencias por unidad de tiempo. En el espectro de la señal las altas (o bajas) frecuencias implican altos (o bajos) valores de Zero-Crossing Rate. La definición matemática se indica en la ecuación 2:

24 S= --= NntnxsignnxsignZ1])1[(])[( 21 (2) Siendo x la señal sonora en amplitud. Este parámetro ayuda a distinguir entre eventos excitados y eventos normales, capturando el ZCR medio para cada frame de audio [24]. ZCR, al igual que Roll Off Point y Spectral Centroid, no es un parámetro habitualmente utilizado en el reconocimiento del habla, sino que su uso se aplica con mayor intensidad en el ámbito de la identificación de música y sonidos impulsivos ambientales, así como en segmentación de voz/música/ruido [25]. En la gran mayoría de artículos encontrados, siguiendo las técnicas estadísticas, estos son los predominantes junto a los coeficientes MFCC teniendo gran relevancia en la clasificación. Frecuencia Fundamental En 1946 Denis Gabor utilizó la Transformada de Fourier para poder analizar una pequeña sección de la señal en un determinado tiempo, mediante una especie de ventana. Esta adaptación se conoce como STFT, la cual transforma la señal en el dominio del tiempo al dominio tiempo-frecuencia. La STFT busca un equilibrio entre el dominio del tiempo y el de la frecuencia de una señal. Sin embargo, la precisión está limitada y depende del tamaño de la ventana utilizada. La mayoría de características en el reconocimiento de sonidos se basan en el espectrograma de la señal. El inconveniente aparece debido a que una vez que se escoge un determinado tamaño de ventana, dicha ventana es la misma para todas las frecuencias, y muchas señales requieren un acercamiento más flexible para determinar con mayor precisión el tiempo o la frecuencia. El espectrograma está compuesto por la frecuencia fundamental y los armónicos que definen a los sonidos. En acústica, la frecuencia fundamental es la frecuencia más baja del espectro de frecuencias tal que las frecuencias dominantes pueden expresarse como múltiplos de esta frecuencia fundamental. Se presenta como el parámetro que da la definición a la forma pura de una señal [28] [29].

25 Coeficientes Wavelet El análisis de Wavelet intenta solventar las limitaciones de la STFT [30]. Este análisis consiste en la implementación de una técnica que utiliza ventanas con regiones de tamaño variable. Con esta herramienta se es capaz de utilizar intervalos grandes para segmentos en los que se requiera precisión en bajas frecuencias e intervalos más pequeños en segmentos cuyas frecuencias sean más altas.

26 La técnica de análisis Wavelet es empleada en gran variedad de sistemas. Detección de discontinuidades, identificación de frecuencias puras, compresión de imágenes, multiplicación de matrices, aplicaciones en medicina, son algunos ejemplos de ellas. Al tratarse de una técnica cuya resolución es variable en el tiempo se considera una buena herramienta a utilizar tanto para la detección como para la clasificación. Roll off Point (RF) Característica muy utilizada en el reconocimiento de sonidos no-habla que dota al sistema de altos ratios de exactitud en la clasificación [26] [9] [27] [31]. Este parámetro mide las frecuencias bajo las cuales reside el 85% de la energía del espectro del audio. En música, los sonidos percusivos y los ataques de las notas son los que suelen tener más energía. Por lo que ésta es una medida de lo apicada que es la señal, si tiene cambios muy bruscos. La ecuación que la define es la siguiente: SS== = NfRffMfMR11][*85.0][: (3) Donde representa a las diferentes frecuencias del espectro. ][fm Spectral Centroid Este parámetro mide lo brillante que es un sonido. Se evalúa el centro de gravedad del espectro partiendo de la información obtenida de las transformadas de Fourier [26][9] [27] [31] [32]. Se define como: SS= = =NktNkttkXkkXC11 ][ ][ (4) Donde representa la muestra k-ésima de la transformada de Fourier correspondiente a la trama. ][nxtt Linear Predictor Coefficient (LPC) Técnicas basadas en coeficientes LPC fueron implementadas con la idea de un vocoder, que es una simulación de un tracto vocal humano. Puesto que el tracto vocal humano no produce sonidos ambientales, estas técnicas no son

27 muy adecuadas para el reconocimiento de sonidos no-habla [6] aunque hay artículos donde sí que es empleada [26] [33] [34]. LPC ha sido ampliamente usado en el procesado de voz. Los LPCs son sensibles a los sonidos vocales, lo cuál puede ser utilizado para intentar separar eventos de habla y de no-habla. Linear Predictive Cepstral Coefficient (LPCC) LPCC viene derivado de los LPCs. Los LPCCs son más robustos contra cambios bruscos en la señal o el ruido porque estos coeficientes están

28 derivados de respuestas impulsivas de modelos del habla. Un ejemplo de aplicación se presenta en [35] obteniendo un porcentaje en la verificación global del 96% utilizando redes neuronales en la identificación de 4 tipos diferentes de señales. Log Frequency Cepstral Coefficient (LFCC) Los LFCCs [26] son computados usando bancos de filtros logarítmicos en el dominio de frecuencia. La posición de los filtros es calculada de la siguiente forma. Primero se transforman las frecuencias de la escala lineal a la escala logarítmica usando la ecuación siguiente: 2log)1(log1010logCFCFlinear+ = (5) donde es el factor de escala de frecuencia. Después, los filtros son linealmente posicionados en la escala de frecuencia logarítmica y estas posiciones son transformadas de regreso a la escala de frecuencia lineal. CuandoCse incrementa, más filtros son posicionados en las frecuencias bajas y viceversa. C La salidadel filtro es computada de la siguiente forma: )(iythi S= = iinmjijhjsiy)()]([log)(10 (6) Dondees el espectro de la señal,es el filtro, y y son fronteras del filtro. La ecuación que se muestra a continuación describe la computación del LFCC. SiHthiiminthithn S=......= cbniinnkiynnc12cos)(2)( p (7)

29 ikes la frecuencia central del filtro, yyson el número de puntos de muestra de frecuencia y el número de filtros, respectivamente. thincbn Mel Frequency Cepstral Coefficients (MFCC) MFCC es un parámetro perceptual basado en la FFT. Tras calcular el logaritmo de la magnitud de la FFT de la señal, los bins (unidades mínimas en el dominio espectral) se agrupan y suavizan según la escala frecuencial de Mel definida matemáticamente en la siguiente fórmula: = 7001log2595)(10ffMel (8)

30 Finalmente se realiza una DCT (Transformada Coseno Discreta) para decorrelar el vector de parámetros resultantes. La función que define este proceso es la siguiente: S= = + = 201)()( 2)12(coslogknpnpqKnqmcp (9) Aunque este parámetro es característico del reconocimiento del habla, la gran mayoría de estudios sobre reconocimiento de sonidos no-habla también hacen uso de él [26] [9] [27] [31] [36] [37] [38], siendo posiblemente la características acústicas que más puntos de separación obtiene en el reconocimiento Técnicas de detección Umbral de energía Un indicio de que se ha producido un evento es un cambio brusco en la amplitud de la señal muestreada. La opción más básica dispone de un controlador de amplitud que avisa cuando se produce un cambio de intensidad sonora, siendo éste el punto inicial desde el que se empezará a analizar la onda. Mejoras a este problema son las que se proponen en [26] basadas en crosscorrelación de dos sucesivas ventanas. Conociendo que la función de correlación cruzada es la medida de similitud entre dos señales, el primer algoritmo de detección en [26] aplica esta función entre dos sucesivas ventanas de la señal para detectar cambios bruscos. El algoritmo calcula la correlación cruzada entre dos sucesivas ventanas normalizadas de 2048 muestras (128 milisegundos) y obtiene el valor máximo. Finalmente, aplica un umbral en la señal (si la resultante está por debajo del umbral se genera una detección de evento). La normalización de la señal se obtiene calculando la raíz cuadrada de la energía de la ventana. Como segunda propuesta en [26], se utiliza la técnica de detección basada en predicción de energía. Este algoritmo calcula la energía de la señal en N (2048) muestras de ventana. Primero se predice el siguiente valor de la energía basado en los diez valores anteriores (L=10, longitud de predicción) usando el método de interpolación SPLINE. Después un umbral autoajustable es establecido en el error de predicción (la diferencia absoluta entre el valor real y el valor predicho). Si la energía varía con una pequeña pendiente, el error es pequeño, sin embargo, el error será importante para una rápida variación (el caso de un evento a detectar). El umbral autoajustable depende de la desviación estándar y la media de la señal.

31 Una técnica muy similar a las anteriores consiste en la disposición de un módulo donde la energía de la señal es estimada para cada sucesivo bloque de 100 milisegundos [8]. La secuencia de energía obtenida es filtrada y la salida del filtro substraída de la energía. Esto resulta en una nueva secuencia que es normalizada, enfatizando los pulsos de energía relevantes. Un umbral

32 adaptativo, dependiendo de la desviación estándar de una secuencia de energía de ventana pasada, es aplicado a continuación. Este método provee un esquema de detección modificable y muy sensible para señales impulsivas, donde los pulsos pueden ser detectados bajo condiciones de bastante ruido adverso de fondo, con una relación señal a ruido signal-to-noise (SNR) tan baja como -10 db. Los valores de SNR son medidos sobre una ventana que incluye la parte decreciente de la señal Modelos estadísticos Otra técnica utilizada en la detección de eventos es la basada en modelos estadísticos, surgida del VAD (Voice Activity Detection). La detección de actividad de voz es muy importante para aplicaciones de comunicación tales como el reconocimiento del habla o teléfonos manos-libres. Métodos basados en energía pueden dar buenos resultados, sin embargo, estos métodos tienen problemas cuando el ruido ambiente se sobrepone con el habla, especialmente en bajas condiciones de SNR. Un método para solventar este problema consiste en la utilización de múltiples modelos de sonidos mezclados, sin embargo, surge un gran número de combinaciones de habla y ruido. En [39] se estudia el método VAD en el marco del reconocimiento de patrones. En este método, el periodo de habla es detectado como un resultado del reconocimiento. Para solventar el problema del ruido se propone un nuevo método usando Modelos Ocultos de Markov (HMM) y modelos de ruido ambiente. En el método propuesto, una búsqueda eficiente y fiable se realiza restringiendo el número de combinaciones del modelo de habla y los modelos de ruido. También, el método puede estimar el ruido ambiente con solapamientos con habla y su valor SNR, pudiendo ser usada esta información adicional para el reconocimiento robusto de señales sonoras. Otra técnica muy utilizada es la basada en Modelos de Mezclas Gaussianas (GMMs), la cuál es más simple que los HMM y más rápida computacionalmente. Comparación de frecuencias Esta técnica es muy común cuando las señales que se quiere detectar tienen una forma establecida. Se analizan los valores muestreados de la señal de entrada y se van comparando con la función que representa a las señales analizadas previamente de las que se han extraído los datos. Muy similar a la correlación cruzada que desplaza el sonido durante el eje de tiempo observando los picos de similitudes.

33 Técnicas de clasificación A grosso modo, para clasificar una señal en un grupo se pueden usar tres tipos de técnicas o herramientas: modelos estadísticos, redes neuronales o modelos

34 basados en patrones [40] [41]. En los siguientes subapartados vamos a ir describiendo uno a uno estos modelos. Modelos Ocultos de Markov (HMMs) Este clasificador está basado en la utilización de estados para el modelado [33] [34] [36]. En el artículo [8] se hace una comparativa entre GMM y HMM, utilizando para este último modelo tres estados correspondientes a las fases de la señal: ataque, mantenimiento y decaimiento. Durante el proceso de entrenamiento, el sistema aprende las características del HMM de cada clase de señal considerada estimando funciones de densidad probabilísticas mono-gaussianas de las características, y las probabilidades de transición entre estados. Este entrenamiento se realiza con 20 iteraciones de la recursión de Baum-Welch. Durante el reconocimiento de patrones, la clase más probable de la señal es determinada. La probabilidad es evaluada usando la aproximación de Viterbi que reduce la complejidad computacional. En el reconocimiento del medio mediante análisis de audio, Auditory Audio Recognition [43], [44], este clasificador también es muy empleado. En [44] se utiliza HMM como clasificador de sonidos. Para este trabajo se utiliza una topología de izquierda a derecha, con estados variados de 3 a 21, viéndose cómo con 11, 13 y 15 estados los resultados obtenidos son mejores que en los otros casos. Modelos de Mezclas Gaussianas (GMMs) En la mayoría de documentación relacionada con la clasificación de señales sonoras del ambiente, el clasificador por excelencia es GMM [9] [42] [45]. Los modelos de mezclas gaussianas son combinaciones de distribuciones normales o funciones de Gauss. Una GMM de K gaussianas puede ser vista como una suma de densidades de gaussianas [46]. GMM es ampliamente utilizada para el modelado de la voz a partir de los vectores de características adquiridos de cada sonido. Una vez obtenida cierta cantidad de estos vectores por cada sonido, se crea un modelo probabilístico que lo representa de forma singular. La fórmula que describe la función de densidad de probabilidad del tipo gaussiana se describe a continuación:

35 )()(121)det(21))(,(µµpµ-S--- S=SxxdTexg (10) en la que se basa la ecuación que define una GMM con ciertos valores de pesos:

36 S= S = Kkkkkxgwxgm1))(,()(µ (11) siendo los pesos todos positivos y la suma de todos ellos igual a 1: S= =..= kiiiwkiw10} :,...,1{ 1 (12) En este caso K es el número de gaussianas u orden del modelo. Elegir el número K que de mejores resultados no es una tarea fácil, se debe ser precavido a la hora de escoger esta cantidad K de mezclas gaussianas con la cual se va a trabajar. Si se elige un número muy elevado puede darse el caso de que el modelo hallado sobre ajuste demasiado a los datos extraídos (overfitting). En caso contrario, elegir un K pequeño puede llevar a que el modelo no sea lo suficientemente diferente a los demás modelos y no se pueda reconocer adecuadamente el sonido en cuestión. El modelo general GMM consta de matrices de covarianza S completas, aunque también se emplean modelos en los cuales las matrices de covarianza son diagonales. Esto reduce el número de parámetros que deben ser optimizados y además simplifica los cálculos a realizar. Sin embargo, esta limitación sobre las matrices de covarianza reduce las capacidades de modelado e incluso puede que se necesite incrementar el número de componentes empleadas. El proceso de entrenamiento parte de una colección de vectores de entrenamiento de un sonido, de la cual se estiman los parámetros del modelo usando el algoritmo EM (Expectation Maximization). Partiendo de un modelo inicial, el algoritmo EM refina iterativamente el modelo GMM incrementando de manera monótona su verosimilitud. Dicho de otra forma, en la k-ésima iteración se encuentra el modelo y se cumple:. Este es el nuevo modelo inicial para repetir el proceso hasta llegar a un nivel de convergencia predeterminado. )(K.) () ()1()(->KKXPXP.. Debido a que en general el conjunto de vectores de características es muy grande, y por tanto, los valores de probabilidades son a menudo muy pequeños, es común utilizar el logaritmo de verosimilitud que viene dado por: ) (log1) ( 1..S=

37 = TiixPTXLogPr (13) Este valor, llamado Logl (log Likelihood) es la medida que nos dice qué tan probable es que los vectores X pertenezcan al modelo. La condición para interrumpir la iteración, además de establecerse un número máximo de iteraciones, puede ser:

38 e..<--) () ()1()(KKXLogPXLogP (14) El logaritmo de verosimilitud es usado para medir lo bien que un modelo se ajusta a los datos experimentales. En el proceso de testeo se intenta resolver el problema de qué modelo se acerca más a los datos de entrada. Se deben evaluar los logl para cada modelo. Aquel con mayor argumento es el que tiene mayor probabilidad de que los vectores de entrada pertenezcan a ese modelo. Sin embargo, se tendrá que mirar también si el que más se acerca tiene la suficiente probabilidad (ya que puede tratarse de un sonido que no se encuentre entre las muestras). Habitualmente se utiliza el Criterio de Información Bayesiano (BIC) para determinar el número óptimo de gaussianas. El BIC se puede plantear, a grandes rasgos, como un criterio de selección de modelos mediante un test de hipótesis: dado un hipotético punto de cambio en una secuencia, se basa en comprobar si los datos de esa secuencia se ajustan mejor con un único modelo gaussiano multivariado o con modelos separados para los segmentos a ambos lados del punto de cambio [9]. Clasificador K-NN La idea básica sobre la que se fundamenta este paradigma es que un nuevo caso se va a clasificar en la clase más frecuente a la que pertenecen sus K vecinos más cercanos. El paradigma se fundamenta por tanto en una idea muy simple e intuitiva, lo que unido a su fácil implementación hace que sea un modelo clasificatorio muy extendido. Como una variante al algoritmo básico se encontraría el K-NN con rechazo, el cual puede dejar un caso sin clasificar si no tiene suficientes garantías de que la clase que le corresponde es la correcta. Este problema se puede atajar incorporando un umbral prefijado, tal que el número de votos que obtenga una clase deba ser igual o superior a éste: si tenemos K=20, m=2 y el umbral lo establecemos en 12, si la clase mayoritaria obtiene 11 votos la muestra se quedará sin clasificar. Otra opción sería establecer un tipo de mayoría absoluta, donde la clase mayoritaria deba tener una diferencia de X votos con la segunda. Otra alternativa podría ser no basarse en el número de muestras del clasificador sino en la media de éstas. En varios estudios de reconocimiento del habla y de señales sonoras es muy habitual el uso de la distancia euclídea y la distancia de Mahalanobis. La utilidad de esta última radica en que es una forma de determinar la similitud entre dos variables aleatorias multidimensionales, diferenciándose de la distancia euclídea de que tiene en cuenta la correlación entre variables aleatorias [47]. El principal inconveniente que se observa es que computacionalmente es un método caro ya que compara el sonido a clasificar

39 con todos los vectores. Perceptrón Simple

40 El perceptrón simple, perteneciente a la colección de técnicas de las redes neuronales, es un modelo unidireccional compuesto por dos capas de neuronas, una de entrada y otra de salida [48]. La operación en un perceptrón simple que consta de n neuronas de entrada y m neuronas de salida se puede expresar como: S= -= njijijixwfy1)(. con (15).,...,1mi= Las neuronas de entrada son discretas y la función de activación de las neuronas de la capa de salida es de tipo escalón. El algoritmo de aprendizaje del modelo permite determinar automáticamente los pesos sinápticos que clasifican un conjunto de patrones a partir de un conjunto de ejemplos etiquetados. El inconveniente del Perceptrón simple es que tan sólo puede discriminar entre dos clases linealmente separables, clases cuyas regiones de decisión pueden ser separadas mediante una única condición lineal o hiperplano. Perceptrón Compuesto Con el fin de intentar solventar las limitaciones que conlleva el perceptrón simple surgió el perceptrón compuesto. Esta red neuronal tiene su fuerza en la inclusión de capas ocultas para poder separar patrones por más de un hiperplano. En [49] se utiliza una implementación del perceptrón multicapa desarrollada en Matlab usando Back Propagation. El MLP es entrenado usando los componentes frecuenciales de la señal. Dado que los sonidos no relacionados con el habla cubren un rango de frecuencias más alto que el de la voz se usa una FFT con muestreo a Hz, cuyos resultados son usados para entrenar al perceptrón. No obstante, los resultados que produce esta técnica son muy pobres, extraño si comparamos los resultados de las redes neuronales en el modelado del habla. Para la detección de alarmas, [50] también se hace uso del perceptrón multicapa con una única capa oculta. La red posee 100 neuronas ocultas y 2 neuronas de salida que corresponden a alarma o no alarma. El MLP es entrenado con Back Propagation usando un criterio de mínima cross-entropía en los 20 sonidos de ejemplo. Learning Vector Quantization (LVQ) La técnica denominada Learning Vector Quantization (LVQ) basa su funcionamiento en dividir el espacio de entrada en un número determinado de