Sistema de Aprendizaje y Perfeccionamiento del habla para Personas con Deficiencias Auditivas

Transcripción

1 Sistema de Aprendizaje y Perfeccionamiento del habla para Personas con Deficiencias Auditivas J.I. Puertas 1, R.L. Barquilla 1, S.S. Segador 1, M. Calderón 1, M.A.G. Izquierdo 1, R. García Gómez 1 F. Alonso Trujillo 2 1 Departamento de Señales, Sistemas y Radiocomunicaciones E.T.S.I. de Telecomunicación. Universidad Politécnica de Madrid Ciudad Universitaria s/n. C.P Madrid. ESPAÑA 2 PROMI. Promoción del minusválido Avda. Fuente de las Piedras, Cabra (Córdoba). ESPAÑA izquierdo@gtd.ssr.upm.es Resumen En este trabajo se presenta una herramienta software para el entrenamiento y perfeccionamiento del habla de personas con deficiencias auditivas severas. Se basa en reemplazar en el aprendizaje del habla la realimentación auditiva, que este colectivo tiene gravemente dañada, por una realimentación visual. Las principales características que hacen de este sistema uno de los más avanzados dentro de este tipo de programas son: - Realimentación visual de los parámetros acústicos. - Integración del lenguaje de signos y el lenguaje escrito - Interfaz de usuario muy atractiva. - Múltiples niveles de aprendizaje - Varias lecciones por nivel. - Diseño de las lecciones en forma de juego - Formato uniforme de las lecciones. - Detección y análisis de los errores cometidos en los ejercicios. - Presentación de consejos para la mejora de errores. - Bajo coste: basado PC con tarjeta de sonido. 1. Introducción Los sordos utilizan el lenguaje de signos para establecer la comunicación con personas que conocen este lenguaje, sean sordas o no. Este es el lenguaje natural para ellos ya que carecen de la realimentación acústica que disponen los oyentes. No obstante frecuentemente las personas sordas desean comunicarse con otras personas utilizando sus voces ya que sus interlocutores no conocen el lenguaje de signos. En estos casos un buen entrenamiento de su capacidad de hablar resolvería el problema. Es en este contexto donde se incluye la herramienta que se presenta en este trabajo, la optimización del lenguaje oral en la comunidad sorda como vehículo de relación con la comunidad hablante. En el entrenamiento de sus voces las personas sordas deben sustituir la percepción acústica por la visual. El sistema de entrenamiento que presentamos representa los sonidos mediante imágenes. Es por lo tanto necesario estimar a partir de la señal de voz los parámetros acústicos relevantes y presentarlos en imágenes. El diseño apropiado de estas imágenes debe paliar en buena medida la diferencia de propiedades del canal auditivo y el visual. Hemos diseñado un sistema que sea útil a las personas sordas que deseen mejorar su pronunciación sin ayuda de profesionales y también a logopedas y otros profesionales que deseen visualizar la voz humana. Actualmente es factible implementar un sistema de este tipo, con altas demandas de potencia de cálculo y de interfaces gráficos a bajo coste. El sistema de aprendizaje está basado en un computador personal PC y utilizando tarjetas de adquisición de señales también de bajo coste. La disponibilidad tecnológica actual y la introducción de nuevos algoritmos de análisis de la voz permite que nuestro sistema compita en prestaciones y en precio con sistemas más clásicos tales como [1] [2]. 2. Requisitos de usuario En este apartado se presentan algunas de las conclusiones obtenidas en el proyecto ISAEUS 1 (la experiencia ganada en este proyecto ha influenciado determinantemente este diseño) sobre las características deseables de un sistema de entrenamiento del habla de personas sordas [3]. 1.- Integración del leguaje de signos y de escritura como lenguajes de apoyo para el sistema. 2.- Motivación. El sistema debe estar formado por ejercicios cortos en los cuales el interfaz de usuario 1 ISAEUS proyecto de la Unión Europea en el programa de Aplicaciones Telemáticas (proyecto DE 3004)

2 resulte lo más atrayente posible ya que las personas con deficiencias auditivas tienen serias dificultades para mantener la atención. 3.- Realimentación visual y vibratoria de los sonidos. 4.- Entrenamiento global. El sistema debe ejercitar de manera global al individuo mediante la presentación simultánea de varios parámetros y no entrenar cada dimensión de la voz por separado, situación en la que se encuentran la mayoría de los sistemas actuales. 5.- Presentación y análisis de los errores de pronunciación cometidos por el usuario junto a consejos para corregirlos. De esta forma el entrenamiento es algo menos abstracto que el simple acoplamiento de patrones gráficos. 3. El sistema Maxus En este apartado, aparte de la descripción del sistema Maxus, se va a exponer el estado del arte en los sistemas de aprendizaje comerciales, punto de partida que nos permite destacar los aspectos innovadores del sistema propuesto en este trabajo. 3.1 Sistemas de aprendizaje del habla comerciales Quizá los sistemas más conocidos son el sistema IBM (SpeechViewer) y la tarjeta VISHA. El sistema de IBM, denominado SpeechViewer, se compone de tres elementos: un ordenador personal IBM/PC, un tarjeta prototipo de procesamiento de la palabra con un micrófono propio y por último, un software (juegos de vocalización, curvas de melodía y/o intensidad, etc.). Esta tarjeta permite la adquisición de la señal vocal con la ayuda de un micrófono y además efectúa en tiempo real un cierto número de cálculos acústicos repetitivos. Los resultados obtenidos (melodía, intensidad, etc.) son directamente accesibles por el PC, que puede utilizarlos para una representación gráfica inmediata. Su software específico puede descomponerse en una serie de parámetros o grupos de cálculo que son: Parámetros suprasegmentales de la palabra: la vocalización, la fuerza y la duración; control de la melodía de la voz, es decir, la frecuencia fundamental de las cuerdas vocales; función de prolongar el soplo y controlar la emisión de aire; control de la articulación de las vocales en forma de laberinto para llegar al final dictando la vocales que indican las flechas marcando la dirección. La tarjeta VISHA es un sistema bien conocido por los logopedas españoles, ya que cuenta con un estudio de la señal de la voz, evaluación de pérdidas auditivas (basados en la realización de audiometrías), rehabilitación de voz mediante ejercicios simples fundamentalmente control del soplo, tono y frecuencia fundamental. 3.2 Descripción del sistema Maxus El sistema Maxus constituye sin duda un nuevo hito en el estado del arte de sistemas de entrenamiento para sordos. Este sistema está compuesto por un conjunto de lecciones estructuradas en varios niveles. Estos niveles van desde ejercicios básicos como son los relacionados con el control y fuerza del soplo o las vocales hasta ejercicios avanzados como la pronunciación de frases cortas pasando por ejercicios de pronunciación de consonantes (nasales, fricativas, explosivas, etc.) y de palabras. Con el fin de mantener la atención del deficiente auditivo, tarea fundamental si se quiere que el proceso de aprendizaje con esta herramienta sea el adecuado, la interfaz de usuario ha sido especialmente cuidada para resultar lo más atrayente posible. Para ello, los ejercicios se han diseñado en forma de juegos con una presentación muy atractiva que además van enlazados con un hilo argumental (un cuento), en los que el deficiente auditivo va progresando a medida que va realizando las lecciones. Con esta estructura se logran dos objetivos: 1) su presentación como un juego de ordenador motiva al deficiente auditivo a utilizar el sistema, y 2) su estructura en forma de cuento anima a evolucionar al siguiente nivel para así conocer nuevos detalles del argumento. De esta forma el usuario de este programa repite el ejercicio las veces que sea necesario hasta alcanzar los objetivos marcados en la lección con lo que convierte la acción de pronunciar palabras en un acto reflejo, objetivo final de esta herramienta. Se puede considerar que las lecciones son las unidades básicas de este sistema. Las lecciones se han enfocado siguiendo el concepto de aprendizaje global del habla, es decir en cada lección se entrenan de forma conjunta varios parámetros del habla como son la energía, el ritmo, la sonoridad, la pronunciación, la entonación... Otro aspecto muy importante es la uniformidad en la presentación de las lecciones. Cada una de las lecciones se divide en tres páginas a) La página de presentación, b) la página del ejercicio y c) la página de puntuación y consejos. a) La página de presentación. El objetivo de esta página es la explicación del ejercicio que se va a realizar en la lección. El aspecto destacable en esta página es que se integran el lenguaje natural de las personas sordas, el lenguaje de signos, y el lenguaje escrito como lenguajes de apoyo para el aprendizaje del lenguaje oral. El lenguaje escrito se va a utilizar

3 fundamentalmente para informar sobre el contenido de la lección, permitiendo al usuario la asimilación de los conceptos que se quieren enseñar en la lección. Un ejemplo de página de presentación se muestra en la figura 1. c) La página de puntuación y consejos. Además de la puntuación obtenida, el sistema incluye un análisis que presenta los errores cometidos en la realización del ejercicio en un lenguaje asequible para aquellos usuarios que lo utilicen de forma individual y no posean conocimientos de acústica. De esta manera el aprendizaje no está basado en un simple acoplamiento de patrones gráficos [4] sino que es, desde el principio algo menos abstracto. En la figura 3 se muestra un ejemplo de este tipo de página. Fig 1. Página de presentación. b) La página del ejercicio. Esta página es el corazón de todas las lecciones. En ella se integra la realimentación visual de la voz para el proceso de aprendizaje. Esta realimentación se realiza de dos formas tal y como muestra la figura 2: La primera es en forma de juego, situada en la parte izquierda de la pantalla, en el que el individuo bajo entrenamiento observa la relación causa-efecto ante los sonidos que emite de una forma amena y sin necesidades de conocimientos de acústica y la segunda, más técnica y situada en la parte derecha, en la que se muestran representaciones visuales de los sonidos entre los que se encuentran la señal en el tiempo, el espectrograma y las bandas de energía. En esta página también se realiza la evaluación del ejercicio que es mostrada en la página de puntuación y consejos. Fig. 3. Página de puntuación y consejos 3.3 Arquitectura Los requisitos hardware de este sistema son un PC y una tarjeta de sonido compatible SoundBlaster. Ambos son baratos y lo suficientemente extendidos como para que se pueda plantear el entrenamiento de la persona sorda en el hogar ayudado por un oyente no experto como puede ser el padre o la madre. Todo el sistema se ha realizado en el lenguaje Visual C++. Se ha utilizado de manera extensiva los objetos y se han diseñado componentes ActiveX (controles) utilizando la librería ATL debido a los requerimientos de tiempo real que este sistema demanda. Tarjeta de Sonido FrontEnd Juego Reconocedor Espectrograma Bandas de Energía Representación Temporal Fig. 4. Arquitectura de la página de ejercicio Fig. 2. Página de ejercicio

4 La página más interesante desde el punto de vista arquitectural es la página de ejercicios. Un esquema simplificado de esta arquitectura se muestra en la figura 4. Las muestras procedentes del micrófono son digitalizadas por la tarjeta de sonido y capturada por el módulo software denominado FrontEnd [5]. La misión de este control aparte de la captura de muestras es la de realizar un preprocesado previo de la señal. Para ello realiza la FFT, extrae las bandas de energía, el pitch, los formantes y los vectores de características que serán utilizados posteriormente por los otros controles. El resto de los controles son clientes del FrontEnd siendo su misión la representación en tiempo real de los datos enviados por este y el reconocimiento de las palabras. Del primer grupo de controles se pueden mencionar el espectrograma el cual realiza una representación tiempo frecuencia de los sonidos emitidos, tanto en dos como tres dimensiones, el control encargado de la representación de las bandas de energía y el de la señal temporal. Referencias [1] Sistema IBM. SpeechViewer. france/cisph/speech.htm. Julio de [2] Sistema VISHA. sp/upm.htm. Julio de [3] A. Sánchez Raya, E.A. Martínez Gual et al. ISAEUS deliverable D2.1.1: Users needs [4] M.C. Haton. Issues in Using Models for Self Evaluation and Correction of Speech Computational Models of Speech pattern Processing, K. Pointing, editor, Springer, [5] ISAEUS deliverable D3.1.1: Front End Processing. [6] R.L. Barquilla. Reconocimiento de voz flexible y eficiente para aplicaciones ITO Tesis doctoral. ETSI de Telecomunicación. UPM [7] J.I. Puertas Tera. Robustez en reconocimiento fonético de voz para aplicaciones telefónicas Tesis doctoral. ETSI de Telecomunicación. UPM El reconocimiento de las palabras se realiza con un reconocedor subfonético[6][7]. Se ha dibujado en línea discontinua puesto que sólo se incluye en las lecciones de nivel de palabra y de frase. Este reconocedor se basa en los modelos ocultos de Markov. Apoyándose en estos modelos, cuya robustez y flexibilidad son de sobra conocidos, se ha realizado un control Actives, basado en tecnología ATL, extremadamente potente, flexible y robusto con muy pequeña tasa de error. Sus potenciales aplicaciones en la enseñanza del habla asistida por computador son enormes. A la vez que el reconocimiento proporciona la medida de la distancia de la palabra pronunciada al modelo más cercano, parámetro muy útil para la evaluación y puntuación de los ejercicios relacionados con el nivel de palabra y de frase. 4 Conclusiones Como ya se ha mencionado el sistema MAXUS es una evolución del sistema ISAEUS. Este nuevo sistema incluye una interfaz de usuario notablemente más atractiva, presenta un mayor número de procesamientos de la señal acústica y alcanza unos niveles de entrenamiento mucho mayores. Otro aspecto destacable es que desde el nacimiento de este sistema se ha contado con la ayuda de logopedas y personas con deficiencias auditivas sordas que han permitido introducir características en este sistema no encontradas en otros productos de aprendizaje para sordos, no sólo del castellano, sino incluso del inglés y del francés.

5