Análisis de Rasgos Prosódicos en el Español Rioplatense y su Aplicación en el Reconocimiento del Habla

Transcripción

1 Análisis de Rasgos Prosódicos en el Español Rioplatense y su Aplicación en el Reconocimiento del Habla Tesista: Diego Evin Director: Ing. Jorge Gurlekian Codirector: Dr. Diego Milone

2 Organización de la Presentación Introducción Reconocimiento Automático del Habla Estado del Arte en RAH Prosodia Antecedentes Modelos Propuestos Experimentos - Resultados Conclusiones Discusión 2

3 Reconocimiento Automático del Habla Objetivo final: crear una máquina capaz de comprender el discurso hablado por cualquier locutor, sobre cualquier tema y en todos los ambientes. Generalmente se adopta el término como sinónimo de Transcripción Automática del Habla separándolo del problema de comprensión del habla. Aproximación más empleada en los sistemas actuales basada en Reconocimiento Estadístico de Patrones. 3

4 4 Sistema Estándar de RAH

5 Estado del Arte en RAH Existe una brecha significativa entre el desempeño de reconocimiento del ser humano y las máquinas (habla espontánea, diferencias de acentos, canales limitados, ruido, etc). Los sistemas comerciales de RAH reducen las imperfecciones tecnológicas ajustando la interacción del sistema a la medida de la tarea, el contexto o del usuario. 5

6 6 Estado del Arte en RAH

7 7 Marco de la Investigación El hombre integra múltiples niveles de conocimiento en Reconocimiento del Habla. Elige entre alternativas léxicas en base al soporte acústico y la fortaleza de las hipótesis lingüísticas evocadas. No toda la información acústica transportada por el habla es empleada en los sistemas de RAH actuales. Características espectrales a nivel segmental se modifican con la posición del segmento en la jerarquía prosódica. Hipótesis: es posible aprovechar la información prosódica para mejorar el RAH.

8 Prosodia Objeto fonológico que surge de las combinaciones de la modulación controlada del tono de voz, las fluctuaciones intencionales de la sonoridad y las prolongaciones y reducciones en la duración de segmentos y sílabas. A nivel perceptual las propiedades mencionadas dan lugar a los patrones percibidos de prominencia relativa entre sílabas, codificada como aspectos melódicos y rítmicos del habla. Estructura lingüística que determina las propiedades suprasegmentales de una frase. 8

9 Prosodia en el Reconocimiento Humano del Habla Modelos psicolingüísticos conciben el reconocimiento del habla como un proceso de activación y competencia entre palabras candidatas. Potenciales usos de la prosodia en el reconocimiento humano del habla: Restringir las primeras etapas de activación léxica. Seleccionar entre palabras candidatas. Proveer al oyente de información como número y localización de palabras individuales. 9

10 10 Antecedentes Aplicación de prosodia en procesamiento del habla: Detección de disfluencias y fin de oraciones Segmentación de temas Análisis morfosintáctico Clasificación de tipo de frases Identificación de locutores - dialectos - emociones Aplicaciones de prosodia en RAH: En modelos acústicos En modelo de pronunciaciones En modelo de lenguaje

11 Experimento 1 - Uso de Información de Acentos Léxicos en los Modelos Acústicos Se estudió la utilización de información de acentos léxicos en los modelos acústicos, creando modelos acústicos diferentes para vocales acentuadas e inacentuadas lexicalmente. Acento léxico: acento de palabra determinado por reglas de ortografía (abstracto). La mayoría de las palabras en español poseen un acento léxico, que corresponde a la vocal fuerte de la sílaba acentuada. En muchos casos el acento léxico permite diferenciar palabras En inglés vocales con énfasis (stress) presentan diferencias segmentales respecto a vocales sin énfasis. En español los acentos tonales (prosódicos) se ubican siempre donde existe acento léxico. No todo acento léxico recibe acento tonal. 11

12 Material: Corpus Sala I- Sur Habla continua leída frases, palabras totales (2.722 palabras distintas). 138 hablantes (48 hombres y 90 mujeres) de 21 poblaciones diferentes: Buenos Aires, Santa Fe, Neuquén, Tierra del Fuego. Comunicaciones desde teléfonos fijos (8kHz, 16Bits). 12

13 Metodología El desarrollo de este trabajo consistió en: Implementación de un sistema de reconocimiento del habla estándar basado en MOM. Evaluación del desempeño del sistema empleando como modelos acústicos: monofonos estándar, trifonos, y monofonos acentuados. 13

14 14 Diccionario de Pronunciaciones y Modelo de Lenguaje El diccionario de pronunciaciones se construyó empleando el alfabeto fonético SAMPA. Se emplearon reglas ortográficas para asignación automática de acentos léxicos. Se consideraron palabras monosílabas como átonas. Se emplearon bigramas como modelo de lenguaje nodos, Entropía: 5.4, Perplejidad: 42.5

15 15 Modelos Acústicos Parametrización de las señales acústicas: Ventanas Hamming, 25ms de duración y 10ms de avance. Filtro de preénfasis y normalización de la energía a nivel de frase. 12 coeficientes MFCC + delta y aceleración (39 parámetros). Se construyeron modelos acústicos de: 32 monofonos estándar. 37 monofonos acentuados. 849 trifonos dependientes del contexto interior de las palabras (TdCIP) trifonos dependientes del contexto entre palabras (TdCEP).

16 Resultados Se emplearon como figuras de mérito: Tasa de Reconocimiento de Palabras Precisión Tiempo de Reconocimiento Normalizado N: cantidad total de palabras a reconocer, S: número de errores por substitución, D: número de errores por eliminación, I: número de errores por inserción Trec: tiempo de reconocimiento promedio para una ventana de análisis Treal: es la duración de la ventana. 16

17 17 Resultados

18 18 Resultados

19 19 Conclusiones - Experimento 1 Se estudió la utilización de información de acentos léxicos en el modelado acústico de un sistema de RAH basado en MOM. Los resultados mostraron una leve mejora respecto al modelado acústico estándar empleando como material de evaluación habla telefónica leída del español de Argentina. El empleo de los monofonos acentuados permitió mejorar el porcentaje de reconocimiento en un 1,78% con respecto a los trifonos dependientes del contexto entre palabras, con una reducción considerable del tiempo de procesamiento. En un futuro trabajo se evaluará esta propuesta aumentando el número de datos de entrenamiento para evaluar adecuadamente el desempeño con trifonos. Se espera utilizar la información de los acentos tonales como indicadores de la presencia de un acento léxico en palabras de contenido.

20 Experimento 2 Clasificación de Grupos Entonativos a partir de rasgos suprasegmentales Se exploró la utilización de información suprasegmental para clasificar grupos entonativos en: Clase 1: grupo único de la oración. Clase 2: primer grupo de una oración con más de un grupo. Clase 3: grupo intermedio de una oración con al menos tres grupos. Clase 4: último grupo de una oración con al menos dos grupos. Objetivo final: construir modelos de lenguajes para cada tipo de grupo entonativo. 20

21 Material: Corpus Secyt Habla continua leída, calidad de laboratorio 2 Locutores, 741 frases 97% de las sílabas del español en las dos condiciones de acento y en todas las variantes posicionales (inicial, media y final) Número de Grupos Número de Oraciones

22 Metodología Se estimaron las curvas de f0 correspondiente a cada oración mediante el algoritmo RAPT Se estilizó cada curva de f0 empleando el algoritmo MOMEL Se calcularon curvas de energía logarítmica para todas las oraciones. Se parametrizó el segmento de F0 y energía de cada grupo empleando los coeficientes de una aproximación 22 polinómica de Legendre.

23 Clasificación de Grupos Entonativos Conjunto completo de parámetros empleados: Duración del grupo entonativo Valor medio de la curva de f0 Desvío estándar de la curva de f0 12 coeficientes polinómicos que representan la curva de f0 Valor medio de la curva de energía Desvío estándar de la curva de energía 12 coeficientes polinómicos que representan la curva de energía Se entrenaron clasificadores basados en mapas de Kohonen, con diversas configuraciones y elecciones de parámetros. 23

24 24 Resultados

25 Conclusiones - Experimento 2 Se obtuvo una tasa de clasificación de 75-80% para el primer grupo entonativo de la oración y de un 90% para el último grupo entonativo de la oración. Se encontró mayor homogenieidad en clusters correspondientes a clases 2 y 4 indicando que los grupos entonativos iniciales y finales para estas oraciones son más similares entre sí que los intermedios. El empleo de duraciones de grupos entonativos y parámetros de energía no mejoran considerablemente las tasas de clasificación. 25

26 26 Preguntas?