Naturalidad y expresividad en la conversión de texto en habla: las consonantes róticas en coda silábica en español Luz Rello y Joaquim Llisterri Universitat Autònoma de Barcelona luzrello@gmail.com - joaquim.llisterri@uab.cat IX Congreso Internacional de Lingüística General Valladolid, 21 de junio de 2010
1 Introducción 2 3 4 5
Conversión de texto en habla Róticas en coda silábica 1 Introducción Conversión de texto en habla basada en selección de unidades Róticas en coda silábica en español peninsular Tratamiento de las róticas en la conversión de texto en habla 2 3 4 5
Conversión de texto en habla Róticas en coda silábica La conversión de texto en habla basada en selección de unidades Los sistemas actuales de conversión de texto en habla se basan en la concatenación de unidades seleccionadas de un corpus previamente grabado y etiquetado. La selección de unidades se lleva a cabo buscando en el corpus la unidad óptima en función del texto que se desea sintetizar. El conocimiento fonético se encuentra en los módulos lingüísticos del conversor y en el corpus de síntesis.
Conversión de texto en habla Róticas en coda silábica Loquendo TTS Zovato, Salza & Quazza (2006)
Conversión de texto en habla Róticas en coda silábica La conversión de texto en habla basada en selección de unidades El diseño de un sistema de conversión de texto en habla requiere la definición de un inventario de unidades fonéticas segmentales (fonemas y alófonos). El corpus de síntesis se etiqueta en función de las unidades fonéticas segmentales definidas. El módulo de transcripción fonética automática establece la correspondencia entre grafías y unidades fonéticas segmentales. La búsqueda en el corpus para seleccionar la mejor unidad de síntesis se realiza teniendo en cuenta el resultado de la transcripción fonética automática y optimizando la concatenación.
Conversión de texto en habla Róticas en coda silábica Las consonantes róticas en posición de coda silábica en español peninsular En las descripciones fonéticas tradicionales se asume que en posición de coda silábica aparece una realización vibrante simple [R]. Desde el punto de vista fonológico, se postula que en coda silábica se produce una neutralización de los dos fonemas róticos /r/ y /R/.
Conversión de texto en habla Róticas en coda silábica Las consonantes róticas en posición de coda silábica en español peninsular Variabilidad en la realización (Blecua, 2001, 2005): Vibrante simple (tap o flap): [R] oclusión + elemento vocálico aproximante + elementos vocálico Vibrante múltiple (trill): [r] Aproximante ( fricativa ): [ô] Oclusión Fricción Influencia del contexto fónico. Influencia del estilo de habla. Influencia del locutor.
Conversión de texto en habla Róticas en coda silábica El tratamiento de las róticas en la conversión de texto en habla en Loquendo TTS Bonaventura, Giuliani, Garrido & Ortín (1998) La grafía <r> se transcribe como [r]: al inicio de palabra; seguida de <r> (y, a continuación, se elide la segunda <r>); precedida de <n>, <l> o <s> y no seguida de <r>. La grafía <r> se transcribe como [R] en el resto de los casos. En posición de coda silábica se contempla únicamente la realización vibrante simple [R] sin posibilidad de variación alofónica.
1 Introducción 2 3 4 5
Plantear una propuesta para mejorar la naturalidad y la expresividad de la realización de las consonantes róticas en posición de coda silábica en el conversor de texto en habla Loquendo TTS. Naturalidad: relacionada con la alternancia entre las diversas realizaciones alofónicas. Expresividad: relacionada con la elección entre la rótica múltiple y la simple. Mostrar las mejoras que puede aportar el conocimiento fonético en el desarrollo de los sistemas de conversión de texto en habla.
Corpus Locutores Grabación Análisis acústico Tratamiento estadístico 1 Introducción 2 3 Corpus Locutores Grabación Análisis acústico Tratamiento estadístico 4 5
Corpus Locutores Grabación Análisis acústico Tratamiento estadístico Variables consideradas en el diseño del corpus Posición en la palabra: interior (róticas en la primera sílaba de la palabra) y en frontera (róticas en posición final de palabra no prepausal). Acentuación: róticas en sílaba tónica y róticas en sílaba átona (pretónica). Contexto fonético posterior a la rótica: Sonoridad: consonantes sordas y sonoras. Modo de articulación: consonantes oclusivas, aproximantes, fricativas, nasales, lateral y africada. Lugar de articulación: consonantes labiales, labiodentales, interdentales, dentales, alveolares, palatales y velares. Rasgos articulatorios: consonantes labiales, coronales y dorsales.
Corpus Locutores Grabación Análisis acústico Tratamiento estadístico Corpus Palabras bisílabas inseridas en una frase marco. Tres palabras para cada contexto de aparición de la rótica. 14 consonantes posteriores x 3 posiciones (interior de palabra en sílaba átona, interior de palabra en sílaba tónica, final de palabra en sílaba tónica) = 42 contextos de aparición. 42 contextos de aparición x 3 palabras por contexto = 126 realizaciones. Habla natural: 5 repeticiones x 126 realizaciones = 630 realizaciones. Habla sintetizada: 1 lectura x 126 realizaciones = 126 realizaciones.
Corpus Locutores Grabación Análisis acústico Tratamiento estadístico Locutores Habla natural PS: mujer, entre 50 y 55 años, con formación universitaria no relacionada con la lingüística, hablante de la variedad madrileña del español peninsular. Habla sintetizada Leonor: voz femenina creada en 2006, español peninsular, Loquendo TTS Director (versión 7.8.1).
Corpus Locutores Grabación Análisis acústico Tratamiento estadístico Grabación Habla natural Presentación mediante KeyNote con una frase por pantalla, más una frase distractora por cada 10 oraciones. Estímulos en orden aletario, sin que la misma frase apareciera en dos ocasiones seguidas. Grabación realizada en el Laboratorio de Fonética del CSIC, en un entorno acústicamente acondicionado. Mesa de mezclas Alesis Multimix 16USB; micrófono inalámbrico AKG C444L; Adobe Audition 1.0. Ficheros sonoros en formato.wav a 44.100 Hz y 16 bits. Habla sintetizada Loquendo TTS Director (versión 7.8.1); ficheros sonoros en formato.wav a 22.050 Hz y 16 bits.
Corpus Locutores Grabación Análisis acústico Tratamiento estadístico Selección de los datos Habla natural Análisis de la tercera repetición de cada enunciado, seleccionada entre las cinco disponibles: 126 casos. Habla sintetizada Análisis de la grabación completa: 126 casos.
Corpus Locutores Grabación Análisis acústico Tratamiento estadístico Análisis acústico Praat (versión 5.1.25) para Mac OS X 10.5. Criterios de segmentación de las róticas Análisis visual de la forma de onda y del espectrograma. Presencia o ausencia de sonoridad determinada a partir de la curva de F0 y del examen de la periodicidad en la forma de onda. Cambios en la curva de intensidad. Presencia de formantes y variación en su frecuencia con respecto a la de las vocales adyacentes.
Corpus Locutores Grabación Análisis acústico Tratamiento estadístico Tipología de realizaciones Realización como rótica simple: Dos componentes: oclusión más un elemento vocálico. Un componente: elemento vocálico. Realización como rótica múltiple: Tres componentes: oclusión, elemento vocálico y oclusión. Cuatro o cinco componentes: oclusiones alternando con elementos vocálicos.
Corpus Locutores Grabación Análisis acústico Tratamiento estadístico Tratamiento estadístico Gestión de los datos en una hoja de cálculo realizada mediante Numbers. Tratamiento estadístico llevado a cabo con la versión 2.10.1 para Mac OS X 10.5 del programa R, utilizando la interfaz R Commander (v. 1.5-4). Relación entre las variables consideradas y la realización de la consonante rótica como simple o como múltiple: prueba de chi cuadrado. Efecto de las variables consideradas en la duración de la consonante rótica: análisis de varianza de un factor (one-way ANOVA).
Tipo de realización y duración Posición en la palabra Acento Contexto fonético posterior 1 Introducción 2 3 4 Tipo de realización y duración Posición en la palabra Acento Contexto fonético posterior 5
Tipo de realización y duración Posición en la palabra Acento Contexto fonético posterior Tipo de realización y número de componentes de la rótica Habla sintetizada: predominio de realizaciones múltiples (tres componentes). Habla natural: Predominio de realizaciones simples (dos componentes). 28 % de realizaciones con un componente en habla natural.
Tipo de realización y duración Posición en la palabra Acento Contexto fonético posterior Duración de la rótica Tipo de realización Habla natural Habla sintetizada simple 51,58 ms 65,76 ms múltiple 74,83 ms 74,55 ms Duraciones más elevadas en habla sintetizada (media: 73,42 ms) que en habla natural (media: 54,89 ms). Sin diferencias estadísticamente significativas entre la duración de las realizaciones simples y la de las múltiples.
Tipo de realización y duración Posición en la palabra Acento Contexto fonético posterior Posición de la rótica en la palabra La posición de la rótica en interior de palabra o en frontera de palabra (no prepausal) no incide en el tipo de realización ni en habla natural ni en habla sintetizada. En frontera de palabra la duración de la rótica es más elevada en habla sintetizada que en habla natural.
Tipo de realización y duración Posición en la palabra Acento Contexto fonético posterior Aparición de la rótica en sílaba tónica o átona El acento no influye en el tipo de realización de la rótica ni en habla natural ni en habla sintetizada. No se encuentran diferencias significativas (p=0.087) en la duración de la rótica en función de su aparición en sílaba tónica o en sílaba átona.
Tipo de realización y duración Posición en la palabra Acento Contexto fonético posterior Sonoridad de la consonante posterior a la rótica Habla sintetizada Predominio de realizaciones simples ante consonante sorda. La sonoridad de la consonante siguiente no afecta a la duración de la rótica. Habla natural Predominio de realizaciones múltiples ante consonante sorda. Mayor duración de la rótica ante consonante sonora que ante consonante sorda (p=0.000).
Tipo de realización y duración Posición en la palabra Acento Contexto fonético posterior Modo de articulación de la consonante posterior a la rótica: tipo de realización Habla sintetizada Predominio de realizaciones múltiples ante consonante africada (100 %), fricativa (97 %) oclusiva (90 %) y aproximante (88 %). Habla natural Predominio de realizaciones simples ante consonante africada (100 %), oclusiva (100 %), lateral (100 %), fricativa (89,7 %) y aproximante (82,8 %). Alternancia de realizaciones casi al 50 % en contexto nasal tanto en habla sintetizada como en habla natural.
Tipo de realización y duración Posición en la palabra Acento Contexto fonético posterior Modo de articulación de la consonante posterior a la rótica: duración El modo de articulación de la consonante posterior influye significativamente en la duración de la rótica, tanto en habla sintetizada (p<0.000) como en habla natural (p=0.0004).
Tipo de realización y duración Posición en la palabra Acento Contexto fonético posterior Modo de articulación de la consonante posterior a la rótica: duración Habla sintetizada: Mayor duración de la rótica ante consonante nasal o lateral. Menor duración de la rótica ante consonante africada. Habla natural: Mayor duración de la rótica ante consonante aproximante. Menor duración de la rótica ante consonante lateral.
Tipo de realización y duración Posición en la palabra Acento Contexto fonético posterior Lugar de articulación de la consonante posterior a la rótica: tipo de realización El lugar de articulación de la consonante posterior influye significativamente en el tipo de realización de la rótica, tanto en habla natural (p=0.035) como en habla sintetizada (p=0.003).
Tipo de realización y duración Posición en la palabra Acento Contexto fonético posterior Lugar de articulación de la consonante posterior a la rótica: tipo de realización Habla sintetizada Siempre realización múltiple ante consonante labiodental, dental y palatal. Porcentaje más elevado de realizaciones simples: ante consonante interdental (66,7 %). Habla natural Siempre realización simple ante consonante labiodental, interdental, dental y palatal. Porcentaje más elevado de realizaciones múltiples: ante consonante alveolar (48,1 %).
Tipo de realización y duración Posición en la palabra Acento Contexto fonético posterior Lugar de articulación de la consonante posterior a la rótica: duración Diferencias significativas en la duración de la rótica en función del lugar de articulación de la consonante siguiente. Habla sintetizada Realizaciones más largas: ante consonante dental. Realizaciones más breves: ante consonante alveolar. Habla natural Realizaciones más largas: ante consonante bilabial. Realizaciones más breves: ante consonante labiodental.
Tipo de realización y duración Posición en la palabra Acento Contexto fonético posterior Rasgos articulatorios de la consonante posterior a la rótica Los rasgos articulatorios de la consonante posterior a la rótica (labial, coronal, dorsal) no inciden ni el el tipo de realización ni en su duración, tanto en habla sintetizada como en habla natural.
Evaluación Naturalidad Expresividad Consideraciones finales 1 Introducción 2 3 4 5 Evaluación Naturalidad Expresividad Consideraciones finales
Evaluación Naturalidad Expresividad Consideraciones finales Diferencias entre el habla sintetizada y la natural en la realización de las consonantes róticas en coda silábica Predominio de realizaciones múltiples (tres componentes) en habla sintetizada y simples (dos componentes) en habla natural. Duraciones más elevadas en habla sintetizada que en habla natural, especialmente en frontera de palabra. Ante consonante sorda, predominio de realizaciones simples en habla sintetizada y de realizaciones múltiples en habla natural. Ausencia de aumento de la duración de la rótica ante consonante sonora en habla sintetizada.
Evaluación Naturalidad Expresividad Consideraciones finales Diferencias entre el habla sintetizada y la natural en la realización de las consonantes róticas en coda silábica Distribución complementaria de las realizaciones simples y múltiples ante consonantes africadas, fricativas, oclusivas y aproximantes. Comportamiento opuesto de la duración ante consonante lateral. Distribución complementaria de las realizaciones simples y múltiples ante consonantes labiodentales, dentales y palatales.
Evaluación Naturalidad Expresividad Consideraciones finales Diferencias entre el habla sintetizada y la natural en la realización de las consonantes róticas en coda silábica En el módulo de transcripción fonética automática se considera un único alófono ([R]) para la posición en coda silábica. Como consecuencia del proceso de selección de unidades en el corpus de síntesis, la consonante rótica en coda silábica presenta diferentes manifestaciones ([r] y [R]). Necesidad de considerar los factores de variación de las características de la consonante rótica atendiendo especialmente a la duración y al tipo de realización.
Evaluación Naturalidad Expresividad Consideraciones finales Duración Propuesta basada en la consideración de los factores que inciden en la duración de la rótica contrastando los valores en habla natural y en habla sintetizada. Reducción de los valores encontrados en la síntesis en función de la posición en la palabra, la sonoridad, el modo de articulación (africada) y el lugar de articulación (dental) de la consonante siguiente. Incremento de la duración en función del modo de articulación de la consonante siguiente (lateral). Mantenimiento de la duración actual ante consonante labial.
Evaluación Naturalidad Expresividad Consideraciones finales Duración
Evaluación Naturalidad Expresividad Consideraciones finales Tipo de realización Propuesta basada en la consideración de los factores que inciden en el tipo de realización de la rótica contrastando los valores en habla natural y en habla sintetizada. Reducción del número de elementos en función del lugar de articulación (dental, interdental, alveolar y palatal) y del modo de articulación (africada) de la consonante siguiente. Alternancia de realizaciones simples y múltiples con predominio de las simples. Mantenimiento de la realización actual ante consonante lateral y nasal.
Evaluación Naturalidad Expresividad Consideraciones finales Tipo de realización
Evaluación Naturalidad Expresividad Consideraciones finales Expresividad Aumento o disminución del número de realizaciones simples o múltiples en función del estilo de habla. La observación de las diferencias entre las cinco repeticiones de la lectura del corpus en habla natural sugiere la posibilidad de incrementar el número de elementos de la rótica en enunciados que requieren una realización enfática o que pretenden reproducir un cierto grado de estrés.
Evaluación Naturalidad Expresividad Consideraciones finales Consideraciones finales La transcripción fonética automática como [R] de la consonante rótica en posición de coda silábica no refleja la variabilidad de sus diferentes manifestaciones fonéticas en español. Si en la selección de unidades a partir de la transcripción no se se realiza un control de los factores contextuales que inciden en la realización de la rótica se obtienen resultados que pueden diferir de los observados en habla natural.
Evaluación Naturalidad Expresividad Consideraciones finales Consideraciones finales El conocimiento fonético que resulta del análisis del habla natural puede incorporarse a la conversión de texto en habla en términos de una mayor riqueza alofónica en la transcripción o en forma de restricciones en la selección de unidades. Futuras líneas de investigación: Necesidad de considerar una muestra más amplia de habla natural en lo que se refiere al número de locutores. Análisis de Jorge (voz masculina creada por Loquendo para el español peninsular) y comparación con Leonor para observar el efecto del corpus de síntesis en la realización de las consonantes róticas.
Evaluación Naturalidad Expresividad Consideraciones finales Referencias Blecua, B. (2001). Las vibrantes del español: Manifestaciones acústicas y procesos fonéticos. Tesis doctoral. Universitat Autònoma de Barcelona. Blecua, B. (2005). Variación acústica de la vibrante en posición implosiva. In Filología y lingüística. Estudios ofrecidos a Antonio Quilis. (pp. 97-112). Madrid: CSIC - UNED - Universidad de Valladolid.
Evaluación Naturalidad Expresividad Consideraciones finales Referencias Bonaventura, P., Giuliani, F., Garrido, J. M., & Ortín, I. (1998). Grapheme-to-phoneme transcription rules for Spanish, with application to automatic speech recognition and synthesis. In CVIR 98. Workshop on content visualization and intermedia representations (COLING-ACL 98). (pp. 33-9). Montreal, Quebec, Canada. Zovato, E., Salza, P. L., & Quazza, S. (2006). La valutazione diagnostica come ausilio per lo sviluppo dei sistemi di sintesi vocale. In AISV 2006. Scienze vocali e del linguaggio. Metodologie di valutazione e risorse linguistiche. (pp. 243-50). Torriana: EDK Editore.
Evaluación Naturalidad Expresividad Consideraciones finales http://liceu.uab.cat/ ~joaquim/speech_ technology/clg_10/clg_ 10.html