El estudio del habla para las aplicaciones tecnológicas

Transcripción

1 I Congreso Internacional de Filología Hispánica Jóvenes Investigadores Orientaciones metodológicas Universidad de Oviedo, 8 de mayo de 2006 El estudio del habla para las aplicaciones tecnológicas Grup de Fonètica - Departament de Filologia Espanyola Universitat Autònoma de Barcelona Joaquim.Llisterri@uab.cat El estudio del habla para las aplicaciones tecnológicas El desarrollo histórico de dos disciplinas La incorporación de conocimientos Reflexiones finales El estudio del habla para las aplicaciones tecnológicas El desarrollo histórico de dos disciplinas La incorporación de conocimientos Reflexiones finales El desarrollo histórico de dos disciplinas La fonética experimental Las tecnologías del habla

2 El desarrollo histórico de dos disciplinas La fonética experimental Las tecnologías del habla La fonética experimental La herramienta: el quimógrafo El método: el método experimental La aplicación a la filología: Rousselot El desarrollo del instrumental La consolidación de una metodología de trabajo en fonética experimental La fonética experimental La herramienta: el quimógrafo El método: el método experimental La aplicación a la filología: Rousselot El desarrollo del instrumental La consolidación de una metodología de trabajo en fonética experimental La herramienta El método gráfico 1734: mecanismo diseñado por un metereólogo francés para inscribir, en un cilindro giratorio recubierto de papel y accionado por un mecanismo de relojería, las variaciones de velocidad del viento recogidas por un anemómetro 1875: Marey consolida la utilización del método gráfico en fisiología

3 La herramienta El método gráfico La herramienta El quimógrafo 1885: Karl Ludwig utiliza el método gráfico para registrar los movimientos respiratorios 1875: Rosapelly estudia los movimientos de los labios, de la lengua, las variaciones de presión del aire en el tracto vocal, y las vibraciones de la laringe mediante el método gráfico Institut de Phonétique de Strasbourg La herramienta El quimógrafo La fonética experimental Marcel Hervieu, La machine à rectifier la prononciation- L ABC de la langue française, et/dossiers/dossiers.php?id_ dossier=37 La herramienta: el quimógrafo El método: el método experimental La aplicación a la filología: Rousselot El desarrollo del instrumental La consolidación de una metodología de trabajo en fonética experimental

4 La metodología Claude Bernard 1865: Introduction à l'étude de la médecine expérimentale Experimentación: proceso en el cual el investigador varía de forma controlada y premeditada los fenómenos que observa La metodología Claude Bernard Las observaciones deben tener una explicación, que también se somete a nuevos experimentos hasta que se encuentra la causa del fenómeno Los experimentos no se realizan al azar, sino partiendo de una hipótesis de modo que todo el proceso experimental esté guiado por un objetivo La fonética experimental La herramienta: el quimógrafo El método: el método experimental La aplicación a la filología: Rousselot El desarrollo del instrumental La consolidación de una metodología de trabajo en fonética experimental La aplicación a la filología L Abbé Rousselot ( ) Phonetic Portrait Gallery - Olle Engstrand

5 La aplicación a la filología La obra de Rousselot El método gráfico permite superar "l'imperfection de l'oreille pour préciser les faits que sont du domaine de la philologie" ROUSSELOT, P.J. (1892) Les modifications phonétiques du langage étudiées dans le patois d'une famille de Cellefrouin, Paris, H. Welter. La aplicación a la filología La obra de Rousselot 1897: Fundación del primer laboratorio de fonética experimental de la historia por el Abbé Rousselot en el Collège de France 1924: ROUSSELOT, P.J. (1924) Principes de phonétique expérimentale, Nouvelle édition revue et corrigée, Paris, H. Didier, 2 vols. La fonética experimental El desarrollo del instrumental - El espectrógrafo Sona-Graph 6061A, Kay Elemetrics La herramienta: el quimógrafo El método: el método experimental La aplicación a la filología: Rousselot El desarrollo del instrumental La consolidación de una metodología de trabajo en fonética experimental

6 El desarrollo del instrumental - El espectrógrafo DSP Sona-Graph 5500, Kay Elemetrics El desarrollo del instrumental - El espectrógrafo CSL 4500, Kay Elemetrics El desarrollo del instrumental Programas de dominio público Laringógrafo Laryngograph Praat WaveSurfer

7 Cineradiología C. Ericsdotter Articulografía electromagnética AG500 Carstens Medizinelektronik Paladar artificial UCLA Phonetics Lab Electropalatografía en 3D facilities/physiology/epg.html

8 La fonética experimental La herramienta: el quimógrafo El método: el método experimental La aplicación a la filología: Rousselot El desarrollo del instrumental La consolidación de una metodología de trabajo en fonética experimental La consolidación de una metodología El método experimental en fonética Teoría Hipótesis Informantes o sujetos del experimento Estudio experimental Selección de los datos Acotación del campo de trabajo Corpus de trabajo Análisis articulatorio, acústico o perceptivo de los datos mediante técnicas instrumentales Cuantificación de los datos y tratamiento estadístico Análisis de los resultados y conclusiones del experimento La consolidación de una metodología Caracterización de los estudios experimentales Estudios descriptivos Estudios orientados a la obtención de datos en relación con un modelo de producción o de percepción Estudios orientados a ámbitos de aplicación de la fonética La consolidación de una metodología Caracterización de los estudios experimentales Acotación precisa del fenómeno Control de las variables Corpus diseñado ad-hoc Corpus leído o semi-espontáneo Número de hablantes relativamente reducido

9 El desarrollo histórico de dos disciplinas Las tecnologías del habla La fonética experimental Las tecnologías del habla Desarrollo histórico de las tecnologías del habla Las etapas Las líneas de investigación y los resultados alcanzados Las tecnologías del habla Desarrollo histórico de las tecnologías del habla Desarrollo histórico de las tecnologías del habla Las etapas Las líneas de investigación y los resultados alcanzados Surgidas en un principio del ámbito de la ingeniería de telecomunicaciones Desarrolladas siguiendo la evolución de la informática Los principales grupos de investigación provienen del campo de la ingeniería de telecomunicaciones o de la informática

10 Las tecnologías del habla Desarrollo histórico de las tecnologías del habla Las etapas Las líneas de investigación y los resultados alcanzados FANT, C.G. (2005) "Speech Technology and Research: Retrospect and Prospect", in EUROSPEECH INTERSPEECH Proceedings of the 9th European Conference on Speech Communication and Technology. 4-8 September, Lisbon, Portugal c.mit.edu/Pages/Papers/Fant_Interspeech2005.html Época de la electrónica La etapa de los pioneros Conocimientos básicos y desarrollo de tecnologías Métodos estadísticos y grandes bases de datos Las tecnologías del habla Desarrollo histórico de las tecnologías del habla Las etapas Las líneas de investigación y los resultados alcanzados FANT, C.G. (2004) "Speech research in a historical perspective", in From Sound to Sense: 50+ Years of Discoveries in Speech Communication. Massachusetts Institute of Technology, Cambridge, MA., June nt%20paper.pdf Fonética acústica y rasgos distintivos Codificación y compresión del habla Inicios de la síntesis del habla

11 Pattern Playback Haskins Laboratories JAKOBSON, R.- FANT, C.G.- HALLE, M. (1952) Preliminaries to Speech Analysis. The Distinctive Features and Their Correlates. Cambridge, Mass: The MIT Press. Sistema analógico de reproducción de espectrogramas estilizados Roman Jakobson ( ) Gunnar Fant (1919-) Morris Halle (1923-) Holmes, Mattingly & Shearme (1964) FANT, C.G. (2004) "Speech research in a historical perspective", in From Sound to Sense: 50+ Years of Discoveries in Speech Communication. Massachusetts Institute of Technology, Cambridge, MA., June nt%20paper.pdf psl/smus/smus.html Sistema de síntesis por reglas desarrollado en la Joint Speech Research Unit (JSRU) por Holmes, Mattingly & Shearme [Klatt, 1987 (17)] Tratamiento digital del habla Conversión de texto en habla Reconocimiento del habla

12 MITalk Allen, Hunnicut & Klatt (1979) Desarrollado a partir de los trabajos de Allen (1976, 1985) en el MIT, basado en el sintetizador por formantes de Klatt [Klatt, 1987 (30)] FANT, C.G. (2004) "Speech research in a historical perspective", in From Sound to Sense: 50+ Years of Discoveries in Speech Communication. Massachusetts Institute of Technology, Cambridge, MA., June nt%20paper.pdf Modelos de Markov y redes neuronales Conversión de texto en habla Reconocimiento del habla Modelos articulatorios FANT, C.G. (2004) "Speech research in a historical perspective", in From Sound to Sense: 50+ Years of Discoveries in Speech Communication. Massachusetts Institute of Technology, Cambridge, MA., June nt%20paper.pdf Locutor virtual, Enginyeria La Salle Grandes bases de datos Traducción automática del habla Síntesis multimodal Modelos prosódicos Secció de Teoria del Senyal, Enginyeria La Salle, Universitat Ramon Llull

13 Actor, Loquendo El estudio del habla para las aplicaciones tecnológicas Cat, f Es, m, f EsMx, f EsCh, f El desarrollo histórico de dos disciplinas La incorporación de conocimientos Reflexiones finales EsAr, m La incorporación de conocimientos La tensión entre conocimiento lingüístico y desarrollo de aplicaciones Un ejemplo: el desarrollo de un módulo prosódico para un conversor de texto en habla La incorporación de conocimientos La tensión entre conocimiento lingüístico y desarrollo de aplicaciones Un ejemplo: el desarrollo de un módulo prosódico para un conversor de texto en habla

14 La incorporación de conocimientos En sus inicios las tecnologías del habla pretendían incorporar conocimiento fonético La incorporación de conocimientos sin embargo, in the last decades we have witnessed a decrease in the amount of phonetic knowldege used in ASR and TTS STRIK, H. (2005) "Is phonetic knowledge of any use for speech technology?", in BARRY, W.J.- van DOMMELEN, W.A. (Eds.) The Integration of Phonetic Knowledge in Speech Technology. Dordrecht: Springer (Text, Speech and Language Technology, 25). pp La incorporación de conocimientos sin embargo, the linguistic approach soon lost terrain, in recognition applications at least, to (nonlinguistically oriented) engineers who were less concerned with formal linguistic insights, treating the signal as a pattern just like any other, and this with outstanding success BARRY, W.J.- van DOMMELEN, W.- KOREMAN, J. (2005) "Phonetic knowledge in speech technology - and phonetic knowledge from speech technology?", in BARRY, W.J.- van DOMMELEN, W.A. (Eds.) The Integration of Phonetic Knowledge in Speech Technology. Dordrecht: Springer (Text, Speech and Language Technology, 25). p La incorporación de conocimientos phonetics does not provide readymade quantitative models that can be plugged directly into a system STRIK, H. (2005) "Is phonetic knowledge of any use for speech technology?", in BARRY, W.J.- van DOMMELEN, W.A. (Eds.) The Integration of Phonetic Knowledge in Speech Technology. Dordrecht: Springer (Text, Speech and Language Technology, 25). pp

15 La incorporación de conocimientos Hacerse una idea de un fenómeno Obtener datos cuantitativos sobre el fenómeno Presentar los datos en un formato que permita incorporarlos a una aplicación BARRY, W.J.- van DOMMELEN, W.- KOREMAN, J. (2005) "Phonetic knowledge in speech technology - and phonetic knowledge from speech technology?", in BARRY, W.J.- van DOMMELEN, W.A. (Eds.) The Integration of Phonetic Knowledge in Speech Technology. Dordrecht: Springer (Text, Speech and Language Technology, 25). p La incorporación de conocimientos La información fonética sobre un determinado fenómeno no es lo suficientemente detallada no está cuantificada no se expresa con el formalismo adecuado para un entorno computacional La incorporación de conocimientos Datos de laboratorio Obtenidos mediante un diseño experimental en que se establece un control de las variables A menudo, en condiciones muy distintas de aquellas en las que se emplean las tecnologías del habla La incorporación de conocimientos Acceso a grandes corpus realistas The greater access phonetically trained researchers have to the databases and tools used in mainline techology applications, the more likely is that quantitative answers to phonetic questions can be presented in a way which can be useful for speech technology applications BARRY, W.J.- van DOMMELEN, W.- KOREMAN, J. (2005) "Phonetic knowledge in speech technology - and phonetic knowledge from speech technology?", in BARRY, W.J.- van DOMMELEN, W.A. (Eds.) The Integration of Phonetic Knowledge in Speech Technology. Dordrecht: Springer (Text, Speech and Language Technology, 25). p

16 La incorporación de conocimientos Acceso a corpus ELDA (Evaluation and Language resources Distribution Agency) y LDC (Linguistic Data Consortium) Proyectos con financiación pública Proyectos empresariales con financiación privada La incorporación de conocimientos Proyectos en colaboración entre especialistas en fonética y equipos que desarrollan tecnologías del habla Diseño de corpus considerado desde el punto de vista fonético y desde las necesidades de la aplicación La incorporación de conocimientos Las líneas de investigación the phonetics community has not focused on questions most relevant for speech technology while the speech technology community has not developed algorithms and data structures that are optimally receptive for the incorporation of phonetic knowledge La incorporación de conocimientos La tensión entre conocimiento lingüístico y desarrollo de aplicaciones Un ejemplo: el desarrollo de un módulo prosódico para un conversor de texto en habla SANTEN, J.P.H. van (2005) "Phonetic knowledge in text-to-speech synthesis", in BARRY, W.J.- van DOMMELEN, W.A. (Eds.) The Integration of Phonetic Knowledge in Speech Technology. Dordrecht: Springer (Text, Speech and Language Technology, 25). pp. 149.

17 La incorporación de conocimientos Un ejemplo: diseño de un módulo prosódico para el tratamiento de las interrogativas en el sistema de conversión de texto en habla Actor (Loquendo) GARRIDO, J. M.- ORTÍN, I.- QUAZZA, S.- SALZA, P. L.- MANCINI, F. (2000) "Desarrollo de un módulo de asignación de parámetros prosódicos para la versión en español del sistema de conversión texto-habla ACTOR ", -alminana.pdf Modelo entonativo del conversor de texto en habla Actor (Loquendo) en español En Actor, las unidades de síntesis son fragmentos largos de señal extraída del contexto prosódico apropiado en el corpus de síntesis La F 0 de la señal original se mantiene inalterada Adecuado para prosodia enunciativa neutra representada en la base de datos acústica Necesidad de un módulo de cálculo de F 0 para los enunciados interrogativos Modelo entonativo del conversor de texto en habla Actor (Loquendo) en español Constitución de un corpus de oraciones interrogativas Lectura por parte del mismo locutor utilizado en el corpus de síntesis Análisis en función de un modelo prosódico adecuado para la síntesis Modelo entonativo del conversor de texto en habla Actor (Loquendo) en español Estilización de la curva melódica Definición de cuatro niveles tonales P (pico) V (valle) M (medio) P+ (nivel por encima de un pico)

18 Estilización de la curva melódica Curva melódica del enunciado Conoces el contenido del artículo de la Constitución? en la que aparecen los puntos de inflexión considerados durante el análisis Asignación de niveles tonales M P+ V P Curva melódica del segmento Sabes cuando pasan perteneciente al enunciado ' Sabes cuándo pasan a recoger los muebles viejos este mes?' en la que aparecen representados los puntos M, P+, V y P M P+ V P

19 Modelo entonativo del conversor de texto en habla Actor (Loquendo) en español Estructura jerárquica de los patrones melódicos Patrones locales En el ámbito del grupo acentual Patrones globales En el ámbito del grupo entonativo En el ámbito de la oración Modelo entonativo del conversor de texto en habla Actor (Loquendo) en español Segmentación prosódica en Grupo acentual Sílaba tónica + sílabas átonas Grupo tónico Palabra tónica + átonas que la preceden Marcado con etiquetas categoriales para la asignación de pausas Grupo entonativo Suele coincidir con el grupo fónico o con límites sintácticos Patrones locales Curva melódica del enunciado Conoces el contenido del artículo de la Constitución? en el que aparecen estilizados el patrón inicial (1), dos intermedios (2,3) y el patrón final (4)

20 Patrones globales Curva melódica del enunciado El acto de la firma transcurrió tal y como habían pactado ambas delegaciones la víspera, pronunciada por un locutor masculino. Las líneas rectas representan las líneas de referencia correspondientes a los puntos P (superior) y V (inferior) de la curva melódica Grupos entonativos Curva melódica correspondiente al enunciado El acto de la firma transcurrió tal y como habían pactado ambas delegaciones la víspera pronunciado por un locutor femenino. Sobre cada grupo entonativo se han dibujado las líneas de referencia correspondientes

21 Evaluación del modelo Evaluación del modelo 24 pares formados por estímulo natural - estímulo sintetizado 10 jueces expertos y 20 no expertos Evaluación del grado de semejanza entre la curva melódica natural y la sintetizada en una escala del 1 al 4 El estudio del habla para las aplicaciones tecnológicas El desarrollo histórico de dos disciplinas La incorporación de conocimientos Reflexiones finales Reflexiones finales El método de trabajo propio de la fonética experimental permite obtener resultados útiles para el desarrollo de las tecnologías del habla Corpus adecuado a la aplicación Modelo adecuado para una implementación

22 Reflexiones finales Orientación hacia las posibilidades de aplicación Flexibilidad en lo que respecta a modelos y teorías Mínimo conocimiento del entorno tecnológico El estudio del habla para las aplicaciones tecnológicas El desarrollo histórico de dos disciplinas La incorporación de conocimientos Reflexiones finales El estudio del habla para las aplicaciones tecnológicas /~joaquim/speech_te chnology/oviedo_06/ Fonetica_TecnolHabl a_oviedo_06.pdf