~joaquim/teaching/ speech_technology/ UAM_03/UAM_03.html

Transcripción

1 Las aplicaciones de la fonética Departamento de Filología Española, Universidad Autónoma de Madrid Madrid, 24 de abril de 2003 Las tecnologías del habla Las aplicaciones de la fonética Universidad Autónoma de Madrid, 24 de abril de 2003 Àrea de Lingüí üística General Departament de Filologia Espanyola Universitat Autònoma de Barcelona Las aplicaciones de la fonética Departamento de Filología Española, Universidad Autónoma de Madrid Madrid, 24 de abril de 2003 Las tecnologías del habla Las aplicaciones de la fonética Universidad Autónoma de Madrid, 24 de abril de ~joaquim/teaching/ speech_technology/ UAM_03/UAM_03.html

2 Las tecnologías del habla Las tecnologías del habla La conversión de texto en habla El reconocimiento del habla Los sistemas de diálogo Las tecnologías del habla Las tecnologías del habla La conversión de texto en habla El reconocimiento del habla Los sistemas de diálogo

3 La interacción con los ordenadores Pantalla Teclado Ratón Lápiz Tacto Canal visual Lengua escrita La interacción humana Hace unos años que escribimos pero hace unos años que hablamos ( años según los autores)

4 Las nuevas necesidades Desarrollo de la Sociedad de la Información para todos Automatización de servicios telefónicos: información, transacciones Qué quisiéramos tener? Un ordenador que Habla Reconoce El habla El usuario Entiende Ayuda al usuario Traduce La lengua escrita La lengua oral

5 LingWear - Interactive System Labs Qué tecnologías necesitamos? Un ordenador que Habla Reconoce El habla El usuario Entiende Síntesis (CTH) Reconocimiento Identificación Comprensión

6 Qué tecnologías necesitamos? Un ordenador que Ayuda Traduce El escrito TA El habla TA oral Sistema de diálogo Tecnologías del habla Salida vocal Síntesis del habla Entrada vocal Reconocimiento del habla Interacción vocal Sistemas de diálogo

7 Tecnologías del habla The domain of speech technology is the development of automatic systems to allow human users and computers to interact directly through the medium of speech New Horizons in European Speech technology, Report of the ESPRIT Workshop on Speech Technology, Aarhus, Denmark, May Las tecnologías del habla Las tecnologías del habla La conversión de texto en habla El reconocimiento del habla Los sistemas de diálogo

8 La conversión de texto en habla Del texto al habla GTP-UPC Esquema general de un conversor de texto en habla Pre-procesado y normalización Análisis lingüístico Asignación de prosodia Transcripción fonética Selección de unidades Conversión en parámetros acústicos

9 Un ejemplo en español CASTEJÓN LAPEYRA, F.- ESCALADA SARDINA, G.- MONZÓN SERRANO, L.- RODRÍGUEZ CRESPO, M.A.- SANZ VELASCO, P. (1994) "Un conversor texto-voz para el español", Comunicaciones de Telefónica I+D, 5, 2: /comsid/esp/articulos/vol52/artic8/8.html Las etapas en la conversión de texto en habla Procesamiento previo del texto Transcripción fonética automática Análisis lingüístico Asignación de elementos prosódicos Conversión en parámetros acústicos

10 Módulo normalizador Telefónica I+D (Castejón et al., 1994) Texto: El Sr. José Luis López L tiene 201 viñas. NORMALIZADOR Frase normalizada: el Sr. josé luis lópez l tiene 201 viñas. Formato: mm abr Mm Mm Mm mm mm mm sig Códigos: mm: palabra en minúscula, Mm: palabra con inicial mayúscula, abr: abreviatura, sig: signo ortográfico Módulo de preproceso Telefónica I+D (Castejón et al., 1994) Frase normalizada: el Sr. josé luis lópez tiene 201 viñas. Formato: mm abr Mm Mm Mm mm mm mm sig PREPROCESO Palabras: el se#or jos e e luis l opez l tiene doscientas una vi#as. Palab_silab: el se. #or jo. s e s e luis l o. l pez ti e.ne dos. ci en. tas u. na v i. #as.

11 Las etapas en la conversión de texto en habla Procesamiento previo del texto Transcripción fonética automática Análisis lingüístico Asignación de elementos prosódicos Conversión en parámetros acústicos Módulo conversor grafema-alófono Telefónica I+D (Castejón et al., 1994) Palab_silab: el se. #or jo. s e luis l o. pez ti e.ne dos. ci en. tas u. na v i. #as. CONVERSOR GRAFEMA-ALÓFONO FONO Alófonos: el se. N~or xo. s e e luis l o. pet [sil] tj e.ne Dos. Tj en. tas u. na B i. N~as [sil]

12 Las etapas en la conversión de texto en habla Procesamiento previo del texto Transcripción fonética automática Análisis lingüístico Asignación de elementos prosódicos Conversión en parámetros acústicos Módulo categorizador Telefónica I+D (Castejón et al., 1994) Palabras: el se#or jos e luis l opez tiene doscientas una vi#as. Palab_silab: el se. #or jo. s e luis l o. pez ti e.ne dos. ci en. tas u. na v i. #as. CATEGORIZADOR Categorías: as: ART N NP NP NP V NUM NUM N SIG Códigos: ART: artículo, N: nombre, NP: nombre propio, V: verbo, NUM: número, SIG: signo ortográfico

13 Módulo de análisis sintáctico Telefónica I+D (Castejón et al., 1994) Palabras: el se#or jos e luis l opez tiene doscientas una vi#as. Categorías: ART N NP NP NP V NUM NUM N SIG ESTRUCTURADOR Árbol sintáctico Las etapas en la conversión de texto en habla Procesamiento previo del texto Transcripción fonética automática Análisis lingüístico Asignación de elementos prosódicos Conversión en parámetros acústicos

14 Asignación de elementos prosódicos Asignación de duración segmental Asignación de intensidad segmental Asignación de pausas Asignación de curva melódica Asignación de elementos prosódicos Asignación de duración segmental Asignación de intensidad segmental Asignación de pausas Asignación de curva melódica

15 Asignación de elementos prosódicos Asignación de duración segmental Asignación de intensidad segmental Asignación de pausas Asignación de curva melódica La contribución de las pausas Texto sintetizado con pausas Texto sintetizado sin pausas

16 Módulo pausador Telefónica I+D (Castejón et al., 1994) Palabras: el se#or jos e luis l opez tiene doscientas una vi#as. Categorías: ART N NP NP NP V NUM NUM N SIG PAUSADOR Palabras: el se#or jos e e luis l opez l [pau_v] tiene doscientas una vi#as. Palab_silab: el se. #or jo. s e s e luis l o. l pez [pau_v] ti e.ne dos. ci en. tas u. na v i. v #as. Códigos: [pau_v]: pausa insertada ante el verbo Asignación de elementos prosódicos Asignación de duración segmental Asignación de intensidad segmental Asignación de pausas Asignación de curva melódica

17 La contribución de la curva melódica Texto sintetizado con variaciones de F 0 Texto sintetizado sin variación de F 0 Módulo de generación de parámetros prosódicos Telefónica I+D (Castejón et al., 1994) Alófonos: el se. N~or xo. s e luis l o. pet [sil] tj e.ne Dos. Tj en. tas u. na B i. N~as [sil] Categorías: ART N NP NP NP V NUM NUM N SIG Alófonos: el se. N~or xo. s e luis l o. pet [sil] tj e.ne Dos. Tj en. tas PROSO Duraciones (ms): Entonación n (Hz):

18 Las etapas en la conversión de texto en habla Procesamiento previo del texto Transcripción fonética automática Análisis lingüístico Asignación de elementos prosódicos Conversión en parámetros acústicos Módulos de conversión en parámetros acústicos para la conversión de texto a habla Telefónica I+D (Castejón et al., 1994) Alófonos: el se. N~or xo. s e luis l o. pet [sil] tj e.ne Dos. Tj en. tas u. na B i. N~as [sil] Duraciones (ms): Entonación (Hz): PARLA Selección n de unidades de síntesis s en el inventario Generación n de tramas de síntesiss SÍNTESIS Conversión n en una onda sonora mediante el sintetizador

19 Telefónica I+D, Madrid Sistema de síntesis por concatenación de subalófonos, difonemas, trifonemas y tetrafonemas codificados mediante LPC multipulso (MPLPC), basado en tecnología desarrollada en AT&T Bell Laboratories Primera versión en 1991 Rodríguez et al. (1993) v. 2.6 voz masculina y femenina

20 Telefónica I+D, Madrid Sistema de conversión de texto en habla basado en corpus Voz femenina, castellano (marzo de 2003) Voz femenina, catalán (marzo de 2003) Actor 5, Loquendo Es, m, f Cat, f EsMx, f EsCh, f EsAr, m

21 AT&T Labs Research Engl, m Engl, f Engl, ch AT&T Labs Natural Voices EspMx, f EspMx, f

22 AT&T Labs Natural Voices EspMx, f EspMx, f BaBel Technologies Eng, m Eng, f Es, m

23 Bell Labs - Lucent Technologies Eng, m Eng, f Es, m EsMx, m Elan Informatique Eng, m Eng, f Es, m

24 ETI Eloquence, SpeechWorks Eng Es,m EsMx, m Infovox, BaBel Technologies AmEng, m BrEng, m Es, m

25 RealSpeak, ScanSoft Eng, f Es, f Las tecnologías del habla Las tecnologías del habla La conversión de texto en habla El reconocimiento del habla Los sistemas de diálogo

26 El reconocimiento del habla Del habla al texto El reconocimiento del habla Representación simbólica de una señal vocal Tipo de enunciados Número de locutores Tamaño del vocabulario Entorno

27 Etapas en el reconocimiento ADQUISICIÓN DE DATOS EXTRACCIÓN DE CARACTERÍSTICAS CREACIÓN DE PLANTILLAS DE REFERENCIA PROCEDIMIENTO DE DECISIÓN Reconocimiento de palabras aisladas DIGITALIZACION DE LA SEÑAL DETECCIÓN DE PRINCIPIO Y FINAL DE PALABRA DICCIONARIO DE PLANTILLAS DE REFERENCIA COMPARACIÓN CODIFICACIÓN EN FORMA DE PLANTILLA MEDIDA DE LA DISTANCIA ENTE LA PLANTILLA DE REFERENCIA Y LA PLANTILLA DE ENTRADA DECISIÓN SOBRE EL RECONOCIMIENTO

28 Modelo de reconocimiento de habla continua voz texto Mariño (1993) ENTRENAMIENTO algoritmo de entrenamiento COMPILACIÓN DE MODELOS LÉXICOS base de datos de modelos fonéticos generador de modelos léxicos diccionario fonético RECONOCIMIENTO habla procesador acústico base de datos de modelos léxicos algoritmo de reconocimiento gramática secuencia de unidades Mariño, 1999 Hz Reglas fonológicas Modelos fonéticos Diccionario y gramática Modelo de la tarea elocución Procesador acústico Algoritmo de reconocimiento Algoritmo de comprensión significado

29 Mariño, 1999 Modelo de Markov Reglas fonológicas Modelos fonéticos Fonema k-1 Fonema k Fonema k+1 Diccionario y gramática Modelo de la tarea Procesador acústico Algoritmo de reconocimiento Algoritmo de comprensión Mariño, 1999 Reglas fonológicas Modelos fonéticos Bigrama Pr{la puerta no estaba abierta} = Pr{la} Pr{puerta/la} Pr{no/la puerta} Pr{estaba/la puerta no} Pr{abierta/la puerta no estaba} = Pr{la} Pr{puerta/la} Pr{no/la puerta} Pr{estaba/puerta no} Pr{abierta/no estaba} Diccionario y gramática Modelo de la tarea Procesador acústico Algoritmo de reconocimiento Algoritmo de comprensión

30 Mariño, 1999 BASE DE DATOS voz texto ENTRENA- MIENTO Procesador acústico Modelado fonético Modelado de lenguaje Reglas fonológicas Modelos fonéticos Diccionario y gramática Modelo de la tarea elocución Procesador acústico Algoritmo de reconocimiento Algoritmo de comprensión significado Dictado automático ScanSoft Dragon Naturally Speaking palabras Vocabulario legal Vocabulario médico Vocabulario de la seguridad Versión en español

31 Dictado automático IBM Via Voice palabras de vocabulario básico palabras de vocabulario de respaldo Vocabulario legal Vocabulario médico Versión en español Corrección fonética en lengua extranjera Talk to Me Auralog Puntuación

32 Corrección fonética en lengua extranjera Texto Onda sonora Corrección fonética en lengua extranjera Integración en la web WebGrader (SRI International) Práctica interactiva con frases Puntuación para cada palabra y para toda la frase

33 Módulos de un sistema de diálogo Un sistema de diálogo es un conjunto de módulosm Reconocimiento de habla Analizador Base de datos Generador de unidades lingüísticas Síntesis del habla

34 Módulos de un sistema de diálogo Módulo principal que lleva a cabo el control del diálogo coherencia entre la pregunta del usuario y el sistema resolución de anáforas y elipsis generación de respuestas predicción de las reacciones del usuario... Acceso al ordenador mediante el teléfono Portales de voz

35 Portal de voz Grabación previa Selección por voz Información solicitada Restaurantes de Ávila Restaurantes Portal de voz Restaurantes de Ávila Madrid Salamanca Cuenca

36 Portal de voz Sistema automático Selección por voz Información solicitada Existe una farmacia Farmacias de guardia Portal de voz ocho He encontrado nueve diez Mensajes pregrabados para insertar palabras procedentes de una lista Existe una farmacia de guardia Conversión de texto escrito en habla

37 Portal de voz Selección por voz Farmacias de guardia Restaurantes Reconocimiento del habla Palabras aisladas WAXHOLM, Dept. of Speech, Music and Hearing, KTH Información de tráfico marítimo en el archipiélago de Estocolmo Entrada mediante reconocimiento del habla Información proporcionada mediante síntesis del habla complementada por síntesis visual y un interfaz gráfico

38 AdApt, Department of Speech, Music and Hearing, KTH Teleface, Dept. of Speech, Music and Hearing, KTH

39 Traducción automática del habla sí el viernes diecinueve puedo sí porque sabes me voy de viaje d hoy la verdad así es que este mes es muy viajero me voy el día seis de viaje y estoy hasta el doce así que el día diecinueve me viene muy bien francamente... yes yes on friday nineteen can yes because know I go me of trip D today the truth such is that this month is very traveler I go me the day six of trip and I am until the twelve as soon as the day nineteen comes me very well outspokenly Traducción automática del habla (spoken language translation) Reconocimiento del habla Gestión del diálogo Traducción automática de textos Conversión de texto en habla

40 Verbmobil LingWear

41 Las tecnologías del habla Las tecnologías del habla La conversión de texto en habla El reconocimiento del habla Los sistemas de diálogo Las aplicaciones de la fonética Departamento de Filología Española, Universidad Autónoma de Madrid Madrid, 24 de abril de 2003 Las tecnologías del habla Las aplicaciones de la fonética Universidad Autónoma de Madrid, 24 de abril de ~joaquim/teaching/ speech_technology/ UAM_03/UAM_03.html

42 Las aplicaciones de la fonética Departamento de Filología Española, Universidad Autónoma de Madrid Madrid, 24 de abril de 2003 Las tecnologías del habla Las aplicaciones de la fonética Universidad Autónoma de Madrid, 24 de abril de 2003 Àrea de Lingüí üística General Departament de Filologia Espanyola Universitat Autònoma de Barcelona