La interacción entre personas y ordenadores La interacción entre personas mediatizada por un ordenador

Transcripción

1 XXVII Encuentro Nacional de Docentes e Investigadores de la Lingüística Universidad de los Andes, Mérida 11 de junio de 2008 Las tecnologías del habla y sus aplicaciones Grup de Fonètica, Departament de Filologia Espanyola, Universitat Autònoma de Barcelona Joaquim.Llisterri@uab.cat XXVII Encuentro Nacional de Docentes e Investigadores de la Lingüística Universidad de los Andes, Mérida 11 de junio de 2008 Materiales en Internet ~joaquim/ speech_technology/ ENDIL_08/ENDIL_08.html Las tecnologías del habla y sus aplicaciones La interacción entre personas y La interacción entre personas mediatizada por un ordenador Las tecnologías del habla: presente y futuro La interacción entre personas y La interacción entre personas mediatizada por un ordenador

2 La interacción entre personas y La interacción oral entre personas y La conversión de texto en habla El reconocimiento del habla Los sistemas de diálogo La interacción entre personas y La interacción oral entre personas y La conversión de texto en habla El reconocimiento del habla Los sistemas de diálogo La interacción entre personas y La interacción entre personas y HCI, Human - Computer Interaction Pantalla Teclado Ratón Lápiz Tacto Canal visual Lengua escrita

3 La interacción entre personas Hace unos años que escribimos pero hace unos años que hablamos ( años según los autores) Las nuevas necesidades Desarrollo de la Sociedad de la Información para todos Automatización de servicios telefónicos Sistemas portátiles sin teclado Las tecnologías del habla Qué quisiéramos tener? The domain of speech technology is the development of automatic systems to allow human users and computers to interact directly through the medium of speech New Horizons in European Speech technology, Report of the ESPRIT Workshop on Speech Technology, Aarhus, Denmark, May Un ordenador que Habla Reconoce El habla Al usuario Entiende Ayuda al usuario Traduce La lengua escrita La lengua oral

4 Hal 2001: A Space Odissey Clarke (1950) - Kubrick (1968) LingWear, Wearable Linguistic Assistant InterACT, International Center for Advanced Communication Technologies Qué tecnologías necesitamos? Qué tecnologías necesitamos? Un ordenador que Habla Reconoce El habla Al usuario Entiende Síntesis (CTH) Reconocimiento Identificación Comprensión Un ordenador que Ayuda Traduce El escrito El habla Sistema de diálogo TA TA oral

5 La interacción entre personas y La interacción oral entre personas y La conversión de texto en habla El reconocimiento del habla Los sistemas de diálogo La conversión de texto en habla (TTS, Text-to-Speech Synthesis) Del texto al habla GTP-UPC Reglas para el procesamiento previo del texto que contemplen la expansión de los signos de puntuación sin valor lingüístico, las expresiones numéricas, las siglas y las abreviaturas

6 Reglas para el procesamiento morfológico y sintáctico en los casos en que el conversor contempla un análisis lingüístico automático del texto de entrada o supervisión manual del resultado de un proceso de etiquetado automático Reglas de transcripción fonética automática, que establecen la correspondencia entre grafías y alófonos, la silabación y la acentuación, complementadas por diccionarios de pronunciación para el tratamiento de las excepciones Establecimiento del inventario de fonemas y alófonos de la lengua para la constitución del diccionario de unidades de síntesis Diseño del corpus de unidades de síntesis teniendo en cuenta las restricciones fonotácticas de la lengua y la frecuencia de aparición de unidades Modelos de duración segmental que consideren los diversos factores que influyen en la duración y basados en datos procedentes de corpus representativos. Modelos de intensidad segmental que, igualmente, consideren los factores que inciden en la intensidad y se basen en corpus representativos. Modelos de asignación de pausas que contemplen tanto las marcadas mediante signos de puntuación como las no marcadas y que establezcan, además, diferencias de duración entre los distintos tipos de pausas. Modelos de entonación que permitan generar una curva melódica natural, teniendo en cuenta factores fonéticos, sintácticos, semánticos y pragmáticos

7 Actor, Loquendo Loquendo Gilded TTS Es, m, f EsMx, f EsCh, f Cat, f Cat, m EsAr, m La interacción entre personas y El reconocimiento automático del habla (ASR, Automatic Speech Recognition) La interacción oral entre personas y La conversión de texto en habla El reconocimiento del habla Los sistemas de diálogo Del habla al texto

8 Diseño del corpus de entrenamiento teniendo en cuenta el inventario de unidades previamente definido y las restricciones sobre su aparición Selección de la muestra de población para la grabación del corpus de entrenamiento, considerando factores de variación individual, geográfica, social y de registro Segmentación (o supervisión de una segmentación semiautomática) del corpus de entrenamiento del reconocedor Definición del inventario de fonemas y alófonos de la lengua para determinar las unidades del sistema de reconocimiento

9 Dictado automático Realización o validación de los diccionarios de pronunciación, que incorporan las formas canónicas y las variantes encontradas en el corpus Dragon Naturally Speaking Edición estándar y profesional Vocabulario legal Vocabulario médico Versión en español Dragon Naturally Speaking Nuance Mobile Dictation The amazing race

10 Windows Vista La interacción entre personas y La interacción oral entre personas y La conversión de texto en habla El reconocimiento del habla Los sistemas de diálogo Los sistemas de diálogo Los sistemas de diálogo Sistema de diálogo, Sistema conversacional SLS, Spoken Language System Programa diseñado para facilitar la interacción natural mediante el habla entre una persona y un sistema informático Eh, pues mire, quería saber a qué hora sale la el último tren, eh hacia Barcelona, desde Madrid, el sábado Reconocimiento Síntesis Comprensión PETICIÓN, DESTINO= Barcelona, ORIGEN= Madrid, Fecha: DÍA= 28, HORA= Último Generación de respuesta El último tren sale a las 11 y 53 minutos de la noche

11 Estudio de los fenómenos propios del habla espontánea para modelarlos adecuadamente en el sistema de diálogo. Análisis de la relación entre el nivel fonético y el nivel pragmático, especialmente en lo que se refiere a las manifestaciones prosódicas de los actos que habla y a los correlatos acústicos de las emociones Diseño de estrategias de acceso, de salida y de confirmación adecuadas desde el punto de vista pragmático Verificación del grado de corrección y adecuación lingüística del diálogo

12 Los sistemas de diálogo Portales de voz Los sistemas de diálogo Grabación previa Selección por voz Restaurantes Información solicitada Restaurantes de Ávila Los sistemas de diálogo Los sistemas de diálogo Restaurantes de Ávila Madrid Salamanca Cuenca Sistema automático Selección por voz Información solicitada Existe una farmacia Farmacias de guardia

13 Los sistemas de diálogo Banca Telefónica ocho He encontrado nueve diez Mensajes pregrabados para insertar palabras procedentes de una lista BpT, Banca por Teléfono Natural Vox Existe una farmacia de guardia Conversión de texto escrito en habla Las tecnologías del habla: presente y futuro La interacción entre personas y La interacción entre personas mediatizada por un ordenador La interacción entre personas mediatizada por un ordenador Conversión entre lengua oral y lengua escrita Traducción de lengua oral Conversión de lengua oral a movimientos labiales Traducción entre lengua oral y lengua de signos

14 La interacción entre personas mediatizada por un ordenador Conversión entre lengua oral y lengua escrita Traducción de lengua oral Conversión de lengua oral a movimientos labiales Traducción entre lengua oral y lengua de signos La interacción entre personas mediatizada por un ordenador Conversión entre modalidades Escrito - Oral Conversión de texto en habla (TTS, Text-to-Speech Synthesis) Oral - Escrito Reconocimiento automático del habla (ASR, Automatic Speech Recognition) La interacción entre personas mediatizada por un ordenador Conversión entre modalidades Escrito - Escrito Traducción automática de textos (MT, Machine Translation) Oral - Oral Traducción automática del habla (SLT, Spoken Language Translation) La interacción entre personas mediatizada por un ordenador Conversión entre lengua oral y lengua escrita Traducción de lengua oral Conversión de lengua oral a movimientos labiales Traducción entre lengua oral y lengua de signos

15 Arquitectura de C-STAR NESPOLE! NEgotiating through SPOken Language in E-commerce ile/v3_document.htm "... I'm available on Friday the 19th... "...sí sí venerdì diciannove posso, sì perchè sai oggi vado via per il viaggio D, la verità è che questo mese è pieno di viaggi parto il giorno sei per un viaggio e starò via fino al dodici ed è per questo che il giorno diciannove mi va proprio bene francamente..." =...yes yes on friday nineteen can, yes because know I go me of trip today, the truth such is that this month is very traveller I go me the day six of trip and I am until the twelve as soon as the day nineteen comes me very well outspokenly Verbmobil Verbmobil Sistema móvil de traducción de diálogos espontáneos ( ) Dominios restringidos: citas, preparación de viajes, reservas de hotel Lenguas: alemán, inglés y japonés

16 TC-STAR TC-STAR Technology and Corpora for Speech-to- Speech Translation IST Multimodal interfaces Traducción de habla espontánea en varios dominios La interacción entre personas mediatizada por un ordenador Department of Speech, Music and Hearing KTH Stockholm Conversión entre lengua oral y lengua escrita Traducción de lengua oral Conversión de lengua oral a movimientos labiales Traducción entre lengua oral y lengua de signos Para ver esta película, debe disponer de QuickTime y de un descompresor. Teleface Ayuda visual - lectura labial- en conversaciones telefónicas para personas con discapacidades auditivas

17 Umanify Asistentes virtuales interactivos para páginas web y teléfonos móviles Conversión de texto en habla basada en la tecnología de Loquendo sincronizada con movimientos labiales La interacción entre personas mediatizada por un ordenador Conversión entre lengua oral y lengua escrita Traducción de lengua oral Conversión de lengua oral a movimientos labiales Traducción entre lengua oral y lengua de signos Visia 2 SiSi

18 Las tecnologías del habla: presente y futuro Otras aplicaciones de las tecnologías del habla La interacción entre personas y La interacción entre personas mediatizada por un ordenador XXVII Encuentro Nacional de Docentes e Investigadores de la Lingüística Universidad de los Andes, Mérida 11 de junio de 2008 Muchas gracias! Materiales en Internet ~joaquim/ speech_technology/ ENDIL_08/ENDIL_08.html