RECONOCIMIENTO DE HABLA Y SISTEMAS DE DIÁLOGO

Transcripción

1 MÁSTER OFICIAL EN LENGUA ESPAÑOLA Y LITERATURA HISPÁNICA Aplicación de las tecnologías de la información y de la comunicación (TIC) a la Lengua española Tecnologías del habla, Carme de-la-mota RECONOCIMIENTO DE HABLA Y SISTEMAS DE DIÁLOGO 1

2 GUIÓN DEL CURSO Interacción entre personas y ordenadores Conversión de texto en habla Reconocimiento de habla Sistemas de diálogo Interacción entre personas mediatizada por ordenador Traducción de lenguas orales Traducción entre lengua oral y lengua de signos Reconocimiento de habla y generación de caras animadas para lectura labial La necesidad de crear y etiquetar corpus orales Aplicaciones 2

3 1. Interacción entre personas y ordenadores Conversión de texto en habla Reconocimiento de habla Sistemas de diálogo 3

4 1.2. Reconocimiento de habla 4

5 Reconocimiento Reconocimiento de la lengua Reconocimiento del habla Comprensión del habla Identificación y verificación del hablante 5

6 Reconocimiento: módulos J. Llisterri, C. Carbó, M. J. Machuca, C. de-la-mota, M. Riera, A. Ríos (2003) "El papel de la lingüística en el desarrollo de las tecnologías del habla, en M. Casas Gómez (dir.) y C. Varo Varo (ed.) VII Jornadas de Lingüística. Cádiz: Universidad de Cádiz. ISBN: : ologias_habla.pdf 6

7 Vocabulario Restringido Sin restricciones Pausas Reconocimiento de palabras aisladas Reconocimiento de habla continua Locutor Dependiente del locutor: entrenamiento previo Independiente del locutor: cualquier usuario 7

8 Reconocimiento modelo almacenado comparación 8

9 Problemas: los entornos ruidosos Medios de transporte, oficinas, fábricas Tipos de ruidos: Predecibles Aleatorios 9

10 Problemas: segmentación de unidades Me podrías solucionar esta duda? 10

11 Estimación de fronteras: dendograma Captura de cambios en la señal (Richard M.Stern, Xiang Li, Jon Nedel, Mike Seltzer y Rita Singh (2002) Reconocimiento del habla en ambientes GSM y ruidosos: progreso y enfoques futuros, Department of Electrical and Computer Engineering and School of Computer Science Carnegie Mellon University Pittsburgh, Pennsylvania) 11

12 Estimación de fronteras: HMM basado en el centro del fonema Detección de la zona estable (Richard M.Stern, Xiang Li, Jon Nedel, Mike Seltzer y Rita Singh (2002) Reconocimiento del habla en ambientes GSM y ruidosos: progreso y enfoques futuros, Department of Electrical and Computer Engineering and School of Computer Science Carnegie Mellon University Pittsburgh, Pennsylvania) 12

13 Estimación de fronteras: conocimiento lingüístico +voicing -voicing +obstruent -obstruent -sonorant +sonorant Búsqueda de la coherencia espectral (Richard M.Stern, Xiang Li, Jon Nedel, Mike Seltzer y Rita Singh (2002) Reconocimiento del habla en ambientes GSM y ruidosos: progreso y enfoques futuros, Department of Electrical and Computer Engineering and School of Computer Science Carnegie Mellon University Pittsburgh, Pennsylvania) 13

14 Dragon 10, Nuance Dragon 10, español (Dragon Naturally Speaking) Nuance 14

15 Nuance mobile dictation 15

16 Reconocimiento: Windows Vista 16

17 Navegación por voz: By voice Vídeo Demostración Vi-clone 17

18 IBM Via Voice Philips FreeSpeech pc_home.htm 18

19 Webgrader 19

20 TELL ME MORE ONLINE 20

21 Identificación y verificación del hablante: la firma vocal Comparación con voces de una base de datos Identificación y verificación de la persona por la voz: control de acceso, personalización, bloqueo y desbloqueo de elementos (p.ej. un terminal), transacciones comerciales por Internet 21

22 Identificación y verificación voces indubitadas voz dubitada comparación

23 Proyecto VILE Estudio acústico de la variación inter e intralocutor en español 2 etapas VILE: BFF , y VILE II: HUM /FILO,

24 Proyecto VILE y VILE II BFF , y HUM /FILO, Mª José Albalá y Juana Gil Laboratorio de Fonética, CSIC Elena Battaner Departamento de Comunicación II, Universidad Rey Juan Carlos Victoria Marrero (IP, VILE II) Departamento de Lengua Española y Lingüística General, Universidad Nacional de Educación a Distancia Mario Carranza, Carme de-la-mota, Joaquim Llisterri (IP, VILE I), María Jesús Machuca, Natalia Madrigal, Montse Marquina, Montserrat Riera y Antonio Ríos Departamento de Filología Española, Universidad Autónoma de Barcelona 24

25 Objetivos del proyecto VILE 1. Caracterización acústica de los elementos segmentales y suprasegmentales que contribuyen a establecer la individualidad de un hablante 2. Conocimiento fonético para la mejora de los sistemas de reconocimiento, identificación o verificación automáticas del locutor 3. Nuevos datos acústicos para la práctica de la fonética forense SEAF 2003, II Congreso de la Sociedad Española de Acústica Forense Barcelona, del 9 al de 11 de abril de

26 Etapas del proyecto VILE y VILE II Delimitación de los fenómenos fonéticos objeto de interés Análisis acústico de los fenómenos fonéticos seleccionados en una muestra de materiales extraída de corpus disponibles Estudio de los resultados desde la perspectiva de la variación interlocutor e intralocutor Validación perceptiva Conclusiones para el reconocimiento automático de locutor y la fonética forense 26

27 Resultados: VILE Identificación de locutores F0 aparece como el parámetro más relevante LTAS aparece como el segundo parámetro más relevante Buena identificación de un hablante con una elevada variación en F2 y con poca variación en F1 Mala identificación de un hablante con una elevada variación en F1 y con poca variación en F2 Poco peso de la fricativa alveolar sorda [s] 2o Coloquio de Lingüística Computacional en la UNAM, Facultad de Filosofía y Letras Ciudad de México, 11 de febrero de

28 1.3. Sistemas de diálogo Reconocimiento de habla Comprensión del lenguaje natural y gestión del diálogo Acceso a bases de datos, sistemas de interrogación y respuesta, entornos colaborativos, teleoperación, adaptación al usuario Síntesis de habla 28

29 Sistemas de diálogo: módulos J. Llisterri, C. Carbó, M. J. Machuca, C. de-la-mota, M. Riera, A. Ríos (2003) "El papel de la lingüística en el desarrollo de las tecnologías del habla, en M. Casas Gómez (dir.) y C. Varo Varo (ed.) VII Jornadas de Lingüística. Cádiz: Universidad de Cádiz. ISBN: : ologias_habla.pdf 29

30 Interpretación semántica: A primera hora de la mañana Un poco más tarde [de la hora propuesta por el sistema] 30

31 Estudio de interacciones Persona Persona diálogo 31

32 Mago de Oz Persona diálogo Persona Foto: teclarosrg Diseño de escenarios para las distintas situaciones 32

33 Sistema de diálogo aplicado al control HIFI (Proyecto EDECÁN, UPM) 33

34 Portales de voz :ydilo.com 34

35 Banca por teléfono: BpT Natural vox 35

36 Logopedia. Sistemas virtuales de terapia ORLA VT (Oral Reading for Language in Aphasia with Virtual Therapist) The Center of Spoken Language, Colorado 36

37 Sistemas tutoriales inteligentes Ordenador TUTOR Persona ESTUDIANTE Foto: teclarosrg 37

38 Interrogativas en tutorías Obtención de datos de PROSODIA interrogativas con una finalidad aplicada Sistemas tutoriales inteligentes sobre Liscombe, Venditti y Hirschberg (2006) Venditti (2006) Venditti, Hirschberg y Liscombe (2006) Liscombe (2007) Hirschberg (2008) INGLÉS ITSpoke, De-la-Mota (2009), SEL Intelligent Tutoring Spoken Dialogue System 38

39 1. Interacción entre personas y ordenadores Conversión de texto en habla Reconocimiento de habla Sistemas de diálogo 39