RECONOCIMIENTO DE HABLA Y SISTEMAS DE DIÁLOGO

Transcripción

1 MÁSTER OFICIAL EN LENGUA ESPAÑOLA Y LITERATURA HISPÁNICA Aplicación de las tecnologías de la información y de la comunicación (TIC) a la Lengua española Tecnologías del habla, Carme de-la-mota RECONOCIMIENTO DE HABLA Y SISTEMAS DE DIÁLOGO 1

2 GUIÓN DEL CURSO Interacción entre personas y ordenadores Conversión de texto en habla Reconocimiento de habla Sistemas de diálogo Interacción entre personas mediatizada por ordenador Traducción de lenguas orales Traducción entre lengua oral y lengua de signos Reconocimiento de habla y generación de caras animadas para lectura labial La necesidad de crear y etiquetar corpus orales Aplicaciones 2

3 1. Interacción entre personas y ordenadores Conversión de texto en habla Reconocimiento de habla Sistemas de diálogo 3

4 1.2. Reconocimiento de habla 4

5 Reconocimiento Caras Iris Firmas Voces 5

6 Reconocimiento Reconocimiento de la lengua Reconocimiento del habla Comprensión del habla (!) Identificación y verificación del hablante 6

7 Reconocimiento: estructura Extractor de parámetros acústicos que servirán para el reconocimiento Reconocedor o identificador piezas lingüísticas Modelo de lenguaje o analizador sintáctico/contextual 7

8 Reconocimiento: módulos J. Llisterri, C. Carbó, M. J. Machuca, C. de-la-mota, M. Riera, A. Ríos (2003) "El papel de la lingüística en el desarrollo de las tecnologías del habla, en M. Casas Gómez (dir.) y C. Varo Varo (ed.) VII Jornadas de Lingüística. Cádiz: Universidad de Cádiz. ISBN: : ologias_habla.pdf 8

9 Vocabulario Restringido Sin restricciones Pausas Reconocimiento de palabras aisladas Reconocimiento de habla continua Locutor Dependiente del locutor: entrenamiento previo Independiente del locutor: cualquier usuario 9

10 Problemas: los entornos ruidosos Medios de transporte, oficinas, fábricas Tipos de interferencias: Ruidos Predecibles Aleatorios Otras voces 10

11 Problemas: segmentación de unidades Me podrías solucionar esta duda? 11

12 Estimación de fronteras: dendograma Captura de cambios en la señal (Richard M.Stern, Xiang Li, Jon Nedel, Mike Seltzer y Rita Singh (2002) Reconocimiento del habla en ambientes GSM y ruidosos: progreso y enfoques futuros, Department of Electrical and Computer Engineering and School of Computer Science Carnegie Mellon University Pittsburgh, Pennsylvania) 12

13 Estimación de fronteras: HMM basado en el centro del fonema Detección de la zona estable (Richard M.Stern, Xiang Li, Jon Nedel, Mike Seltzer y Rita Singh (2002) Reconocimiento del habla en ambientes GSM y ruidosos: progreso y enfoques futuros, Department of Electrical and Computer Engineering and School of Computer Science Carnegie Mellon University Pittsburgh, Pennsylvania) 13

14 Estimación de fronteras: conocimiento lingüístico +voicing -voicing +obstruent -obstruent -sonorant +sonorant Búsqueda de la coherencia espectral (Richard M.Stern, Xiang Li, Jon Nedel, Mike Seltzer y Rita Singh (2002) Reconocimiento del habla en ambientes GSM y ruidosos: progreso y enfoques futuros, Department of Electrical and Computer Engineering and School of Computer Science Carnegie Mellon University Pittsburgh, Pennsylvania) 14

15 Filtros espectrales Coeficientes obtenidos a partir del domino espectral Semejanza con el sistema de percepción humano Uso de parámetros como: MFCC (Mel Frequency Cepstral Coefficients) 15

16 Reconocimiento modelo almacenado comparación representativo unidades en su contexto 16

17 Qué unidad es? Búsqueda de la cadena adecuada Habitualmente: estadística y probabilidad (Modelos Ocultos de Markov, Hidden Markov Models, HMM) algoritmos 17

18 Corrección de errores Diccionarios : información lingüística Modelo de lenguaje Es esa secuencia posible en el contexto x? Por el contexto, qué secuencia es más probable que sea? 18

19 Dragon 10, Nuance Dragon 10, español (Dragon Naturally Speaking) Nuance 19

20 Verbio 20

21 CMU Sphinx Código abierto, adaptable al español Carnegie Mellon, 21

22 Reconocimiento: Windows Vista 22

23 Reconocimiento y dictado. Philips Speech Magic 23

24 TELL ME MORE ONLINE 24

25 Identificación y verificación del hablante La llamada firma vocal Comparación con voces de una base de datos Identificación y verificación de la persona por la voz: control de acceso, personalización, bloqueo y desbloqueo de elementos (p.ej. un terminal), transacciones comerciales por Internet 25

26 Identificación y verificación comparación 26

27 Identificación voz dubitada Locutor X voces indubitadas comparación Alguna de estas voces es de X?

28 Verificación voz dubitada voces indubitadas comparación Locutor X Es esta voz la de X?

29 Verificación del locutor Credit card 29

30 Proyecto VILE Estudio acústico de la variación inter e intralocutor en español 2 etapas VILE: BFF , y VILE II: HUM /FILO,

31 Proyecto VILE y VILE II BFF , y HUM /FILO, Mª José Albalá y Juana Gil Laboratorio de Fonética, CSIC Elena Battaner Departamento de Comunicación II, Universidad Rey Juan Carlos Victoria Marrero (IP, VILE II) Departamento de Lengua Española y Lingüística General, Universidad Nacional de Educación a Distancia Mario Carranza, Carme de-la-mota, Joaquim Llisterri (IP, VILE I), María Jesús Machuca, Natalia Madrigal, Montse Marquina, Montserrat Riera y Antonio Ríos Departamento de Filología Española, Universidad Autónoma de Barcelona 31

32 Objetivos del proyecto VILE 1. Caracterización acústica de los elementos segmentales y suprasegmentales que contribuyen a establecer la individualidad de un hablante 2. Conocimiento fonético para la mejora de los sistemas de reconocimiento, identificación o verificación automáticas del locutor 3. Nuevos datos acústicos para la práctica de la fonética judicial SEAF 2003, II Congreso de la Sociedad Española de Acústica Forense Barcelona, del 9 al de 11 de abril de

33 Etapas del proyecto VILE y VILE II Delimitación de los fenómenos fonéticos objeto de interés Análisis acústico de los fenómenos fonéticos seleccionados en una muestra de materiales extraída de corpus disponibles Estudio de los resultados desde la perspectiva de la variación interlocutor e intralocutor Validación perceptiva Conclusiones para el reconocimiento automático de locutor y la fonética forense 33

34 1.3. Sistemas de diálogo Reconocimiento de habla Comprensión del lenguaje natural y gestión del diálogo Acceso a bases de datos, sistemas de interrogación y respuesta, entornos colaborativos, teleoperación, adaptación al usuario Síntesis de habla 34

35 Sistemas de diálogo: módulos J. Llisterri, C. Carbó, M. J. Machuca, C. de-la-mota, M. Riera, A. Ríos (2003) "El papel de la lingüística en el desarrollo de las tecnologías del habla, en M. Casas Gómez (dir.) y C. Varo Varo (ed.) VII Jornadas de Lingüística. Cádiz: Universidad de Cádiz. ISBN: : ologias_habla.pdf 35

36 Interpretación: A primera hora de la mañana Un poco más tarde No te acerques tanto Tendrían algo distinto? 36

37 Estudio de interacciones Persona Persona diálogo 37

38 Mago de Oz Persona diálogo Persona Foto: teclarosrg Diseño de escenarios para las distintas situaciones 38

39 Roomline Computer Science Department, CMU 39

40 ARISE (LIMSI) ARISE, Automatic Railway Information Systems for Europe 40

41 Sistema de diálogo aplicado al control HIFI (Proyecto EDECAN, UPM) 41

42 Portales de voz :ydilo.com 42

43 Sistemas tutoriales inteligentes Ordenador TUTOR Persona ESTUDIANTE Foto: teclarosrg 43

44 1. Interacción entre personas y ordenadores Conversión de texto en habla Reconocimiento de habla Sistemas de diálogo 44