LA GENERACIÓN DE HABLA

Transcripción

1 MÁSTER OFICIAL EN LENGUA ESPAÑOLA Y LITERATURA HISPÁNICA Aplicación de las tecnologías de la información y de la comunicación (TIC) a la Lengua española Tecnologías del habla, Carme de-la-mota LA GENERACIÓN DE HABLA 1

2 GUIÓN DEL CURSO Interacción entre personas y ordenadores Conversión de texto en habla Reconocimiento de habla Sistemas de diálogo Interacción entre personas mediatizada por ordenador Traducción de lenguas orales Traducción entre lengua oral y lengua de signos Reconocimiento de habla y generación de caras animadas para lectura labial La necesidad de crear y etiquetar corpus orales Aplicaciones 2

3 Interacción ordenador persona Foto: teclarosrg 3

4 La generación automática de habla Conversión de texto en habla text-to-speech Generación de habla a partir de conceptos concept-to-speech 4

5 Qué es la conversión de texto en habla? 5

6 Conversión de texto en habla Gota. [ gota] 6

7 Objetivos de un sistema de CTH Primero: inteligibilidad Segundo: naturalidad 7

8 La conversión de texto en habla 1. De los inicios a la actualidad 2. La estructura de un conversor 3. Las mejoras pendientes 4. Las aplicaciones 8

9 La conversión de texto en habla 1. De los inicios a la actualidad 2. La estructura de un conversor 3. Las mejoras pendientes 4. Las aplicaciones 9

10 Von Kempelen, 1791 Reconstrucción por Wheatstone 10

11 Von Kempelen, 1791 Simulación del aparato fonador Deutsches Museum, Munich 11

12 Evolución de los sistemas de síntesis: VODER VODER (Voice Operating Demonstrator) Homer Dudley, New York World's Fair

13 Evolución de los sistemas de síntesis: Pattern Playback Pattern Playback Laboratorios Haskins

14 Evolución de los sistemas de síntesis: OVE OVE I (Orator Verbis Electris) Gunnar Fant Primer sintetizador por formantes en cascada

15 Evolución de los sistemas de síntesis: DAVO DAVO (Dynamic Analog of the VOcal tract) George Rosen Massachusetts Institute of Technology, M.I.T. Primer sintetizador de base articulatoria

16 Evolución de los sistemas de síntesis: TI Speak'n'Spell Speak'n'Spell Linear Predictive Coding (LPC)

17 Actualmente Inteligibilidad altísima Naturalidad aceptable Mejorable: expresividad 17

18 La conversión de texto en habla 1. De los inicios a la actualidad 2. La estructura de un conversor 3. Las mejoras pendientes 4. Las aplicaciones 18

19 Conversión de texto en habla Gota. [ gota] 19

20 Conversión de texto en habla A. Aspectos lingüísticos B. Generación de habla sintética Gota. Módulo lingüístico Módulo de síntesis 20

21 Funcionamiento Principales módulos en un conversor de texto en habla J. Llisterri, C. Carbó, M. J. Machuca, C. de-la-mota, M. Riera, A. Ríos (2003) "El papel de la lingüística en el desarrollo de las tecnologías del habla, en M. Casas Gómez (dir.) y C. Varo Varo (ed.) VII Jornadas de Lingüística. Cádiz: Universidad de Cádiz. ISBN: : _Machuca_Mota_Riera_Rios_03_Linguistica_Tecnologi as_habla.pdf 21

22 A. Aspectos lingüísticos 22

23 Información lingüística Qué información fonética debe contener? Determinación y descripción de unidades Transcripción fonética Silabificación Acento Entonación Junturas Qué información léxica, sintáctica, semántica y pragmática debe contener? En qué orden deben actuar los módulos? 23

24 24

25 1. Preprocesado o normalización del texto Preparación del texto para que pueda ser transcrito fonéticamente Ejemplo: Juan Carlos I [ i ] <primero> 25

26 1. Preprocesado o normalización del texto Números ordinales Números romanos Horas Fechas Unidades de medida Temperaturas Expresiones monetarias Siglas Abreviaturas Direcciones de correo electrónico e Internet Símbolos 26

27 Cómo debería realizarse el preprocesado de estos casos? CCOO 150 m kw 27

28 Cómo debería realizarse el preprocesado de estos casos? UAM 6,

29 Cómo debería realizarse el preprocesado de estos casos? UAM 6, Hay más de una salida posible! 29

30 Abreviaturas Cómo expandir estas abreviaturas? c/ ed. impr. R.D. S.A. trad. v. 30

31 Abreviaturas Consulta DPD, Diccionario Panhispánico de Dudas Apéndice 2: Lista de abreviaturas 31

32 Abreviaturas Cómo expandir estas abreviaturas? c/ ed. impr. R.D. S.A. trad. v. Hay más de una salida posible! 32

33 Abreviaturas Consulta en el DPD c/ calle (también c. y cl.) cargo (también cgo.) cuenta (también cta.) ed. edición editorial (también edit.) editor, -ra impr. imprenta (también imp.) impreso R.D. Real Decreto [Esp.] (cf. R. O.) República Dominicana S.A. sociedad anónima (cf. S. L.) su alteza trad. traducción traductor, -ra v. véase (cf. vid.) verso 33

34 Preprocesado? Probemos con varios de los sistemas actuales accesibles en Internet Texto: Vamos a ver si se ha preprocesado el texto. Atención. Son las 12:45. El rey Carlos III. Son 100 Km/h. Es el 1º. Hablamos de la UGT, CCOO, el PSOE y la ONU. 34

35 AT&T 35

36 Acapela ELAN TTS 36

37 Loquendo 37

38 Pero cuidado Hasta qué punto debe cubrir el preprocesado los elementos ajenos a la cultura habitual de uso del conversor? UGT, CCOO, PSOE 38

39 39

40 2. Análisis lingüístico Grado de detalle implementado en el CTH? 40

41 Información categorial: categorizador Qué problema suponen estos casos? La baja Aparte Fuera 41

42 Información categorial: categorizador Qué problema suponen estos casos? La baja La: determinante, pronombre Baja: adjetivo, sustantivo, verbo 42

43 Información categorial: categorizador Aparte "<aparte> DRAE "apartar" Verbo MImp Pres 3pers sg Prin "apartar" Verbo MSub Pres 1pers sg Prin "apartar" Verbo MSub Pres 3pers sg Prin "aparte" Adjetivo qual masc-fem sg "aparte" Adj "aparte" Nombre com masc sg "aparte" Adverbio "aparte" Preposición 43

44 Información categorial: categorizador Fuera "<fuera>" "fuera" Interj I "fuera" Adverbio "ir" Verbo MSub Imp 1pers sg Prin "ir" Verbo MSub Imp 3pers sg Prin "ser" Verbo MSub Imp 1pers sg Copula "ser" Verbo MSub Imp 3pers sg Copula 44

45 Posibles efectos fonéticos de la categoría Acento Entonación 45

46 Posibles efectos fonéticos de la categoría Acentuación de sobre: sobre blanco sobre la mesa 46

47 Posibles efectos fonéticos de la categoría Contorno de f0 del enunciado Si te parece bajo el armario, en la que bajo es una preposición J. Llisterri, C. Carbó, M. J. Machuca, C. de-la-mota, M. Riera, A. Ríos (2003) "El papel de la lingüística en el desarrollo de las tecnologías del habla, en M. Casas Gómez (dir.) y C. Varo Varo (ed.) VII Jornadas de Lingüística. Cádiz: Universidad de Cádiz. ISBN: :

48 Posibles efectos fonéticos de la categoría Contorno de f0 del enunciado Si te parece bajo el armario, en la que bajo es un verbo J. Llisterri, C. Carbó, M. J. Machuca, C. de-la-mota, M. Riera, A. Ríos (2003) "El papel de la lingüística en el desarrollo de las tecnologías del habla, en M. Casas Gómez (dir.) y C. Varo Varo (ed.) VII Jornadas de Lingüística. Cádiz: Universidad de Cádiz. ISBN: :

49 Posibles efectos fonéticos de la categoría Contorno de f0 del enunciado Si te parece bajo el armario, en la que bajo es un adjetivo J. Llisterri, C. Carbó, M. J. Machuca, C. de-la-mota, M. Riera, A. Ríos (2003) "El papel de la lingüística en el desarrollo de las tecnologías del habla, en M. Casas Gómez (dir.) y C. Varo Varo (ed.) VII Jornadas de Lingüística. Cádiz: Universidad de Cádiz. ISBN: :

50 Ejemplo: categorizador para el catalán, Jordi (Telefonica) Análisis de un ejemplo Informe técnico restringido, UAB. # regla para categorizar 'en' como ARTI cuando va precedido por NPRO # Ejemplo: En Joan canta # 1 INI_REGLA INI_COND 0 CATEG_FLAGS PREP PATO ARTI AND 0 CADENA_TOTAL en AND Regla contextual 1 CATEG_TOTAL NPRO INI_ACCI_SI 0 CATEG_TOTAL ARTI 1 IR_A NO_MAS_REGLAS INI_ACCI_NO 0 IR_A SIGUIENTE FIN_REGLA 50

51 Sintaxis, agrupación prosódica y melodía [La situación de los refugiados] [clamaba al cielo] [Si trae bombones] [dadle las gracias] 51

52 Sintaxis, agrupación prosódica y melodía Sinceramente, no sé qué hay que hacer Desafortunadamente, no sé qué hay que hacer Efectos en la melodía 52

53 Estructura informativa y prosodia Realce por foco contrastivo, estrecho La NIÑA de Vigo barre la nave gallega C. de-la-mota (1995) la representación gramatical de la información nueva en el discurso, Tesis doctoral, UAB, p

54 Estructura informativa y prosodia Realce por foco contrastivo, estrecho. Acento y melodía La NIÑA de Vigo barre la nave gallega C. de-la-mota (1995) la representación gramatical de la información nueva en el discurso, Tesis doctoral, UAB, p

55 Estructura informativa y prosodia Oscilogramas y curvas de intensidad correspondientes al enunciado Marcos robó el dinero sin realce fonológico en el sujeto (a) y con realce en él (b) J. Llisterri, C. Carbó, M. J. Machuca, C. de-la-mota, M. Riera, A. Ríos (2003) "El papel de la lingüística en el desarrollo de las tecnologías del habla, en M. Casas Gómez (dir.) y C. Varo Varo (ed.) VII Jornadas de Lingüística. Cádiz: Universidad de Cádiz. ISBN: :

56 56

57 3. Información fonética: transcripción Silabificación Localización del acento Transcripción fonética (palabra) Resilabificación Transcripción fonética (secuencias) 57

58 Información fonética: transcripción Conversión grafema-alófono (letter-to-sound). Sistemas estandarizados AFI, Alfabeto Fonético Internacional? SAMPA, Speech Assessment Methods Phonetic Alphabet X-SAMPA, Extended SAMPA y su adaptación al español ka Dena 58

59 Ejemplo: SEGRE, transcriptor automático para el catalán central Transcriptor desarrollado para el CREL, Centre de Referència en Enginyeria Lingüística, Generalitat de Catalunya veu i imatge substitueixen l'escriptura en l'univers juvenil. b ` E w i m ` a d s u p s t i t u ` E n s k r i p t ` u n l u n i B ` E rr Z u n ` i l 59

60 Ejemplo: SEGRE, transcriptor automático para el catalán central Carme de-la-mota, y Montserrat Riera (2000) El transcriptor automàtic Segre, Jornades del Centre de Referència en Enginyeria Lingüística, CREL. Generalitat de Catalunya. P. Pachès, C. de-la-mota, M. Riera, M. P. Perea, A. Febrer, M. Estruch, J. M. Garrido, M. J. Machuca, A. Ríos, J. Llisterri, I. Esquerra, J. Hernando, J. Padrell, C. Nadeu, Segre: An Automatic Tool for Grapheme-to-Allophone Transcription in Catalan, en D. Ó Cróinín (ed.) Proceedings of the Workshop on Developing Language Resources for Minority Languages: Reusability and Strategic Priorities (LREC-2000 Second International Conference on Language Resources and Evaluation), 29 de mayo-3 de junio de 2000, Atenas (Grecia), honetic_transcription_catalan.pdf 60

61 Ejemplo: transcripción fonética, Loquendo Análisis de dos ejemplos del catalán Informe técnico restringido (UAB) <ç> <Ç> La grafía <ç> se pronuncia por defecto como [s] excepto: a)<ç> se pronuncia como [z] si aparece seguida de <m>, <n>, <b>, <d>, <v>, <g>, <tg>, <tj>, <l>, <tz>, <j> o <z>. Ej.: atroçment. 61

62 Ejemplo: transcripción fonética, Loquendo Análisis de dos ejemplos del catalán Informe técnico restringido (UAB) Deben transcribirse mediante [`E] las palabras en que <e> va seguida de <ss+vocal>. Ej.: disfressa, disfresses. Excepto: Deben transcribirse con [`e] las palabras de la lista excepciones_essa. Ej.: essa, cessis. 62

63 Loquendo: aspectos lingüísticos J. Llisterri, M. Machuca, N. Madrigal, F. Manzini, P. Massimino, C. de-la-mota, M. Riera, A. Ríos (2004), "Aspectos lingüísticos en el diseño de un conversor de texto en habla en castellano y en catalán: el sistema Loquendo TTS ", VI Congreso de Lingüística General. Universidade de Santiago de Compostela, Santiago. 3-7 de mayo de Universidade de Santiago de Compostela, Facultade de Filoloxía, Área de Lingüística Xeral. or_texto_habla_castellano_catalan_loquendo.pdf 63

64 Excepciones a las reglas de transcripción fonética Cómo dar cuenta de los siguientes extranjerismos del castellano? Affaire Backup Carpaccio Copyright Hacker Jacuzzi Mousse Piercing 64

65 65

66 4. Modelado prosódico Contorno de f0: entonación Colocación de pausas Ajustes de duración (junturas ) 66

67 B. Generación de habla sintética 67

68 B. Generación de habla sintética Síntesis Articulatoria: semejanza con la disposición de los articuladores. Calidad alta. Dificultad alta. Por formantes: modelan el tracto vocal basándose en la teoría de la fuente y el filtro. Por LPC: análisis de señal y síntesis a partir del cálculo LPC. Por concatenación de unidades: se parte de fragmentos de habla natural grabados por un locutor. Calidad alta. El sintetizador imita el habla del locutor 68

69 B. Generación de habla sintética Síntesis por concatenación 69

70 Generación de habla sintética Grabación de habla natural Extracción de fragmentos Concatenación de unidades Reajustes finales 70

71 Obtención de voz natural Una voz. Selección del locutor: Variante lingüística Calidad sonora de la voz Capacidad lectora e interpretativa Plasticidad fonética en otras lenguas Grabación del corpus para obtener las unidades: gran base de datos Segmentación, etiquetado y almacenamiento del corpus 71

72 Información fonética: determinación de unidades Todos los alófonos presentes en una transcripción estrecha? Cuál es el modelo de pronunciación? Resulta económico el inventario? Solo los alófonos propios de la lengua? Cómo pronunciar extranjerismos? Qué hacer en caso de lenguas en contacto? 72

73 Corpus Elaboración de un corpus para obtener señal Grabación Corpus de unidades para la síntesis 73

74 Tipos de unidades Tramas Alófonos Difonemas Trifonemas Cuatrifonemas Semisílabas Sílabas Morfemas Palabras Frases enteras 74

75 Tipos de unidades: tramas Fragmentos con estabilidad acústica: transiciones partes estables Tramas Alófonos Difonemas Trifonemas Cuatrifonemas Semisílabas Sílabas Morfemas Palabras Frases enteras 75

76 Tipos de unidades: alófonos [o] Tramas Alófonos Difonemas Trifonemas Cuatrifonemas Semisílabas Sílabas Morfemas Palabras Frases enteras 76

77 Tipos de unidades: difonemas silencio [o] + [ol] + [la] + [a] silencio [ola] Tramas Alófonos Difonemas Trifonemas Cuatrifonemas Semisílabas Sílabas Morfemas Palabras Frases enteras 77

78 Tipos de unidades: pueden ser de longitud variable [o] [ka] [ komo Bamos] Selección en función de las necesidades del texto 78

79 Concatenación de unidades 79

80 Ajustes Parámetros acústicos 80

81 La conversión de texto en habla 1. De los inicios a la actualidad 2. La estructura de un conversor 3. Las mejoras pendientes 4. Las aplicaciones 81

82 Evaluación de sistemas de CTH Cómo está funcionando el sistema? Pruebas objetivas Pruebas subjetivas 82

83 Evaluación de sistemas de CTH Pruebas objetivas Selección de formas de distintos tipos en varios contextos Ejemplos: El teléfono no está en la guía. La fracción es el resultado de la operación. 83

84 Evaluación de sistemas de CTH Pruebas subjetivas Evaluación de la calidad, la inteligibilidad y la naturalidad de la voz Selección de textos de extensión controlada y temática equilibrada Selección de sujetos que escucharán la voz Encuestas 84

85 Logros actuales consolidados Inteligibilidad muy alta Sistemas en varias lenguas (multilingües) Sistemas con varias voces (multilocutor) 85

86 En desarrollo Entrada de texto no formal: SMS, chat Mayor naturalidad Variación: variantes geográficas, sociales, estilos Adecuación a la situación comunicativa Mayor expresividad, emociones, matices Adecuación al usuario: niños, ancianos Salida multimodal, multimedia 86

87 Emociones Murray y Arnott, 1993 (Trad. en Iriondo 2008: 15) 87

88 Emociones Juslin y Laukka, 2003 (Trad. en Iriondo 2008: 18) 88

89 Algunos ejemplos más de conversores accesibles en Internet 89

90 Cotovía 90

91 CSLU 91

92 IBM 92

93 La conversión de texto en habla 1. De los inicios a la actualidad 2. La estructura de un conversor 3. Las mejoras pendientes 4. Las aplicaciones 93

94 Aplicaciones Discapacidades o necesidades especiales Asistentes interactivos Intervención en otros sistemas de tecnología del habla (como los sistemas de diálogo) 94

95 Aplicaciones. Ejemplo. Asistentes digitales interactivos: Umanify Movimiento ocular y labial Síntesis de voz: reconocemos la voz generada por Loquendo? Reconocimiento de habla. Diálogo. 95

96 Umanify, Loquendo, Nokia 96

97 Umanify, Loquendo: ICEX 97

98 Locutores virtuales La Salle, Universitat Ramon Llull areaparla/tsenyal_recparladem.html 98

99 En definitiva 99

100 Stephen Hawking Campus Party speech (2006) 100