LA CONVERSIÓN DE TEXTO EN HABLA

Transcripción

1 MÁSTER OFICIAL EN LENGUA ESPAÑOLA Y LITERATURA HISPÁNICA Aplicación de las tecnologías de la información y de la comunicación (TIC) a la Lengua española Tecnologías del habla, Carme de-la-mota LA CONVERSIÓN DE TEXTO EN HABLA 1

2 GUIÓN DEL CURSO Interacción entre personas y ordenadores Conversión de texto en habla Reconocimiento de habla Sistemas de diálogo Interacción entre personas mediatizada por ordenador Traducción de lenguas orales Traducción entre lengua oral y lengua de signos Tema que trataremos con más detalle Reconocimiento de habla y generación de caras animadas para lectura labial La necesidad de crear y etiquetar corpus orales Aplicaciones 2

3 Interacción ordenador persona Foto: teclarosrg 3

4 La generación automática de habla Conversión de texto en habla text-to-speech Generación de habla a partir de conceptos concept-to-speech Procesamiento del lenguaje natural PLN 4

5 Qué es la conversión de texto en habla? 5

6 Conversión de texto en habla Gota. [ gota] 6

7 Objetivos de un sistema de CTH Primero: inteligibilidad Segundo: naturalidad 7

8 La conversión de texto en habla 1. De los inicios a la actualidad 2. La estructura de un conversor 3. Las mejoras pendientes 4. Las aplicaciones 8

9 La conversión de texto en habla 1. De los inicios a la actualidad 2. La estructura de un conversor 3. Las mejoras pendientes 4. Las aplicaciones 9

10 Von Kempelen, 1791 Reconstrucción por Wheatstone 10

11 Von Kempelen, 1791 Simulación del aparato fonador Deutsches Museum, Munich 11

12 Evolución de los sistemas de síntesis: VODER VODER (Voice Operating Demonstrator) Homer Dudley, New York World's Fair

13 Evolución de los sistemas de síntesis: Pattern Playback Pattern Playback Laboratorios Haskins

14 Evolución de los sistemas de síntesis: OVE OVE I (Orator Verbis Electris) Gunnar Fant Primer sintetizador por formantes en cascada

15 Evolución de los sistemas de síntesis: DAVO DAVO (Dynamic Analog of the VOcal tract) George Rosen Massachusetts Institute of Technology, M.I.T. Primer sintetizador de base articulatoria

16 Evolución de los sistemas de síntesis: TI Speak'n'Spell Speak'n'Spell Linear Predictive Coding (LPC)

17 Sami Lemmetty (1999) Review of Speech Synthesis Technology, Master's Thesis, Laboratory of Acoustics and Audio Signal Processing, Helsinki University of Technology. st/index.html 17

18 Actualmente Inteligibilidad altísima Naturalidad aceptable Mejorable: expresividad 18

19 La conversión de texto en habla 1. De los inicios a la actualidad 2. La estructura de un conversor 3. Las mejoras pendientes 4. Las aplicaciones 19

20 Conversión de texto en habla Lectura en voz alta Gota. [ gota] 20

21 Conversión de texto en habla A. Aspectos lingüísticos B. Generación de habla sintética Gota. Módulo lingüístico Módulo de síntesis 21

22 Funcionamiento Principales módulos en un conversor de texto en habla J. Llisterri, C. Carbó, M. J. Machuca, C. de-la-mota, M. Riera, A. Ríos (2003) "El papel de la lingüística en el desarrollo de las tecnologías del habla, en M. Casas Gómez (dir.) y C. Varo Varo (ed.) VII Jornadas de Lingüística. Cádiz: Universidad de Cádiz. ISBN: : _Machuca_Mota_Riera_Rios_03_Linguistica_Tecnologi as_habla.pdf 22

23 A. Aspectos lingüísticos 23

24 Información lingüística Qué información fonética debe contener? Determinación y descripción de unidades Transcripción fonética Silabificación Acento Entonación Junturas Qué información léxica, sintáctica, semántica y pragmática debe contener? En qué orden deben actuar los módulos? 24

25 25

26 1. Preprocesado o normalización del texto Preparación del texto para que pueda ser transcrito fonéticamente Ejemplo: Juan Carlos I [ i ] <primero> 26

27 1. Preprocesado o normalización del texto Números ordinales Números romanos Horas Fechas Unidades de medida Temperaturas Expresiones monetarias Siglas Abreviaturas Direcciones de correo electrónico e Internet Símbolos 27

28 Cómo debería realizarse el preprocesado de estos casos? CCOO 1 m kw 28

29 Cómo debería realizarse el preprocesado de estos casos? 1 m 150 m 29

30 Cómo debería realizarse el preprocesado de estos casos? 1 metro 150 metros Concordancia morfológica 30

31 Cómo debería realizarse el preprocesado de estos casos? El valor era 25, ni más ni menos. 31

32 Cómo debería realizarse el preprocesado de estos casos? El valor era 25, ni más ni menos. El valor era 25,3, ni más ni menos. Cómo tratar la coma y los otros signos de puntuación? 32

33 Cómo debería realizarse el preprocesado de estos casos? UAM 6,

34 Cómo debería realizarse el preprocesado de estos casos? UAM 6, Hay más de una salida posible! 34

35 Abreviaturas Cómo expandir estas abreviaturas? c/ ed. impr. R.D. S.A. trad. v. 35

36 Abreviaturas Consulta DPD, Diccionario Panhispánico de Dudas Apéndice 2: Lista de abreviaturas 36

37 Abreviaturas Cómo expandir estas abreviaturas? c/ ed. impr. R.D. S.A. trad. v. Hay más de una salida posible! 37

38 Abreviaturas Consulta en el DPD c/ calle (también c. y cl.) cargo (también cgo.) cuenta (también cta.) ed. edición editorial (también edit.) editor, -ra impr. imprenta (también imp.) impreso R.D. Real Decreto [Esp.] (cf. R. O.) República Dominicana S.A. sociedad anónima (cf. S. L.) su alteza trad. traducción traductor, -ra v. véase (cf. vid.) verso 38

39 Preprocesado? Probemos con varios de los sistemas actuales accesibles en Internet Texto: Vamos a ver si se ha preprocesado el texto. Atención. Son las 12:45. El rey Carlos III. Son 100 Km/h. Es el 1º. Hablamos de la UGT, CCOO, el PSOE y la ONU. 39

40 AT&T 40

41 Acapela ELAN TTS 41

42 Loquendo 42

43 Pero cuidado Cuál es el objetivo del preprocesado? Hasta qué punto debe cubrir el preprocesado los elementos ajenos a la cultura habitual de uso del conversor? UGT, CCOO, PSOE 43

44 44

45 2. Análisis lingüístico Grado de detalle implementado en el CTH? Relación coste-beneficio 45

46 Información categorial: categorizador Qué problema suponen estos casos? La baja Aparte Fuera 46

47 Información categorial: categorizador La baja La: determinante, pronombre Baja: adjetivo, sustantivo, verbo 47

48 Información categorial: categorizador Aparte "<aparte> DRAE "apartar" Verbo MImp Pres 3pers sg Prin "apartar" Verbo MSub Pres 1pers sg Prin "apartar" Verbo MSub Pres 3pers sg Prin "aparte" Adjetivo qual masc-fem sg "aparte" Adj "aparte" Nombre com masc sg "aparte" Adverbio "aparte" Preposición 48

49 Información categorial: categorizador Fuera "<fuera>" "fuera" Interj I "fuera" Adverbio "ir" Verbo MSub Imp 1pers sg Prin "ir" Verbo MSub Imp 3pers sg Prin "ser" Verbo MSub Imp 1pers sg Copula "ser" Verbo MSub Imp 3pers sg Copula 49

50 Posibles efectos fonéticos de la categoría Acento Entonación 50

51 Posibles efectos fonéticos de la categoría Acentuación de sobre: sobre blanco sobre la mesa 51

52 Posibles efectos fonéticos de la categoría Contorno de f0 del enunciado Si te parece bajo el armario, en la que bajo es una preposición J. Llisterri, C. Carbó, M. J. Machuca, C. de-la-mota, M. Riera, A. Ríos (2003) "El papel de la lingüística en el desarrollo de las tecnologías del habla, en M. Casas Gómez (dir.) y C. Varo Varo (ed.) VII Jornadas de Lingüística. Cádiz: Universidad de Cádiz. ISBN: :

53 Posibles efectos fonéticos de la categoría Contorno de f0 del enunciado Si te parece bajo el armario, en la que bajo es un verbo J. Llisterri, C. Carbó, M. J. Machuca, C. de-la-mota, M. Riera, A. Ríos (2003) "El papel de la lingüística en el desarrollo de las tecnologías del habla, en M. Casas Gómez (dir.) y C. Varo Varo (ed.) VII Jornadas de Lingüística. Cádiz: Universidad de Cádiz. ISBN: :

54 Posibles efectos fonéticos de la categoría Contorno de f0 del enunciado Si te parece bajo el armario, en la que bajo es un adjetivo J. Llisterri, C. Carbó, M. J. Machuca, C. de-la-mota, M. Riera, A. Ríos (2003) "El papel de la lingüística en el desarrollo de las tecnologías del habla, en M. Casas Gómez (dir.) y C. Varo Varo (ed.) VII Jornadas de Lingüística. Cádiz: Universidad de Cádiz. ISBN: :

55 Ejemplo: categorizador para el catalán, Jordi (Telefonica) Análisis de un ejemplo Informe técnico restringido, UAB. # regla para categorizar 'en' como ARTI cuando va precedido por NPRO # Ejemplo: En Joan canta # 1 INI_REGLA INI_COND 0 CATEG_FLAGS PREP PATO ARTI AND 0 CADENA_TOTAL en AND Regla contextual 1 CATEG_TOTAL NPRO INI_ACCI_SI 0 CATEG_TOTAL ARTI 1 IR_A NO_MAS_REGLAS INI_ACCI_NO 0 IR_A SIGUIENTE FIN_REGLA 55

56 Sintaxis, agrupación prosódica y melodía [La situación de los refugiados] [clamaba al cielo] [Si trae bombones] [dadle las gracias] 56

57 Sintaxis, agrupación prosódica y melodía Sinceramente, no sé qué hay que hacer Desafortunadamente, no sé qué hay que hacer Efectos en la melodía 57

58 Sintaxis, agrupación prosódica y melodía: alcance de los adverbios Francamente, de Marcos no sé nada Joaquim Llisterri, Carme Carbó, María Jesús Machuca, Carme de la Mota, Montserrat Riera y Antonio Ríos (2004) La conversión de texto en habla: aspectos lingüísticos en Martí, M. A. - Llisterri, J. (eds.) Tecnologías del texto y del habla. Barcelona, Edicions de la Universitat de Barcelona - Fundación Duques de Soria:

59 Sintaxis, agrupación prosódica y melodía: alcance de los adverbios Afortunadamente, de Marcos no sé nada Joaquim Llisterri, Carme Carbó, María Jesús Machuca, Carme de la Mota, Montserrat Riera y Antonio Ríos (2004) La conversión de texto en habla: aspectos lingüísticos en Martí, M. A. - Llisterri, J. (eds.) Tecnologías del texto y del habla. Barcelona, Edicions de la Universitat de Barcelona - Fundación Duques de Soria:

60 Sintaxis, agrupación prosódica y melodía: sujeto vs. complemento El sintagma nominal los números terminados en 3 realiza la función de sujeto Joaquim Llisterri, Carme Carbó, María Jesús Machuca, Carme de la Mota, Montserrat Riera y Antonio Ríos (2004) La conversión de texto en habla: aspectos lingüísticos en Martí, M. A. - Llisterri, J. (eds.) Tecnologías del texto y del habla. Barcelona, Edicions de la Universitat de Barcelona - Fundación Duques de Soria:

61 Sintaxis, agrupación prosódica y melodía: sujeto vs. complemento El sintagma nominal los números terminados en 3 realiza la función de complemento directo Joaquim Llisterri, Carme Carbó, María Jesús Machuca, Carme de la Mota, Montserrat Riera y Antonio Ríos (2004) La conversión de texto en habla: aspectos lingüísticos en Martí, M. A. - Llisterri, J. (eds.) Tecnologías del texto y del habla. Barcelona, Edicions de la Universitat de Barcelona - Fundación Duques de Soria:

62 Estructura informativa y prosodia Realce por foco contrastivo, estrecho La NIÑA de Vigo barre la nave gallega C. de-la-mota (1995) la representación gramatical de la información nueva en el discurso, Tesis doctoral, UAB, p

63 Estructura informativa y prosodia Realce por foco contrastivo, estrecho. Acento y melodía La NIÑA de Vigo barre la nave gallega C. de-la-mota (1995) la representación gramatical de la información nueva en el discurso, Tesis doctoral, UAB, p

64 Estructura informativa y prosodia Oscilogramas y curvas de intensidad correspondientes al enunciado Marcos robó el dinero sin realce fonológico en el sujeto (a) y con realce en él (b) J. Llisterri, C. Carbó, M. J. Machuca, C. de-la-mota, M. Riera, A. Ríos (2003) "El papel de la lingüística en el desarrollo de las tecnologías del habla, en M. Casas Gómez (dir.) y C. Varo Varo (ed.) VII Jornadas de Lingüística. Cádiz: Universidad de Cádiz. ISBN: :

65 65

66 3. Información fonética: transcripción Silabificación Localización del acento Transcripción fonética (palabra) Resilabificación Transcripción fonética (secuencias) Prosodia - Transcripción 66

67 Información fonética: transcripción Conversión grafema-alófono (letter-to-sound). Sistemas estandarizados AFI, Alfabeto Fonético Internacional? SAMPA, Speech Assessment Methods Phonetic Alphabet X-SAMPA, Extended SAMPA y su adaptación al español ka Dena 67

68 Ejemplo: SEGRE, transcriptor automático para el catalán central Transcriptor desarrollado para el CREL, Centre de Referència en Enginyeria Lingüística, Generalitat de Catalunya veu i imatge substitueixen l'escriptura en l'univers juvenil. b ` E w i m ` a d s u p s t i t u ` E n s k r i p t ` u n l u n i B ` E rr Z u n ` i l 68

69 Ejemplo: SEGRE, transcriptor automático para el catalán central Carme de-la-mota, y Montserrat Riera (2000) El transcriptor automàtic Segre, Jornades del Centre de Referència en Enginyeria Lingüística, CREL. Generalitat de Catalunya. P. Pachès, C. de-la-mota, M. Riera, M. P. Perea, A. Febrer, M. Estruch, J. M. Garrido, M. J. Machuca, A. Ríos, J. Llisterri, I. Esquerra, J. Hernando, J. Padrell, C. Nadeu, Segre: An Automatic Tool for Grapheme-to-Allophone Transcription in Catalan, en D. Ó Cróinín (ed.) Proceedings of the Workshop on Developing Language Resources for Minority Languages: Reusability and Strategic Priorities (LREC-2000 Second International Conference on Language Resources and Evaluation), 29 de mayo-3 de junio de 2000, Atenas (Grecia), honetic_transcription_catalan.pdf 69

70 Ejemplo: SEGRE, transcriptor automático para el catalán Catalán central: Carme de-la-mota, y Montserrat Riera (2000) El transcriptor automàtic Segre, Jornades del Centre de Referència en Enginyeria Lingüística, CREL. Generalitat de Catalunya. pdf P. Pachès, C. de-la-mota, M. Riera, M. P. Perea, A. Febrer, M. Estruch, J. M. Garrido, M. J. Machuca, A. Ríos, J. Llisterri, I. Esquerra, J. Hernando, J. Padrell, C. Nadeu, Segre: An Automatic Tool for Grapheme-to-Allophone Transcription in Catalan, en D. Ó Cróinín (ed.) Proceedings of the Workshop on Developing Language Resources for Minority Languages: Reusability and Strategic Priorities (LREC-2000 Second International Conference on Language Resources and Evaluation), 29 de mayo-3 de junio de 2000, Atenas (Grecia), RE_Phonetic_Transcription_Catalan.pdf 70

71 Ejemplo: transcripción fonética, Loquendo Análisis de dos ejemplos del catalán Informe técnico restringido (UAB) <ç> <Ç> La grafía <ç> se pronuncia por defecto como [s] excepto: a)<ç> se pronuncia como [z] si aparece seguida de <m>, <n>, <b>, <d>, <v>, <g>, <tg>, <tj>, <l>, <tz>, <j> o <z>. Ej.: atroçment. 71

72 Ejemplo: transcripción fonética, Loquendo Análisis de dos ejemplos del catalán Informe técnico restringido (UAB) Deben transcribirse mediante [`E] las palabras en que <e> va seguida de <ss+vocal>. Ej.: disfressa, disfresses. Excepto: Deben transcribirse con [`e] las palabras de la lista excepciones_essa. Ej.: essa, cessis. 72

73 Loquendo: aspectos lingüísticos J. Llisterri, M. Machuca, N. Madrigal, F. Manzini, P. Massimino, C. de-la-mota, M. Riera, A. Ríos (2004), "Aspectos lingüísticos en el diseño de un conversor de texto en habla en castellano y en catalán: el sistema Loquendo TTS ", VI Congreso de Lingüística General. Universidade de Santiago de Compostela, Santiago. 3-7 de mayo de Universidade de Santiago de Compostela, Facultade de Filoloxía, Área de Lingüística Xeral. or_texto_habla_castellano_catalan_loquendo.pdf 73

74 Nombres propios y extranjerismos Qué pronunciación proponer? Con qué criterios? México Washington Pablo César Wanchope Bojan Krkić Pérez Generalitat Estruch xarel lo 74

75 Excepciones a las reglas de transcripción fonética Cómo dar cuenta de los siguientes extranjerismos del castellano? Affaire Backup Carpaccio Copyright Hacker Jacuzzi Mousse Piercing 75

76 Transcripción fonética: otros métodos ACRÓNIMOS corpus de entrenamiento algoritmo aprende generaliza codificación Carlos Monzo, Francesc Alías, Jose Antonio Morán y Xavier Gonzalvo (2006), Transcripción fonética de acrónimos en castellano utilizando el algoritmo C4.5, Procesamiento del lenguaje natural, 37:

77 Transcriptor fonético automático Xavier López Morràs (2004), UB 77

78 78

79 4. Modelado prosódico Contorno de f0: entonación Determinación de unidades prosódicas: colocación de inflexiones y pausas Ajustes de duración (junturas ) Inteligibilidad Naturalidad Expresividad Emoción 79

80 Modelos entonativos lingüísticos empleados en la síntesis de habla ToBI, Tone and Break Indices). Base fonológica: secuencia de tonos y junturas. Español: INTSINT. Cuatro niveles: acústico, fonético, fonológico superficial y fonológico profundo. Mertens: secuencia de tonos asociados a las sílabas. Cuatro niveles tonales básicos, dos clases de acentos y tres dominios prosódicos. Grønnum. Modelo de superposición con los niveles: texto, oración, grupos acentuales, sílaba e información microprosódica. IPO. Relación entre fenómenos de ámbito global y local. Fujisaki y colaboradores: modelo cuantitativo de superposición basado en la fisiología. Tilt, datos acústicos e interpolación mediante rectas. 80

81 B. Generación de habla sintética Procesado de la señal Obtención de la nueva onda sonora 81

82 B. Generación de habla sintética Síntesis Articulatoria: semejanza con la disposición de los articuladores. Calidad alta. Dificultad alta. Por formantes: modelan el tracto vocal basándose en la teoría de la fuente y el filtro. Por LPC: análisis de señal y síntesis a partir del cálculo LPC. Por concatenación de unidades: se parte de fragmentos de habla natural grabados por un locutor. Calidad alta. El sintetizador se parece al locutor 82

83 B. Generación de habla sintética Síntesis por concatenación 83

84 Generación de habla sintética Grabación de habla natural Extracción de fragmentos Concatenación de unidades Prosodia Reajustes finales 84

85 Obtención de voz natural Una voz. Selección del locutor de referencia: Variante lingüística Calidad sonora de la voz Capacidad lectora e interpretativa Plasticidad fonética en otras lenguas Grabación del corpus para obtener las unidades: gran base de datos Segmentación, etiquetado y almacenamiento del corpus 85

86 Información fonética: determinación de unidades Todos los alófonos presentes en una transcripción estrecha? Cuál es el modelo de pronunciación? Resulta económico el inventario? Solo los alófonos propios de la lengua? Cómo pronunciar extranjerismos? Qué hacer en caso de lenguas en contacto? 86

87 Corpus Elaboración de un corpus para obtener señal Grabación Corpus de unidades para la síntesis 87

88 Tipos de unidades Tramas Alófonos Difonemas Trifonemas Cuatrifonemas Semisílabas Sílabas Morfemas Palabras Frases enteras 88

89 Tipos de unidades: tramas Fragmentos con estabilidad acústica: transiciones partes estables Tramas Alófonos Difonemas Trifonemas Cuatrifonemas Semisílabas Sílabas Morfemas Palabras Frases enteras 89

90 Tipos de unidades: alófonos [o] Tramas Alófonos Difonemas Trifonemas Cuatrifonemas Semisílabas Sílabas Morfemas Palabras Frases enteras 90

91 Tipos de unidades: difonemas silencio [o] + [ol] + [la] + [a] silencio [ola] Tramas Alófonos Difonemas Trifonemas Cuatrifonemas Semisílabas Sílabas Morfemas Palabras Frases enteras 91

92 Tipos de unidades: pueden ser de longitud variable [o] [ka] [ komo Bamos] Selección en función de las necesidades del texto 92

93 Variación 93

94 Concatenación de unidades 94

95 Ajustes Parámetros acústicos 95

96 Información prosódica Modelos predictivos: Estadísticos Lingüísticos dependen del locutor grabado creación de un modelo específico 96

97 Obtención de nuevas voces Grabación de nuevos hablantes o Modificación de parámetros a partir de voces existentes 97

98 La conversión de texto en habla 1. De los inicios a la actualidad 2. La estructura de un conversor 3. Las mejoras pendientes 4. Las aplicaciones 98

99 Evaluación de sistemas de CTH Cómo está funcionando el sistema? Pruebas objetivas Pruebas subjetivas 99

100 Evaluación de sistemas de CTH Pruebas objetivas Selección de formas de distintos tipos en varios contextos Ejemplos: El teléfono no está en la guía. La fracción es el resultado de la operación. 100

101 Evaluación de sistemas de CTH Pruebas subjetivas Evaluación de la calidad, la inteligibilidad y la naturalidad de la voz Selección de textos de extensión controlada y temática equilibrada Selección de sujetos que escucharán la voz Encuestas 101

102 Logros actuales consolidados Inteligibilidad muy alta Sistemas en varias lenguas (multilingües) y dialectos Sistemas con varias voces (multilocutor) 102

103 En desarrollo Entrada de texto no formal: SMS, chat Mayor naturalidad Variación: variantes sociales, estilos Adecuación a la situación comunicativa Mayor expresividad, emociones, matices Adecuación al usuario: niños, ancianos Salida multimodal, multimedia 103

104 Emociones Murray y Arnott, 1993 (Trad. en Iriondo 2008: 15) 104

105 Emociones Juslin y Laukka, 2003 (Trad. en Iriondo 2008: 18) 105

106 Algunos ejemplos más de conversores accesibles en Internet 106

107 Cereproc, Barcelona Media 107

108 Cotovía Cotovia.mp

109 Festival 109

110 Festival 110

111 Festival 111

112 Festival (CSLU) 112

113 IBM 113

114 Proyecto MBROLA 114

115 Verbio 115

116 RealSpeak, Nuance 116

117 Voces en Google Síntesis basada en Modelos ocultos de Markov (HTS Project)

118 La conversión de texto en habla 1. De los inicios a la actualidad 2. La estructura de un conversor 3. Las mejoras pendientes 4. Las aplicaciones 118

119 Aplicaciones Discapacidades o necesidades especiales Asistentes interactivos Domótica Intervención en otros sistemas de tecnología del habla (como los sistemas de diálogo) 119

120 Umanify, Loquendo: ICEX 120

121 En definitiva 121

122 Stephen Hawking Campus Party speech (2006) 122