Síntesis de Voz Prof. Eduardo López Gonzalo

Transcripción

1 Prof. Eduardo López Gonzalo Dpto. Señales, Sistemas y Radiocomunicaciones

2 Tipos de Síntesis de Voz y Aplicaciones Principios básicos de Sistemas de Conversión de Texto a Voz (TTS systems) Sintetizadores de Voz Sistemas y Dificultades

3 Tipos de Síntesis de Voz y Aplicaciones (A) Voz Pre-Grabada (codificación) (B) Conversión de Texto a Voz Text-to-Speech TTS (C) Conversión de Concepto a Voz Concept-to-Speech CTS Acceso a Inform. Telefónica Asistentes de Lectura Comunicadores y Ayudas para Discapacitados Locutores virtuales (visual TTS) Otros: Enseñanza (I. Cervantes),.. ia.jsp?xml=/docs/ /0001.xml&x sl=/docs/plantillas/noticia.xsl

4 1791 El barón Wolfgang von Kempelen describió una máquina que reproducía fielmente la anatomía del aparato fonador humano

5 1835 Sistema parlante diseñado por Sir Charles Wheatstone

6 Sprachsynthese (TTS, Vocoder) Historie der Sprachsynthese 1939 Homer Dudley s Voder : Primer Sintetizador electrónico compuesto de: Un oscilador (controlado por un pedal) y una fuente de ruído blanco Diez filtros paso banda, con salida conectada a potenciómetros Algunos botones para generar consonantes como t, p, etc... Proseminar Sprachdialogsysteme Philipp S. Bach

7 Principios básicos de Sistemas de Conversión de Texto a Voz (TTS systems) Proceso Lingüístico-Prosódico Proceso de Señal Texto Análisis del Texto Análisis Fonético Análisis Prosódico Sonidos (pausas) Prosodia: o F0 o Duración o Energía Modelos de Síntesis de Voz SINTETIZADOR Voz Cotovía es un sistema de conversión texto-voz bilingüe para Gallego y Castellano desarrollado por el Grupo de Tratamiento de la Señal de la Universidad de Vigo (España) y un grupo de investigadores de la Universidad de Santiago de Compostela con el apoyo del Centro Ramón Piñeiro para a Investigación en Humanidades.

8 Principios básicos de sistemas de conversión de texto a voz Proceso Lingüístico-Prosódico: Análisis del Texto Componentes: Texto de Entrada Detección de la Estructura del Texto Normalización del Texto Análisis Lingüístico

9 Principios básicos de sistemas de conversión de texto a voz Proceso Lingüístico-Prosódico: Análisis del Texto Detección de la Estructura: Segmentación de párrafos. Separación de frases. Tipos de frases. Detección de estructura de SMS, , página web,... Identificación del Idioma,... Texto de Entrada Detección de la Estructura del Texto Normalización del Texto Análisis Lingüístico

10 Principios básicos de sistemas de conversión de texto a voz Proceso Lingüístico-Prosódico: Análisis del Texto Normalización del Texto: Abreviaturas (Vd. Sr. ), acrónimos (CEE, BMW), etc. Fechas, Horas, Cantidades, Números Corrección automática de errores o expansión de formas de escritura (SMSs) Identificación de palabras extranjeras,.. Texto de Entrada Detección de la Estructura del Texto Normalización del Texto Análisis Lingüístico

11 Principios básicos de sistemas de conversión de texto a voz Proceso Lingüístico-Prosódico: Análisis del Texto Análisis Lingüístico: Análisis sintáctico y semántico (posible) Desambiguación de palabras. Estructura de la frase. Identificación de tipo de frase. Texto de Entrada Detección de la Estructura del Texto Normalización del Texto Análisis Lingüístico

12 Principios básicos de sistemas de conversión de texto a voz Proceso Lingüístico-Prosódico: Análisis Fonético Componentes: Salida del Componente de Análisis de Texto Análisis Morfológico Conversión Letra-a-sonido (Grafema-a-alófono)

13 Principios básicos de sistemas de conversión de texto a voz Proceso Lingüístico-Prosódico: Análisis Fonético Análisis Morfológico: Palabras de función: pronombres, preposiciones, conjunciones (determinar sílabas, ej.: sublunar) Palabras de contenido Prefijos y sufijos, conjugaciones, plurales, aumentativos, etc Descubrir homógrafas que cambian sentido Ej.: para (preposición) y para (verbo) Salida del Componente de Análisis de Texto Análisis Morfológico Conversión Letra-a-sonido (Grafema-a-alófono)

14 Principios básicos de sistemas de conversión de texto a voz Proceso Lingüístico-Prosódico: Análisis Fonético Conversión Grafema-Alófono: Soluciones basadas en diccionario Palabras divididas en morfemas (para disminuir diccionario) Si la palabra no está: usa reglas Soluciones basadas en reglas: Reglas de conversión letrasfonemas + Tabla + algoritmos de excepciones Salida del Componente de Análisis de Texto Análisis Morfológico Conversión Letra-a-sonido (Grafema-a-alófono)

15 Principios básicos de sistemas de conversión de texto a voz Proceso Lingüístico-Prosódico: Análisis Prosódico Componentes: Salida del Componente de Análisis Fonético Módulo Pausador Modelado de: Entonación Duración Intensidad Sonidos y pausas + F0, duración y Energía

16 Principios básicos de sistemas de conversión de texto a voz Proceso Lingüístico-Prosódico: Análisis Prosódico Módulo Pausador: Decisión de dónde insertar pausas ortográficas y no ortográficas- : Información gramatical: coeficientes de relación Número de sílabas Asignación de la duración adecuada a las pausas Salida del Componente de Análisis Fonético Módulo Pausador Modelado de: Entonación Duración Intensidad Sonidos y pausas + F0, duración y Energía

17 Principios básicos de sistemas de conversión de texto a voz Proceso Lingüístico-Prosódico: Análisis Prosódico Modelado Prosódico: Modelos: Patrones pre-establecidos Basados en reglas Estocásticos, a partir de datos. Modelado de F0 y duración: independiente o conjunto? Intensidad, generalmente sólo normalización Salida del Componente de Análisis Fonético Módulo Pausador Modelado de: Entonación Duración Intensidad Sonidos y pausas + F0, duración y Energía

18 MODELOS PROSÓDICOS Lineales o de Secuencia de Tonos generar la curva de F0 de izquierda a derecha como una secuencia de valores o movimientos Escuela Británica basada en análisis auditivo Pierrehumbert 1980 análisis acústico (ToBI) Dutch school - t Hart, Collier and Cohen 1990 información perceptual Tilt - Taylor 1998 base fonética Modelos Jerárquicos o de superposición: - generar el contorno de F0 modelando factores de forma aislada (fonema, sílaba, palabra, frase, sentencia) y luego combinar los modelos parciales. Fujisaki 1983, Grønnum 1992, Möbius et al. 1993, Tomás Navarro Tomás, Manual de Pronunciación Española (1945) New York: Hispanic Institute. Guadarrama

19 Sintetizadores de Voz Paramétricos Sintetizadores por Formantes: Síntesis por Regla (Denis Klatt, 1980) Modelos Articulatorios No Paramétricos: Concatenación de unidades Base de datos de unidades pequeña + modificación prosódica (PSOLA CNET, Moulines & Charpentier 1990) Síntesis por Corpus: Selección de Unidades sobre una gran base de datos de voz (Alan W. Black, 1996)

20 Sintetizadores de Voz: Paramétricos Sintetizadores por Formantes: Síntesis por Regla (Denis Klatt, 1980): Síntesis por regla: a partir de la secuencia de fonemas genera los parámetros de control del sintetizador. Síntesis por formantes: produce la voz sintética a partir de text los parámetros de control. Text-to-phone conversion Phone string Synthesisby-rule Synthesiser control parameters Synthesiser letterto-sound rules Exceptions dictionary Speaker table Rules Prosody parameters Linguistic analysis

21 Sintetizadores de Voz: Paramétricos Sintetizadores por Formantes: Síntesis por Regla (Denis Klatt, 1980): Parámetros de Control Unvoiced Excitation Excitation Mixers Formant Amplitude Control Formant Resonators A F1 A F2 Speech Out + A F3 A F4 Voiced Excitation Voicing Control

22 Sintetizadores de Voz: Paramétricos Sintetizadores por Formantes: Síntesis por Regla (Denis Klatt, 1980): Parámetros de Control El sintetizador de formantes de mayor éxito comercial fue el DECTalk, basado en MIT Klatttalk

23 Sintetizadores de Voz: No Paramétricos Base de datos de unidades pequeña + modificación prosódica (PSOLA CNET, Moulines & Charpentier 1990) Dificultad y elevado tiempo de desarrollo de los sistemas de síntesis por regla. Síntesis por concatenación de unidades: Selección de unidades: tipo dífonos para representar la coarticulación entre dos sonidos. Algoritmo de modificación prosódica (PSOLA: Pitch Synchronous Overlap-Add)

24 Sintetizadores de Voz: concatenación de unidades Generación de la base de datos Fonemas y Prosodia Corpus de voz BD Unidades Parametriz. Segmentación de unidades Análisis Ecualización BD Unidades de Voz Informac. unidades Lista de Unidades Codificación de voz Sintetizador de Voz BD Unidades de síntesis Decodificación De voz Modificación Prosódica Concatenación Síntesis Voz

25 4 4 Sintetizadores de Voz: concatenación de unidades: Dífonos # L L A A T T A A #... 2 x x 10 Modificación de paramètros prosódicos

26 PSOLA: Pitch Synchronous Overlap and Add PSOLA (Charpentier-Moulines, 1986) Es el método más utilizado en síntesis por concatenación de unidades Existen 3 versiones TD-PSOLA, LP-PSOLA y FD-PSOLA

27 PSOLA De: John Holmes and Wendy Holmes, Speech synthesis and recognition, Taylor & Francis 2001

28 Modification de la Voz usando PSOLA Además de la síntesis de voz a partir de segmentos hay dos aplicaciones del PSOLA que se usan en TTS: Modificación del Pitch Modificación de la Duración

29 Aumentando el pitch con PSOLA De: John Holmes and Wendy Holmes, Speech synthesis and recognition, Taylor & Francis 2001

30 Disminuyendo el pitch PSOLA De: John Holmes and Wendy Holmes, Speech synthesis and recognition, Taylor & Francis 2001

31 Modificando el Pitch X = Dífono Original C_A Extracted pitch period Hanning window Hanned pitch period

32 Modificando el Pitch PSOLA Pitch Synchronous Overlap and Add = 50% Overlap + Add Pitch Up > 50% Pitch Down < 50%

33 PSOLA strengths and weaknesses Strengths Produces good quality speech Weaknesses Large, annotated corpus needed for each voice Requires accurate pitch peak detection Inflexible new voices can only be produced by recording and labelling significant speech corpora from new speakers Automatic annotation of corpora using techniques from speech recognition

34 Sintetizadores de Voz: No Paramétricos Base de datos de unidades pequeña + modificación prosódica (PSOLA CNET, Moulines & Charpentier 1990) Hay otros modelos de síntesis: Modelos Armónicos Voz como combinación lineal de L sinusoides con amplitudes, fases y frecuencias variantes con el tiempo

35 Sintetizadores de Voz: Paramétricos Modelos Articulatorios:

36 Sintetizadores de Voz: No Paramétricos Síntesis por Corpus: Selección de Unidades sobre una gran base de datos de voz (Alan W. Black, 1996) Objetivo: Sintetizar una frase = seleccionar la secuencia de unidades {u i } que represente mejor la secuencia de sonidos + prosodia {t i } (t i : target = sonido + prosodia): S (silencio) t 1 t 2 t 3 t t n S(silencio) Gran BD de Unidades u 1 u 2 u 3 u u n de Voz u i min.

37 Sintetizadores de Voz: No Paramétricos Síntesis por Corpus: Selección de Unidades sobre una gran base de datos de voz (Alan W. Black, 1996) Se define: Coste de ajuste al objetivo: Coste de concatenación:: ( t u ) t C i, ( u u ) c C i 1, i i C t ( t ) = i, ui j = 1 j: diferencia de f0, duración, contexto,... w jt : peso de cada factor P w t j c t j ( t i, u i )

38 Sintetizadores de Voz: No Paramétricos Síntesis por Corpus: Selección de Unidades sobre una gran base de datos de voz (Alan W. Black, 1996) Se define: Coste de concatenación:: ( u u ) c C i 1, i C c ( u, u ) 0 = Q i 1 i j= 1 si w la secuencia c j c c j ( u, u ) i 1 i existe en la BD j: distancias en el punto de unión: cepstral, log-energía, f0,... w jc : peso de cada factor

39 Objetivo: Sintetizar una frase = seleccionar la secuencia de unidades {u i } que represente mejor la secuencia de sonidos + prosodia {t i } (t i : target = sonido + prosodia): S (silencio) t 1 t 2 t 3 t t n S(silencio) Gran BD de Unidades de Voz u i min. u 1 u 2 u 3 u u n {u i } óptima => mínimo ( t n u n ) C 1, 1 C t n n c c 1 C ( ui 1, ui ) + C ( un, S) i= 1 i= 2 ( n n ) c = ( ) + t, u + 1 C S, u1 C ( ti, ui )

40 Sintetizadores de Voz: No Paramétricos Síntesis por Corpus: Selección de Unidades sobre una gran base de datos de voz (Alan W. Black, 1996) Problemas: Qué factores y entrenamiento de los pesos: w j c, w j t Algoritmo de búsqueda de unidades

41 Sistemas y Dificultades Dificultades Naturalidad: prosodia, sistemas mixtos por corpus + dífonos Expresividad: sistemas de diálogo, comunicadores personales: síntesis de emociones Personalización/Generación rápida de nuevas voces Síntesis Audio-Visual

42 Sistemas y Dificultades Sistemas Comerciales (castellano): Telefónica Investigación y Desarrollo xml&xsl=/docs/plantillas/noticia.xsl Tecnología / Diálogo / etc... ATLAS: ScanSoft (RealSpeak: Loquendo ( ELAN Informatique ( Nuance (RealSpeak & Vocalicer:

43 Sistemas y Dificultades Sistemas Investigación y Distribución Libre: Festival MBROLA FreeTTS (Festival => Java) Universidades españolas: Otros Contextos: MPEG-4 & MPEG-7 Microsoft Speech API, corpus

44 Sistemas y Dificultades Otros Contextos: Síntesis Audio-Visual Audio (voz pre-grabada) Identificación de Sonidos (Reconocedor de Habla) sonidos --> visemas visemas Animación Texto Conversor Texto-Voz Audio Animación 2D o 3D Composición de Vídeo

45 Sistemas y Dificultades Otros Contextos: Síntesis Audio-Visual Haptek FaceWorks Lipsync (aplicaciones Composición de vídeo: Vir2elle: Oddcast: Web bots: Alicebot (aplicaciones