Temas Avanzados en Procesado de Señales

Transcripción

1 Temas Avanzados en Procesado de Señales Parte I: Procesado de Voz y Audio Javier Ortega García Joaquín González Rodríguez

2 Tema 1 Análisis de Señales de Voz

3 1.1. Introducción La señal de voz es una señal especial pues codifica mediante sonidos el lenguaje hablado. Se organiza jerárquicamente: Diálogo Frase Palabra Sílaba Fonema Sonido El lenguaje coloquial hablado incorpora un número limitado de palabras (aprox ) Tema 1: Análisis de Señales de Voz T1.3

4 1.1. Introducción La denominación técnica de cada sonido es alófono Un mismo fonema escrito puede corresponder a varios alónos (p.e., nasal / no nasal) En castellano existen 24 fonemas, y menos de 50 alófonos Incorpora diversas fuentes de información hablada: Mensaje Identidad Idioma Patología Estado Emocional Tema 1: Análisis de Señales de Voz T1.4

5 1.1. Introducción Etapas en la Comunicación Hablada Locutor o Hablante Oyente Nervio Auditivo Oido Realimentación acústica Cerebro Cerebro Canal Oido Órdenes articulatorias Tracto vocal Habla Nervio auditivo Etapa Lingüística Etapa Fisiológica Etapa Físico- Acústica Etapa de Transmisión Etapa Físico- Acústica Etapa Fisiológica Etapa Lingüística Tema 1: Análisis de Señales de Voz T1.5

6 1.2. Características a Largo Plazo Señal de voz, no estacionaria (es decir, sus propiedades estadísticas varían) a largo plazo (s.). Características temporales con constantes fluctuaciones Locución de 5 s. de duración: Tema 1: Análisis de Señales de Voz T1.6

7 1.2. Características a Largo Plazo Si estudiamos tramos de menor duración (cientos de ms.) persiste carácter poco estacionario. Transiciones entre sonidos progresivas; no bruscas. Tramo sonoro de la frase anterior (500 ms.): Tema 1: Análisis de Señales de Voz T1.7

8 1.2. Características a Largo Plazo No estacionaridad persiste a medio plazo. Más notoria en tramos transición sonoro/sordo, o en sonidos oclusivos: Tema 1: Análisis de Señales de Voz T1.8

9 1.3. La señal de Voz a Corto Plazo En duraciones cortas (< decenas ms.) la señal se comporta como quasi-estacionaria. Forma de onda de una vocal con duración 80 ms.: Tema 1: Análisis de Señales de Voz T1.9

10 1.3. La señal de Voz a Corto Plazo La señal de voz presente en determinados tramos apariencia pseudoperiódica. Característica no generalizable, pues se pueden encontrar tramos con apariencia ruidosa: Tema 1: Análisis de Señales de Voz T1.10

11 Existen tramos hablados de naturaleza distinta: Algunos tramos presentan carácter periódico Otros, sin embargo, tienen apariencia ruidosa Esto permite realizar una clasificación genérica de los sonidos hablados en función de su naturaleza, como: Sonoros, sonidos de carácter periódico Sordos, sonidos de carácter ruidoso Profundicemos en el mecanismo humano de producción, que permite realizar esta clasificación fundamental. Tema 1: Análisis de Señales de Voz T1.11

12 El mecanismo de Producción de Voz El mecanismo de producción de voz presenta el siguiente esquema funcional: Tema 1: Análisis de Señales de Voz T1.12

13 El mecanismo de Producción de Voz La señal hablada se produce cuando expelimos el aire de los pulmones a través de la tráquea. Las cuerdas vocales, ubicadas en la laringe, tienen una doble funcionalidad: En los sonidos sonoros, las cuerdas vocales se hallan en tensión y vibran cuando las atraviesa el flujo de aire proveniente de los pulmones. En los sonidos sordos, las cuerdas vocales están en relajación, y el flujo de aire las atraviesa libremente. El sonido se produce por la turbulencia de aire generada en la constricción. Tema 1: Análisis de Señales de Voz T1.13

14 Vibración de las Cuerdas Vocales Ciclo completo de vibración de las cuerdas vocales. Corte longitudinal Vista transversal superior de la glotis: (a) Respiración normal. (b) Respiración profunda. (c) Sonido sonoro. (d) Susurro. Tema 1: Análisis de Señales de Voz T1.14

15 Sección Transversal de la Laringe Tema 1: Análisis de Señales de Voz T1.15

16 Cavidades Acústicas y Formantes Tres cavidades acústicas constituyen el TRACTO VOCAL: La cavidad faríngea, situada inmediatamente después de la laringe. La cavidad oral, (tracto oral o bucal) formada por el paladar, la lengua, los dientes y los labios. La cavidad nasal, (tracto nasal) que se encuentra situada entre el velo del paladar y los orificios nasales. En la producción de sonidos hablados, la laringe excita estas cavidades, produciendo determinadas frecuencias de resonancia, denominadas FORMANTES Estos desempeñan un papel fundamental en la diferenciación de los sonidos. La detección de estas frecuencias de resonancia se realiza en la envolvente espectral, constituyendo los FORMANTES los máximos relativos de dicha envolvente. Tema 1: Análisis de Señales de Voz T1.16

17 Órganos y Lugares de Articulación Órganos articulatorios 1.- Cuerdas vocales 2.- Faringe 3.- Úvula 4.- Velo (paladar blando) 5.- Paladar (duro) 6.- Alvéolos 7.- Dientes 8.- Labios 9.- Ápice (lengua) 10.- Pre-dorso (lengua) 11.- Post-dorso (lengua) 12.- Raíz (lengua) 13.- Mandíbula 14.- Cavidad nasal 15.- Cavidad oral 16.- Orificios nasales 17.- Traquea 18.- Epiglotis Lugares de articulación 1.- Labial 2.- Dental 3.- Alveolar 4.- Palatal 5.- Velar 6.- Uvular 7.- Faríngea 8.- Glotal Tema 1: Análisis de Señales de Voz T1.17

18 Lugar y Forma de Articulación Lugar de articulación Forma de articulación Bilabial: p, b, m, w Labiodental: f Dental: θ Alveolar: t, d, s, z, n, l Palatal: r, y Velar: k, g, ñ Gutural: h Oclusiva: cierre + apertura súbita (p, b, t, d, k, g) Fricativa: Turbulencia en constricción (f, s, z, θ) Africada: oclusión + fricación (ch) Nasal: baja el velo, aire en cav. nasal (m, n, ñ) Lateral: aire por lados de lengua (l, ll) Semivocal: w, r, y Tema 1: Análisis de Señales de Voz T1.18

19 Los Sonidos Vocálicos Realizaciones articulatorias orales de los sonidos vocálicos (1) /a/ (2) /e/ (3) /i/ (1) /a/ en baba [βáβa]. (2) /e/ en bebe [βéβe]. (3) /i/ en vivo [βíβo]. (4) /o/ en bobo [βóβo]. (4) /o/ (5) /u/ (5) /u/ en pupas [púpas]. Tema 1: Análisis de Señales de Voz T1.19

20 Los Formantes de las Vocales (Esp) Espectrograma correspondiente a las 5 vocales del Castellano (de la /a/ a la /u/, de izqda. a drcha.), mostrando los dos primeros formantes, F1 y F2. Tema 1: Análisis de Señales de Voz T1.20

21 Diferenciación Sordo / Sonoro Según la naturaleza de los sonidos, la diferenciación estriba en la vibración o no de las cuerdas vocales. Los sonidos sonoros son periódicos, debido a la vibración de las cuerdas. La frecuencia fundamental de vibración de las cuerdas constituye el tono. Son sonidos de alta energía y estabilidad a corto plazo. Los sonidos sordos son de apariencia ruidosa, pues se generan como turbulencias de aire en alguna constricción del tracto. Son sonidos de alta frecuencia y baja energía, y baja estabilidad a corto plazo. Tema 1: Análisis de Señales de Voz T1.21

22 Representación Espectral Sonidos Sonoros Su característica más relevante es la periodicidad, como se puede observar a continuación en la forma de onda de la vocal /u/: Tema 1: Análisis de Señales de Voz T1.22

23 Representación Espectral Sonidos Sonoros La representación espectral está caracterizada por la aparición de armónicos (múltiplos enteros de f0). Dichas componentes se denominarán ESTRUCTURA FINA del espectro. Tema 1: Análisis de Señales de Voz T1.23

24 Sonidos Sordos en el Tiempo Sonidos Sordos Producidos por una turbulencia de aire en una constricción del tracto vocal, su apariencia es ruidosa. En la figura se observa un sonido sordo entre dos sonidos sonoros: Tema 1: Análisis de Señales de Voz T1.24

25 Sonidos Sordos en la Frecuencia Sonidos Sordos La apariencia espectral es también ruidosa, sin estructura armónica definida. Su contribución se concentra en las altas frecuencias vocales: Tema 1: Análisis de Señales de Voz T1.25

26 Sonidos Impulsivos Las consonantes oclusivas, formadas por un tiempo de cierre y otro de explosión (con apariencia impulsiva) pueden ser sonoras o sordas: Tema 1: Análisis de Señales de Voz T1.26

27 Formantes: Carácter Diferenciador Los formantes responden a la configuración específica de los órganos del tracto al pronunciar un determinado sonido. Cada sonido específico conllevará una envolvente espectral característica y diferenciadora respecto al resto de sonidos. El oído humano se basa en la estructura formántica para discriminar entre sonidos. Los sistemas de reconocimiento automático basan su eficiencia en la capacidad de parametrizar adecuadamente la envolvente espectral. La estructura fina no aporta información diferenciadora entre los sonidos, pues dos estructuras distintas pueden corresponder a un mismo sonido. Tema 1: Análisis de Señales de Voz T1.27

28 Formantes: Carácter Diferenciador Los formantes responden a la configuración específica de los órganos del tracto al pronunciar un determinado sonido. Amplitud(dB) 0 Frecuencia fundamental: 196 Hz. Amplitud(dB) 0 Frecuencia fundamental: 122 Hz Frecuencia(KHz) Frecuencia(KHz) Tema 1: Análisis de Señales de Voz T1.28

29 1.5. Descomposición Excitación-Tracto Las figuras siguientes muestran la descomposición (separación) posible entre las contribuciones de la excitación y del tracto vocal en sonidos sonoros y sordos: Tema 1: Análisis de Señales de Voz T1.29

30 1.6. Distribución de Niveles de Amplitud Función densidad de probabilidad de niveles Nuestra referencia (0 db) es el valor RMS (asociado a la energía). Máximos niveles a +18 db (0.1%). Mínimos niveles a 50 db (2%). Margen dinámico (ideal): 65 db Margen dinámico (real): db Tema 1: Análisis de Señales de Voz T1.30

31 1.7. Espectro Promedio a Largo Plazo Diferencias apreciadas Los hombres tienen información desde menos de 100 Hz. Las mujeres comienzan en Hz. Los espectros caen con 10 db/octava a partir de 500 Hz. Tema 1: Análisis de Señales de Voz T1.31

32 1.8. Distribución de Frecuencia Fundamental Diferencias hombre / mujer Hombres: Centrado en 125 Hz. Desviación: 20.5 Hz. Mujeres: Centrado en 250 Hz. Desviación: 41 Hz. Tema 1: Análisis de Señales de Voz T1.32

33 1.9. Modelo Simplificado de Producción Modelo de pulso glotal G(z) G v Filtro de envolvente espectral Modelo de radiación Decisión sonoro/sordo H(z) R(z) Señal de voz G u Tema 1: Análisis de Señales de Voz T1.33

34 1.9. Modelo Simplificado de Producción Modelo de Pulso Glotal El modelo de pulso glotal, G(z), aplica una estimación de cómo son los pulsos glotales (en forma de onda). La salida de este sistema, a cuya entrada tenemos un tren de impulsos separados el periodo fundamental, será un tren de pulsos glotales a la frecuencia fundamental deseada, a saber: Tema 1: Análisis de Señales de Voz T1.34

35 1.9. Modelo Simplificado de Producción Modelo de Radiación El modelo de radiación, R(z), reproduce el efecto de la impedancia de radiación que el medio opone a la salida del habla desde la boca. Supone una atenuación a altas frecuencias vocales, lo que explica el uso de pre-énfasis en los sistemas de reconocimiento de habla: Tema 1: Análisis de Señales de Voz T1.35