Práctica 10: Transformaciones en el dominio frecuencial con SMS

Transcripción

1 Práctica 10: Transformaciones en el dominio frecuencial con SMS Sintesi i Processament del So I Emilia Gómez Gutiérrez ESMUC, emilia.gomez@esmuc.cat 8 de diciembre de 2009 Índice 1. Introducción En esta práctica intentaremos aplicar algunos efectos de procesado básicos implementados en un sistema que trabaja con la representación frecuencial o espectro del sonido. Para ello utilizaremos el programa SMSTools. Este programa implementa un sistema de análisis/síntesis/transformación de sonidos basado en modelos espectrales (Spectral Modelling Synthesis). 2. Introducción a SMS SMS es un conjunto de técnicas para análisis, transformación y síntesis de sonidos musicales. El objetivo del sistema es de obtener una representación o modelo de un sonido determinado mediante un proceso de análisis. Con esta representación, podremos modificar parámetros musicales de forma independiente. Dicha representación se basa en descomponer el sonido en una suma de sinusoides (las cuales representan la parte armónica del sonido, como vimos en la síntesis aditiva) más una componente de ruido (denominado residuo), que representa la componente no armónica de dicho sonido. Este proceso puede ser controlado por el usuario o realizado automáticamente dependiendo de las características del sonido analizado. El proceso de análisis consiste en la detección de parciales correspondientes a la parte armónica del sonido. La detección de parciales se realiza mediante el estudio de la variación de las características espectrales de un sonido, que se intentan modelar como un conjunto de sinusoides cuyas características de amplitud, frecuencia y fase varían a lo largo del tiempo. Una vez hemos modelado el sonido mediante una suma de parciales, éstos se restan al sonido original para obtener el residuo. Dicha componente residual se representa en el dominio frecuencial. El diagrama de bloques de análisis/síntesis de SMS se representa en la figura??. 1

2 Figura 1: SMS 3. Análisis de un sonido mediante el modelo espectral SMS 1. Abrir el programa SMSTools, y cargar un fichero de audio (por ejemplo el fichero de saxo o el de voz) que elegirás mediante el menú File-Open. Puedes escuchar el sonido pulsando la barra espaciadora encima de la ventana de audio. 2. Dejar los parámetros de análisis por defecto y analizar el fichero mediante la opción del menú Analysis-Analyze. Dicho proceso de análisis calcula, a partir del sonido original, el conjunto de sinusoides más ruido que más se parecen al sonido original. Por tanto, se estiman los parámetros de cada señal sinusoidal (amplitud, frecuencia y fase) y la amplitud del ruido. Dichos parámetros se calculan a partir de la representación frecuencial o espectro del sonido. 3. Visualiza el espectro del sonido mediante la opción View-InputFFT. Puedes moverte por el archivo sonoro (ventana donde se representa la forma de onda) para ver el espectro en diversos instantes de tiempo. Pues cambiar los parámetros de análisis frecuencial: tamaño de ventana o window size, tipo de ventana (por defecto tenemos una ventana Blackman Harris 74 db) y factor de zero padding (zero padding factor). Observa qué efecto tiene este cambio en el espectro resultante. 4. El modelo SMS calcula los máximos locales o picos del espectro, que serán los parciales o sinusoides del model espectral. Vuelve a analizar el fichero mediante la opción del menú Analysis-Analyze, para así retomar los parámetros de análisis por defecto. El programa calcula un modelo de sinusoides más ruido (SMS) a partir del sonido original. Visualiza dichos 2

3 picos espectrales calculados clicando en el botón de picos de la ventana InputFFT (segundo botón empezando por la izquierda). Puedes moverte por el archivo de audio y visualizar los picos. Comenta si se corresponden a los armónicos del sonido, y observa qué pasa cuando se analizan instantes de silencio. 5. Visualiza la evolución de los parciales a través del tiempo mediante la opción View-OuputSine. Observa cómo evolucionan y qué pasa en las zonas de ataque y release, así como en los silencios. Puedes escuchar la parte sinusoidal pulsando la barra espaciadora sobre esta ventana, o bién el botón de play. 6. Visualiza el resultado de estimar, a partir de los parciales, cuál es la frecuencia fundamental del sonido, mediante la opción View-OutputAttPitch. Comenta si ha habido algún error en la estimación de dicha frecuencia fundamental. 7. Visualiza el resultado de sustraer al sonido original la parte sinusoidal, generada a partir de los parciales mediante síntesis aditiva. Como hemos visto antes, se denomina residuo, y lo podemos visualizar y escuchar en la ventana View-OutputResWave. Comenta las características de dicho residuo, y si se ha separado bién la parte armónica del ruido o no. 8. Sintetiza el sonido compuesto por la recombinación de la parte sinusoidal y del residuo mediante la opción Synthesize-Synthesize. 9. Visualiza y escucha el sonido sintetizado, así como las partes sinusoidal y residual, mediante las opciones View-InputSound, View-OutputSine, View-OutputResWave. Comentar cómo con este método podemos separar la parte sinusoidal del ruido del instrumento, y cómo se relaciona con lo que oímos. 4. Transformación de un sonido en el dominio temporal Ahora vamos a transformar el sonido en el dominio frecuencial utilizando este modelo SMS. Antes de sintetizar, el programa transforma los parámetros SMS. Algunos parámetros se pueden transformar gráficamente manteniendo pulsada la tecla control y editando con el ratón. Una vez modificados, se sintetiza el resultado mediante la opción Synthesize-Synthesize y se escucha el resultado en View-Outputsound. Puedes guardar el sonido generado clicando sobre la ventana del sonido de salida dos veces con el botón derecho del ratón, mediante la opción save sound. Modifica de ésta forma los siguientes parámetros: 1. Modificación de la forma de onda: modifica la amplitud relativa del sonido editando directamente la forma de onda en la pantalla (View- OutputSound). 2. Modificación de la dinámica de la parte sinusoidal: modifica la amplitud relativa de la parte sinusoidal (View-OutputAmpSize). 3

4 3. Modificación de la dinámica del residuo: modifica la amplitud relativa del residuo (View-OutputAmpSpec). 4. Transposición: modifica la frecuencia fundamental del sonido en la ventana View-OutputAttPitch. Inserta un vibrato en alguna nota o elimínalo. Otra transformaciones las especificaremos mediante un fichero de parámetros de síntesis. Un ejemplo de dicho fichero es Transformation-Parameters.sco, donde se presentan las transformaciones que podemos hacer y los parámetros a cambiar. Puedes editarlo con cualquier editor de texto (por ejemplo, Note- Pad). Utiliza para transformar el fichero de voz voz-short.wav. Para realizar una transformación, primero carga éste fichero de audio, luego los parámetros de transformación (Synthesize-LoadParameters), y luego genera la transformación (Synthesize-Synthesize). Escucha el sonido transformado en View-OutputSound. 1. Amplificación de armónicos impares. La transformación utilizada se denomina en el fichero AmpSineOdd, y podemos especificar una constante (factor de amplitud) o una envolvente. Dicha envolvente se define como una sucesión de valores x,y (x1 y1 x2 y2 x3 y3...), donde x indica el instante de tiempo (0 es el inicio y 1 es el final del fichero) e y el valor. Fija el factor a 0. Qué efecto tiene sobre el sonido?. Genera una transformación interesante utilizando una envolvente en este parámetro. 2. Transposición. La transformación utilizada se denomina en el fichero AttSinePitchTransposition, y podemos especificar una constante (factor de transposición que multiplica a la frecuencia fundamental) o una envolvente (sucesión de puntos x,y). Genera una transformación interesante utilizando una envolvente en este parámetro. 3. Modificación de la escala temporal. La transformación utilizada se denomina en el fichero TimeStretch, y podemos especificar una constante (factor de escalado temporal) o una envolvente (sucesión de puntos x,y). Genera una transformación interesante utilizando una envolvente. 4. Genera una combinación de las dos transformaciones anteriores. 5. Compresión del timbre. Realiza una compresión del timbre de la voz (voz-short.wav) utilizando los parámetros AttSineShapeExpCompRange- Mapping (parte sinusoidal) y AttSpecShapeExpCompRangeMapping (residuo). Fija los parámetros con la siguiente envolvente: Qué significado tiene? Qué relación tiene con las características del tracto vocal?. 6. Ahora añade a esta compresión del timbre una transposición una octava más grave. Escucha el resultado y comenta cómo ha cambiado la voz. 7. Ahora añade a esta compresión del timbre un time stretch para que suene un poco más lento. Escucha el resultado y comenta cómo ha cambiado la voz. 8. Morphing. Con esta herramienta podemos hacer una hibridación de los diferentes parámetros del sonido. El fichero de parámetros especifica qué parámetros se han de variar para hacer un morph de una voz y de un saxo, 4

5 eligiendo el pitch del saxo y el resto de la voz. Para ello tienes que hacer lo siguiente: a) Edita el fichero de parámetros e inicializa las transformaciones anteriores (AttSinePitchTransposition 1, Time-Stretch 1, AttSineShapeExpCompRangeMapping , AttSpecShapeExpCompRangeMapping ). b) Abre el fichero de saxo: saxo.wav. Analízalo y guarda el resultado con la opción File-Save Output SMS File. Ponle extensión.sms. c) Abre el fichero de voz: voz-short.wav. Analízalo y guarda el resultado con la opción File-Save Output SMS File. Ponle extensión.sms. d) Abre un proyecto de morphing: File-Open Morph. Te pedirá en este orden: voz-short.sms, voz-short.wav, saxo.sms, saxo.wav, Transformation- Parameters.sco. Luego para generar el Morph, Morph-Synthesize. e) Juega con el parámetros HybSynchronizeTime que te permite definir una envolvente para el mapping entre los tiempos del primer y segundo archivo. Define una envolvente para que se tome el principio y el final de los dos archivos, para que se tome sólo la primera mitad del saxo, y para que se tome sólo un instante del saxo. De esta forma, tendremos siempre el mismo pitch aplicado en la voz. f ) Define una envolvente de este parámetro para que el pitch vaya de la voz al saxo progresivamente. g) Haz que suene la voz con la amplitud del saxo, utilizando el parámetro HybSineAmp y anulando el morphing de pitch. 5. Informe de prácticas Se tiene que entregar un pequeño resumen de lo que se ha hecho y los ficheros transformados que se han generado a lo largo de la práctica. Intenta que las transformaciones sean interesantes y que puedan utilizarse en un entorno creativo. 6. Referencias SMS, sms 5