UNIVERSIDAD PONTIFICIA COMILLAS

Transcripción

1 PROYECTO FIN DE CARRERA CODIFICACIÓN AUTOMÁTICA DE MELODÍAS Y APLICACIÓN DE TÉCNICAS DE CLUSTERING PARA EL ANÁLISIS DE ARCHIVOS DE AUDIO MONOFÓNICOS AUTOR: Mª MAR ROBLEDO CALVO MADRID, Junio 2010

2 ESTE PROYECTO CONTIENE LOS SIGUIENTES DOCUMENTOS DOCUMENTO Nº 1, MEMORIA 1. Memoria... pág. 2 a páginas 2. Manual de Usuario... pág. 85 a páginas 3. Código... pág. 91 a páginas DOCUMENTO Nº 2, PRESUPUESTO 1. Mediciones... pág. 3 a páginas 2. Precios Unitarios... pág. 5 a páginas 3. Sumas Parciales... pág. 6 a páginas 4. Presupuesto General... pág. 7 a páginas

3 Autorizada la entrega del proyecto a la alumna: Mª Mar Robledo Calvo LOS DIRECTORES DEL PROYECTO: Dr. D. Javier García González. Firmado: Fecha:.... /.. /. Dr. D. Eugenio Fco. Sánchez Úbeda Firmado: Fecha:.... /.. /. VºBº del coordinador de proyectos Dr. D. Álvaro Sánchez Miralles Firmado: Fecha:.... /.. /.

4 PROYECTO FIN DE CARRERA CODIFICACIÓN AUTOMÁTICA DE MELODÍAS Y APLICACIÓN DE TÉCNICAS DE CLUSTERING PARA EL ANÁLISIS DE ARCHIVOS DE AUDIO MONOFÓNICOS AUTOR: Mª MAR ROBLEDO CALVO MADRID, Junio 2010

5 RESUMEN CODIFICACIÓN AUTOMÁTICA DE MELODÍAS Y APLICACIÓN DE TÉCNICAS DE CLUSTERING PARA EL ANÁLISIS DE ARCHIVOS DE AUDIO MONOFÓNICOS Autor: Mª Mar Robledo Calvo Directores: García González, Javier Sánchez Úbeda, Eugenio Fco. Entidad Colaboradora: ICAI-Universidad Pontificia Comillas Instituto de Investigación Tecnológica (IIT) RESUMEN DEL PROYECTO Siempre se ha oído decir con respecto al arte que sobre gustos no hay nada escrito. Sin embargo, cuando se estudian los índices de popularidad de algunas canciones, se llega a la conclusión de que determinados compositores o músicos han tenido una habilidad extraordinaria para generar melodías que serán recordadas durante generaciones, lo que indica que, aunque no haya nada escrito sobre gustos, hay canciones que tienen una mayor probabilidad de gustar a quienes las escuchan por primera vez. Con la idea de poder identificar un conjunto de características que ayuden a discriminar entre melodías con más o menos éxito, en este proyecto se han realizado un conjunto de desarrollos que permiten extraer y codificar automáticamente la melodía a partir únicamente de una señal de audio monofónica. También se ha desarrollado un algoritmo que permite descomponer de forma jerárquica la melodía codificada, identificando repeticiones de secuencias de notas con mayor o menor nivel de detalle. A partir de la melodía identificada y del árbol de secuencias obtenido, en este proyecto se han propuesto un grupo de variables que cuantifican diversos aspectos relacionados con la melodía identificada. Esto ha permitido analizar un conjunto de 1626 canciones utilizando técnicas de clustering.

6 RESUMEN Para diseñar el algoritmo de codificación automática de la melodía ha sido necesario desarrollar y comparar el comportamiento de tres métodos propuestos en la literatura científica. El método basado en aplicar la Función de Autocorrelación Simple (FAS) en el dominio del tiempo, ha sido el elegido ya que ofrece resultados más robustos y con menos errores. La evolución temporal del primer armónico se ha codificado numéricamente en forma de semitonos por facilitar el procesamiento y análisis posterior. En la siguiente figura se muestra un ejemplo de la identificación y codificación: Identificación y codificación de una melodía Una vez que es posible codificar la melodía de forma automática, el siguiente paso es intentar encontrar una estructura en la misma. El objetivo es identificar qué fragmentos se repiten a lo largo del fragmento musical, es decir, el fraseo. El algoritmo desarrollado descompone de forma jerárquica la melodía e identifica repeticiones en la misma. Este algoritmo se aplica de forma iterativa sobre secuencias temporales de bloques de notas cada vez más complejos como se explica a continuación. Inicialmente se obtiene una primera secuencia formada por muchos bloques sencillos, donde cada bloque se determina como un conjunto de notas consecutivas sin repetición. A partir de esta primera secuencia de bloques elementales o trozos, se identifica una nueva secuencia constituida por bloques que agrupan a su vez un conjunto de trozos consecutivos sin repetición. El

7 RESUMEN proceso concluye cuando se alcanza un único bloque que constituye toda la pieza musical. En la siguiente figura se muestra un ejemplo. La primera gráfica representa, en distintos colores, los bloques en que ha ido quedando dividida la melodía; mientras que la segunda representa, en un mismo color, los fragmentos que se han identificado como iguales. Árbol de secuencias A partir de la información extraída del archivo de sonido se han propuesto un conjunto básico de variables para caracterizar la melodía. En concreto se han utilizado el número de veces en que queda dividida la melodía la primera vez, el número de veces que aparece cada una de las notas presentes, el número de patrones en la parte intermedia de la secuencia final y el número medio de patrones que aparecen en la parte intermedia de la penúltima secuencia. Finalmente los desarrollos realizados se han aplicado a un conjunto de 1626 archivos de audio, identificando sus melodías y calculando las variables características anteriores. Mediante un análisis de conglomerados (clustering), se ha determinado que la inmensa mayoría de las notas contenidas en las melodías analizadas pertenecen a la 4ª y primera mitad de la 5ª octava; y que un 37% de las piezas musicales contienen una única secuencia, posiblemente debido a la sencillez de la línea melódica o a la corta duración de las muestras estudiadas.

8 ABSTRACT AUTOMATIC CODING OF MELODIES AND APLICATION OF CLUSTERING TECHNICS FOR THE ANALYSIS OF MONOPHONIC AUDIO ARCHIVES Author: Robledo Calvo, Mª Mar Managers: García González, Javier Sánchez Úbeda, Eugenio Fco. Collaborating Entity: ICAI-Universidad Pontificia Comillas Instituto de Investigación Tecnológica (IIT) ABSTRACT Always was heard referenced to art that "no accounting for taste is nothing in writing", but when you study the popularity ratings of some songs, the conclusion is that some composers and musicians have had an extraordinary ability to generate melodies that will be remembered for generations, indicating that, although there is nothing written about taste, there are songs that are more likely to please those who listen for the first time. With the idea of being able to identify a set of features that help to discriminate between melodies with varying success, this project has made a series of developments that may automatically extract and encode only the melody from a monophonic audio signal. Has also developed an algorithm to decompose hierarchically coded melody, identifying repetitions of sequences of notes with varying levels of detail. From identified melody and her obtained sequences tree, in this project we have proposed a set of variables that quantify various aspects related to the identified melody. This has allowed us to analyze a set of 1626 songs using clustering techniques. To design the automatic coding algorithm of the melody has been necessary to develop and compare the behavior of three approaches proposed in the literature.

9 ABSTRACT The method based on applying the Simple Autocorrelation Function (SAF) in the time domain has been chosen because provides more robust results and less errors. The time evolution of the first harmonic is numerically coded in form of semitones facilitate processing and analysis. The following figure shows an example of the identification and encoding: Identification and encoding of a melody Once it is possible to encode the melody automatically, the next step is to try to find a structure in it. The objective is to identify which fragments are repeated throughout the piece of music, ie the phrasing. The algorithm hierarchically decomposes and identifies the melody repetitions. This algorithm is applied iteratively on blocks of temporal sequences of notes becoming more complex as explained below. Initially it gets a first sequence consisting of many simple blocks, where each block is determined as a set of consecutive notes without repetition. From this first sequence of building blocks or pieces, it identifies a new sequence consisting of consecutive non-repeated fragments. The process ends when reaches a single block which is the entire piece of music.

10 ABSTRACT The following figure shows an example. First graph represents, in different colors, the blocks in which has become divided the melody; while the latter represents, in the same color, the fragments that have been identified as equals. Tree Sequence From the information extracted from the sound file, we have proposed a core set of variables to characterize the melody. In particular we have used the number of times the melody is divided for the first time, the number of occurrences of each of these notes, the number of patterns in the middle of the final sequence and the average number of patterns appearing in the middle of the penultimate sequence. Finally, the developments made have been applied to a set of 1626 audio files, identifying their melodies and calculating the above characteristics variables. Using a cluster analysis, has determined that vast majority of the notes contained in the melodies analyzed belong to the 4th and first half of the 5th octave, and that 37% of the tracks contain a single sequence, possibly due to the simplicity of the melodic line or the short duration of the samples.

11 AGRADECIMIENTOS Agradecimientos En primer lugar quisiera expresar mi agradecimiento a mis directores, por haberme dado la posibilidad de desarrollar este proyecto. A mi familia, por la confianza depositada en mí a lo largo de estos años. Y especialmente a mis padres y a David Rodríguez Aparicio, a quienes dedico este proyecto. Sin vuestro apoyo, yo no habría llegado hasta aquí. Gracias.

12 1 MEMORIA 1 Memoria

13 ÍNDICE DE LA MEMORIA Índice de la memoria Parte I Memoria... 2 Capítulo 1 Introducción Motivación del proyecto Objetivos Metodología / Solución desarrollada Recursos / herramientas empleadas... 8 Capítulo 2 Introducción a Teoría Musical El sonido y sus características La Música Las notas: Figura y Sonido Capítulo 3 Codificación y Detección de la melodía Estudio de los trabajos existentes Tipos de Archivos de audio analizados Codificación Detección de la melodía Análisis de armónicos Resultados FAS en tiempo Resultados FAS en frecuencia Resultados Comparación de los tres métodos/resultados Capítulo 4 Búsqueda de patrones Estudio de los trabajos existentes I

14 ÍNDICE DE LA MEMORIA 4.2 Identificación de repeticiones Árbol de secuencias Primer clustering Secuencias consecutivas Variables identificativas Número inicial de subdivisiones Aparición de cada una de las notas Número de patrones en la secuencia final Número medio de patrones en la penúltima secuencia Clusterings y resultados Clustering sobre las notas Patrón Patrón Patrón Patrón Patrón Patrón Patrón Patrón Patrón Patrón Patrón Patrón Patrón Patrón Patrón Patrón Clustering sobre el resto de variables Patrón Patrón Patrón Patrón Conclusiones obtenidas Capítulo 5 Conclusiones Capítulo 6 Futuros desarrollos II

15 ÍNDICE DE LA MEMORIA Bibliografía 83 Parte II Manual de usuario Capítulo 1 Manual de usuario Análisis de una única melodía Análisis Completo Parte III Código fuente Capítulo 1 Código fuente Detección de melodía Búsqueda de repeticiones y variables III

16 ÍNDICE DE FIGURAS Índice de figuras Figura 1. Señales de sonidos y sus espectros correspondientes Figura 2. Extracto de Partitura (Partitura del tema Mario Bros) Figura 3. Equivalencias de duración entre notas Figura 4. Escala musical básica Figura 5. Teclado con posiciones de notas Figura 6. Melodía monofónica (Titanic) Figura 7. Serie temporal de una escala musical Figura 8. Escala musical de la 4ª Octava Figura 9. Serie temporal, detalle y espectro de la ventana Figura 10. Aislamiento de los dos primeros armónicos de la señal Figura 11. Detalle de los tres primeros armónicos de la nota do Figura 12. Representación de la melodía detectada Figura 13. Comprobación de melodía detectada con espectro completo Figura 14. Detalle de notas escritas sobre notas detectadas Figura 15. Detección de un fragmento de Yesterday, de The Beatles Figura 16. Comprobación de melodía con espectro completo Figura 17. Melodía detectada mediante análisis de armónicos Figura 18. Ejemplo de Función de Autocorrelación Simple Figura 19. Análisis de melodía utilizando FAS en tiempo Figura 20. Detección mediante FAS en tiempo Figura 21. Comprobación de melodía detectada con espectro completo Figura 22. Detección de un fragmento de You can leave your hat on Figura 23. Comprobación de melodía con espectro completo Figura 24. Análisis de melodía utilizando FAS en frecuencia IV

17 ÍNDICE DE FIGURAS Figura 25. Detección mediante FAS en frecuencia Figura 26. Comprobación de melodía detectada con espectro completo Figura 27. Métodos superpuestos Figura 28.Trozos detectados en la melodía Figura 29. Melodía antes del troceo Figura 30. Melodía tras el primer troceo Figura 31. Melodía con secuencia superpuesta Figura 32. Melodía tras la siguiente segmentación Figura 33. Secuencia siguiente Figura 34. Todas las secuencias de la melodía Figura 35. Patrones determinados por la variable vectorial notas Figura 36. Primer Patrón de la variable notas Figura 37. Ejemplos del Primer Patrón de la variable notas Figura 38. Detalle para ver los silencios Figura 39. Segundo Patrón de la variable notas Figura 40. Ejemplo del Segundo Patrón de la variable notas Figura 41. Tercer Patrón de la variable notas Figura 42. Ejemplo del Tercer Patrón de la variable notas Figura 43. Cuarto Patrón de la variable notas Figura 44. Ejemplo del Cuarto Patrón de la variable notas Figura 45. Quinto Patrón de la variable notas Figura 46. Ejemplo del Quinto Patrón de la variable notas Figura 47. Sexto Patrón de la variable notas Figura 48. Ejemplo del Sexto Patrón de la variable notas Figura 49. Séptimo Patrón de la variable notas Figura 50. Ejemplo del Séptimo Patrón de la variable notas Figura 51. Octavo Patrón de la variable notas V

18 ÍNDICE DE FIGURAS Figura 52. Ejemplo del Octavo Patrón de la variable notas Figura 53. Noveno Patrón de la variable notas Figura 54. Ejemplo del Noveno Patrón de la variable notas Figura 55. Décimo Patrón de la variable notas Figura 56. Ejemplo del Décimo Patrón de la variable notas Figura 57. Patrón 11 de la variable notas Figura 58. Ejemplo del Patrón 11 de la variable notas Figura 59. Patrón 12 de la variable notas Figura 60. Ejemplo del Patrón 12 de la variable notas Figura 61. Patrón 13 de la variable notas Figura 62. Ejemplo del Patrón 13 de la variable notas Figura 63. Patrón 14 de la variable notas Figura 64. Ejemplo del Patrón 14 de la variable notas Figura 65. Patrón 15 de la variable notas Figura 66. Ejemplo del Patrón 15 de la variable notas Figura 67. Patrón 16 de la variable notas Figura 68. Ejemplo del Patrón 16 de la variable notas Figura 69. Patrones determinados por las otras tres variables Figura 70. Detalle de la nube de muestras Figura 71. Primer Patrón de la relaciona entre las 3 variables Figura 72. Troceo y secuencia de la melodía Figura 73. Troceo y Secuencia de Yesterday Figura 74.Segundo Patrón de la relaciona entre las 3 variables Figura 75. Troceo y Secuencia de la melodía Figura 76. Troceos y Secuencias de la melodía Figura 77. Tercer Patrón de la relaciona entre las 3 variables Figura 78. Fragmentos y Secuencias de la melodía VI

19 ÍNDICE DE FIGURAS Figura 79. Fragmentos y Secuencias de la melodía Figura 80. Cuarto Patrón de la relaciona entre las 3 variables Figura 81. Fragmentos y Secuencias de la melodía Figura 82. Fragmentos y secuencias de la melodía Figura 83. Análisis completo de una melodía Figura 84. Melodía detectada con método heurístico Figura 85. Melodía detectada con método FAS en tiempo Figura 86. Melodía detectada con método FAS en frecuencia VII

20 Índice de tablas Memoria Tabla 1: Tabla de codificación Tabla 2. Matriz de posiciones y su secuencia correspondiente Tabla 3. Secuencia, instantes iniciales y finales Tabla 4. Agrupación de la secuencia Tabla 5. Matriz de posiciones de la primera secuencia Tabla 6. Secuencia de la secuencia inicial Tabla 7. Última secuencia Tabla 8. Nº de veces que aparece cada una de las notas Tabla 9. Valores de las variables según patrón

21 Parte I MEMORIA - 2 -

22 Capítulo 1 INTRODUCCIÓN En este capítulo inicial se describen las motivaciones por las que se ha decidido realizar este proyecto. A continuación se describen los objetivos propuestos, asó como los procesos o la metodología llevada a cabo para la consecución de tales objetivos. Finalmente se incluye una breve descripción de los recursos empleados durante la elaboración del proyecto

23 1.1 MOTIVACIÓN DEL PROYECTO Una de las frases más utilizadas en el ámbito del arte es que sobre gustos no hay nada escrito. Sin embargo, cuando se analizan los índices de popularidad de algunas canciones o piezas musicales en la historia de la música, se llega pronto a la conclusión de que compositores como Mozart, Paul McCartney, John Williams o Elliott Smith, han gozado de una habilidad extraordinaria para generar unas melodías que serán recordadas durante generaciones. Es decir, puede que sobre gustos no haya nada escrito, pero es evidente que hay canciones que tienen una mayor probabilidad de gustar a quien las escucha por primera vez. La industria musical tiene un gran interés en este tipo de información y desarrollos, pues de éstos podría depender, en un futuro, el éxito de las canciones. Podría ayudar a los músicos, letristas y compositores a mejorar sus piezas musicales o a hacerlas más populares; y a los productores discográficos a conseguir los artistas que mayor éxito y ganancias les podrían aportar. Por ello, se quiere explorar esta línea de investigación en el IIT, nueva en él, pues existen otros centros de investigación tecnológica que abordan este tipo de problemas haciendo uso de metodologías análogas a las desarrolladas en él para otros propósitos. Gracias a esto, se podrán adquirir conocimientos sobre técnicas avanzadas de análisis de datos, de gran aplicación en los ámbitos de la ingeniería. Para nuestro caso en particular, se aplicará al estudio y análisis de fragmentos o piezas musicales

24 1.2 OBJETIVOS El objetivo principal de este proyecto es investigar cómo obtener información característica de la pieza musical analizada a partir únicamente de la señal de audio utilizada. El análisis se ha restringido al caso de melodías puras (fragmentos monofónicos), con una posterior aplicación de técnicas de análisis de series temporales y de clustering para la identificación de patrones en aquellas melodías caracterizadas por su grado de popularidad. Este objetivo principal se puede subdividir en los siguientes objetivos parciales o tareas: Obtención de muestras. Búsqueda de melodías o fragmentos musicales monofónicos en formato wave para la creación de una base musical lo suficientemente grande para que permita el análisis de las piezas, obtención de sus variables descriptivas y la comparación entre las mismas. Realizar un análisis espectral de las muestras con Matlab para identificar las notas y silencios que componen el fragmento musical, creando así su línea melódica. Desarrollo de un algoritmo para la codificación automática de las melodías monofónicas en Matlab. Este algoritmo permite codificar de forma compacta una pieza musical monofónica a partir de un análisis automático de la evolución temporal del espectro de frecuencias de la pieza musical. Como resultado se obtiene un vector que representará la evolución temporal de las notas de forma numérica para facilitar su procesamiento posterior. Identificación de patrones dentro de la misma pieza musical. Búsqueda de patrones repetitivos dentro del vector creado anteriormente

25 Identificación de variables descriptivas derivadas. Identificación de otras variables de la pieza musical, (como la duración, estilo o el índice de popularidad), que permitan caracterizar las diferentes melodías consideradas. Estas características se obtendrán para las diferentes piezas de la base de datos musical construida. Aplicación de técnicas de clustering a diversas piezas. Utilización de técnicas de agrupamiento para detectar automáticamente similitudes y diferencias entre las piezas musicales consideradas. Para ello se emplearán técnicas de aprendizaje no supervisado en el espacio de entrada definido por las variables identificadas previamente. Elaboración de la memoria descriptiva de los desarrollos y resultados obtenidos

26 1.3 METODOLOGÍA / SOLUCIÓN DESARROLLADA Dada la naturaleza del proyecto, se ha empleado como metodología de trabajo el desarrollo incremental basado en prototipado rápido. Los desarrollos teóricos han sido verificados inicialmente mediante un fragmento musical creado para tal fin y que únicamente contiene una escala musical, como fase previa al análisis del resto de piezas que contengan una melodía. A continuación se ha comprobado el correcto funcionamiento de la detección y codificación llevadas a cabo con otras piezas musicales monofónicas. Seguidamente, se buscan repeticiones a lo largo de la melodía para, a continuación, hacer un clustering con el que se reconocen los verdaderos patrones que contiene la pieza estudiada

27 1.4 RECURSOS / HERRAMIENTAS EMPLEADAS El IIT cuenta con los recursos necesarios para permitir la realización del presente proyecto. En concreto, cuenta con el software de desarrollo, las técnicas de inteligencia artificial y de clustering. Se usarán programas de conversión de archivos de MIDI a WAV, como Midi Converter Studio y Audacity; así como programas de escritura de partituras como Encore, que recibe un archivo MIDI y escribe la partitura, para comprobar la correcta detección de la melodía estudiada. Como herramientas de desarrollo de software se empleará Matlab para el análisis, representación, codificación, identificación de patrones y otras variables, de las piezas musicales analizadas. Para realizar el análisis de datos propuesto se utilizarán las toolboxes de Matlab. Si fuese necesario se podrán emplear las herramientas de análisis disponibles en el IIT

28 Capítulo 2 INTRODUCCIÓN A TEORÍA MUSICAL 1 En este capítulo se incluyen los conocimientos básicos sobre teoría musical, necesarios para la correcta comprensión de determinados términos o partes del proyecto. Se describe el sonido y sus características, así como la música y algunas de las normas que la rigen. También se incluyen unas pocas nociones sobre las notas como figura y como sonido. 1 Parte de la información presente en este capítulo ha sido tomada de [1], [2], [3], [4], [5] y [6]

29 2.1 EL SONIDO Y SUS CARACTERÍSTICAS Como primera definición, se puede decir que el sonido es la sensación percibida por el oído, que recibe las variaciones de presión generadas por el movimiento vibratorio de los cuerpos sonoros, y que se transmiten por el medio que los separa, que generalmente es el aire. Estas vibraciones son transmitidas al tímpano, que vibra a su vez y comunica sus vibraciones a la cadena de huesecillos del oído medio y después al oído interno, en el que afloran las ramificaciones del nervio auditivo. Sin embargo, el sonido no se propaga por el vacío, y su velocidad de propagación varía según el medio. La ausencia perceptible de sonido es el silencio, que es relativo, ya que el silencio absoluto no se da en la naturaleza por haber atmósfera. Los sonidos se distinguen entre sí gracias a los siguientes parámetros: El tono es la característica que permite distinguir un sonido grave de otro agudo. La altura de un sonido está ligada a la frecuencia de las vibraciones de la fuente sonora; es decir, a la cantidad de ciclos de las vibraciones por segundo o de hercios (Hz) que se emiten. Los sonidos agudos se deben a movimientos vibratorios de frecuencia elevada; los sonidos graves, a movimientos de baja frecuencia. No obstante, el oído humano no puede percibir más que los sonidos cuyas frecuencias están comprendidas entre 20 y Hz aproximadamente; es decir, una decena de octavas. Como curiosidad, un piano abarca desde 27 a 3.480Hz. La duración corresponde al tiempo que duran las vibraciones que producen un sonido. Está relacionada con el ritmo, y viene representada en la onda por los segundos que ésta contenga. La intensidad es la característica que permite distinguir un sonido fuerte de otro débil. Está ligada a la amplitud de las vibraciones sonoras ya que representa la amplitud de onda del sonido. No obstante, el oído humano no

30 podrá percibir un sonido cuya amplitud sea inferior a cierto valor o nivel mínimo, denominado umbral de audibilidad. Si se eleva demasiado la amplitud de las vibraciones sonoras, la audición va acompañada de sensaciones dolorosas. Al límite soportable está entre los 110 y 130 db y se le llama umbral de dolor. El timbre, es la característica que permite distinguir dos sonidos emitidos por dos fuentes diferentes. Los sonidos que escuchamos son complejos; es decir, son el resultado de un conjunto de sonidos simultáneos (tonos, sobretonos 2 y armónicos 3 ), pero que se percibe como uno (sonido fundamental). El timbre depende de la cantidad de armónicos que tenga un sonido y de la intensidad de cada uno de ellos, a lo cual se lo denomina espectro. Se representa en una onda por el dibujo. Un sonido puro (como la frecuencia fundamental o sobretono) se representa con una onda sinusoidal, mientras que un sonido complejo es la suma de ondas sinusoidales puras. El espectro es una sucesión de barras verticales repartidas a lo largo de un eje de frecuencia y que representan la frecuencia fundamental (primer armónico), así como cada una de las senoides correspondientes a cada sobretono y su altura indica la cantidad que aporta cada una al sonido resultante. En la siguiente figura (Figura 1) se muestran las señales de un sonido complejo y un sonido real, acompañadas de sus espectros correspondientes a la derecha. 2 Un sobretono es cualquier componente de frecuencia discreto en un espectro, más allá de los armónicos fundamentales y los parciales. El primer sobretono corresponde al segundo armónico de la serie de los armónicos. 3 Una función periódica no senoidal puede ser descompuesta en la suma de una función senoidal de la frecuencia fundamental y de otras funciones senoidales, cuyas frecuencias son múltiplos enteros de la frecuencia fundamental. Estas funciones adicionales son conocidas como componentes armónicas o, simplemente, como armónicos

31 Figura 1. Señales de sonidos y sus espectros correspondientes

32 2.2 LA MÚSICA La definición de música que podemos encontrar en una enciclopedia es la del arte de combinar los sonidos y silencios, tanto de voz humana como de instrumentos, o ambos, siguiendo las normas de la armonía, la melodía, la métrica y el ritmo para causar un efecto estético. La manera de presentar y combinar estos elementos básicos en la música es lo que determina el estilo de la música, que difiere dependiendo de las épocas históricas, de las zonas geográficas, de los compositores, etc. A continuación, se definen estas normas: La melodía es una sucesión coherente de sonidos y silencios que se desenvuelve en una secuencia lineal, es decir, uno después de otro, y que se percibe con un sentido e identidad propio. Una melodía parte de una base conceptualmente horizontal, con cambios sucesivos en el tiempo, como si se tratase de una frase bien construida; y no vertical, como sería en un acorde, donde los sonidos son simultáneos. Esta idea de vertical y horizontal es una metáfora explicativa, relacionada con la disposición de las notas musicales en una partitura, como se muestra en la Figura 2: verticalmente se escriben las notas que se interpretan a la vez, y horizontalmente las que se interpretan en forma sucesiva. Figura 2. Extracto de Partitura (Partitura del tema Mario Bros) La estructura de una melodía son las frases que, a su vez, están compuestas por unidades más pequeñas llamadas motivos o células

33 melódicas formadas por, como mínimo, dos notas, y que sirven de núcleo para la formación o desarrollo de un tema. Cuando hay dos o más melodías simultáneas, se denomina contrapunto. La armonía estudia la percepción del sonido en forma vertical o simultánea así como el encadenamiento de diversas notas superpuestas; es decir: la organización de los acordes, que es la combinación de 3 o más notas diferentes que suenan simultáneamente, o que se perciben de esta forma aunque sean sucesivas, como en un arpegio. La métrica se refiere a la pauta de repetición a intervalos regulares, y en ciertas ocasiones irregulares, de sonidos fuertes o débiles y silencios en una composición. Su unidad es el compás, que se define como la subdivisión del tiempo y se indica usando un numerador, que representa el número de tiempos que tendrá el compás, es decir, la cantidad de pulsos por compás; y un denominador, que representa la unidad de tiempo, o sea, la figura que llenará un tiempo del compás. En definitiva, en una obra musical escrita, las notas y los silencios que estén comprendidos entre dos líneas divisorias componen un compás. Por tanto, un fragmento musical estará compuesto por un conjunto de compases, que tendrán la misma duración hasta que se cambie el tipo de los mismos. El ritmo se define como la organización en el tiempo de pulsos y acentos que perciben los oyentes como una estructura. En la música se refiere a la frecuencia de repetición (a intervalos regulares y en ciertas ocasiones irregulares) de sonidos fuertes y débiles, largos y breves, altos y bajos en una composición. Tiene mucho que ver con especificar el tipo de compás, que define al acento (producción de algunos sonidos más fuertes que otros) y a las

34 figuras musicales que la componen. El ritmo sólo se define con la figura musical, que determina la duración del pulso. Si al pentagrama se le agregan notas musicales aparece el sonido. Al sumar los acentos, figuras y un compás definido por el ritmo, surge la melodía. En otras palabras el ritmo se apoya en los acentos, dando la estructura LAS NOTAS: FIGURA Y SONIDO El término nota se refiere a un sonido determinado por una vibración cuya frecuencia fundamental es constante, y su representación nos indica la duración y altura de este sonido. La nota como figura musical Hay 7 representaciones de la figura musical: la redonda, la blanca, la negra, la corchea, la semicorchea, la fusa y la semifusa. Por sí solas, nos indican la duración de un sonido; pero existe una relación entre ellas. La figura que representa la unidad de duración es la redonda. Una redonda equivale a dos blancas, cuatro negras, ocho corcheas o dieciséis semicorcheas. En resumen, cada valor simple equivale a dos de su figura inmediata, como puede apreciarse en la siguiente imagen (Figura 3). Figura 3. Equivalencias de duración entre notas

35 La nota como sonido Si situamos estas figuras musicales sobre un pentagrama 4, obtenemos la altura de un sonido, y con ello, una escala musical. Las notas básicas son: do, re, mi, fa, sol, la y si (Figura 4). Figura 4. Escala musical básica Además de estas siete, existen otros cinco sonidos que se obtienen subiendo o bajando uno o más semitonos. Para subir o bajar los sonidos se usan: el sostenido (#) : para subir un semitono la nota actual. el doble sostenido ( ): para subir la altura de una nota un tono entero (dos semitonos). el bemol ( ): para bajar la altura de la nota un semitono. el doble bemol ( ):para bajar un tono (dos semitonos). el becuadro ( ): para eliminar cualquiera de las alteraciones anteriores. A continuación, pasamos a definir lo que es un tono y un semitono. Tono: es la propiedad de los sonidos que los caracteriza como más agudos o más graves, en función de su frecuencia. Es el armónico fundamental de un sonido. Semitono: es el menor de los dos intervalos que se pueden producir entre notas consecutivas de una escala diatónica (las teclas blancas de un piano corresponden 4 Pentagrama: lugar donde se escriben las notas y demás signos musicales. Tiene cinco líneas y cuatro espacios, que se enumeran de abajo hacia arriba. Las líneas son equidistantes y horizontales

36 a la escala de do ) mayor o menor. Recibe su nombre del hecho de ser aproximadamente igual a la mitad del tono, que es el mayor de estos intervalos entre notas consecutivas de una escala. Resulta equivalente al intervalo musical entre dos teclas adyacentes de cualquier instrumento de teclado (como el piano), como se ve en la Figura 5. Figura 5. Teclado con posiciones de notas. Los semitonos son iguales al resultado de dividir la octava (escala de do a Do, considerando sólo las teclas blancas) en doce fracciones iguales (teniendo en cuenta las teclas negras). El semitono que resulta de este criterio posee una magnitud o factor igual a la raíz doce de 2 (~ ). Este valor será clave para llevar a cabo la codificación que se ha elaborado en este proyecto, y que se explicará detalladamente más adelante

37 Capítulo 3 CODIFICACIÓN Y DETECCIÓN DE LA MELODÍA En este capítulo se describe el tipo de melodías que se han utilizado, así como la codificación que se ha elaborado para llevar a cabo el análisis posterior de las melodías y los distintos métodos de detección que se han desarrollado para determinar las notas presentes en la pieza musical, concluyendo cuál de éstos es el mejor para llevar a cabo el resto del estudio

38 3.1 ESTUDIO DE LOS TRABAJOS EXISTENTES A lo largo de los años, se han realizado muchos trabajos relacionaos con la transcripción de la música. Los primeros trabajos que se hicieron sobre este tema se restringían a piezas musicales monofónicas. En la actualidad se están estudiando y analizando melodías polifónicas, ya que tienen un grado de dificultad muy alto y porque la transcripción de piezas monofónicas es ya un problema resuelto, lo que no quiere decir que sea fácil de solucionar. Algunos de los investigadores del campo de la música se han centrado en la detección y transcripción de piezas tarareadas por personas; mientras que otros han utilizado melodías interpretadas por un único instrumento, normalmente un piano, un clarinete o un violín debido a su riqueza de armónicos; o por distintos instrumentos (para comprobar la detección del timbre y la robustez del método). R. Dannenberg y D. Mazzoni [18] estudian la melodía tarareada por diferentes personas, analizando melodías grabadas en formato MIDI y utilizan un sistema de transcripción de tonos para determinar el contorno melódico del tarareo para a continuación usar un algoritmo dinámico en tiempo real que permite ver si la melodía tarareada se corresponde con la melodía real. Otro de los métodos es el desarrollado por L.P. Clarisse [19], consistente en un modelo basado en la transcripción auditiva de melodías cantadas. Es decir, un sistema que identifica en una base de datos musical qué canción es la que está siendo tarareada. Estos sistemas constan principalmente de dos partes: un módulo acústico que convierte la señal entrante en una secuencia de intervalos de tiempo a los que se les asocian frecuencias discretas (notas); y un módulo que identifica esta secuencia con los datos de la base musical

39 El segundo caso, en el que la música está interpretada por instrumentos, se han utilizado diversos métodos para determinar la frecuencia fundamental que caracteriza a cada una de las notas existentes. Entre éstos se encuentran los algoritmos desarrollados por Masataka Goto ([1], [8]), consistentes en determinar la frecuencia fundamental de una melodía en las señales de audio monoaural que contienen diversos instrumentos mediante la estimación de la dominancia relativa de todos los posibles F0, representados como una función de densidad de probabilidad de F0. Como resultado se obtuvo que éste era un método bastante robusto a la hora de detectar las líneas melódicas en grabaciones de Compact-Disc. También existen otros métodos, como el desarrollado por Maja y Nikola Serman [9], centrado no sólo en obtener la línea melódica, sino también el timbre y el volumen mediante el uso del Music Tracker. Entre otros métodos se encuentran los que se basan en modelos de la periferia auditiva humana; los que imitan la función auditiva; los que utilizan métodos de inferencia bayesiana, entre otros; descritos por Klapuri en [15]. Sin embargo, la mayoría de los investigadores combinan, con pequeñas variaciones, el uso de la transformada rápida de Fourier (FFT) - con la que se obtiene el espectro completo de la señal analizada - con la Función de Autocorrelación Simple (FAS), que permite estimar de forma sencilla y rápida cuál es la frecuencia realmente asociada a cada una de las notas que están sonando en un instante de tiempo. Entre éstos encontramos a Hentschel [10],Dressler [11], Marolt [12] o Bello [13]. Un estudio extenso sobre los distintos métodos y sus resultados puede encontrarse en [14]. En este proyecto se han utilizado esos últimos métodos. Para obtener el espectro de la señal se han utilizado los tamaños de ventana, número de las mismas y número de muestras indicados por [16]; mientras que para la parte de detección de la frecuencia fundamental se han utilizado las ideas de [17]

40 3.2 TIPOS DE ARCHIVOS DE AUDIO ANALIZADOS Las melodías utilizadas para llevar a cabo el proyecto son monofónicas, un tipo de textura a una sola voz, por lo que sólo se percibe un único sonido cada vez. Un ejemplo de monofonía es una melodía cantada por una única persona, sin ningún tipo de acompañamiento. Otro ejemplo podría ser el de interpretar al piano una melodía con una única mano, sin ejecutar acordes, pues sonarían dos o más notas a la vez, pasando la pieza de monofónica a polifónica. En la Figura 6 se representa una melodía monofónica. Figura 6. Melodía monofónica (Titanic) Como las melodías utilizadas han sido grabadas en estéreo, se convierten a monofónico haciendo la media de las dos señales entrantes. Las piezas musicales analizadas están en formato de audio wave, de gran resolución, para tener toda la información de la señal, y están interpretadas por un piano, factor que no es crítico a la hora de llevar a cabo el análisis. Las muestras se han obtenido de una página de politonos de móviles [19], única fuente en la que se han podido encontrar piezas monofónicas que, al estar en formato midi, han tenido que ser convertidas a formato wav mediante el programa Midi Converter Studio. También se han hecho pruebas con melodías grabadas con micrófono, que al estar en formato mp3, se han convertido a formato wav mediante el programa Audacity

41 3.3 CODIFICACIÓN La codificación que se ha desarrollado es de tipo numérico. Una vez obtenidas las frecuencias que conforman las notas de la melodía estudiada, se les asocia a cada una un índice mediante una función que utiliza el valor del semitono: E. 1 De esta forma, la nota que se obtiene con cada una de las frecuencia quedará fácilmente identificable. En la Tabla 1, se puede ver un ejemplo de esta asociación con las notas de la cuarta octava. En rojo se indica el centro de la escala de la codificación. Tabla 1: Tabla de codificación Se ha elegido la nota la de esta octava por ser la única nota que tiene 440Hz exactos. De hecho, es la nota que se suele utilizar para comenzar a afinar un instrumento musical. Por esto, todos los índices correspondientes a notas con frecuencias por debajo de ésta serán negativos; mientras que los correspondientes a notas superiores, serán positivos. 4ª Octava nota freq semitono do 262-4,5 do# re 294-3,5 re# mi 330-2,5 fa fa# 370-1,5 sol sol# 415-0,5 la la# 466 0,5 si

42 3.4 DETECCIÓN DE LA MELODÍA Para poder llevar a cabo la detección de la melodía estudiada para su posterior codificación, se han analizado tres métodos: análisis de armónicos, aplicación de la función de autocorrelación simple en tiempo y aplicación de la función de autocorrelación simple en frecuencia, eligiéndose el que mejor se ajusta a la verdadera pieza musical ANÁLISIS DE ARMÓNICOS En esta sección se describe el método inicialmente diseñado para detectar las notas que aparecen en un archivo de audio monofónico. Se basa en el análisis del espectro de frecuencias, utilizando la transformada de Fourier. El análisis de armónicos consiste en estudiar los armónicos presentes en la serie temporal de una melodía y detectar correctamente el primero de éstos. Para llevar a cabo un primer análisis, se toman los datos de la melodía así como su frecuencia de muestreo, con lo que se obtiene la duración total de la canción. A continuación se elige el tipo de ventana móvil que va a ir recorriendo la serie temporal para calcular los armónicos, el tamaño de la misma y el porcentaje de solapamiento. En nuestro caso, la ventana es de tipo rectangular, su tamaño es de 0.1 segundos y tiene un solapamiento del 90%. Con estos datos se conoce el tamaño de la ventana en muestras así como el valor de su avance a lo largo de la serie temporal. En la Figura 7 se muestran: la serie temporal de una melodía, en este caso una escala musical formada por las notas de la cuarta octava do re mi fa sol la si do, en la que en rojo se aprecia la ventana utilizada. En la Figura 8 aparece la partitura de dicha escala

43 Figura 7. Serie temporal de una escala musical Figura 8. Escala musical de la 4ª Octava Para cada ventana se halla el espectro de los datos presentes en la misma, usando la transformada rápida de Fourier (FFT), escogiendo muestras. Una vez obtenidas todas la frecuencias presentes en la ventana, se selecciona sólo con las positivas (por ser el espectro simétrico). En la Figura 9 se muestra la serie temporal anterior, el detalle de la señal en la ventana y, por último, el espectro de la misma, en el que se observan los armónicos correspondientes a la nota analizada en ese momento, en este caso, el fa. Figura 9. Serie temporal, detalle y espectro de la ventana

44 A partir del espectro con todos los armónicos de la melodía, se procede al cálculo robusto de las frecuencias fundamentales que, más adelante, se clasificarán como notas. Para determinar las frecuencias correspondientes a cada nota es necesario aislar los dos primeros armónicos de la señal (Figura 10). Esto es debido a que no se puede considerar de forma absoluta que el primer armónico sea el que mayor amplitud tiene, pues algunos instrumentos, debido a su timbre, tienen armónicos con mayor amplitud que la del primero; por ello, se necesita (en principio) aislar los dos primeros armónicos y llevar a cabo su comparación de amplitudes. Figura 10. Aislamiento de los dos primeros armónicos de la señal Para determinar las frecuencias de los dos primeros armónicos se utiliza un umbral de corte en las amplitudes (fijado al 95% del total). A los coeficientes que no superen dicho umbral se les asignará valor cero (haciendo así que sus frecuencias correspondientes valgan cero), creando una matriz que contiene sólo los coeficientes con amplitud superior al umbral. En la Figura 11 se muestran los tres primeros armónicos de la nota do de la cuarta octava interpretada por un piano. En azul se ven los armónicos completos, y en verde los que quedan después de aplicarles este umbral. Además, en este caso se aprecia que ya quedan seleccionados los dos primeros armónicos, quedando descartados el resto. Se puede ver, además, que el segundo armónico tiene mayor amplitud que el primero

45 Figura 11. Detalle de los tres primeros armónicos de la nota do A continuación, para determinar los dos primeros armónicos de forma correcta, se aíslan mediante inspección de los datos filtrados. Una vez hecho esto, se buscan sus amplitudes máximas correspondientes, obteniendo así el coeficiente que determina la frecuencia fundamental. Además, para comprobar si el índice del segundo armónico que aparece en el espectro es o no una nota nueva, se comprueba si éste pertenece al espectro de la nota que indica el primer armónico. Es decir, si el índice del primer armónico indica que está sonando, por ejemplo, la nota do de la cuarta octava, se comprueba si el coeficiente del segundo armónico es, con un margen del 25%, el doble que el del primer armónico. Si es así, se puede decir con toda seguridad que la nota que está sonando es, efectivamente, la que nos indica el primer armónico. Sin embargo, si el coeficiente del segundo armónico no se encuentra dentro del margen indicado y, además, la amplitud de éste es mayor que la del primero, quiere decir que la nota que está sonando realmente es la que nos indica el segundo armónico. Para determinar las frecuencias asociadas a los coeficientes hallados previamente, sólo hay que multiplicar éstos por la frecuencia de muestreo de la melodía estudiada, y dividir por el número de muestras consideradas en la FFT, en nuestro caso, muestras

46 Una vez halladas las frecuencias, se determinan los índices de nota que se usan como codificación, mediante la ecuación ( E. 1) Resultados En esta sección se incluyen dos ejemplos ilustrativos para mostrar las ventajas e inconvenientes de este método. En la gráfica superior de la Figura 12 se representa la melodía detectada en frecuencia y tiempo; mientras que en la inferior se representa esta misma melodía usando el índice de codificación asociado a cada una de las frecuencias. Figura 12. Representación de la melodía detectada En este ejemplo se puede comprobar que la detección es bastante buena para esta melodía. Sin embargo, para demostrar si efectivamente las frecuencias detectadas se ajustan realmente a la melodía analizada, se superponen los índices de codificación hallados sobre el espectro completo de la señal, como se muestra en la Figura

47 Figura 13. Comprobación de melodía detectada con espectro completo Se aprecia que, efectivamente, las frecuencias detectadas se ajustan bastante bien al primer armónico de la melodía real. Nótese que también es posible convertir el semitono detectado en la nota y octava asociada para, por ejemplo, comparar esta detección con la partitura de la melodía estudiada. En la Figura 14 se muestra un detalle de una de las notas escritas sobre la gráfica que contiene la melodía codificada. Figura 14. Detalle de notas escritas sobre notas detectadas Para ver si este método funciona de forma robusta, se ha probado con otras melodías como, por ejemplo, un fragmento de Yesterday, de The Beatles (Figura 15):

48 Figura 15. Detección de un fragmento de Yesterday, de The Beatles Como se ve, excepto por una muestra, la detección sigue de forma correcta la melodía analizada, como se puede comprobar superponiendo la codificación con el espectro completo de este fragmento de canción (Figura 16): Figura 16. Comprobación de melodía con espectro completo Aunque este método parece que detecta de forma bastante robusta las melodías estudiadas, se decide llevar a cabo ciertas mejoras. Éstas consisten en desvincular el tamaño de la ventana elegida del solapamiento. Es decir, se elige el tamaño de ventana deseado, así como el número de ventanas que se van a utilizar en el análisis, y no se define el solapamiento. Si gracias al

49 número de ventanas y el tamaño de las mismas elegido existe solapamiento, éste se deja como esté, sin ser modificado. Este cambio hizo que se tuviera que elegir otro tipo de ventana para llevar a cabo el análisis. Se ha decidido tomar como datos los indicados por [16]: 512 ventanas de tamaño 0,023ms y de tipo Blackman. Sin embargo, al efectuar estos cambios, el tipo de detección que se estaba llevando a cabo fallaba, como se muestra en el ejemplo de la Figura 17. Figura 17. Melodía detectada mediante análisis de armónicos Debido a los fallos detectados, se decidió considerar otro tipo de detección de melodía. El métodos utilizados son los que usan las función de autocorrelación simple (FAS) tanto en tiempo como en frecuencia; y se explican en los siguientes apartados

50 3.4.2 FAS EN TIEMPO Para resolver los fallos anteriormente detectados, se utiliza la función de autocorrelación simple. En este apartado se usará en tiempo. La FAS viene definida como: Donde son los coeficientes que devuelve la función de autocorrelación en el retardo τ en el instante t; y W es el tamaño de la ventana que está siendo analizada. En respuesta a una señal periódica, los coeficientes que devuelve esta función muestra picos en los instantes que son múltiplos del periodo. En la Figura 18 se muestra un ejemplo de los coeficientes que devuelve la FAS: Figura 18. Ejemplo de Función de Autocorrelación Simple Para la aplicación de esta función en tiempo, los datos que recibe la FAS son la serie temporal de la melodía que se encuentra en la ventana de análisis, así como el número de coeficientes a calcular (300 en este caso de estudio), obteniendo los coeficientes de autocorrelación. A continuación, se busca el coeficiente de mayor amplitud, pero que no sea el primero, ya que si se escogiera éste, la frecuencia obtenida sería cero y, por tanto, ninguna nota. Una vez obtenido este coeficiente, se halla su frecuencia asociada, resultando ser, en la mayor parte de las veces, la frecuencia fundamental, o primer armónico, de la nota objeto de estudio en ese instante

51 En la Figura 19, que se muestra a continuación, se puede ver un ejemplo de este análisis: Figura 19. Análisis de melodía utilizando FAS en tiempo En la primera gráfica de esta figura se muestra la serie temporal de la melodía, en este caso, una escala musical. La segunda gráfica muestra el detalle de la serie temporal que está siendo analizada por la ventana, en color rojo en la gráfica superior. La siguiente gráfica muestra los coeficientes hallados mediante la FAS aplicada en tiempo. Además nos indica cuál es el de mayor amplitud (en este caso es el 150) y su frecuencia asociada (294Hz), que entra en el rango de frecuencias de la nota que está siendo analizada. En la última gráfica se muestra el espectro correspondiente a la ventana que está siendo analizada (en este caso, el espectro del re de la cuarta octava). En rojo se indica la frecuencia determinada mediante la FAS en tiempo, que se puede ver que coincide perfectamente con la frecuencia fundamental de la nota estudiada

52 Resultados En la Figura 20 se representa la pieza detectada, tanto en tiempo-frecuencia, como en codificación: Figura 20. Detección mediante FAS en tiempo Se comprueba que la detección es buena. Como demostración de que las frecuencias detectadas se ajustan realmente a la melodía analizada, se superponen los índices de codificación hallados sobre el espectro completo de la señal, como se muestra en la Figura 21: Figura 21. Comprobación de melodía detectada con espectro completo Para ver si este método funciona de forma robusta, se prueba con otras melodías como, por ejemplo, un fragmento de You can leave your hat on (Figura 22):

53 Figura 22. Detección de un fragmento de You can leave your hat on Como se aprecia en la figura, la detección sigue de forma correcta el fragmento de melodía analizada, verificado superponiendo la codificación con el espectro completo de esta pieza (Figura 23). Se observa que la melodía detectada sigue perfectamente al primer armónico de la melodía real y por lo tanto éste parece ser un método bastante robusto. Figura 23. Comprobación de melodía con espectro completo Sin embargo, se decide ver cómo opera esta misma función aplicada a la frecuencia

54 3.4.3 FAS EN FRECUENCIA Para la aplicación de la FAS en frecuencia, los datos que recibe esta función son los coeficientes calculados mediante la FFT de la melodía que se encuentra en la ventana de análisis, así como el número de coeficientes a calcular (300 en este caso de estudio), obteniendo los coeficientes de autocorrelación. Una vez en este punto, el procedimiento que se sigue es exactamente igual al explicado en el apartado anterior: se busca el coeficiente de mayor amplitud, pero que no sea el primero, y una vez obtenido, se halla su frecuencia asociada. En la figura siguiente (Figura 24), se puede ver un ejemplo de este análisis: Figura 24. Análisis de melodía utilizando FAS en frecuencia En la primera gráfica de esta figura se muestra la serie temporal de la melodía. La segunda gráfica muestra el detalle de la serie temporal que está siendo estudiada por la ventana de análisis, que se muestra en color rojo en la gráfica superior. La siguiente gráfica muestra los coeficientes hallados mediante la FAS aplicada en frecuencia. Además nos indica cuál es el de mayor amplitud (en este caso es el 69) y su frecuencia asociada (304.29Hz), que entra en el rango de frecuencias de la nota que está siendo analizada. En la última gráfica se muestra el espectro correspondiente a la ventana que está siendo analizada. En verde se indica la frecuencia determinada mediante la FAS en frecuencia. Se puede ver que coincide casi perfectamente con la frecuencia fundamental de la nota estudiada

55 Resultados En la Figura 25 se representa la pieza detectada, tanto en tiempo-frecuencia, como en codificación: Figura 25. Detección mediante FAS en frecuencia Se comprueba que la detección con este método falla bastante, no sólo en casi todas las primeras muestras de cada una de las notas detectadas, sino también en el resto, que parece que oscilan en lugar de permanecer a un valor constante. Para conocer qué notas y armónicos son los que están siendo realmente detectados, se superponen los índices de codificación hallados sobre el espectro completo de la señal, como se muestra en la Figura 26. Se aprecia que, efectivamente, la aplicación de la FAS en frecuencia falla bastante, por lo que quedará descartada más adelante como método de detección. Figura 26. Comprobación de melodía detectada con espectro completo

56 3.4.4 COMPARACIÓN DE LOS TRES MÉTODOS/RESULTADOS En la Figura 27 se muestra de forma superpuesta el resultado obtenido con los tres métodos de detección expuestos anteriormente, cuando se aplican al mismo fragmento musical (una simple escala). Se aprecia claramente que el mejor método para llevar a cabo la detección de la melodía es el que utiliza la FAS en tiempo (en azul en la figura). El siguiente mejor método parece ser el que utiliza el análisis de armónicos (en negro), y el peor método de detección es el que utiliza la FAS en frecuencia (en magenta). Figura 27. Métodos superpuestos Por ello, se concluye que el mejor método para llevar a cabo la detección de una melodía monofónica es el que utiliza la Función de Autocorrelación Simple en tiempo. Éste será el método que se va a utilizar de ahora en adelante a lo largo de este proyecto. Sin embargo, no es perfecto, ya que en algunas de las piezas analizadas hay muestran que se escapan. Sin embargo el número de éstas comparadas con las de otros métodos de detección son mucho menores. Se pueden llevar a cabo mejoras en este método [1], pero no han sido incluidos por no ser el objetivo principal de este proyecto

57 Capítulo 4 BÚSQUEDA DE PATRONES En este capítulo se describen los pasos llevados a cabo para determinar algunas variables descriptivas de la melodía para finalmente hacer agrupaciones de piezas musicales según estos parámetros. Primero se expone el método utilizado para segmentar la melodía en los posibles fragmentos repetitivos, para a continuación generar la secuencia de los mismos e ir creando el árbol de repeticiones, desde el nivel más bajo, donde se encuentran todas las posibles repeticiones, hasta el más alto, en el que se encuentra la melodía al completo. Por último, se describe un conjunto de variables características de cada una de las melodías así como la descripción de los resultados obtenidos al realizar un agrupamiento de las mismas según estos parámetros

58 4.1 ESTUDIO DE LOS TRABAJOS EXISTENTES Han sido pocos los investigadores que han estudiado en profundidad la búsqueda de patrones o secuencia dentro de las melodías. Se encuentran principalmente dos métodos, el primero de los cuales es el que está más desarrollado: el utilización de la matriz de similitud o el uso de algoritmos genéticos. La matriz de similitud, método muy desarrollado por R. B. Dannenberg junto con otros investigadores ([22], [23], [24]), consiste principalmente en, una vez transcrita la melodía, identificar las secuencias melódicas similares y guardarlas en una matriz que posteriormente se somete a un clustering, cuyo algoritmo recorre cada una de sus filas buscando grupos con secuencias similares. Esta forma de búsqueda se puede realizar también buscando, en lugar de por las filas, por las diagonales de la matriz. Una vez hecho el clustering, se conocen los distintos trozos que forman la canción, creando así la secuencia de la misma. El uso de algoritmos genéticos para esta aplicación ha sido poco estudiado. C. Grilo y A. Cardoso ([25] ) utilizaron un algoritmo genético típico con algunos cambios. Usaron el método del torneo de tamaño 5, con operadores genéticos clásicos con cruce de dos puntos y mutación clásica. En este proyecto, por tanto, se ha utilizado un método propio basado en algunas de las ideas expuestas por R.B. Dannenberg, como la creación de una matriz que contiene posibles trozos similares y la utilización de un clustering para la determinación de dichas similitudes. Sin embargo, se va más allá de identificar patrones dentro de una melodía, pues, a partir de ese punto, se buscan posibles variables identificativas con las que llevar a cabo clusterings para agrupar las piezas musicales de una base de datos

59 4.2 IDENTIFICACIÓN DE REPETICIONES Una vez hecha la detección de la pieza musical objeto de estudio, se procede a dividirla en las que podrían ser las posibles partes de la misma. Se parte de un vector que contiene todas las notas codificadas de la melodía, de forma que la duración viene representada como la repetición de una misma nota de forma consecutiva. Para que la realización de la división de la pieza musical en trozos sea más sencilla y robusta, se divide el vector anterior en dos vectores, el primero de los cuales contendrá sólo la línea melódica en notas codificadas de la muestra estudiada, mientras que el segundo contendrá únicamente las duraciones de cada una de éstas. El algoritmo que busca los posibles trozos distintos contenidos en la melodía. Consiste en avanzar por la línea melódica, es decir, por el vector que contiene únicamente la codificación de las notas y, en el momento en que encuentra una nota que ya había incluido antes en ese trozo, hace un corte, almacenando los datos desde la primera nota que forma ese corte, hasta esta última nota (sin incluirla). A continuación, se repite este análisis desde la última nota analizada, y se continúa hasta llegar al final de la canción. Se ilustra este procedimiento en la Figura 28: Figura 28.Trozos detectados en la melodía

60 Las barras verticales indican los trozos en que ha quedado dividida la canción. Como se puede observar, en cuanto aparece una nota que ya se había detectado antes, se efectúa el corte y se guardan los datos anteriores a dicho corte, para continuar avanzando a los largo de la melodía. Las barras horizontales bajo ésta muestran qué notas hay contenidas en cada uno de estos trozos. Las barras que tienen el mismo color indican que esos trozos contienen la misma información. Para llevar a cabo este último paso, se procede de la siguiente manera: primero se almacenan tanto los trozos que contienen notas, como los trozos con las duraciones de las mismas en sendos arrays. A continuación, se almacenan en una matriz en donde el número de filas se corresponde con el número de trozos hallados en la melodía, de valor diez en el ejemplo anterior; y el número de columnas coincide con el rango de semitonos de la pieza musical; y se determina como sigue: Puesto que no todos los trozos contienen el mismo número de datos, se busca cuál es la nota más grave que aparece en la melodía, y cuál es la más aguda, siendo éstos los rangos entre los que se almacenan los datos anteriores. Una vez determinados estos valores, se crea el vector de notas codificadas completo, es decir, si la nota más grave hallada en la canción se corresponde con el semitono codificado de valor -3.5 (que se corresponde con la nota re de la 4ª octava), siguiendo el ejemplo expuesto en la Figura 28, y la nota más aguda es 1.5 (que se corresponde con la nota do de la 5ª octava), el vector completo sería: [ ] De esta forma se conoce el número de columnas que va a tener la matriz que almacenará los datos. A continuación, se procede a rellenarla del siguiente modo. - Se identifican las notas presentes en cada uno de los trozos con el vector que contiene toda la melodía

61 Trozos UNIVERSIDAD PONTIFICIA COMILLAS - Se introduce en la matriz la posición temporal de esa nota en el trozo correspondiente; es decir, si la primera nota es -1, la segunda es 0 y la tercera es 1.5, la primera fila de la matriz quedará de la siguiente forma: [ ] Esto se hace con todos los trozos encontrados en la pieza musical. Siguiendo con el ejemplo anterior, esta matriz quedaría de la siguiente forma: Nota Posiciones Matriz 1. Matriz que contiene las posiciones de las notas Se determina la misma matriz para las duraciones, que en lugar de contener el valor de la posición, se rellena con las duraciones de cada una de las notas en su posición correspondiente. Gracias a estos últimos datos, es posible determinar en qué instante de tiempo comienza y termina cada uno de los trozos detectados, lo que se utiliza para, gráficamente, comprobar si efectivamente el algoritmo diseñado funciona correctamente

62 Trozos UNIVERSIDAD PONTIFICIA COMILLAS A continuación, se determina la primera secuencia musical de la pieza estudiada y, más adelante, las secuencias que a su vez se hallan dentro de la misma, generándose así un árbol de secuencias. 4.3 ÁRBOL DE SECUENCIAS Una vez obtenidas las matrices que contienen tanto las posiciones de las notas como sus duraciones, se realiza un clustering (que consiste en agrupar unos datos en función de unas características o variables determinadas) estricto para determinar qué trozos contenidos en la matriz de las posiciones de las notas tienen exactamente la misma información y así generar una secuencia inicial a partir de la que hacer agrupaciones consecutivas PRIMER CLUSTERING Partiendo de la matriz que contiene las posiciones de las notas, se buscan en ésta las filas que son distintas, almacenándose en una segunda matriz de trozos únicos. Si seguimos el ejemplo inicial, esta segunda matriz tendría como datos lo siguiente: Nota Posiciones Matriz 2. Matriz que contiene las filas distintas de la matriz de posiciones A continuación lo que se realiza es una identificación entre la matriz de posiciones inicial y esta segunda matriz, de tal forma que cuando una fila de la

63 Trozos UNIVERSIDAD PONTIFICIA COMILLAS primera coincida con una fila de la segunda, obtenga como valor, a guardar en un vector, el de la fila de esta segunda matriz, es decir, se determina en qué instante temporal y qué trozos únicos. Por ejemplo, si la primera fila de la Matriz 1 coincide con la primera fila de la Matriz 2, se obtiene como valor a guardar en el vector uno, que coincide con el valor de la fila de esta última matriz. De esta forma, el vector final tendrá tantos valores como filas, o trozos, contiene la Matriz 1. Siguiendo con este ejemplo, el vector completo que se obtiene es: [ ] A este vector se le llamará secuencia, que en este caso es la inicial. Volviendo hacia atrás, cada uno de los valores de esta secuencia contiene unos datos, los de la fila correspondiente con que se ha identificado. Es decir, el valor 1 de este vector se correspondería con los datos de la primera fila de la Matriz 1, y así sucesivamente, como se muestra en la siguiente tabla: Posiciones Secuencia Tabla 2. Matriz de posiciones y su secuencia correspondiente

64 A su vez, con la matriz que contiene las duraciones de cada una de las notas, puedo determinar en qué instante de tiempo, en muestras (1 muestra son 23ms), se ha iniciado y finalizado cada una de las filas de la matriz que contiene las posiciones de las notas; y así crear los vectores correspondientes que almacenan estos instantes de tiempo. De esta forma, se determina y almacena de una forma muy compacta el instante en que se inicia y finaliza cada uno de los valores de la secuencia anterior. Siguiendo el ejemplo anterior, estos datos quedarían de la siguiente forma: Secuencia Inicio Final Tabla 3. Secuencia, instantes iniciales y finales Gracias a estos datos, es posible representar gráficamente tanto las distintas partes en que ha quedado troceada la melodía como, en un mismo color, aquellas que tienen los mismos datos; viendo así de forma sencilla la primera secuencia determinada. En la Figura 29 se muestra la melodía inicial que es objeto de estudio (se corresponde con el ejemplo ilustrativo empleado a lo largo de este epígrafe): Figura 29. Melodía antes del troceo

65 En la Figura 30 se representa la misma melodía una vez efectuado el troceo inicial: Figura 30. Melodía tras el primer troceo Los distintos colores indican los distintos trozos que se han identificado en la pieza musical. Como se aprecia, se corresponden con los que se deducían al inicio de este apartado (Figura 28), por lo que se puede concluir que el algoritmo creado funciona de la forma esperada

66 4.3.2 SECUENCIAS CONSECUTIVAS Una vez obtenida la primera secuencia, cuyos datos se pueden ver en la Tabla 3, se puede representar (Figura 31), para ver si efectivamente se detectan como iguales las partes de la secuencia que tienen el mismo valor: Figura 31. Melodía con secuencia superpuesta En verde están los valores de la secuencia que se corresponden con el trozo 1, en rojo con los del trozo 2, en azul claro con los del trozo 3 y en morado con los del trozo 4; por lo que se ve que la secuencia detectada se ajusta perfectamente y de la forma esperada (Figura 28) con la melodía analizada. Una vez en este punto, se procede a crear el árbol jerárquico de secuencias. El primer paso para hacer esto es agrupar los valores de la secuencia que sean iguales consecutivamente, por lo que la secuencia anterior quedaría de la siguiente forma: Secuencia Inicio Final Tabla 4. Agrupación de la secuencia

67 Trozos UNIVERSIDAD PONTIFICIA COMILLAS Una vez hecho esto, se procede de la misma forma explicada en el apartado 4.2, sólo que en lugar de notas y sus correspondientes duraciones, se tienen valores de secuencia y sus correspondientes duraciones. A continuación se lleva a cabo el algoritmo de búsqueda de repeticiones, pero con una pequeña variante: se dejan fijos el primer y último valor de la secuencia inicial, ya que se ha considerado que en una canción el principio y el final suelen ser distintos al resto, y por ello no deben entrar en esta siguiente agrupación o secuencia. Se obtiene la siguiente matriz de posiciones a partir de la secuencia anterior: Valor Sec Posiciones Tabla 5. Matriz de posiciones de la primera secuencia Se determina la misma matriz para las duraciones, que en lugar de con el valor de la posición, se rellena con las duraciones de cada una de los distintos valores de la secuencia en su posición correspondiente. A continuación, se determinaría la secuencia de esta primera secuencia, siguiendo los pasos indicados en el apartado Por tanto, la secuencia que se detectada, así como sus instantes iniciales y finales correspondientes es: Secuencia Inicio Final Tabla 6. Secuencia de la secuencia inicial

68 La melodía queda, por tanto, de la siguiente forma después de esta segunda segmentación: Figura 32. Melodía tras la siguiente segmentación Se aprecia que los trozos que se han identificado se corresponden con los datos contenidos en la Tabla 6. Una vez obtenida esta secuencia, se puede representar (Figura 31), para ver si efectivamente se detectan como iguales las partes de la secuencia que tienen el mismo valor: Figura 33. Secuencia siguiente Se ve que la melodía queda dividida en tres partes: el inicio, el final y la parte intermedia, formada por tres patrones iguales (Tabla 6)

69 A partir de este punto, se repetirían los pasos descritos en los apartados 4.2 y 4.3, hasta que no se encuentren más repeticiones dentro de la secuencia, momento en el que se guardarán todas las secuencias obtenidas así como los instantes iniciales y finales de cada uno de los trozos que las conforman. Siguiendo el ejemplo anterior, ya no se obtendrían más secuencias, ya que la última es: Secuencia Inicio Final Tabla 7. Última secuencia Como se ve en la Tabla 7, no hay más repeticiones en la secuencia, por lo que ésta es la última. En la siguiente figura se muestra el resumen de todos los troceos y secuencias que se han determinado en este ejemplo en concreto (fragmento de You can leave your hat on): Figura 34. Todas las secuencias de la melodía

70 En la primera gráfica de esta figura se muestran los distintos trozos detectados en la melodía al inicio del estudio. En la segunda gráfica se muestra la secuencia inicial. Las partes que tienen el mismo color indica que tienen el mismo valor o patrón en la secuencia. En la tercera figura se muestra el siguiente troceo detectado en la secuencia anterior; y por último, en la cuarta figura se muestra la última secuencia. La parte intermedia tiene un único color ya que los patrones que la conforman son los mismos. 4.4 VARIABLES IDENTIFICATIVAS En este apartado se procede a indicar cuáles son las variables que se han determinado para efectuar, posteriormente, el clustering de todas las melodías estudiadas. Se trata de un primer conjunto de variables que debería ampliarse. Estas variables son: - El número de trozos en que ha quedado subdividida la melodía al inicio del estudio. - El número de veces que aparecen cada una de las notas presentes en la melodía. - El número de patrones o trozos que aparecen en la parte intermedia de la secuencia final de la melodía. - El número medio de patrones que aparece en la parte intermedia de la penúltima secuencia de la melodía. A continuación se procede a explicar cómo se ha determinado cada una de estas variables NÚMERO INICIAL DE SUBDIVISIONES Para determinar el número en que queda subdividida la melodía al inicio del análisis, tan sólo se necesita guardar el número de filas que tiene la matriz determinada en el apartado

71 Si se recurre el mismo ejemplo que se ha estado utilizando a lo largo de este apartado, el número de subdivisiones inicial es diez APARICIÓN DE CADA UNA DE LAS NOTAS Para determinar el número de veces que aparece de cada una de notas presentes en la melodía, primero se fija el rango de notas diferentes que puede haber en una melodía. En este estudio, se ha fijado a las tres octavas centrales (un total de 35 notas, desde el do de la 3ª octava hasta el si de la 5ª octava), ya que es dentro de este rango de notas donde se encuentran la gran mayoría de las piezas musicales; ya que sonidos más graves o más agudos podrían ser molestos o desagradables para el que escucha la melodía. Aún así, si se desea, se puede cambiar este rango para que abarque todas las octavas de la escala musical. Una vez determinado el rango, se procede a la identificación de cada una de las notas presentes en la melodía con las abarcadas en este rango, y mediante un contador se halla el número de cada una de las mismas que aparece en la canción. Siguiendo el ejemplo de este capítulo, los datos serían: Nota re mi sol la do Octava 4ª 4ª 4ª 4ª 5ª Código Veces aparece Tabla 8. Nº de veces que aparece cada una de las notas NÚMERO DE PATRONES EN LA SECUENCIA FINAL Para determinar el número de patrones presentes en la parte intermedia de la secuencia final tan sólo se necesita conocer el número de columnas, menos la

72 inicial y la final, presentes en la última matriz de posiciones, que es la que se corresponde con la última secuencia y los instantes iniciales y finales de cada una de las partes que la forman. En el ejemplo de éste capítulo tan sólo hay un patrón en la parte intermedia, como se aprecia, en rojo, en la Figura NÚMERO MEDIO DE PATRONES EN LA PENÚLTIMA SECUENCIA Para determinar el número medio de patrones presentes en la parte intermedia de la secuencia penúltima secuencia tan sólo se necesita conocer el número de columnas, menos la inicial y la final, presentes en la penúltima matriz de posiciones, que es la que se corresponde con la penúltima secuencia y los instantes iniciales y finales de cada una de las partes que la forman. Una vez obtenido este valor, se divide por el número de patrones presentes en la secuencia final, para obtener así la media. Este valor sería, por tanto, el número medio de patrones penúltimos por patrón final. En el ejemplo de éste capítulo hay seis patrones en la penúltima secuencia (Figura 31). Puesto que tan sólo hay un patrón en la parte intermedia de la secuencia final, el valor medio es seis. 4.5 CLUSTERINGS Y RESULTADOS Una vez extraídos los valores de estas características descriptivas para los 1626 archivos de sonido monofónicos, se ha utilizado un modelo de aprendizaje no supervisado para realizar una agrupación automática de las mismas. Se ha utilizado el algoritmo de clustering Neural Gas. Se han realizado dos agrupaciones diferentes

73 Para el primero de los clusterings se ha decidido agrupar las piezas musicales según el número de cada una de las notas que contienen; mientras que para el segundo clustering se han utilizado las 3 variables restantes. En los siguientes apartados se detallan los resultados obtenidos con cada uno de los mismos CLUSTERING SOBRE LAS NOTAS El primer clustering efectuado se hace para agrupar las melodías según los distintos patrones de la variable consistente en las notas que contienen. Se recuerda que ésta variable vectorial está formada a su vez de 35 variables, que se corresponden con el número de notas presentes en las tres octavas centrales. Se han determinado un total de 16 patrones, que se muestran a continuación: Figura 35. Patrones determinados por la variable vectorial notas Se aprecia que la mayoría de los patrones muestran una concentración de notas en la parte central; es decir, en torno a la cuarta octava (valores de -4.5 a 1). A continuación, se va a mostrar cada uno de los patrones anteriores, así como varios ejemplos de cada uno de ellos, para una mejor comprensión de los resultados obtenidos en este clustering

74 Patrón 1 Este patrón tan sólo contiene 10 muestras de las 1626 analizadas (aproximadamente un 0.62%), por lo que se puede considerar uno de los menos relevantes a la hora de sacar conclusiones. Si se lo analiza en detalle, se aprecia que bastantes de las notas que lo forman son silencios o notas bastante agudas, pertenecientes a la 5ª octava. En la siguiente imagen (Figura 36) se muestra este primer patrón: Figura 36. Primer Patrón de la variable notas A continuación se muestran los histogramas de cinco de las melodías pertenecientes a este patrón: Figura 37. Ejemplos del Primer Patrón de la variable notas La mayor parte de las notas se encuentran, como se comentaba anteriormente, en la 5ª octava, entre las notas do# y si. Sin embargo, para ver si efectivamente el nivel de silencios (valor -15) es tan alto, se necesita representar una figura en la que estén contenidas las diez melodías pertenecientes a esta agrupación:

75 Figura 38. Detalle para ver los silencios Aunque es difícil apreciar en detalle el número de veces que aparecen las distintas notas, sí que se puede ver que hay un número bastante alto de silencios Patrón 2 Este patrón es de los que más muestras contiene: 276 de las 1626 analizadas (aproximadamente un 17%), por lo que se puede considerar uno de los más relevantes a la hora de sacar conclusiones. Si se lo analiza en detalle, se aprecia que la mayor parte de las notas que lo forman son notas pertenecientes a la 4ª y 5ª octava. En la siguiente imagen se muestra este segundo patrón: Figura 39. Segundo Patrón de la variable notas A continuación se muestran los histogramas de las notas de cinco de las melodías pertenecientes a este patrón:

76 Figura 40. Ejemplo del Segundo Patrón de la variable notas La gran parte de las notas se encuentran, como se comentaba anteriormente, dispersas entre las 4ª y 5ª octavas, en concreto entre las notas mi de la 4ª octava y sol de la 5ª octava Patrón 3 El patrón 3contiene 197 de las 1626 analizadas (poco más de un 12%), por lo que se puede considerar otro de los más relevantes a la hora de sacar conclusiones. Si se lo analiza en detalle, se aprecia que bastantes de las notas que lo forman pertenecen a la 4ª octava. En la siguiente imagen se muestra este patrón: Figura 41. Tercer Patrón de la variable notas A continuación se muestran los histogramas de cinco de las melodías pertenecientes a este patrón:

77 Figura 42. Ejemplo del Tercer Patrón de la variable notas Todas las notas se encuentran, como se comentaba anteriormente, en la 4ª octava, entre las notas do y fa# Patrón 4 El patrón 4 contiene pocas muestras: 33 de las 1626 analizadas (aproximadamente un 2%), por lo que lo podemos considerar uno de los menos relevantes a la hora de sacar conclusiones. Si se lo analiza en detalle, se aprecia que bastantes de las notas que lo forman son notas bastante graves y principalmente pertenecientes a la 4ª octava, estando los datos bastante dispersos. En la siguiente imagen se muestra este patrón: Figura 43. Cuarto Patrón de la variable notas A continuación se muestran los histogramas de cinco de las melodías pertenecientes a este patrón:

78 Figura 44. Ejemplo del Cuarto Patrón de la variable notas Como se puede observar, las notas están muy dispersas, llegando a abarcar las tres octavas centrales: la 3ª, 4ª y 5ª Patrón 5 Este patrón contiene también un número bajo de muestras: 70 de las 1626 analizadas, aproximadamente un 4.4%. Si se lo analiza en detalle, se aprecia que todas las notas que lo forman están bastante dispersas entre las tres octavas centrales, sin poder destacar alguna de éstas. En la siguiente imagen se muestra este patrón: Figura 45. Quinto Patrón de la variable notas A continuación se muestran los histogramas de cinco de las melodías pertenecientes a este patrón:

79 Figura 46. Ejemplo del Quinto Patrón de la variable notas Se ve en esta figura que la nota más grave presente en las melodías es el do de la 4ª octava (cuyo valor en la codificación en -4.5), exceptuando la melodía 188, cuya nota más grave es el sol de la 3ª octava. La nota más aguda es el re# de la 5ª octava. Por lo tanto, las notas de este patrón están bastante dispersas entre el final de la 3ª octava y el inicio de la 5ª Patrón 6 El patrón 6 contiene 88 de las 1626 analizadas, aproximadamente un 5.4%. Si se lo analiza en detalle, se aprecia que gran parte las notas que lo forman son agudas, pertenecientes a la mitad superior de la cuarta octava y la mitad inferior de la 5ª octava. En la siguiente imagen se muestra este patrón: Figura 47. Sexto Patrón de la variable notas A continuación se muestran los histogramas de cinco de las melodías pertenecientes a este patrón:

80 Figura 48. Ejemplo del Sexto Patrón de la variable notas Efectivamente, la mayor parte de las notas se concentran entre el la de la 4ª octava y el fa de la 5ª octava Patrón 7 El patrón 7 contiene 46 de las 1626 analizadas, aproximadamente un 3%. Si se lo analiza en detalle, se aprecia que las notas están bastante dispersas entre las 3 octavas centrales, destacando ligeramente la 4ª. En la siguiente imagen se muestra este patrón: Figura 49. Séptimo Patrón de la variable notas A continuación se muestran los histogramas de cinco de las melodías pertenecientes a este patrón que, efectivamente indican que la nota más grave que aparece es el sol de la 4ª octava, mientras que la más aguda es el fa de la 5ª octava, presentándose la mayor concentración de las notas en la 4ª octava

81 Figura 50. Ejemplo del Séptimo Patrón de la variable notas Patrón 8 Este patrón contiene 70 las 1626 analizadas, aproximadamente un 4.3%. Si se lo analiza en detalle, se aprecia que la inmensa mayoría de las notas pertenece a la 4ª octava. En la siguiente imagen se muestra este patrón: Figura 51. Octavo Patrón de la variable notas A continuación se muestran los histogramas de cinco de las melodías pertenecientes a este patrón, en el que, efectivamente, se observa que la nota más grave es el do, y la más aguda, el la# de la 4ª octava. Figura 52. Ejemplo del Octavo Patrón de la variable notas

82 Patrón 9 El patrón 9 es otro de los que más muestras contiene: 109 de las 1626 analizadas (aproximadamente un 6.7%), por lo que podemos considerarlo uno de los más relevantes a la hora de sacar conclusiones. Si se lo analiza en detalle, se aprecia las notas que lo forman pertenecen a lo que parece ser la mitad superior de la 4ª octava. En la siguiente imagen se muestra este patrón: Figura 53. Noveno Patrón de la variable notas A continuación se muestran los histogramas de cinco de las melodías pertenecientes a este patrón: Figura 54. Ejemplo del Noveno Patrón de la variable notas La mayor parte de las notas se encuentran, como se comentaba anteriormente, en los tres cuartos superiores de la 4ª octava, entre las notas mi y si, habiendo unas pocas muestras en las primeras notas de la 5ª octava

83 Patrón 10 El patrón 10 es el que más muestras contiene: 285 de las 1626 analizadas (aproximadamente un 17.5%), por lo que se puede considerar uno de los más relevantes a la hora de sacar conclusiones. Si se lo analiza en detalle, se aprecia que bastantes de las notas que lo forman son bastante agudas, posiblemente pertenecientes a la 5ª octava, y algún que otro silencio. En la siguiente imagen se muestra este patrón: Figura 55. Décimo Patrón de la variable notas A continuación se muestran los histogramas de cinco de las melodías pertenecientes a este patrón: Figura 56. Ejemplo del Décimo Patrón de la variable notas La mayor parte de las notas se encuentran, como se comentaba anteriormente, en la 5ª octava, destacando también que hay unas pocas pertenecientes a la mitad superior de la 4ª octava; y un único silencio en la melodía Patrón 11 El siguiente patrón contiene 42de las 1626 analizadas (aproximadamente un 2.6%)

84 Si se lo analiza en detalle, se aprecia que las notas están nuevamente bastante dispersas, presentándose la mayoría en la 4ª octava. En la siguiente imagen se muestra este patrón: Figura 57. Patrón 11 de la variable notas A continuación se muestran los histogramas de cinco de las melodías pertenecientes a este patrón: Figura 58. Ejemplo del Patrón 11 de la variable notas La mayor parte de las notas se encuentran principalmente en la 4ª octava entre las notas do# y si. Sin embargo también hay que destacar hay unas cuantas notas pertenecientes a la mitad inferior de la 5ª octava; y muy pocas pertenecientes a la mitad superior de la 3ª octava Patrón 12 Este patrón contiene 80 de las 1626 analizadas, aproximadamente un 5%. Si se lo analiza en detalle, se aprecia que bastantes de las notas que lo forman están bastante dispersos entre la 4ª y la 5ª octava. En la siguiente imagen se muestra este patrón:

85 Figura 59. Patrón 12 de la variable notas A continuación se muestran los histogramas de cinco de las melodías pertenecientes a este patrón: Figura 60. Ejemplo del Patrón 12 de la variable notas La mayor parte de las notas se encuentran, como se comentaba anteriormente, en la 4ª octava e inicios de la 5ª Patrón 13 El patrón 13 contiene 64 muestras de las 1626 analizadas, lo que se corresponde con, aproximadamente un, 4%. Si se lo analiza en detalle, se aprecia que bastantes de las notas que lo forman pertenecen a la 4ª octava e inicios de la 5ª octava. En la siguiente imagen se muestra este patrón: Figura 61. Patrón 13 de la variable notas

86 A continuación se muestran los histogramas de cinco de las melodías pertenecientes a este patrón: Figura 62. Ejemplo del Patrón 13 de la variable notas La mayor parte de las notas se encuentran entre do de la 4ª octava y el fa# de la 5ª Patrón 14 El patrón 14 es de los que más muestras contiene: 131 de las 1626 analizadas (aproximadamente un 8%), por lo que se puede considerar otro de los más relevantes a la hora de sacar conclusiones. Si se lo analiza en detalle, se aprecia que la mayor parte de las notas que lo forman se encuentran entre la parte final de la 4ª octava y casi toda la 5ª octava. En la siguiente imagen se muestra este patrón: Figura 63. Patrón 14 de la variable notas A continuación se muestran los histogramas de cinco de las melodías pertenecientes a este patrón:

87 Figura 64. Ejemplo del Patrón 14 de la variable notas La mayor parte de las notas se encuentran entre el la de la 4ª octava y el si de la 5ª octava Patrón 15 Este patrón contiene 80de las 1626 muestras analizadas, aproximadamente un 5%. Si se lo analiza en detalle, se aprecia que bastantes de las notas que lo forman están entre la 4ª y la 5ª octava. En la siguiente imagen se muestra este patrón: Figura 65. Patrón 15 de la variable notas A continuación se muestran los histogramas de cinco de las melodías pertenecientes a este patrón:

88 Figura 66. Ejemplo del Patrón 15 de la variable notas Las notas están efectivamente entre el re# de la 4ª octava y el si de la 5ª octava; presentando la melodía 232 un pequeño número de silencios Patrón 16 Este patrón contiene 45 muestras de las 1626 analizadas, aproximadamente un 2.7%. Si se lo analiza en detalle, se aprecia que la mayoría de las notas pertenecen a la 5ª octava. En la siguiente imagen se muestra este patrón: Figura 67. Patrón 16 de la variable notas A continuación se muestran los histogramas de cinco de las melodías pertenecientes a este patrón, en el que se aprecia que, efectivamente, la gran parte de las notas pertenecen a la 5ª octava, en concreto entre las notas la de la 4ª octava y sol# de la 5ª octava

89 Figura 68. Ejemplo del Patrón 16 de la variable notas CLUSTERING SOBRE EL RESTO DE VARIABLES El segundo clustering efectuado se ha realizado para agrupar las melodías según las tres variables restantes: número de subdivisiones que se hacen en la melodía inicial, patrones o trozos que hay en la parte intermedia de la última secuencia y el valor medio de los patrones que hay en la parte intermedia de la penúltima secuencia (apartado 4.4). Se han determinado un total de 4 patrones, que se muestran a continuación: Figura 69. Patrones determinados por las otras tres variables

90 Se muestra un detalle de la nube de puntos, para localizar los 4 patrones determinados en las dos primeras componentes principales. Figura 70. Detalle de la nube de muestras Se muestra una tabla en la que se resumen los valores medios de cada una de las variables, utilizadas en esta clustering, presentes en los patrones detectados: Patrones Nº trozos inicio Nº trozos sec. Final Nº medio sec. penúltima Patrón Patrón Patrón Patrón Tabla 9. Valores de las variables según patrón A continuación, se va a mostrar cada uno de los patrones anteriores, así como varios ejemplo de cada uno de ellos, para una mejor comprensión de los resultados obtenidos en este clustering Patrón 1 Este patrón es el que más muestras contiene: 593 de las 1626 analizadas, lo que se corresponde con un 36.5%

91 Se aprecia que el número de trozos inicial es bastante bajo, resultando muy leve la variación con respecto al número de trozos que quedan en la última secuencia. En la siguiente figura se muestra este patrón: Figura 71. Primer Patrón de la relaciona entre las 3 variables Parece ser que, debido a los bajos valores de las variables habrá posiblemente una única secuencia que tenga casi el mismo número de partes que el troceo inicial de la melodía. Para comprobar esto de una forma más gráfica, se presentan a continuación varias melodías pertenecientes a este grupo. Figura 72. Troceo y secuencia de la melodía 245 Esta primera melodía se aprecia que está dividida en 7 trozos, y que únicamente tiene una secuencia formada por 4 fragmentos distintos en la parte intermedia. Ambos valores se encuentran dentro de sus medias correspondientes escritas en la Tabla

92 En la siguiente melodía, un fragmento de Yesterday de The Beatles, se ve que está dividida en únicamente 5 trozos, y que tiene sólo una secuencia formada por el mismo número que aquéllos. Figura 73. Troceo y Secuencia de Yesterday Por lo tanto, el tipo de patrón obtenido se corresponde con piezas musicales caracterizadas por ser melodías con poca cantidad de información, sin muchas partes repetitivas y por tener una única secuencia Patrón 2 Este patrón es el que menos muestras contiene: 240 de las 1626 analizadas, lo que se corresponde con un 14.7%. Se aprecia que el número de trozos inicial es bastante superior al del patrón anterior (casi el doble), resultando un poco mayor la variación con respecto al número de trozos que quedan en la última secuencia. El valor de la tercera variable considerada es bastante bajo, lo que indica que hay pocos patrones en la parte intermedia de la penúltima secuencia por patrón en la secuencia final. En la siguiente figura se muestra este patrón: Figura 74.Segundo Patrón de la relaciona entre las 3 variables

93 Para comprobar esto de una forma más gráfica, se presentan a continuación varias melodías pertenecientes a este grupo. Figura 75. Troceo y Secuencia de la melodía 186 Esta primera imagen sirve para ilustrar el hecho de que el número de trozos en que queda dividida la melodía al inicio es 9, valor que es superior a su correspondiente en el patrón 1. El número de trozos en que queda dividida la parte intermedia de la secuencia final es 7, dato que se corresponde con la media escrita en la Tabla 9. En la siguiente imagen se muestra otro ejemplo de melodía perteneciente a este patrón: Figura 76. Troceos y Secuencias de la melodía 1231 En esta caso, el número de trozos en que queda dividida la melodía al inicio (primera figura) es 12, que se corresponde con la media de esta variable para esta patrón representada en la Tabla 9. Además, se aprecia que el número de fragmentos presentes en la parte intermedia de la secuencia final es 5 que, a pesar

94 de encontrarse un poco por debajo de la media, cumple con el patrón al que pertenece, ya que la disminución relativa al número de divisiones iniciales es superior al del patrón 1. Por lo tanto, parece ser que este segundo patrón se caracteriza por tener entre 1 y dos secuencias, posiblemente debido a la corta duración de la mayoría de sus muestras Patrón 3 Este patrón es el segundo que más muestras contiene: 449 de las 1626 analizadas, un 27.6%. Se aprecia que el número de trozos inicial es ligeramente inferior al del patrón anterior, pero siendo muy inferior el número de fragmentos presentes en la parte intermedia de la secuencia final con respecto a aquél. El valor de la tercera variable considerada es ligeramente superior, lo que indica que hay bastantes patrones en la parte intermedia de la penúltima secuencia que se agrupan en un único patrón de la secuencia final. En la siguiente figura se muestra este patrón: Figura 77. Tercer Patrón de la relaciona entre las 3 variables Para comprobar esto de una forma más gráfica, se presentan a continuación varias melodías pertenecientes a este grupo. En la siguiente figura se representan los troceos y secuencias de la melodía 110.wav. En ella se puede ver que el número de partes en que queda dividida la

95 canción al inicio es 10; y que la segunda variable vale 2. Estos valores se corresponden con las medias de los mismos representadas en la Tabla 9. Con respecto a la tercera variable, se ve que también se ajusta perfectamente a su valor correspondiente en la tabla, ya que el número de fragmentos presentes en la penúltima secuencia (segunda figura de esta imagen) es 7, que dividida entre el valor de la segunda variable se obtiene 3.5, es decir, 3.5 fragmentos en la penúltima secuencia por fragmento en la parte intermedia de la secuencia final (cuarta figura de esta imagen). Figura 78. Fragmentos y Secuencias de la melodía 110 A continuación, se muestran los fragmentos y secuencias de la melodía 615.wav, en la que de nuevo se aprecia que los valores correspondientes a las dos primeras variables de estudio concuerdan con las presentadas en la Tabla 9. La tercera variable está ligeramente por encima de la media. Figura 79. Fragmentos y Secuencias de la melodía

96 Por lo tanto, parece ser que este patrón se caracteriza por tener de media dos secuencias, debido a que la línea melódica de la canción no tiene mucha información, y la que contiene parece ser bastante repetitiva Patrón 4 Este patrón contiene 344 de las 1626 analizadas, un 21%. Se aprecia que el número de trozos inicial es muy superior al del resto de patrones, siendo muy inferior el número de fragmentos presentes en la parte intermedia de la secuencia final con respecto a aquél. El valor de la tercera variable considerada es ligeramente superior, lo que indica que hay bastantes patrones en la parte intermedia de la penúltima secuencia que se agrupan en un único patrón de la secuencia final. En la siguiente figura se muestra este patrón: Figura 80. Cuarto Patrón de la relaciona entre las 3 variables Para comprobar esto de una forma más gráfica, se presentan a continuación varias melodías pertenecientes a este grupo. En la siguiente figura se representan los troceos y secuencias de la melodía 132.wav. En ella se puede ver que el número de partes en que queda dividida la canción al inicio es, aproximadamente, 26; y que la segunda variable vale 4.Se ve así que pertenece a este cuarto patrón, ya que el mismo se caracteriza por tener la primera variable un valor muy alto, mientras que la segunda es un valor bastante bajo

97 En esta melodía, la tercera variable adquiere también un valor bastante bajo, de valor 3, lo que también se corresponde con este tipo de patrón. Figura 81. Fragmentos y Secuencias de la melodía 132 A continuación se pone como otro ejemplo la melodía 1161.wav, perteneciente también a este grupo. Figura 82. Fragmentos y secuencias de la melodía 1161 Por lo tanto, parece ser que este último patrón se caracteriza por tener un árbol de secuencias mayor debido a que la cantidad de información que contiene la línea

98 melódica de la canción es alta, hecho por el que queda dividida en bastantes fragmentos al inicio CONCLUSIONES OBTENIDAS Como conclusiones de este clustering, se puede decir que la inmensa mayoría de las notas presentes en la melodía pertenecen principalmente a la 4ª octava y la mitad inferior de la 5ª octava; posiblemente debido a que, al no ser ni muy graves ni muy agudas, resultan ser más agradables para el oído humano. También se puede deducir que la cantidad de silencios absolutos presentes es mínima. Con respecto al segundo clustering, se concluye que casi un 37% de las melodías analizadas presentan una única secuencia con pocos patrones detectados; lo que puede ser debido a que las melodías analizadas son bastante cortas o a que la mayoría de las mismas contienen una línea melódica sencilla

99 Capítulo 5 CONCLUSIONES En el presente proyecto se ha investigado cómo obtener información característica de la pieza musical analizada a partir únicamente de la señal de audio utilizada. Si se tienen en cuenta los objetivos que se han propuesto al principio del proyecto (apartado 1.2), se puede afirmar que se han cumplido prácticamente todos. A continuación se va revisar cada uno de los objetivos parciales o tareas propuestas justificando su cumplimiento Obtención de muestras. Esta tarea es primordial ya que sin ella no existiría el proyecto como tal. Las melodías o fragmentos musicales deben ser monofónicos y en formato wav para así crear una base musical lo suficientemente grande para que permita el análisis de las piezas, obtención de sus variables descriptivas y la comparación entre las mismas. La base musical que se ha utilizado en la elaboración de este proyecto consta de 1624 melodías. Realizar un análisis espectral de las muestras con Matlab para identificar las notas que componen el fragmento musical, creando así su línea melódica. Ésta tarea implicaba el desarrollo de un algoritmo de detección de la melodía lo suficientemente fiable y robusta. A lo largo del apartado 3.4 se desarrollan tres métodos de detección, decantándose finalmente por el que utiliza la Función de Autocorrelación Simple en tiempo (apartado 3.4.2). Desarrollo de un algoritmo para la codificación automática de las melodías

100 La codificación desarrollada se explica en el apartado 3.3. Ésta ha permitido codificar de forma numérica y compacta la pieza musical obtenida de forma automática en la detección, por lo que se facilita su procesamiento posterior. Identificación de patrones dentro de la misma pieza musical. A lo largo de los apartados 4.2 y 4.3 se ha explicado la forma de determinar los patrones contenidos en cada una de las secuencias que hay en la melodía estudiada, obteniendo así un árbol jerárquico de las mismas. Identificación de variables descriptivas derivadas. En el apartado 4.4 se ha detallado la obtención de unas posibles variables identificativas de la pieza analizada: número de fragmentos en que queda dividida la melodía al inicio del análisis, número de veces que aparece cada una de las notas de la canción, número de patrones en la parte intermedia de última secuencia y el número medio de patrones que aparece en parte intermedia de la penúltima secuencia. Aplicación de técnicas de clustering a diversas piezas. En el apartado 4.5 de explica el clustering llevado a cabo, así como los resultados que se han obtenido del mismo, gracias a lo que se ha llegado a las siguientes conclusiones: o La inmensa mayoría de las melodías estás compuestas en la 4ª octava y primera mitad de la 5ª; resultando mínimo el número de silencios presentes. o Gran parte de las melodías analizadas (un 37%) contienen una única secuencia, posiblemente debido a la sencillez de la línea melódica o a la corta duración de las muestras estudiadas

101 Capítulo 6 FUTUROS DESARROLLOS Durante el desarrollo de este proyecto se han identificado un conjunto de líneas de trabajo en las que se podría profundizar, siendo las más relevantes: I. Una de las partes esenciales de este proyecto ha sido la elaboración de una base musical suficientemente grande. En este proyecto se han utilizado melodías monofónicas que, como mucho, tienen una duración de un minuto. Por lo tanto, una de las mejoras que podría llevarse a cabo es conseguir melodías con las mismas características que las indicadas en el apartado 3.2, pero de mayor duración. II. Otra parte muy importante es la correcta detección de la melodía. En este punto se podrían llevar a cabo las mejoras indicadas por [1]. Además, se podría realizar la detección de los silencios de una manera lo suficientemente robusta para que sea aplicable a todas las melodías analizadas. III. También se podría mejorar la detección de los distintos patrones presentes en la melodía, ya que el algoritmo actual diferencia entre inicio, fin y parte intermedia de la melodía, y su manera de identificar distintos patrones se basa en la detección de una nota que ya ha sido contemplada con anterioridad IV. Por último, se podrían determinar otras variables además de las expuestas en el apartado 4.4, como por ejemplo la duración de la canción, el estilo, el índice de popularidad o la densidad de notas en un determinado patrón

102 BIBLIOGRAFÍA [1] Nueva Enciclopedia Laroux (1981). [2] [3] Ernst Toch. La Melodía. Ed. Labor. Barcelona, [4] Teoría de la música (vol. 1 y 2). Madrid: Sociedad Didáctico Musical, [5] lamusica.htm [6] [7] M. Goto. A robust predominant-f0 estimation method for real-time detection of melody and bass lines in CD recordings. Proc.ICASSP [8] M. Goto. A predominant-f0 estimation method for real-world musical audio signals: MAP estimation for incorporating prior knowledge about F0s and tone models. Information and Human Activity, PRESTO [9] Maja Serman & Nicola Serman. Tracking monophonic music from modeling melodic segmentation processes. [10] J. Hentschel. A musical approach to monophonic audio transcription and quantizacion. [11] K. Dressler. Extraction of the melody pitch contour from polyphonic Audio. In MIREX Audio Melody Extraction Contest Abstracts, London, 2005 [12] M. Marolt. On finding melodic lines in audio recordings. In Proc. DAFX, Naples, [13] J. Bello. Techniques for automatic music transcription. [14] G. Poliner, D.Ellis. Melody transcription from music audio: Approaches and ecaluation. [15] A. Klapuri. Automatic Music Transcription as we know it today. Journal of new music research. 2004, Vol. 33, pp [16] Yun Yin, Terence Sim, Ye Wang, Arun Shenoy. Music transcription using an instrument model

103 [17] A. Cheveigné. YIN, a fundamental frequency estimator for speech and music. J. Acoustic. Soc. Am. 111(4), April [18] B. Dannenberg & D. Mazzoni. Melody matching directly for audio. [19] L.P. Clarisse. An auditory model based transcriber of singing sequences. Centre Pompidou [20] [21] J.-L. Hsu, C.-C. Liu & A.L.P Chen. Discovering nontrivial repeating patterns in music data. IEEE Transactions on multimedia. September 2001 [22] R.B. Dannenberg. Listening to Naima: an automated structural analysis of musical recorded audio. Proceedings of InternationalComputer Music Conference [23] R.B. Dannenberg & N. Hu. Pattern discovery techniques for music audio. Conference Proceedings. Paris [24] R.B. Dannenberg & M. Goto. Music structure analysis from acoustic signals. April [25] C. Grilo & A. Cardoso. Musical pattern extraction using genetic algorithms

104 Parte II MANUAL DE USUARIO

105 Capítulo 1 MANUAL DE USUARIO Este manual del usuario está destinado para mostrar al lector los pasos que hay que dar para hacer funcionar el programa desarrollado en este proyecto. Los archivos que lo conforman son: - La base de datos musical: Todas las melodías que van a ser analizadas deberán estar almacenadas en una carpeta llamada Descarga_wav. Si se desease analizar una única canción, ésta puede encontrarse fuera de dicha carpeta. - Todas las funciones que forman el programa completo. Todos estos archivos deberán encontrarse en una misma carpeta del equipo para su correcto funcionamiento

106 1.1 ANÁLISIS DE UNA ÚNICA MELODÍA Si se desea analizar una única canción, ésta deberá encontrarse en la misma carpeta en la que están todas las funciones del programa. Para que se inicie el análisis, se deberá abrir el programa matemático Matlab, en su versión 2007b o posterior, y escribir en la ventana de comandos: AnalizaWav( cancion.wav,tiempo). En canción se indica el nombre del archivo wav que contiene la melodía que se desea analizar; y en tiempo se indica la velocidad con que se quiere ver el análisis de la detección de la melodía (Figura 83): Figura 83. Análisis completo de una melodía Si se desea escuchar la melodía que se va a analizar, tan sólo será necesario des comentar la línea 11 de la función AnalizaWav. Dentro de ésta, hay varias variables globales, en función de las cuales se representan determinadas figuras: - MOSTRAR_VENTANAS: si su valor es 1, se activará la visualización temporal del análisis de la detección de la melodía (Figura 83)

107 - MOSTRAR_HEUR: si su valor es 1, se visualizarán las gráficas que representan la melodía en frecuencia-tiempo y codificación; así como la comprobación con el espectro completo de la melodía, de la detección realizada mediante el análisis de armónicos (apartado 3.4.1), como se muestra en las siguientes figuras: Figura 84. Melodía detectada con método heurístico - MOSTRAR_FAS_T: si su valor es 1, se visualizarán las gráficas que representan la melodía en frecuencia-tiempo y codificación; así como la comprobación con el espectro completo de la melodía, de la detección realizada mediante la Función de Autocorrelación Simple en tiempo (apartado 3.4.2), como se muestra en las siguientes figuras: Figura 85. Melodía detectada con método FAS en tiempo - MOSTRAR_FAS_F: si su valor es 1, se visualizarán las gráficas que representan la melodía en frecuencia-tiempo y codificación; así como la comprobación con el espectro completo de la melodía, de la detección