CODIFICACIÓN AUTOMÁTICA DE MELODÍAS Y APLICACIÓN DE TÉCNICAS DE CLUSTERING PARA EL ANÁLISIS DE ARCHIVOS DE AUDIO MONOFÓNICOS

Transcripción

1 RESUMEN CODIFICACIÓN AUTOMÁTICA DE MELODÍAS Y APLICACIÓN DE TÉCNICAS DE CLUSTERING PARA EL ANÁLISIS DE ARCHIVOS DE AUDIO MONOFÓNICOS Autor: Mª Mar Robledo Calvo Directores: García González, Javier Sánchez Úbeda, Eugenio Fco. RESUMEN DEL PROYECTO Siempre se ha oído decir con respecto al arte que sobre gustos no hay nada escrito. Sin embargo, cuando se estudian los índices de popularidad de algunas canciones, se llega a la conclusión de que determinados compositores o músicos han tenido una habilidad extraordinaria para generar melodías que serán recordadas durante generaciones, lo que indica que, aunque no haya nada escrito sobre gustos, hay canciones que tienen una mayor probabilidad de gustar a quienes las escuchan por primera vez. Con la idea de poder identificar un conjunto de características que ayuden a discriminar entre melodías con más o menos éxito, en este proyecto se han realizado un conjunto de desarrollos que permiten extraer y codificar automáticamente la melodía a partir únicamente de una señal de audio monofónica. También se ha desarrollado un algoritmo que permite descomponer de forma jerárquica la melodía codificada, identificando repeticiones de secuencias de notas con mayor o menor nivel de detalle. A partir de la melodía identificada y del árbol de secuencias obtenido, en este proyecto se han propuesto un grupo de variables que cuantifican diversos aspectos relacionados con la melodía identificada. Esto ha permitido analizar un conjunto de 1626 canciones utilizando técnicas de clustering. Para diseñar el algoritmo de codificación automática de la melodía ha sido necesario desarrollar y comparar el comportamiento de tres métodos propuestos en la literatura científica. El método basado en aplicar la Función de

2 RESUMEN Autocorrelación Simple (FAS) en el dominio del tiempo, ha sido el elegido ya que ofrece resultados más robustos y con menos errores. La evolución temporal del primer armónico se ha codificado numéricamente en forma de semitonos por facilitar el procesamiento y análisis posterior. En la siguiente figura se muestra un ejemplo de la identificación y codificación: Identificación y codificación de una melodía Una vez que es posible codificar la melodía de forma automática, el siguiente paso es intentar encontrar una estructura en la misma. El objetivo es identificar qué fragmentos se repiten a lo largo del fragmento musical, es decir, el fraseo. El algoritmo desarrollado descompone de forma jerárquica la melodía e identifica repeticiones en la misma. Este algoritmo se aplica de forma iterativa sobre secuencias temporales de bloques de notas cada vez más complejos como se explica a continuación. Inicialmente se obtiene una primera secuencia formada por muchos bloques sencillos, donde cada bloque se determina como un conjunto de notas consecutivas sin repetición. A partir de esta primera secuencia de bloques elementales o trozos, se identifica una nueva secuencia constituida por bloques que agrupan a su vez un conjunto de trozos consecutivos sin repetición. El proceso concluye cuando se alcanza un único bloque que constituye toda la pieza musical.

3 RESUMEN En la siguiente figura se muestra un ejemplo. La primera gráfica representa, en distintos colores, los bloques en que ha ido quedando dividida la melodía; mientras que la segunda representa, en un mismo color, los fragmentos que se han identificado como iguales. Árbol de secuencias A partir de la información extraída del archivo de sonido se han propuesto un conjunto básico de variables para caracterizar la melodía. En concreto se han utilizado el número de veces en que queda dividida la melodía la primera vez, el número de veces que aparece cada una de las notas presentes, el número de patrones en la parte intermedia de la secuencia final y el número medio de patrones que aparecen en la parte intermedia de la penúltima secuencia. Finalmente los desarrollos realizados se han aplicado a un conjunto de 1626 archivos de audio, identificando sus melodías y calculando las variables características anteriores. Mediante un análisis de conglomerados (clustering), se ha determinado que la inmensa mayoría de las notas contenidas en las melodías analizadas pertenecen a la 4ª y primera mitad de la 5ª octava; y que un 37% de las piezas musicales contienen una única secuencia, posiblemente debido a la sencillez de la línea melódica o a la corta duración de las muestras estudiadas.

4 AUTOMATIC CODING OF MELODIES AND APLICATION OF CLUSTERING TECHNICS FOR THE ANALYSIS OF MONOPHONIC AUDIO ARCHIVES Author: Robledo Calvo, Mª Mar Managers: García González, Javier Sánchez Úbeda, Eugenio Fco. Always was heard referenced to art that "no accounting for taste is nothing in writing", but when you study the popularity ratings of some songs, the conclusion is that some composers and musicians have had an extraordinary ability to generate melodies that will be remembered for generations, indicating that, although there is nothing written about taste, there are songs that are more likely to please those who listen for the first time. With the idea of being able to identify a set of features that help to discriminate between melodies with varying success, this project has made a series of developments that may automatically extract and encode only the melody from a monophonic audio signal. Has also developed an algorithm to decompose hierarchically coded melody, identifying repetitions of sequences of notes with varying levels of detail. From identified melody and her obtained sequences tree, in this project we have proposed a set of variables that quantify various aspects related to the identified melody. This has allowed us to analyze a set of 1626 songs using clustering techniques. To design the automatic coding algorithm of the melody has been necessary to develop and compare the behavior of three approaches proposed in the literature. The method based on applying the Simple Autocorrelation Function (SAF) in the time domain has been chosen because provides more robust results and less errors. The time evolution of the first harmonic is numerically coded in form of semitones facilitate processing and analysis. The following figure shows an example of the identification and encoding:

5 Identification and encoding of a melody Once it is possible to encode the melody automatically, the next step is to try to find a structure in it. The objective is to identify which fragments are repeated throughout the piece of music, ie the phrasing. The algorithm hierarchically decomposes and identifies the melody repetitions. This algorithm is applied iteratively on blocks of temporal sequences of notes becoming more complex as explained below. Initially it gets a first sequence consisting of many simple blocks, where each block is determined as a set of consecutive notes without repetition. From this first sequence of building blocks or pieces, it identifies a new sequence consisting of consecutive nonrepeated fragments. The process ends when reaches a single block which is the entire piece of music. The following figure shows an example. First graph represents, in different colors, the blocks in which has become divided the melody; while the latter represents, in the same color, the fragments that have been identified as equals.

6 Tree Sequence From the information extracted from the sound file, we have proposed a core set of variables to characterize the melody. In particular we have used the number of times the melody is divided for the first time, the number of occurrences of each of these notes, the number of patterns in the middle of the final sequence and the average number of patterns appearing in the middle of the penultimate sequence. Finally, the developments made have been applied to a set of 1626 audio files, identifying their melodies and calculating the above characteristics variables. Using a cluster analysis, has determined that vast majority of the notes contained in the melodies analyzed belong to the 4th and first half of the 5th octave, and that 37% of the tracks contain a single sequence, possibly due to the simplicity of the melodic line or the short duration of the samples.