Aplicación de Vectores Estadísticos de Características y Ensambles para el Reconocimiento Automático del Llanto de Bebés

Transcripción

1 Aplicación de Vectores Estadísticos de Características y Ensambles para el Reconocimiento Automático del Llanto de Bebés Amaro Camargo Erika, Reyes García Carlos A. Instituto Nacional de Astrofísica, Óptica y Electrónica Coordinación de Ciencias Computacionales Luis Enrique Erro No Tonantzintla, Puebla, México {amaro, kargaxxi}@inaoep.mx Resumen. En este documento se presentan los experimentos y resultados obtenidos en la clasificación del llanto de bebés usando diversos clasificadores, entre ellos, los ensambles. Se clasificaron tres tipos de llanto: normales (sin patología detectada), hipoacúsicos, i.e, sordos y asfixia. Los vectores característicos se formaron mediante la extracción de coeficientes cepstrales de frecuencia de Mel (MFCC), éstos fueron procesados y reducidos mediante la aplicación de cinco operaciones estadísticas: mínimo, máximo, promedio, desviación estándar y varianza. Para la clasificación se utilizaron métodos supervisados como Maquinas de Soporte Vectorial, Redes Neuronales, J48, Forest y Naive Bayes. Los ensambles utilizados fueron combinaciones de estos bajo diferentes enfoques como Voto Mayoritario,, Bagging y Boosting. En todos los clasificadores se utilizó la técnica 10-fold cross validation para evaluar la precisión. Palabras Clave: Llanto de bebé, Clasificación, Ensambles, Reducción de datos, Operaciones Estadísticas. 1 Introducción El llanto es el medio de comunicación que tienen los bebés para expresar sus necesidades y sentimientos. Desde hace varios años se han realizado estudios que demuestran que el análisis del llanto es una herramienta útil para determinar el estado anímico y fisiológico del bebé, y aún más, el llanto es portador de información para poder detectar patologías relacionadas con el sistema nervioso central [1]. El detectar patologías que no son perceptibles a simple vista desde edades tempranas es de vital importancia para diagnosticar y dar un tratamiento adecuado como lo es el caso de bebés hipoacúsicos, i.e, bebés sordos. La asfixia es otro tipo de problema que se presenta en bebés recién nacidos y es de mucha importancia detectar este tipo de patología, ya que la falta de una oxigenación adecuada del cerebro puede tener consecuencias permanentes a nivel neuro-fisiológico.

2 Actualmente existe una gran cantidad de clasificadores, y día a día surgen nuevas propuestas. Una de las alternativas que en los últimos años ha despertado mucho interés es el uso de los ensambles de clasificadores, los cuales, en ciertos dominios han demostrado obtener resultados superiores al uso de un solo clasificador. En este trabajo, se realiza una comparación de resultados utilizando ambos enfoques para clasificar tres tipos de llanto: normal, sordos y asfixia. La reducción de datos sin perdida de información relevante es otro de los aspectos importantes que se abordan en este trabajo. La reducción se lleva a cabo mediante cinco operaciones estadísticas, reduciendo significativamente el tamaño de los vectores de 304 atributos a sólo 5 características estadísticas. Las pruebas se llevaron a cabo utilizando WEKA 3-4 para los clasificadores y para la reducción de los datos por operaciones estadísticas se usó MatLab Proceso de Reconocimiento Automático del Llanto de Bebés El reconocimiento automático del llanto de bebés, ha sido tratado de manera similar al proceso de reconocimiento del habla [2,3]. Este proceso, de manera general, puede ser visto en tres fases, la primera, donde se realiza el procesamiento de la señal y se obtienen los vectores característicos, en la segunda fase (opcional) se realiza una reducción de los vectores para eliminar datos redundantes y que no aportan información importante, y finalmente, la tercera fase donde se identifica el tipo de llanto mediante un clasificador, la Figura 1 muestra este proceso. Señal de Llanto Procesamiento de la señal Obtención de vectores característico Reducción de datos Clasificación Tipo de Llanto Figura 1. Proceso de Reconocimiento Automático de Llanto de Bebé. 2.1 Fase de Procesamiento de la Señal Para los experimentos, en la fase de procesamiento, cada señal fue dividida en segmentos de 1seg. De cada segmento se hizo a la vez una subdivisión en ventanas de 50ms generando 20 ventanas por cada segundo. Posteriormente, por cada ventana se extrajeron 16 coeficientes MFCC s, dando un total de 16x20=320 coeficientes por cada vector, de los cuales se decidió no tomar en cuenta los obtenidos por la última ventana, por lo que los vectores finales tuvieron 16x19=304 coeficientes por cada segundo de grabación, el proceso se ilustra en la Figura 2. Los tamaños de las matrices para cada tipo de llanto que se generaron fueron: llanto tipo normal 507x305, llanto tipo sordos 879x305 y llanto tipo asfixia 340x305. Donde al agregar la etiqueta de la clase, finalmente cada vector quedó con 305 atributos.

3 2.1.1 Obtención de Vectores Característicos MFCC Los coeficientes cepstrales Mel, tienen relación con las características de la excitación y del tracto vocal. La excitación es conocida como la parte de la información del locutor que está en las cuerdas vocales y las características del tracto vocal se refieren al filtro que lo modela. Los coeficientes cepstrales de frecuencia Mel son comúnmente usados en muchos sistemas de reconocimiento del habla. Adicionalmente, el espectro representado por los coeficientes, tiene una frecuencia similar a la del oído humano, la cual es más sensible a ciertas frecuencias que a otras. De esta manera, lo que se obtiene es una aproximación a la forma en que el oído percibe los sonidos. Al final del procesamiento se generan vectores numéricos que describen la señal del llanto y forman el conjunto de muestras necesarias en la siguiente fase. Llantos Grabados. Extracción de Características Vectores de Coeficientes Extraídos Segmentos de 1seg. Ventanas de 50ms Figura 2. Proceso de Extracción de Características. 2.2 Fase de Reducción de los Datos Aplicando Operaciones Estadísticas La técnica de reducción de datos que se utilizó es relativamente simple en comparación con otras técnicas y, probablemente no sea una técnica que funcione para cualquier tipo de datos. Lo que se busca principalmente al realizar una reducción es preservar la información más relevante, de tal manera que los datos resultantes sean lo más representativos de los originales. En este sentido, las operaciones estadísticas como mínimo, máximo, promedio, desviación estándar y varianza, son operaciones que al aplicarlas sobre un conjunto de datos se obtiene como resultado un único valor global representativo por cada operación. Estas operaciones por si solas no serían capaces de representar a todo el conjunto de datos. Sin embargo, su combinación sí permite obtener una representación global de ellos. Cada operación estadística fue aplicada a cada uno de los vectores tomando 304 atributos numéricos, obteniendo como resultado un único valor global representativo de esos datos. El tamaño final del vector reducido, es entonces, igual al número de operaciones aplicadas, en este caso 5 atributos que representan a cada una de las operaciones.

4 2.3 Fase de Clasificación El conjunto de vectores característicos fue dividido en dos subconjuntos, entrenamiento y prueba. Primero, el subconjunto de entrenamiento se emplea para que el clasificador aprenda a distinguir entre los diferentes tipos de llanto. Una vez que el clasificador concluyó el aprendizaje, el conjunto de prueba es usado para determinar que tan bien asigna la clase correspondiente a cada uno de los elementos del subconjunto de prueba por medio de una regla de predicción generada durante el entrenamiento. La Figura 3 muestra el proceso general de esta fase. Conjunto de Vectores Característicos Entrenamiento Clasificación Predicción del Tipo de llanto Prueba Figura 3. Fase de Clasificación Clasificadores A continuación, se describen brevemente algunas características de los métodos que obtuvieron mejores resultados en la clasificación. Red Neuronal (Backpropagation) La arquitectura de la red más comúnmente utilizada conjuntamente con el algoritmo backpropagation es la red feedforward multicapa, la cual, emplea el descenso del gradiente para intentar minimizar el error cuadrado entre los valores de salida de la red y los valores meta. El proceso de entrenamiento de una red backpropagation involucra tres fases: la feedforward de los patrones de entrenamiento de entrada, el cálculo y la propagación inversa del error asociado, y el ajuste de los pesos [2]. SMO Sequential Minimal Optimization (SMO) es un método rápido para entrenamiento de máquinas de soporte vectorial (SVMs). El entrenamiento de una SVM requiere la solución a un gran problema de programación cuadrática (QP). SMO particiona este gran problema en una serie de problemas más pequeños QP. Estos problemas más pequeños son resueltos de forma analítica, lo cual reduce significativamente el tiempo del ciclo interno de procesamiento. La cantidad de memoria requerida para SMO es lineal en el tamaño del conjunto de entrenamiento, lo cual permite entrenar con grandes conjuntos de datos [4].

5 2.3.1 Ensambles La idea básica es correr un clasificador(es) varias veces y combinar los resultados para obtener un mejor resultado final. Bagging El algoritmo de Bagging genera clasificadores de varias muestras de los ejemplos. Esto funciona especialmente para algoritmos de aprendizaje inestables (cambian mucho sus estructuras al cambiar un poco los ejemplos), por ejemplo, los árboles de decisión. Una muestra de ejemplos se genera al muestrear uniformemente m instancias del conjunto de entrenamiento con reemplazo. Se generan T muestras, B 1, B T y se construye un clasificador C i para cada muestra. Con estos, se construye un clasificador final C* de todos los C 1 a C T cuya salida es la salida mayoritaria de los clasificadores [5]. Boosting Boosting genera un conjunto de clasificadores secuencialmente (Bagging los puede generar en paralelo). A todos los ejemplos les asigna inicialmente un peso igual a 1. Cada vez que se genera un clasificador se cambian los pesos de los nuevos ejemplos usados para el siguiente clasificador. La idea es forzar al nuevo clasificador a minimizar el error esperado. Para esto, se les asigna más peso a los ejemplos mal clasificados y menos a los bien clasificados. El clasificador final se forma usando un esquema de votación pesado que depende del desempeño de cada clasificador en su conjunto de entrenamiento [5]. Voto Mayoritario Cada clasificador genera un voto para una predicción de la clase; la predicción que tenga más votos será el resultado final. Construye un conjunto de modelos usando diferentes algoritmos de aprendizaje. Para producir una clasificación utiliza un meta-algoritmo (meta learner) que aprende de acuerdo a las salidas de los clasificadores base. En resumen, se construyen N clasificadores a partir de los datos usando algoritmos diferentes. Las salidas de los clasificadores se usan como atributos de un nuevo clasificador. Para estimar el desempeño de cada clasificador se puede usar validación cruzada [6]. 3 Implementación Para realizar la reducción de vectores con 304 atributos a 5 atributos, se aplicaron cinco operaciones estadísticas sobre cada vector. Una vez generadas las matrices reducidas, se formaron 3 grupos de datos de la siguiente manera: se seleccionaron 200 y 340 vectores estadísticos de cada tipo de llanto de manera aleatoria, formando los grupos A y B respectivamente. Se formó un grupo C mediante la selección aleatoria de 200 vectores de cada tipo de llanto sin reducción, ver detalles en Tabla 1.

6 Datos No. Muestras No. Muestras No. Muestras Tamaño de la reducidos llanto normal llanto sordos llanto asfixia matriz generada A Sí x6 B Sí x6 C No x305 Tabla 1. Conjuntos de datos generados. 4 Pruebas y Resultados Experimentales Las pruebas se llevaron a cabo con WEKA 3-4, el cual implementa cada uno de los clasificadores y ensambles empleados. Los resultados se presentan de la siguiente forma: usando sólo un clasificador en Tabla 2 y con ensambles en las Tablas 3 y 4. Por espacio, sólo se muestran algunos resultados de todas las combinaciones con ensambles que se probaron. Clasifica dor A B C Num, Clase normal Num. Clase sordos Num. Clase asfixia A B C A B C A B C Naive % 85.83% Bayes SMO 89.67% 90.78% 91.67% Neural 91.67% 91.86% 90.83% Network 90.3% 91.37% 89% Forest J48 89% 90.88% 83.5% Tabla 2. Resultados utilizando un solo clasificador. Ensamble A B Clase normal Clase sordos Clase asfixia A B A B A B : Neural 91.66% 92.94% N, SMO, Forest : Naive 91.83% 90.39% Bayes, Forest, SMO. AdaBoost: SMO 89.83% 74.01% AdaBoost: 90.5% 92.54% Forest AdaBoost: 91.66% 91.27% Neural N. Bagging: J % 92.45% Vote: Neural N, Forest 91.66% 93.23% Tabla 3. Resultados utilizando ensambles en los conjuntos de datos A y B.

7 Ensamble de Datos C Clase normal Clase sordos Clase asfixia Vote: Naive Bayes, J % : SMO, J % Vote: SMO, Forest 91.66% Tabla 4. Ensambles utilizando el conjunto de datos C. Las configuraciones empleadas para los clasificadores se aplicaron con los valores por defecto que maneja WEKA, excepto en la Red Neuronal (Backpropagation) la cual cambiaron los siguientes parámetros: tasa de aprendizaje de 0.3 a 0.05 para tener un buen aprendizaje de la red, aunque más lento, sin embargo fue compensado al disminuir el número de épocas de entrenamiento de 500 a Análisis de Resultados Al utilizar un solo clasificador, los mejores resultados se obtuvieron al utilizar la Red Neuronal con un 91.67% de clasificación correcta para el conjunto A, y un 91.86% para el conjunto B, ambos conjuntos de datos formados por características estadísticas. Para el conjunto C el mejor resultado fue 91.67% y se obtuvo al utilizar SMO, el cual logro clasificar el 100% de la clase sordos. Se observó que, al utilizar toda la información (vectores sin reducción) no se obtuvo mayor precisión, en el mejor de los casos se logro igualar el resultado, y en ningún caso se superaron los resultados globales obtenidos usando los grupos de datos A ó B. Con ensambles, se observa que, para el conjunto A se obtuvo un 91.83% como valor más alto, superando por muy poco al resultado con un solo clasificador. La mayor diferencia estuvo con el ensamble Red Neuronal y Forest usando el enfoque Voto Mayoritario (Vote), donde se obtuvo un 93.23% de clasificación correcta superando al 91.83% que se había logrado con un solo clasificador. A pesar de que el tiempo de entrenamiento y pruebas no fue cronometrado, se hace mención que los ensambles requirieron mucho mayor tiempo de cómputo. Para el conjunto C, no fue posible efectuar pruebas con Bagging y Boosting, ya que ambos saturaron la memoria asignada para sus procesos. Vote y también requirieron un mayor tiempo con el conjunto C. Sin embargo, fue posible obtener algunos resultados, ver Tabla 4, los cuales en ningún caso lograron superar el resultado de SMO con 91.67%. Clase Normal Sordos Asfixia A B C A B C A B C Clasific ador Forest 170 Forest 295 SMO 169 Neural N. 197 Neural N. 337 SMO 200 Neural N. 193 Neural N. 319 Naive Bayes. 184 Ensam ble Adaboost ( Forest) 170 Adaboost (SMO) 312 (SMO, J48) 169 (Neural, SMO, F) 198 (Neural, SMO, F) 339 (SMO, J48) 200 Adaboost (Neural N) 194 Vote(Ne ural N, F) 322 Tabla 5. Mejores clasificadores y ensambles por número de aciertos para cada clase. Vote( SMO, F) 183

8 La Tabla 5 nos permite hacer una comparación de los clasificadores y ensambles que obtuvieron menos errores en la clasificación por cada una de las clases y grupos de datos. Se puede observar en la tabla que, en casi todos los ensambles se incluye el clasificador que obtuvo el mejor resultado de manera individual y además, el número de aciertos por clase en los ensambles es mayor, en la mayoría de los casos. 5 Conclusiones y Trabajo Futuro Cuando el tiempo no es algo primordial, los ensambles de clasificadores algunas veces ayudan a mejorar los resultados. La selección de clasificadores para formar ensambles, se basó en la observación de los resultados previos con un solo clasificador, es decir, se eligieron los clasificadores que obtuvieron mejores resultados individualmente, por ejemplo, Red Neuronal y Forest, y se comprobó que al usarlos conjuntamente en un ensamble, se mejoró el resultado obtenido de manera individual. Se exploró la reducción de datos mediante operaciones estadísticas obteniendo resultados favorables, lo cual, permite considerar este método como una alternativa de reducción de datos sencillo y rápido, dentro del proceso de reconocimiento del llanto de bebés, comparándolo contra otros métodos como análisis de componentes principales, empleado en otros trabajos [1,3] donde se requiere un mayor tiempo de análisis y pruebas para determinar el número de componentes necesarios para mantener la información relevante, y en consecuencia buenos resultados en la clasificación del llanto. Los algoritmos que tuvieron mejores resultados en la clasificación individual fueron: Red Neuronal, Forest y SMO. Sin embargo, Naive Bayes y J48 fueron muy rápidos y los resultados obtenidos también fueron buenos. En general, el mejor conjunto de datos fue el conjunto B, lo cual muestra que el tener más ejemplos para entrenar también ayuda a mejorar los resultados. Como trabajo futuro, se planea aplicar otras técnicas de reducción de atributos y comparar los resultados con los obtenidos en este trabajo. Además, probar otros clasificadores, generar otros ensambles, ajustar parámetros y tratar de mejorar los resultados obtenidos. Referencias [1] Wasz-Hockert O., Lind J., Vuorenkoski V., Partanen T., Valanne E., El Llanto en el Lactante y su Significación Diagnóstica, Editorial Científico Médica, España, [2] Orozco J., Extracción y Análisis de Características Acústicas del Llanto de Bebés para su Reconocimiento Automático Basado en Redes Neuronales, Tesis de Maestría, Instituto Nacional de Astrofísica Óptica y Electrónica, [3] Barajas S. E., Clasificación de Llanto Infantil, Tesis de Maestría, Instituto Nacional de Astrofísica Óptica y Electrónica, [4] Platt J.C., Fast Training of Support Vector Machines using Sequential Minimal Optimization, Microsoft Research, EUA, [5] Eric Bauer, Ron Kohavi, An Empirical Comparison of Voting Classification Algorithms: Bagging, Boosting, and Variants, Machine Learning, 36, , Kluwer Academic Publishers, Boston, [6] Morales, E., Notas para el curso Aprendizaje Automático II, Instituto Nacional de Astrofísica Óptica y Electrónica, Sitio Web: