10 Otras aplicaciones de SVM

Transcripción

1 10 En todo momento se ha hecho mención del detector SVM como biclasificador, debido a que estamos tratando el problema de una clasificación binaria, pero el detector SVM también tiene aplicaciones como multiclasificador Fusión de Información Acústica e Ideolectal mediante SVM s para Tareas de Reconocimiento de Locutor en Habla Conversacional En la actualidad la mayoría de los sistemas de reconocimiento de locutor están basados casi exclusivamente en información acústica de bajo nivel. Los Modelos de Mezclas de Gausianas (GMM) adaptados mediante criterios MAP a partir de un Modelo Universal de Locutor (UBM) representan el estado del arte en reconocimiento de locutor independiente de texto. Esta estrategia permite obtener buenas tasas de reconocimiento de locutor pero posee el inconveniente de estar sometida a factores que degradan notablemente su rendimiento tales como la variabilidad del canal y el ruido ambiente. Sin embargo, hay otros tipos de información en la señal de voz relacionados con la identidad del locutor que no se encuentran bajo la influencia de dichos factores. Estas fuentes de información alternativas están siendo objeto de numerosos esfuerzos de investigación en la actualidad, ejemplos de ello se pueden encontrar en la inclusión de la extended data en la evaluación anual de sistemas de reconocimiento de locutor [19] llevada a cabo por el NIST y en el SuperSID workshop recientemente celebrado y cuyo objetivo principal fue analizar, caracterizar, extraer y aplicar informaciones alternativas de alto nivel en tareas de reconocimiento de locutor. Entre otros patrones, las diferencias ideolectales entre diferentes locutores han demostrado ser una de las fuentes de información de la identidad del locutor más prometedoras. Para explotar estos beneficios potenciales es necesaria una considerable cantidad de habla que permita llevar a cabo un adecuado entrenamiento de los modelos de Bigramas.

2 Por lo tanto, sólo un subconjunto de las posibles tareas de reconocimiento de locutor presenta un escenario propicio para la fusión de diferentes niveles de información de locutor. Un buen ejemplo de éstas es el área de la acústica forense, y más concretamente aquellas tareas en las que un sistema de adquisición remoto puede ser implementado fácilmente. Particularmente, el escenario español se ajusta completamente a esta situación ya que, una vez que un juez ha emitido una autorización legal para llevar a cabo una investigación, la adquisición de grandes cantidades de datos se puede llevar a cabo de manera automática mediante pinchazo de la línea telefónica. Además, las transcripciones manuales de la información de voz son requeridas por el juez para proceder al seguimiento del caso. De este modo, la fusión de información de diferentes niveles provee un punto de partida prometedor para el área de la acústica forense en España. Kittler et al. consideraron en la tarea de combinar clasificadores dentro de un marco probabilístico bayesiano. De entre el conjunto de combinadores (suma, producto, max, min,...) propuestos, la regla de la suma (adición de las puntuaciones individuales normalizadas a un rango [0..1]) demostró ser el que mejores prestaciones ofrecía en el conjunto de pruebas experimentales (realizadas para un problema de fusión de información biométrica multimodal). A este conjunto de estrategias nos referiremos como fusión basada en reglas simples. La fusión de información de diferentes niveles también puede ser tratada como un problema de clasificación de patrones de dos clases si las puntuaciones generadas por los clasificadores individuales se consideran como patrones de entrada que deben ser aceptados/rechazados (para la tarea de verificación). Bajo este punto de vista, cualquier sistema basado en aprendizaje puede ser utilizado como una estrategia de fusión. En contribuciones recientes basadas en este enfoque, el paradigma de Support Vector Machines (SVM) ha demostrado ser superior a otras estrategias de fusión basada en aprendizaje (como redes neuronales). Estos resultados objetivos han motivado la fusión de información acústica e ideolectal mediante SVM en el presente artículo. El funcionamiento de los SVMs se basa en la separación lineal de los datos de entrada en un espacio de características de dimensión elevada, en el que los datos a clasificar han sido previamente proyectados con el objetivo de eliminar las no linealidades del problema.

3 Experimentos Más de nueve horas de habla conversacional en Español han sido grabadas y transcritas manualmente de tertulias radiofónicas, durante un periodo de tiempo de dos meses, asegurando así suficiente variabilidad tanto para las características acústicas como ideolectales. La base de datos está compuesta por nueve locutores (7 masculinos, 2 femeninos) cuyos ficheros de voz se han dividido en un subconjunto de entrenamiento y otro de reconocimiento. Para los experimentos basados en ideolectos, el subconjunto de ficheros de transcripciones para el entrenamiento se dividió en tres ficheros de texto de una duración equivalente a 30, 15 y 10 minutos de habla. El subconjunto de prueba se dividió en 5 segmentos de tres minutos de habla. Con respecto a la información acústica se siguió un esquema de división similar a los desarrollados en NIST. Se crearon segmentos de 2 minutos para el entrenamiento de los modelos acústicos del locutor y los ficheros de prueba contenían 20 segundos de audio extraídos de los 5 segmentos de prueba disponibles. Los modelos de Bigramas de cada uno de los nueve locutores se entrenaron con texto equivalente a 30 minutos de habla. Los GMM se entrenaron con los segmentos de 2 minutos de habla pertenecientes a cada uno de los locutores. Para valorar el rendimiento de ambos sistemas se siguió la misma estrategia para cada uno, 5 locuciones del usuario y 40 locuciones de impostores se enfrentaron a cada modelo de usuario. asegurando así suficiente variabilidad tanto para las características acústicas como ideolectales. Para los experimentos de fusión basados en SVM se uso el método leave-one-out con el fin de maximizar el tamaño del conjunto de datos de entrenamiento y prueba del SVM. Las puntuaciones del sistema acústico e ideolectal de cada usuario se combinaron por medio de un SVM entrenado sobre el resto de usuarios generando así 5 puntuaciones fusionadas de usuarios y 40 de impostores. Esta estrategia se desarrolló para cada uno de los 9 usuarios obteniéndose así 5 9=45 puntuaciones fusionadas de usuarios y 40 9=360 de impostores. El Kernel utilizado fue de tipo gaussiano (Radial Basis Function) y se evaluaron diferentes configuraciones del parámetro σ 2 con el objetivo de alcanzar un buen grado de generalización. Las técnicas de fusión mediante SVM proporcionan un excelente resultado a la hora de combinar información acústica con modelos del lenguaje para tareas de reconocimiento de locutor. En comparación con el sistema básico que mejores resultados a mostrado (acústico) se ha conseguido una mejora de al menos el 40% en todos los posibles puntos de trabajo del sistema mediante la fusión con SVM. Por el contrario, las estrategias de fusión basadas en reglas sencillas (suma, producto) no fueron capaces de obtener ningún beneficio de la combinación de las diferentes fuentes

4 10.2 Sistema de reconocimiento facial para control de acceso automático En este artículo se presenta el desarrollo de una aplicación para control automático de acceso basado en reconocimiento facial [20].Los rasgos faciales a reconocer, son una característica biométrica única de cada individuo, como también lo son las huellas digitales o la forma del iris. Al igual que un sistema biométrico general, nuestro sistema actúa de la siguiente manera: tomamos una muestra de la característica biométrica a reconocer, que en nuestro caso será una imagen. La entrada del sistema, es sometida a un procesado que extrae sus rasgos característicos. Una vez obtenidos estos rasgos característicos, se comparan con los previamente almacenados y el resultado de la comparación verifica o descarta la identidad de la persona. Así, es necesaria una etapa previa de creación de la base de datos. A esta etapa la llamaremos fase de registro y se realizará off-line y previamente al funcionamiento del sistema en la fase de identificación. En nuestro sistema la extracción de parámetros biométricos, consistió en el cálculo de los parámetros ASM (Active Shape Models) y AAM (Active Appereance Models), los cuales se explican en el apartado II. Una vez obtenidas las características biométricas, se procede a la comparación de éstas, sin embargo, existen muchas posibles formas de comparación de ellas. Es este artículo se presentarán lo resultados obtenidos utilizando tanto el decisor basado en distancia Euclídea como los decisores basados en SVM. Se ha utilizado un sistema de decisión SVM multiclase tanto lineal como no lineal SVM MULTICLASE. La extensión al problema multiclase en nuestrosistema, se implementó de dos maneras distintas: SVM uno vs resto (1 vs R) y SVM- DAG (Directed Acyclic Graph). III.3.1 SVM UNO VS RESTO.

5 Este sistema consiste en realizar comparaciones binarias sucesivas entre cada una de las clases y el resto de ellas. De esta forma, es de suponer que si una de las clases fuera la correcta, sólo esa comparación nos daría un resultado positivo. Esta extensión del problema binario, presenta la ventaja de permitir el resultado de no perteneciente a ninguna de las clases, resultado que se produciría si ninguna de las clasificaciones uno respecto a los demás, resultara positiva. También existe la posibilidad de que, debido a un error, varias de las comparaciones fueran positivas, y por tanto habría que realizar algún tipo de desempate entre las categorías en las que resultó positiva la comparación con las demás. Con este sistema necesitaremos n máquinas y en cada una de ellas utilizaremos todas nuestras muestras. III.3.2 SVM DAG (Directed Acyclic Graph). En este caso, para extender el problema binario, construiremos un gráfico de manera que cada nodo del gráfico representará una máquina SVM. Cada uno estos nodos dispondrá de dos ramas, una por cada posible decisión tomada por el SVM. De esta manera, el gráfico completo irá tomando una estructura piramidal. Con esta estructura, iremos descartando una de las posibles categorías en cada uno de los niveles del gráfico. En este caso utilizaremos n(n-1)/2 máquinas, pero en cada una sólo utilizaremos las muestras de dos clases, con lo que cada una de las máquinas será entrenada más rápidamente que en el caso anterior. Experimento Con el sistema implementado y utilizando distintos decisores, se realizaron diferentes ensayos con 3 grupos distintos de imágenes, obteniéndose los siguientes resultados. PRIMER CONJUNTO DE IMÁGENES. En las primeras pruebas llevadas a cabo en este trabajo se han utilizado un conjunto de imágenes. Dicho conjunto esta formado por imágenes de formato RAW y tamaño 768x576. Estas imágenes corresponden a 75 individuos varones y a 58 mujeres, disponiéndose de 4 fotografías de cada uno de ellos. Estas 4 imágenes se corresponden con 4 expresiones faciales: neutral, sonriente, seria y bostezando.

6 Tabla 10.1: Resultados de simulación Con este conjunto de imágenes de pruebas en el que sólo disponemos de cuatro imágenes por persona, no es posible utilizar decisores basados en SVM. Por otra parte, los resultados de los decisores Euclídeos no eran demasiado altos (50%-60%), por lo que decidimos utilizar un número mayor de imágenes para poder utilizar los decisores SVM. El decidor Euclideo normalizado, trabaja para la decisión con los parámetros del modelo AAM normalizados a media cero y varianza unidad. SEGUNDO CONJUNTO DE IMÁGENES. En este caso, se sintetizarón nuevas imágenes para cada individuo, 6 en concreto, con lo que tendremos 10 imágenes (con las 4 de que ya disponíamos). Consideraremos las nuevas imágenes como nuevas expresiones. Tabla 10.2: Resultados de simulación

7 Una vez tenemos un número suficiente de imágenes, vemos que los resultados del SVM uno frente a los demás mejoran claramente respecto a los Euclídeos, sin embargo, habría que añadir que la probabilidad de falso positivo aumenta, puesto que en ocasiones, este decisor devuelve más de un individuo como posible reconocido. TERCER CONJUNTO DE IMÁGENES. En este apartado, utilizaremos expresiones reales, es decir, adquiridas por nuestra cámara y veremos que porcentaje de acierto alcanzamos en los distintos casos. Tabla 10.3: Resultados de simulación Vemos que introduciendo imágenes reales, los resultados son peores, como era de esperar, puesto que influyen las imperfecciones en la captación de las imágenes. Aun así, los resultados son satisfactorios y pueden mejorarse con un sistema de adquisición más depurado. Se ha presentado un sistema de verificación de identidad basado en biometría facial con un decidor basado en SVM y modelo estadístico de forma y textura AAM. Los resultados que se presentan son satisfactorios y se comprueba como con un sistema SVM bien dimensionado es posible una mejora notable de los resultados de verificación.

8 10.3 Un Modelo de Recuperación de Información basado en SVMs. En este artículo describimos el estudio realizado sobre la aplicación de clasificadores basados en SVMs (Support Vector Machines) dentro de la jerarquización de documentos [21]. De este modo presentamos un modelo que puede ser utilizado dentro del campo de la recuperación de información una vez que este haya sido entrenado con un conjunto de consultas que contengan aquellos documentos que se conocen como relevantes. Los resultados obtenidos han sido comparados con otros modelos de RI conocidos utilizando a Hermes, un servidor de recuperación de información que facilitó dicha tarea. Comprobando así que en algunas aplicaciones, el modelo propuesto puede llegar a mejorar los resultados obtenidos con otros modelos estándares. El presente trabajo propone una nueva manera de abordar el problema de la jerarquización de documentos basada únicamente en la estadística de las palabras presentes en un documento, la consulta y toda la colección en general. Así planteamos que mediante el uso de clasificadores capaces de adaptarse, podemos generar modelos con ventajas importantes en algunos casos. En particular, proponemos una nueva forma de enfrentar problemas de jerarquización de documentos como un problema de clasificación de vectores, el cual es posteriormente resuelto con una poderosa y bien conocida técnica llamada SVMs (por sus siglas en ingles). Los clasificadores, como los SVMs han sido utilizados para la clasificación de documentos de manera muy eficiente, pero su utilidad no ha sido comprobada dentro del área de la recuperación de información para la jerarquización de documentos. Es por ello que proponemos una transformación que mapea el proceso de la recuperación de información en un nuevo espacio vectorial en donde un clasificador basado en SVMs es entrenado para aprender el concepto de similitud frente a los documentos. Dada una consulta q j, la cual esta compuesta por los pesos de cada uno de los términos que la forman u ij, y un documento d k, formado por el peso de sus términos v i,k, entonces buscamos generar una medida de similitud que sea apropiada para la jerarquización de documentos. El primer enfoque elegido para generar esta medida de similitud se basó en la idea siguiente: la construcción de un conjunto de datos de entrenamiento, constituida por vectores z j,k =u j /v k formado por la concatenación del vector de la consulta y el documento. Así al vector z j,k se el asoció una etiqueta yi dada por y i= +1 si el documento es relevante al la consulta y y i -1 si no lo es.

9 Posteriormente este conjunto de vectores sirven para entrenar al clasificador, de tal forma que, dada una nueva consulta q i i, un documento d k pueda ser clasificado como relevante o irrelevante. Desafortunadamente, esta simple aproximación no permite obtener los resultados esperados debido a la gran cantidad de pares consulta-documento que es utilizada para entrenar el modelo. Por esta razón, fue necesaria otra manera de abordar este problema. Y así para generar una nueva solución observamos que los términos contenidos en las consultas son los más importantes para determinar la similitud de un documento. Entonces, los términos presentes en la consulta deben aparecer en posiciones fijas en los vectores que son utilizados para entrenar al modelo. La nueva propuesta reordena el vector z j,k de tal forma que los términos en la consulta se encuentren en posiciones fijas, dando así al algoritmo de aprendizaje una oportunidad de obtener la medida de similitud. En particular, el algoritmo propuesto en este trabajo obtiene un nuevo vector, el cual se basa en el reordenamiento de los componentes del vector de la consulta sumados con los valores de los documentos en las posiciones correspondientes en orden decreciente, agregándole un valor extra a los valores de las consultas para así lograr obtener los valores más altos de las consultas en los primeros lugares. Por último se eliminaron los valores que vienen después del reordenamiento que no dan ninguna aportación al vector, estos valores son sobretodo valores nulos tanto en la consulta como en el documento en su posición correspondiente. Una vez que el clasificador de SVM ha sido entrenado, y un modelo de clasificadores ha sido generado, es posible obtener la clasificación de nuevos documentos a partir de diferentes consultas generando el vector consulta-documento como se describió anteriormente. Experimento Los resultados obtenidos ante el uso de los algoritmos mencionados con la colección MEDLINE. Esta colección contiene un conjunto de resúmenes de la Librería Nacional de Medicina. La colección contiene 1033 documentos y un conjunto de 30 consultas junto con su lista de los documentos que son considerados relevantes. En el primer experimento, se entrenó un SVM con kernel polinomial de 3 er grado con las 30 consultas contenidas en la colección y sus documentos relevantes. El clasificador resultante fue utilizado para jerarquizar las mismas 30 consultas. Las curvas de recuperación y precisión de este modelo comparado con las curvas del modelo vectorial y booleano extendido. El resultado de este gráfico es de alguna manera esperado, ya que los vectores que fueron utilizados para entrenar, fueron los mismos que se utilizaron para pro bar el modelo.

10 Figura 10.1: Curvas de recuperación y precisión para los 3 modelos experimentados. Entrenando al modelo SVM con 30 consultas y probando con las mismas Clasificación de Imágenes biomédicas: Aplicación de quemaduras Las técnicas de procesamiento de imágenes digitales en color son aplicaciones, que en la actualidad están al alcance del público en general, sin suponer grandes inversiones. Todo ello debido al enorme crecimiento sufrido en este campo tecnológico en los últimos años, tanto en dispositivos de adquisición de imágenes digitales en color como en el desarrollo computacional para su tratamiento. El objetivo de este proyecto es ayudar al diagnóstico, a través de una imagen digital fotográfica y su procesamiento por parte de un programa informático, del grado de una quemadura [22].El protocolo de adquisición de la imagen digital es la mismo siempre. El proyecto resulta atractivo dado el escaso número de unidades médicas especializadas en cura y tratamiento de quemaduras, denominadas Unidad de Quemados. Estas unidades resultan muy costosas de mantener y únicamente se encuentran en los Hospitales más importantes del país, lo que origina en muchas ocasiones tratamientos incorrectos o desplazamientos innecesarios a Unidades de Quemados. La motivación principal del trabajo es crear un sistema de diagnóstico automático para ayudar al médico no experto, tanto en el diagnóstico in situ de casos reales en centros sanitarios sin Unidades de Quemados, como en la propia formación del médico; y sólo con una foto digitalizada de la quemadura.

11 Para la determinación del grado de una quemadura se debe realizar en primer lugar una segmentación de la imagen digital en color; es decir, seleccionar la parte de la imagen correspondiente a la quemadura. Para caracterizar esta región segmentada (quemadura) se extraen sus atributos (color y textura). Existen numerosos algoritmos de segmentación con los que se alcanzan buenos resultados.en este proyecto no se elabora ninguno, sino que se parte directamente de las características de la región segmentada (quemadura). En resumen, partiendo de una serie de datos conocidos obtenidos a partir de imágenes fotográficas digitales; el proyecto consiste en la clasificación por medio de una serie de técnicas la determinación del grado de una quemadura. Con los datos conocidos (y validados) se entrena el sistema para que aprenda a distinguir los diferentes tipos de quemaduras. Posteriormente el diseño debe ser capaz de clasificar con una baja probabilidad de error cualquier muestra que se le introduzca, siempre y cuando se emplee el mismo medio y protocolo de adquisición de las imágenes. Esta clasificación contribuye al diagnostico automático de enfermedades dermatológicas, centrándonos en el tema de las quemaduras. A partir de una imagen digital, y aplicando algoritmos del tratamiento digital de imágenes, se proporciona un diagnóstico automático de la afección de la piel que se esté tratando. Este clasificador se podría extender a otros tipos de lesiones de la piel, como melanomas (cáncer de piel), papilomas, úlceras, etc. Para el desarrollo del multiclasificador SVM que llevará a cabo la clasificación de quemaduras propuesta, se hace uso de una serie de funciones elaboradas en Matlab. Como ya se comento en el capítulo anterior, el multiclasificador estará formado por máquinas biclasificadoras SV generalizadas; es decir, se basará en funciones clasificadoras dicotómicas (biclasificadoras), concretamente máquinas 1-v-r. En total habrá tantos biclasificadores como clases a determinar. Cada biclasificador distinguirá entre una clase y el resto, asignando +1 si la muestra que pertenece a esa clase y 1 si pertenece a alguna clase del resto. La clasificación de las quemaduras se ha hecho, para comparar resultados, tanto con Redes Neuronales, como con SVM, éste último con distintos kernel variando los parámetros de éste. En la tabla 10.4 se muestra la probabilidad de error de cada clasificador. Red Neuronal Backpropagation 4.2 %

12 SVM Polinomial de Orden % SVM Polinomial de Orden 5 1 % SVM Gaussiana de Varianza % SVM Gaussiana de Varianza % SVM Gaussiana de Varianza % SVM Gaussiana de Varianza % SVM Gaussiana de Varianza % SVM Gaussiana de Varianza % Red Fuzzy-ARTMAP 1.6 % Tabla 10.4: Probabilidad media de error cometida según el diseño