ReliefF-MI: un método de selección de características para aprendizaje con múltiples instancias

Transcripción

1 ReliefF-MI: un método de selección de características para aprendizaje con múltiples instancias Amelia Zafra y Sebastián Ventura Resumen El aprendizaje con múltiples instancias se caracteriza por representar cada patrón por un conjunto variable de instancias simples. En este marco de aprendizaje, las técnicas clásicas de selección de características aplicadas al aprendizaje con instancias simples resultan inadecuadas y es necesario diseñar nuevos modelos. En este artículo se describe un enfoque basado en filtrado, ReliefF-MI, que extiende al clásico algoritmo conocido como ReliefF para seleccionar características en problemas con múltiples instancias. La extensión realizada requiere una nueva consideración en el cálculo de la distancia, la función de diferencia y el cálculo de los pesos de las características. Cuatro variantes diferentes de este algoritmo son propuestas para evaluar su rendimiento en el aprendizaje con múltiples instancias. Resultados experimentales usando un número representativo de algoritmos muestran que los resultados de los algoritmos mejoran significativamente cuando usan el conjunto de datos con dimensionalidad reducida comparado con los resultados que obtienen cuando trabajan con el conjunto de datos completo. Palabras clave Aprendizaje con Múltiples Instancias, Selección de Características, ReliefF I. Introducción A priori, el hecho de tener un mayor número de características para realizar tareas de aprendizaje automático nos puede llevar a pensar que sería beneficioso para tener un mayor poder de discriminación y consecuentemente nos ayudaría a obtener mejores resultados. No obstante, existen muchos estudios que demuestran que esto no es realmente así y que convierten la reducción de dimensionalidad en una tarea imprescindible en la mayoría de los casos. La razón se debe principalmente a que la información de la que se parte para generar un modelo contiene información imprecisa, con ruido y redundante. Esta información degrada considerablemente el desempeño de los modelos resultando muy beneficiosa su eliminación. De este modo, si eliminamos este tipo de información, podemos disminuir el tiempo de computo de los algoritmos e incrementar la exactitud de los resultados del modelo. A la luz de esto, un número considerable de contribuciones han estado dirigidas al tema de la selección de características en el aprendizaje automático [1], [2]. La mayoría de los estudios se centran en el aprendizaje supervisado tradicional y pocos estudios son realizados en el marco de aprendizaje de instancias múltiples. Departamento de Informática y Análisis Numérico. Universidad de Córdoba. azafra@uco.es, sventura@uco.es. El aprendizaje con múltiples instancias (MIL, Multiple Instance Learning), introducido por Dieterich et al. [3], a diferencia del aprendizaje clásico con instancias simples, consiste en representar cada ejemplo del conjunto de datos como una bolsa compuesta de un número variable de instancias simples. La característica de este aprendizaje y la dificultad que atañe se debe a que se tiene conocimiento de la etiqueta del ejemplo completo, pero no de las instancias simples que lo componen. MIL, extiende así, al aprendizaje supervisado tradicional en problemas que mantienen un conocimiento incompleto sobre las etiquetas en los ejemplos de entrenamiento. De acuerdo a la hipótesis de Dietterich et al. [3], una bolsa es etiquetada como positiva si al menos una instancia en la bolsa representa el concepto que se desea aprender, y la bolsa es etiquetada como negativa si ninguna de las instancias representa dicho concepto. La meta de MIL es clasificar bolsas no vistas usando las bolsas etiquetadas como datos de entrenamiento y no teniendo información sobre las etiquetas particulares de las instancias individuales. Desde esta formulación, es fácil ver que una bolsa positiva puede contener algunas instancias negativas además de una o más instancias positivas. De aquí que, las etiquetas que tiene cada instancia en una bolsa positiva pueden ser o no la misma que se corresponde con la etiqueta de la bolsa y, consecuentemente, las etiquetas de las instancias son inherentemente ambiguas. Ha habido muy pocos estudios de selección de características sobre MIL [4], [5], [6], [7], [8] y los que se han realizado se centran en los enfoques conocidos como dependientes (wrapper). Estos enfoques directamente están incorporados en el método de clasificación propuesto, el cual utilizan como medida de error para llevar a cabo el proceso de selección de características. Además, en la comparativa que realizan usan otras propuestas que directamente no utilizan reducción de características, con lo que las ventajas de considerar estas técnicas en MIL no queda demostrada. De este analisis podemos detectar dos deficiencias en este área, por un lado, no hay propuestas basadas en métodos de filtrado que pueden ser usadas directamente como un paso de preprocesado y de forma independiente al algoritmo, lo que resultaría más eficiente. Por otro lado, no existen estudios empíricos generales con un número representativo de algoritmos de MIL que comparen los resultados obtenidos por los algoritmos cuando

2 trabajan con un número de características reducido y cuando lo hacen con el conjunto completo de características. Este estudio nos permitiría determinar la relevancia de la selección de características en el marco de MIL. Para resolver algunas de estas deficiencias, en este artículo, tratamos el problema de seleccionar un subconjunto de características en MIL desde una perspectiva de filtrado y se lleva a cabo un estudio empírico que demuestre realmente la ventaja de aplicar selección de características en MIL. Concretamente, proponemos un enfoque de selección de características para MIL llamado ReliefF-MI que extiende al clásico algoritmo ReliefF [9] para poder trabajar en aprendizaje con múltiples instancias. El método propuesto asigna un valor real a cada característica para indicar su relevancia al problema. De acuerdo a dicho valor las características son ordenadas y seleccionadas. Una de las particularidades más importantes de este método es que puede ser aplicado a problemas continuos y discretos en clasificación con múltiples instancias, emplea información contextual del problema y puede estimar correctamente la calidad de los atributos en problemas con fuertes dependencias entre los atributos. Para comprobar la efectividad del modelo propuesto, diferentes versiones de ReliefF-MI son consideradas, modificando la función de similaridad para calcular la distancia entre patrones y el cálculo del peso de las diferentes características. Un total de 17 algoritmos que consideran diferentes paradigmas de aprendizaje, tales como, árboles de decisión, sistemas basadas en reglas, máquinas de vector soporte, métodos probabilístico, regresión logística, métodos basados en diversidad de la densidad y métodos basados en distancia son incluidos para establecer la efectividad del método diseñado. Resultados experimentales, muestran cúal es la función de similaridad más apropiada para que ReliefF-MI logre los mejores resultados y, por otro lado, se prueba que los algoritmos tienen un rendimiento más alto cuando ellos trabajan con el conjunto de características con dimensionalidad reducido proporcionado por ReliefF-MI. El artículo se encuentra estructurado en 4 secciones. En la sección 2 se describe las propuestas desarrolladas para reducir características en MIL. En la sección 3 se evalúa y compara las diferentes propuestas para reducir características y se estudia sus ventajas con respecto a la consideración del conjunto completo de datos. Finalmente, en la sección 4 se finaliza con las conclusiones y se plantea trabajo futuro. II. ReliefF-MI, un enfoque de filtrado El modelo propuesto está basado en los principios del algoritmo ReliefF [9] que estima la calidad de los atributos evaluando la diferencia que existe entre los valores de sus patrones más cercanos. Para su extensión a MIL, existen dos características principales que deben ser actualizadas. Por un lado, la distancia entre dos patrones tiene que ser calculada teniendo en cuenta que cada patrón contiene una o más instancias. Por lo tanto, un nuevo concepto de distancia tiene que ser introducido. Por otro lado, la función de similaridad y el cálculo de las diferencias entre atributos también debe actualizarse al estar trabajando con conjuntos de instancias y no instancias simples en cada patrón. Actualmente, podemos encontrar diferentes enfoques basados en distancias para resolver problemas con múltiples instancias [10], [11], [12]. La métrica más ampliamente utilizada es la distancia de Hausdorff [13], que mide la distancia entre dos conjuntos. Tres diferentes extensiones de esta métrica han sido propuestas previamente: maximal Hausdorff, minimal Hausdorff y average Hausdorff. Además, en este artículo proponemos una nueva extensión, la cual hemos denominado Adapted Hausdorff. Cada una de estas métricas se emplea en el diseño de una versión diferente del algoritmo ReliefF-MI y sus resultados serán evaluados para realizar un análisis previo sobre la importancia de la métrica en el algoritmo. Los principales pasos que sigue el algoritmo ReliefF-MI pueden verse en Algoritmo 1, estos pasos son generales para las cuatro propuestas desarrolladas. Además, la métrica y la función diferencial de cada una de las versiones desarrollada será especificada en las siguientes secciones. Para todos los casos, se va a considerar: R i representa la bolsa/patrón seleccionada en la iteración actual, en nuestro ejemplo esta bolsa contiene tres instancias (R 1 i, R2 i, R3 i ). H j representa la j-ésima bolsa/patrón del k-ésimo vecino más cercano que pertenece e la misma clase que el patrón R i seleccionado en la iteración actual. Vamos a suponer para los cálculos realizados que contiene cuatro instancias, (H 1 j, H2 j, H3 j, H4 j ). M j representa la j-ésima bolsa/patrón del k-ésimo vecino más cercano perteneciente a una clase diferente del patrón R i seleccionado en la iteración actual. Para los ejemplos mostrados, se supone constituido por seis instancias, (M 1 j, M 2 j, M 3 j, M 4 j, M 5 j, M 6 j ). A. ReliefF-MI usando la distancia maximal Hausdorff Esta extensión de ReliefF para MIL usa la distancia Maximal Hausdorff [13]. Esta distancia es la distancia clásica de Hausdorff: donde H max (R i, H j ) = max{h max (R i, H j ), h max (H j, R i )} h max (R i, H j ) = max r Ri min h Hj r h Para calcular la función diferencial entre los atributos de dos patrones se seleccionan de cada bolsa

3 Algoritmo 1 Algoritmo ReliefF-MI 1: //Inicializar las variables utilizadas 2: conjuntoseleccionado =. 3: W = 0. 4: m = valor especificado por el usuario. Representa el número de veces que el proceso se repite. 5: k = valor especificado por el usuario. Representa el número de patrones más cercanos de la misma y de diferente clase que son considerados en el proceso. 6: umbral = valor especificado por el usuario. Representa el umbral a partir del cual una característica se considera. 7: for i=1 to numeropatrones do 8: Obtener una bolsa, R i, del conjunto de entrenamiento (D). 9: Obtener los k patrones de la misma clase más cercanos a R i : H 1,..., H k (H j patrón en D donde distancia(r i,h j ) es la j-ésima distancia más cercana & Clase (R i ) = Clase(H j )) 10: for cada clase C <> Clase (R i ) do 11: Obtener los k patrones de la clase C más cercanos a R i : M 1,..., M k (M j patrón en D donde distancia(r i,m j ) es la j-ésima distancia más cercana & Clase (R i ) <> Clase (M j )) 12: end for 13: for A=1 to numerocaracterísticas do k j=1 14: W [A] = W [A] P (C) bolsa(a, R i, H j ) k 1 P (clase(r + i )) j=1 diff bolsa(a, R i, M j (C) m k m k 15: end for 16: end for 17: for i=1 to numerocaracterísticas do 18: if W[i] > umbral then 19: Añadir la característica i a conjuntoseleccionado. 20: end if 21: end for C Clase(R i ) las instancias que representan la distancia máxima de todas las distancias mínimas entre las diferentes instancias de cada bolsa. Si consideramos que Ri 3 y Hj 4 son las instancias que satisfacen esta condición: diff bolsa max (A, R i, H j ) = diff instancia (A, Ri 3, Hj 4) De forma similar, diff bolsa max (A, R i, M j ) se calcula pero considerando las distancias entre las bolsas R i y M j. B. ReliefF-MI usando la distancia minimal Hausdorff Esta extensión de ReliefF para MIL usa la distancia Minimal Hausdorff [10]. Formalmente, modifica la distancia máxima de Hausdorff como sigue: H min (A, B) = min a A min b B a b Para calcular la función diferencial entre los atributos de dos patrones, se calcula la distancia entre las instancias de cada bolsa y se selecciona la instancia de cada bolsa que tienen la distancia mínima entre ellas. Si consideramos que R 1 i y H 3 j son las instancias que satisfacen esta condición: diff bolsa min (A, R i, H j ) = diff instancia (A, R 1 i, H 3 j ) De forma similar, diff bag min (A, R i, M j ) sería calculada, pero considerando las instancias de las bolsas R i y M j. C. ReliefF-MI usando la distancia average Hausdorff Esta extensión de ReliefF para MIL usa la distancia Average Hausdorff distance [12] para calcular la distancia entre dos bolsas. Formalmente, queda definida de la siguiente manera: H avg (R i, H j ) = ( + r R i min h Hj r h h H j min r Ri h r )/( R i + H j ) donde. mide la cardinalidad del conjunto. H avg (A, B) promedia la distancia entre cada instancia en una bolsa y sus instancia más cercana en la otra bolsa. Conceptualmente, esta distancia considera las relaciones geométricas entre dos bolsas de instancias. Para calcular la función diferencial entre los atributos de dos patrones, hay diferentes instancias involucradas para actualizar los pesos de las características. Así, si suponemos que: d(ri 1, H2 j ), d(r2 i, H1 j ) y d(r3 i, H4 j ) son las distancias mínimas entre cada instancia r R i con respecto a las instancias h H j. d(hj 1, R1 i ), d(h2 j, R1 i ), d(h3 j, R2 i ) y d(h4 j, R3 i ), son las distancias mínimas entre cada instancia h H j con respecto a la instancias r R i. La función dif f quedaría especificada como sigue, diff bag avg (A, R i, H j ) = 1 r + h [diff instancia(a, R 1 i, H 2 j )+diff instancia (A, R 2 i, H 1 j )+diff instancia (A, R 3 i, H 4 j )+diff instancia (A, H 1 j, R 1 i )+diff instancia (A, H 2 j, R1 i )+diff instancia(a, H 3 j, R2 i )+diff instancia(a, H 4 j, R 3 i )]

4 Un proceso similar es llevado a cabo para el cálculo de diff bag avg (A, R i, M j ), pero considerando el patrón M j. D. ReliefF-MI usando la distancia adapted Hausdorff Esta extensión de ReliefF para MIL usa la distancia propuesta y que hemos denominado Adapted Hausdorff. Esta métrica combina las métricas anteriores para intentar utilizar en cada caso la mayor información disponible en este aprendizaje. Si todas las métricas anteriores consideran el mismo cálculo entre bolsas sin diferenciar la clase a la que pertenecen, en esta métrica se representa un cálculo diferente dependiendo de la clase de cada patrón. El motivo de esta consideración se debe a que en el aprendizaje con múltiples instancias la información sobre las instancias de cada patrón depende de la clase a la que pertenece. Así, la métrica se adapta a la información disponible en cada momento y realiza diferentes cálculos cuando se evalúa la distancia entre patrones que pertenecen a la clase positiva o negativa. Si ambos patrones son negativos, tenemos la garantía de que ninguna de las instancias en cada patrón representa el concepto que se desea aprender. Por lo tanto, una distancia media será usada para medir la distancia entre estas bolsas debido a que todas las instancias son negativas y por tanto su información es representativa: H adapted (R i, H j ) = H avg (R i, H j ) Si ambos patrones son positivos, la información de la que se dispone es que al menos una instancia en cada patrón representa el concepto que queremos aprender, pero no hay información sobre cuál instancia o conjunto de ellas representan el concepto. Por lo tanto, usamos la distancia mínima para medir la distancia considerando que las instancias positivas tienen más probabilidad de estar más cercanas: H adapted (R i, H j ) = H min (R i, H j ) Finalmente, si evaluamos la distancia entre los patrones donde uno de ellos es positivo y el otro es negativo, la medida empleada será la distancia maximal Hausdorff. El motivo es que las instancias en las diferentes clases son probablemente las instancias con los valores más extremos entre los dos patrones: H adapted (R i, M j ) = H max (R i, M j ) En este caso, el cálculo de la función diff también depende de la clase de los patrones. Por lo tanto, la etiqueta del patrón determinará cómo la función diff será evaluada. Si R i es positivo y H j es positivo, diff bolsa adapted (A, R i, H j ) = diff bolsa min (A, R i, H j ) Si R i es negativo y H j es negativo, diff bolsa adapted (A, R i, H j ) = diff bolsa avg (A, R i, H j ) Finalmente, si R i es positivo y M j es negativo o viceversa, diff bolsa adapted (A, R i, M j ) = diff bolsa max (A, R i, M j ) En general, para todas las propuestas planteadas, la función diff instancia usada en los cálculos previos es la diferencia entre dos instancias particulares para un atributo dado. La distancia final es simplemente la suma de las distancias de los diferentes atributos (distancia de Manhattan, [14]). En el caso de atributos nominales, la función diff(a, R x i, Hy j ) es definida como: diff instancia (A, R x i, Hy j ) = { 0; valor(a, R x i ) = valor(a, H y j ) 1; de otro modo y para los atributos numéricos: diff instancia (A, R x i, Hy j ) = valor(a, R x i ) valor(a, H y j ) max(a) min(a) Siendo R x i, la instancia x del patrón R i y H y j, la instancia y del patrón H j. III. Resultados experimentales El estudio experimental realizado está dirigido a evaluar el rendimiento de ReliefF-MI. Esta evaluación es dividida en dos análisis. Primero, un estudio comparativo entre los resultados obtenidos por las diferentes versiones diseñadas que utilizan las distintas métricas. Este análisis nos permite evaluar la influencia en el algoritmo de la métrica seleccionada, así como el rendimiento de la nueva métrica propuesta. El segundo estudio, está orientado a realizar una comparativa entre el rendimiento de los algoritmos cuando utilizan reducción de características comparado con su rendimiento cuando usan todas las características. Esta comparación nos permitirá determinar la relevancia que supone en los algoritmos de aprendizaje con múltiples instancias la aplicación de ReliefF-MI como paso previo a la tarea de clasificación. En la experimentación se emplean 17 algoritmos propuestos previamente en el marco de MIL y se consideran diferentes paradigmas. Concretamente, se incluyen: métodos basados en diversidad de la densidad: MIDD [15], MIEMDD [16] y MDD [17]; métodos basados en regresión logística: MILR [18]; métodos basados en máquinas de vector soporte: SMO [19] y MISMO [20]; métodos basados en distancias:

5 TABLA I Information general sobre los conjuntos de datos Conjunto Bolsas Atributos Instancias Tamaño Medio de datos Positivas Negativas Totales de bolsa Elephant Tiger Fox CitationKNN [21] y MIOptimalBall [22]; métodos basados en reglas: PART, Bagging con PART y AddaBoost con PART usando el enfoque MIWrapper [17] y el MISimple [17] (estos enfoques son diferentes adaptaciones de los métodos clásicos para trabajar con MIL); métodos basados en árboles de decisión: MIBoost [17] y métodos basados en probabilidades: Naive Bayes [17]. Más información de estos algoritmos puede ser consultada en el software WEKA [17] donde estas técnicas se encuentran implementadas. Los algoritmos son utilizados con tres aplicaciones de categorización de imágenes basadas en contenido: tiger, fox y elephant [23], [24]. Las características de estos datos pueden verse en la Tabla I. Todos los experimentos llevados a cabo son realizados usando validación cruzada 10-fold y para analizar los resultados experimentales se lleva a cabo un análisis estadístico. A. Comparando las diferentes métricas para ReliefF- MI Para determinar la influencia de la métrica en el método propuesto, se lleva a cabo este análisis. Los resultados medios de exactitud para los conjuntos de datos tiger, fox y elephant obtenidos por los 17 algoritmos de clasificación usando los datos con dimensionalidad reducida proporcionados por las diferentes propuestas de ReliefF-MI son mostrados en la Tabla II. Para evaluar qué métrica obtiene las características más relevantes para los diferentes algoritmos, un test estadístico es realizado (test de Friedman [25]). Este test es un test no paramétrico que compara los rangos medios asignados a las diferentes propuestas. Aquella propuesta que logra que los algoritmos obtengan los valores más altos de exactitud es asignado un rango de 1, la siguiente métrica tendría el rango 2, y así sucesivamente con todos los conjuntos de datos y algoritmos. Estos rangos nos permiten conocer cuál métrica consigue que los algoritmos obtengan mejores rendimientos considerando todos los resultados. Los rangos obtenidos por cada métrica se pueden ver también en la Tabla II. Si evaluamos esta información podemos ver, a priori, la propuesta que se comporta mejor. De este modo, aquella propuesta con un valor más cercano a 1, representará la propuesta que consigue obtener los mejores resultados en un mayor número de algoritmos y conjuntos de datos. Se puede ver, que con un valor de 2.010, la métrica propuesta (Adapted Hausdorff ) es la que obtiene el valor más reducido y por tanto la que consigue que los algoritmos optimicen más sus resultados considerando las diferentes propuestas y conjuntos de datos evaluados. A continuación, evaluamos el test de Friedman, que nos determinará si realmente se puede decir que estadísticamente existan diferencias significativas entre los resultados de los algoritmos usando las diferentes versiones de ReliefF-MI. Los resultados del test de Friedman pueden verse en la Tabla III. Si analizamos estos resultados, podemos ver que, con un nivel de confianza del 95 %, existen diferencias significativas en los resultados cuando usan diferentes métricas. El valor obtenido por este test es y la χ 2 (n = 3) es Por lo tanto, la hipótesis nula es rechazada y se determina que existen diferencias significativas entre las diferentes versiones de ReliefF-MI. El test de Bonferroni-Dunn [26] es llevado a cabo para determinar cuál métrica es la que obtiene las características más relevantes y cuáles pueden ser consideradas peores propuestas. Este test nos determina un umbral, a partir del cual todo algoritmo que tenga un valor de ranking superior a él, es considerado una peor propuesta que el algoritmo de control. En este estudio, la propuesta que se ha considerado como método de control es ReliefF-MI con la métrica diseñada, (adapted Hausdorff ), que es la que consigue un valor de rango más bajo y la que por tanto en principio se presenta como la mejor opción. Resultados de este test muestran que los métodos con un rango superior a (considerando un nivel de confianza del 95 %) son consideradas peores propuestas que la propuesta de control. Estadísticamente, las peores propuestas serían la distancia de average Hausdorff y la distancia maximum Hausdorff que tienen un rango mayor que el umbral establecido por el test. Esto se debe, en el caso de la primera métrica, que el uso de todas las instancias de una bolsa positiva para el cálculo de la distancia resulta inadecuado al estar empleando información de bolsas que no son realmente positivas. Para el caso de la distancia maximum Hausdorff, el empleo de los valores extremos para seleccionar la distancia entre los patrones, tampoco resulta adecuado en el caso de bolsas negativas donde sería conveniente utilizar la información de todas las instancias en el cálculo de la distancia para mejorar los resultados. Estos problemas son solucionados con la métrica propuesta que

6 TABLA II Resultados con el conjunto de datos usando las características más relevantes Algoritmos Máxima Mínima Media Adaptada Eleph Tiger Fox Eleph Tiger Fox Eleph Tiger Fox Eleph Tiger Fox citationknn MDD RepTree DecisionStump MIDD MIEMDD MILR MIOptimalBall RBF Kernel Polynomial Kernel AdaBoost&PART Bagging&PART PART SMO Naive Bayes AdaBoost&PART PART RANKING MIBoost 3 MIWrapper 2 MISMO 4 MISimple TABLA III Test de Friedman χ 2 (α = 0.95) Valor del test Conclusión Rechazar la hipótesis nula es finalmente la que obtiene los mejores resultados. B. Eficiencia de ReliefF-MI Para demostrar la eficiencia de ReliefF-MI vamos a comparar si existen diferencias en los resultados de los algoritmos cuando ellos trabajan con el conjunto de datos con dimensionalidad reducida, en lugar de trabajar con el conjunto de datos completo. Para ello, vamos a considerar, por un lado, los conjuntos de datos con las características más relevantes proporcionados por ReliefF-MI usando la métrica adapted Hausdorff, que es la que ha ofrecido en el estudio anterior los mejores resultados y por otro lado utilizando los mismos conjuntos de datos pero con todas sus características iniciales. La Tabla IV muestra los resultados de los 17 algoritmos para los diferentes conjuntos de datos en los dos casos. A priori, se puede ver que la mayoría de los algoritmos optimizan sus resultados usando el conjunto de datos reducido. A continuación, se realiza un estudio estadístico para comprobar si el uso de ReliefF-MI mejora los resultados de los algoritmos con respecto a los resultados que logran cuando ningún tipo de reducción de dimensionalidad se realiza sobre los datos. Concretamente, se utiliza el test de suma de rangos de Wilcoxon [25] para determinar si existen diferencias entre los valores de exactitud de los diferentes algoritmos en los dos entornos de trabajo (reducción o no reducción de características). Este test es un test no paramétrico recomendado en el estudio de Demsar [25] cuya hipótesis nula mantiene que no hay diferencias significativas entre los valores de exactitud obtenidos por los algoritmos cuando ellos usan diferentes conjuntos de características, mientras que la hipótesis alternativa asegura que los hay. La Tabla V muestra los rangos medios y la suma de rangos para cada una de las dos opciones. Podemos ver que los algoritmos que no usan selección de características tienen un rango medio más bajo que los algoritmos que utilizan el método de ReliefF-MI. Esta información se puede usar para asegurar a priori que la reducción de dimensionalidad realizada por ReliefF- MI se presenta como mejor opción que trabajar con el conjunto de datos completo debido a que su valor de rango es más alto. A continuación, analizaremos los resultados de este test con mayor detalle. El resultado del test estadístico de Wilcoxon es 2344 y su correspondiente z-score es De acuerdo a estos valores, los resultados muestran diferencias significativas (p-value = < 0.1) para un nivel de confianza del 90 %. Con estos valore rechazamos la hipótesis nula y determinamos que existen diferencias entre los resultados de los algoritmos cuando ellos utilizan el conjunto de características reducido en lugar del conjunto de datos completo. Consecuentemente, los algoritmos que usan ReliefF- MI tienen los valores de exactitud más altos que cuando utilizan todas las características iniciales. Esta conclusión puede tomarse observando las puntuación de ReliefF-MI y viendo como el rango medio es mayor cuando los algoritmos usan selección de características como un paso previo de pre-procesado de los datos. Así, el valor obtenido empleando reducción de características es 57.03, que es mayor que el que se obtiene cuando los algoritmos trabajan con el conjunto de características completo, cuyo valor es

7 TABLA IV Resultados con el conjunto de datos usando todas las características Algoritmos Conjunto Reducido Conjunto completo Eleph Tiger Fox Eleph Tiger Fox citationknn MDD MIBoost (RepTree) MIBoost (DecisionStump) MIDD MIEMDD MILR MIOptimalBall MISMO (RBF Kernel) MISMO (Polynomial Kernel) MIWrapper (AdaBoost&PART) MIWrapper (Bagging&PART) MIWrapper (PART) MIWrapper (SMO) MIWrapper (Naive Bayes) MISimple (AdaBoost&PART) MISimple (PART) TABLA V Suma de rangos y Rango Medio de las dos propuestas Rango Medio Suma de Rangos Método ReliefF-MI Sin reducción de características Distancia de Hausdorff Adaptada En general, podemos concluir que el uso de este método beneficia los resultados alcanzados por los algoritmos mostrando su utilidad en MIL debido a que optimiza, en general, los resultados logrados por los diferentes algoritmos. El estudio llevado a cabo considera un número suficientemente representativo de algoritmos y conjuntos de datos para poder justificar su desempeño y determinar que los resultados de los algoritmos cuando trabajan con las características más relevantes proporcionadas por nuestra propuesta minimizan el error de la clasificación. IV. Conclusión En el aprendizaje con múltiples instancias, el proceso de encontrar características relevantes es más complejo debido a que las etiquetas de las instancias particulares en los patrones no está disponible. Así, los métodos clásicos de selección de características para aprendizaje supervisado tradicional con instancias simples no funcionan bien en este escenario. Para datos con múltiples instancias, donde la información es incierta, los métodos de selección de características propuestos están relacionados con la optimización de un algoritmo concreto (todos ellos son enfoques dependientes (conocidos como wrapper)). Este artículo, aborda el problema de la selección de características para reducir dimensionalidad de datos en MIL usando un método de filtrado, de forma que cualquier algoritmo pueda utilizarla. Así, se describe un algoritmo eficiente basado en los principios de ReliefF [9] que puede ser empleado con problemas continuos y discretos, es más rápido que los métodos dependientes y puede ser aplicado a cualquier algoritmo diseñado previamente debido a que el método se utiliza como un paso de preprocesado de datos, previo a la aplicación de cualquier algoritmo. Resultados experimentales muestran la efectividad de nuestro enfoque usando tres diferentes aplicaciones y 17 algoritmos. En primer lugar, cuatro diferentes métricas de distancia son comparadas para evaluar su efecto en el algoritmo de selección de características propuesto y la aplicación del test de Friedman y Bonferroni-Dunn muestran que la métrica diseñada estadísticamente obtiene mejores resultados. Esta métrica es diseñada para adaptarse a la información en función de la clase a la que pertenecen los patrones. Con el segundo estudio, el test de Wilcoxon nos muestra los beneficios de aplicar reducción de datos en MIL, mostrando como los algoritmos optimizan sus resultados cuando trabajan con las características más relevantes propuestas por ReliefF-MI y no con el conjunto completo de ellas. Así, la relevancia de usar selección de características en este escenario está justificada para mejorar el rendimiento de los algoritmos con datos de alta dimensionalidad. Más avances en este área incluiría el diseño de otras métricas para medir la distancia entre bolsas de forma que se consiga optimizar más los resulta-

8 dos, así como el diseño de otros métodos de selección de características basado en filtrado para estudiar cuáles métodos tienen un mejor rendimiento en este marco de aprendizaje. Agradecimientos Los autores agradecen el apoyo proporcionado por los proyectos del Ministerio de Ciencia y Tecnología TIN C06-03 y de la Junta de Andalucía P08-TIC Además de los fondos FEDER. Referencias [1] M. Kudo and J. Sklansky, Comparison of algorithms that select features for pattern classifiers, Pattern Recognitio, vol. 33, pp , [2] J. Hua, W.D. Tembe, and Dougherty E.R., Performance of feature selection methods in the classification of highdimensional data, Pattern Recognitio, vol. 42, pp , [3] Thomas G. Dietterich, Richard H. Lathrop, and Tom Lozano-Perez, Solving the multiple instance problem with axis-parallel rectangles, Artifical Intelligence, vol. 89, no. 1-2, pp , [4] Min-Ling Zhang and Zhi-Hua Zhou, Improve multiinstance neural networks through feature selection, Neural Processing Letter, vol. 19, no. 1, pp. 1 10, [5] Y. Chen, J. Bi, and J.Z. Wang, Miles: Multiple-instance learning via embedded instance selection, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 28, no. 12, pp , [6] X.a Yuan, X.-S Hua, M Wang, G.-J. Qi, and X.-Q Wu, A novel multiple instance learning approach for image retrieval based on adaboost feature selection, in IC- ME 07: Proceedings of the IEEE International Conference on Multimedia and Expo, Beijing, China, 2007, pp , IEEE. [7] Vikas C. Raykar, Balaji Krishnapuram, Jinbo Bi, Murat Dundar, and R. Bharat Rao, Bayesian multiple instance learning: automatic feature selection and inductive transfer, in ICML 08: Proceedings of the 25th international conference on Machine learning, New York, NY, USA, 2008, pp , ACM. [8] G. Herman, G. Ye, J. Xu, and B. Zhang, Region-based image categorization with reduced feature set, in Proceedings of the 10th IEEE Workshop on Multimedia Signal Processing, Cairns, Qld, 2008, pp [9] I. Kononenko, Estimating attributes: analysis and extension of relief, in ECML 94: Proceedings of the 7th European Conference in Machine Learning. 1994, pp , Springer-Verlag. [10] Y.-Z Chevaleyre and J-D Zucker, Solving multipleinstance and multiple-part learning problems with decision trees and decision rules. Application to the mutagenesis problem, in AI 01: Proceedings of the 14th of the Canadian Society for Computational Studies of Intelligence, Lecture Notes in Computer Science, Ottawa, Canada, 2001, vol. 2056, pp [11] Dan Zhang, Fei Wang, Luo Si, and Tao Li, M3IC: Maximum margin multiple instance clustering, 2009, pp [12] Min-Ling Zhang and Zhi-Hua Zhou, Multi-instance clustering with applications to multi-instance prediction, Applied Intelligence, vol. 31, pp , [13] G.A. Edgar, Measure, topology, and fractal geometry. Third Edition, Springer-Verlag, [14] H. Cohen, Image restoration via n-nearest neighbour classification, in ICIP 96: Proceedings of the International Conference on Image Processing, 1996, pp [15] Oded Maron and Tomás Lozano-Pérez, A framework for multiple-instance learning, in NIPS 97: Proceedings of Neural Information Processing System 10, Denver, Colorado, USA, 1997, pp [16] Q. Zhang and S. Goldman, EM-DD: An improved multiple-instance learning technique, in NIPS 01: Proceedings of Neural Information Processing System 14, Vancouver, Canada, 2001, pp. 1073ï [17] Ian H. Witten and Eibe Frank, Data Mining: Practical Machine Learning Tools and Techniques. Second Edition, Morgan Kaufmann, [18] X. Xu, Statistical learning in multiple instance problems, Ph.D. thesis, Department of Computer Science. University of Waikato, [19] S.S. Keerthi, S.K. Shevade, C. Bhattacharyya, and K.R Murthy, Improvements to platt s smo algorithm for svm classifier design, Neural Computation, vol. 13, no. 3, pp , [20] Thomas Gärtner, Peter A. Flach, A. Kowalczyk, and A. J. Smola, Multi-instance kernels, in ICML 02: Proceedings of the 19th International Conference on Machine Learning, Sydney, Australia, 2002, pp , Morgan Kaufmann. [21] Jun Wang and Jean-Daniel Zucker, Solving the multiple-instance problem: A lazy learning approach, in ICML 00: Proceedings of the 17th International Conference on Machine Learning, Standord, CA, USA, 2000, pp [22] Peter Auer and Ronald Ortner, A boosting approach to multiple instance learning, in ECML 04: Proceedings of the 5th European Conference on Machine Learning. Lecture Notes in Computer Science, Pisa, Italy, 2004, vol. 3201, pp [23] Cheng Yang and Tomas Lozano-Perez, Image database retrieval with multiple-instance learning techniques, in ICDE 00: Proceedings of the 16th International Conference on Data Engineering, Washington, DC, USA, 2000, pp , IEEE Computer Society. [24] H. T. Pao, S. C. Chuang, Y. Y. Xu, and H.. Fu, An EM based multiple instance learning method for image classification, Expert Systems with Applications, vol. 35, no. 3, pp , [25] J. Demsar, Statistical comparisons of classifiers over multiple data sets, Journal of Machine Learning Research, vol. 17, pp. 1 30, [26] Olive Jean Dunn, Multiple comparisons among means, Journal of the American Statistical Association, vol. 56, no. 293, pp , 1961.