SMOTE-I: mejora del algoritmo SMOTE para balanceo de clases minoritarias

Transcripción

1 SMOTE-I: mejora del algoritmo SMOTE para balaceo de clases mioritarias J Moreo 1, D Rodríguez 1, MA Sicilia, JC Riquelme 2 y R Ruiz 3 1 Departameto de ciecias de la Computació Campus Extero. Uiversidad de Alcalá, 287 Ctra. Barceloa km. 33.6, Alcalá de Heares (Madrid) 2 Escuela Técica Superior de Igeiería Iformática Avda. Reia Mercedes, s/, Sevilla, España 3 Escuela Politécica Superior Uiversidad Pablo de Olavide Ctra. Utrera Km 1, Sevilla {daiel.rodriguezg,msicilia}@uah.es, robertoruiz@upo.es, riquelme@us.es Resume. Las técicas de miería de datos está ecamiadas a desarrollar algoritmos que sea capaces de tratar y aalizar datos de forma automática co objeto de extraer de cualquier tipo de iformació subyacete e dichos datos. El problema del desbalaceo de los datos cosiste e la predomiacia de ciertos valores e los datos y la escasez o ausecia de otros que dificulta o impide la extracció de iformació. E este trabajo se preseta u uevo algoritmo basado e SMOTE y llamado SMOTE-I que mejora al origial co la la base de datos aalizada. Palabras clave: SMOTE, ENN, desbalaceo de datos. 1 Itroducció E u caso ideal todos los datos perteecietes a cada clase se ecuetra agrupados etre ellos y claramete difereciables del resto de clases. La realidad es bie distita y co frecuecia los datos preseta diferetes problemas que dificulta la labor de los clasificadores y dismiuye la calidad de la clasificació realizada. Los problemas más destacables so (i) el ruido es u problema derivado de la aturaleza de los datos cosistete e el gra parecido que preseta etre sí datos perteecietes a clases distitas o datos erróeos; (ii) el solapamieto etre clases ocurre cuado datos de clases distitas ocupa u espacio comú debido a que alguos de los atributos de dichas clases comparte u mismo rago de valore; y (iii) el desbalaceo de clases ocurre cuado el úmero de istacias de cada clase es muy diferete E estas circustacias los clasificadores preseta ua tedecia de clasificació hacia la clase mayoritaria, miimizado de ésta maera el error de clasificació y clasificado correctamete istacias de clase mayoritaria e detrimeto de istacias de clase mioritaria. Etre las medidas que podemos tomar para el tratamieto del ruido se ecuetra (i) usar algoritmos tolerates al ruido; (ii) usar algoritmos que ISSN SISTEDES,

2 reduzca el ruido filtrado las istacias ruidosas y (iii) usar algoritmos que corrija las istacias que geera el ruido. Para el tratamieto del solapamieto podemos utilizar algoritmos de limpieza que reduzca las áreas de solapamieto. Fialmete, hay más opcioes para el tratamieto del tratamieto del desbalaceo, etre las que se ecuetra: Samplig: Cosiste e balacear la distribució de las clases añadiedo ejemplos de las clase mioritaria. A ésta técica se le deomia oversamplig. Alguos de los algoritmos más represetativos so SMOTE [1], y Resamplig [5]. Tambié es posible realizar lo cotrario: elimiar ejemplos de la clase mayoritaria. Ésta técica se cooce como udersamplig. U algoritmo bastate represetativo es RUS [3]. Ambas técicas tiee vetajas e icoveietes. Etre los icoveietes del udersamplig está la pérdida de iformació que se produce al elimiar istacias de la muestra. Si embargo tiee la vetaa de que reduce el tiempo de procesado del cojuto de datos. Oversamplig tiee la vetaja de o perder iformació pero puede repetir muestras co ruido además de aumetar el tiempo ecesario para procesar el cojuto de datos. Oversamplig: o SMOTE: Geera uevas istacias de la clase mioritaria iterpolado los valores de las istacias mioritarias más cercaas a ua dada. o Resamplig: Duplica al azar istacias de la clase mioritaria Udersamplig: o Radom udersamplig: Elimia al azar istacias de la clase mayoritaria o Tomek Liks [4]: Elimia sólo istacias de la clase mayoritaria que sea redudates o que se ecuetre muy cerca de istacias de la clase mioritaria. o Wilso Editig [6]. Tambié coocido como ENN (Editig Nearest Neighbor) elimia aquellas istacias dode la mayoría de sus vecios perteece a otra clase. Boostig cosiste e asociar pesos a cada istacia que se va modificado e cada iteració del clasificador. Iicialmete todas las istacias tiee el mismo peso y después de cada iteració, e fució del error cometido e la clasificació se reajusta los pesos co objeto de reducir dicho error: o o o AdaBoost: Implemeta el algoritmo de Boostig descrito. E cada iteració AdaBoost geera uevas istacias utilizado Resamplig SMOTEBoost: Es similar a AdaBoost pero usa SMOTE e lugar del Resamplig para geerar uevas istacias. RUSBoost: Aplica AdaBoost pero e cada iteració utiliza RUS (Radom Udersamplig) que reduce el tamaño de la muestra de datos y simplifica y aumeta el redimieto del clasificador. ISSN SISTEDES,

3 2 Trabajos relacioados: SMOTE y ENN Fix y Hodges [2] publicaro el algoritmo de la regla del vecio más cercao. La idea básica del algoritmo es supoer que istacias próximas etre sí tiee mayor probabilidad de perteece a la misma clase. Para clasificar ua ueva istacia, se realiza u cálculo de la distacia etre cada atributo de la ueva istacia y el resto de istacias del cojuto de datos y se asocia a la clase de la istacia más cercaa. El pricipal icoveiete del algoritmo es el alto coste computacioal que tiee. SMOTE (Sytetic Miority Over-samplig Techique) [1] es u algoritmo de oversamplig que geera istacias sitéticas o artificiales para equilibrar la muestra de datos basado e la regla del vecio más cercao. La geeració se realiza extrapolado uevas istacias e lugar de duplicarlas como hace el algoritmo de Resamplig. Para cada ua de las istacias mioritarias se busca las istacias mioritarias vecias (más cercaas) y se crea N istacias etre la líea que ue la istacia origial y cada ua de las vecias. El valor de N depede del tamaño de oversamplig deseado. Para u caso del 200% por cada istacia de la clase mioritaria debe crearse dos uevas istacias geéricas. SMOTE es u algoritmo de sobre-muestreo de ejemplos utilizado para la clase mioritaria: Crea ejemplos sitéticos e lugar de hacer u sobre-muestreo co reemplazo. Opera e el espacio de atributos feature space, e lugar del espacio de datos data space. Crea u ejemplo sitético a lo largo de los segmetos de líea que ue alguo o todos los k vecios más cercaos de la clase mioritaria. Se elige alguos de los k vecios más cercaos de maera aleatoria (o se utiliza todos). SMOTE utiliza típicamete k = 5. El algoritmo de SMOTE realiza los siguietes pasos: Recibe como parámetro el porcetaje de ejemplos a sobre-muestrear. Calcula el úmero de ejemplos que tiee que geerar. Calcula los k vecios más cercaos de los ejemplos de la clase mioritaria. Geera los ejemplos siguiedo este proceso: o Para cada ejemplo de la clase mioritaria, elige aleatoriamete el vecio a utilizar para crear el uevo ejemplo. o Para cada atributo del ejemplo a sobre-muestrear, calcula la diferecia etre el vector de atributos muestra y el vecio elegido. o Multiplica esta diferecia por u úmero aleatorio etre 0 y 1. o Suma este último valor al valor origial de la muestra. o Devuelve el cojuto de ejemplos sitéticos. SMOTE es el algoritmo herramieta más utilizada para realizar el sobre muestreo pero preseta los siguietes icoveietes: (i) puede geerar muchos ejemplos artificiales cuyas semillas so ejemplos co ruido; (ii) al geerar u uevo ejemplo, iterpola etre dos ejemplos de la clase mioritaria, si embargo, puede existir muchos ejemplos cercaos o iclusive etre ellos de la clase mayoritaria, geerado modelos icorrectos; (iii) sólo fucioa co variables cotiuas y (iv) o tiee ua forma clara de decidir cuátos ejemplos geerar. Para miimizar los icoveietes ISSN SISTEDES,

4 citados después de usar SMOTE puede aplicarse otros algoritmos de limpieza para reducir el ruido y el solapamieto de las clases: Tomek Liks: Elimia las istacias de las clases mayoritaria y mioritaria que esté muy próximas etre sí. Wilso Editig (ENN): Elimia cualquier istacia cuya etiqueta sea distita de las clases que la rodea. ENN suele elimiar más istacias que Tomek Lik. Además e éste trabajo se preseta ua versió modificada SMOTE-I que ofrece ua solució automática para balacear cojutos de datos co más de ua clase mioritaria aportado a la vez ua secilla solució al problema de determiar el úmero de ejemplos a geerar sitéticamete. El algoritmo de Edició de Wilso, tambié coocido como la regla del vecio más cercao editado (Edited Nearest Neighbor) elimia las istacias mal clasificadas de u cojuto de datos mediate la regla k-nn. Para idetificar estas istacias el algoritmo elimia aquellas istacias cuya clase o coicide co la clase de la mayoría de sus vecios. Este algoritmo elimia la superposició etre clases y por tato parte de posible ruido que pueda haber e la muestra. El algoritmo de ENN realiza los siguietes pasos: 1. Recibe como parámetro el úmero de vecios a buscar para cada clase 2. Calcula los k vecios más cercaos de cada istacia. 3. Si la mayoría de los vecios so de clase distita y marca la istacia. 4. Elimia las istacias marcadas. 3 SMOTE-I La defiició origial de SMOTE úicamete cotempla datos e los que hay ua úica clase mioritaria. La modificació propuesta e éste trabajo permite C clases mioritarias ajustado automáticamete los pesos de cada clase para geerar las istacias apropiadas de cada ua de ellas. Adicioalmete tambié se ha añadido la opció de ivertir los pesos de las clases mioritarias. Dado u cojuto de datos co u total de T istacias perteecietes a C clases distitas, y ua probabilidad de máxima para cosiderar cualquier clase como mioritaria P: Ua clase C co I istacias, siedo 0 <C será mioritaria si su ocurrecia, P = I /T es meor que P. El úmero de istacias sitéticas a geerar para cada clase C mioritaria será igual al factor de sobremuestreo N. El úmero total de istacias sitéticas geeradas TS será: TS I N Como puede observarse, el úmero de istacias geeradas e caso de haber más de ua clase mioritaria será proporcioal al úmero de istacias de cada clase. De ésta forma, se geerará más istacias sitéticas para las clases mioritarias co mayor úmero de istacias cuado lo deseable es justamete lo cotrario: Geerar mayor úmero de istacias sitéticas para las clases co meor úmero de istacias. Para realizar ésta iversió y teiedo e cueta las defiicioes ateriores: Defiiremos la probabilidad ivertida de cada istacia PI como: ISSN SISTEDES,

5 PI y determiaremos el úmero de istacias sitéticas a geerar para cada clase C mioritaria, SN de la siguiete maera: PI T SN I La siguiete tabla muestra u ejemplo de u cojuto de 238 istacias distribuidas e 5 clases siedo P = 50%: I P 1- P PI PI *T (PI *T)- SN Nro istacias I sitéticas por clase Clase mayoritaria: Totales: Tabla 1. Ejemplo cálculos SMOTE-I Si observamos la aterior tabla, la columa PI*T y su total, PI*T idica el úmero total de istacias que debería geerarse de cada clase y puesto que cada clase ya cueta co I istacias, lo correcto es restar ese valor tal como muestra la columa (PI *T)-I. De ésta maera, redefiimos SN como: PI T I SN I La última columa de la tabla os muestra el resultado de la iversió de probabilidades que favorece la creació de istacias sitéticas de las clases co meor úmero de istacias reales. E el apartado 5. Resultados Experimetales puede observarse la aplicació de éste algoritmo. 1 C P 1 Resultados Experimetales E éste proyecto se ha utilizado u cojuto de datos obteidos del repositorio de PROMISE1, llamado usp5 y cotiee clases omiales y ha sido utilizados para experimetar co el algoritmo SMOTE-I y comparar los resultados co el SMOTE origial y ENN e problemas de clasificació. Más cocretamete se ha utilizado 1 ISSN SISTEDES,

6 C4.5 (implemetado bajo el ombre de J48) e la herramieta Weka. J48 es u árbol de decisió cada ivel correspode a ua clase, cada odo a u atributo y las ramas a los valores asociados a dichos atributos. El cojuto de datos usp5 de PROMISE cotiee 15 atributos que represeta iformació acerca métricas del esfuerzo e proyectos de igeiería del software. Los atributos so los siguietes: ID: Idetificador de tres dígitos ObjType: Tipo de objeto (PJ-project, FT-feature, RQ-requiremet) Effort: Esfuerzo actual e horas gastadas e tareas relacioadas co la implemetació del objeto por todas las persoas participates. Fuct%: Porcetaje de fucioalidad desarrollada. ItComplx: Complejidad itera de cálculo. DataFile: Número de ficheros de datos/tablas accedidos. DataE: Número de putos de etrada de datos. DataOut: Número de putos de salida de datos. UFP: Putos de Fució si ajustar. Lag: Leguaje de desarrollo utilizado. Tools: Herramietas de desarrollo y plataformas. ToolExpr: Experiecia de los desarrolladores co el leguaje y las herramietas de desarrollo. AppExpr: Nivel de experiecia desarrollado aplicacioes. TeamSize: Tamaño del equipo de desarrollo. DBMS: Sistema gestor de bases de datos utilizado Method: Metodología de desarrollo utilizada. AppType: Tipo de sistema/arquitectura. Es la clase del dataset. Puede coteer los siguietes valores: B/S, C/S, BC/S, Cetered, Other A cotiuació e las tablas 2 y 3 se preseta los resultados utilizado validació cruzada de 10 (10 CV). ENN Clase J48 Resample ENN SM-I Resa SM-I mp BC/S 0,878 0,973 0,831 0,897 0,973 0,899 B/S 0,853 0,952 0,866 0,831 0,952 0,852 NULL 0,737 0,833 0,778 0,833 0,833 0,857 C/S 0,678 0,818 0,667 0,721 0,818 0,806 C 0,000 0,000 0,000 0,950 0,000 0,927 S 0,000 0,800 0,000 0,977 0,800 0,977 B 0,000 0,000 0,000 0,909 0,000 0,976 3-Tier,_B/S 0,000 0,000 0,000 0,000 0,000 0,000 BS 0,667 0,800 0,667 1,000 0,800 0,952 BC 0,000 0,000 0,000 0,000 0,000 0,000 B/C 0,000 0,000 0,000 0,000 0,000 0,000 Tabla 2. Usp05, F-Measure clasificado co J48 ISSN SISTEDES,

7 ENN Clase J48 Resamp ENN SM-I Resamp SM-I BC/S 0,936 0,981 0,915 0,955 0,981 0,973 B/S 0,984 0,999 0,979 0,996 0,999 0,997 NULL 0,985 0,926 0,984 0,961 0,926 0,964 C/S 0,872 0,930 0,870 0,885 0,930 0,960 C 0,690? 0,680 0,972? 0,974 S 0,808 0,997 0,804 0,998 0,997 0,998 B 0,433 0,995 0,408 0,998 0,995 1,000 3-Tier,_B/S 0,463? 0,456 0,475? 0,474 BS 1,000 0,999 0,999 1,000 0,999 0,999 BC 0,463? 0,459 0,480? 0,478 B/C 0,443? 0,424 0,472? 0,470 Tabla 3. Usp05, A-ROC clasificado co J48 E el cojuto de datos utilizado co más de dos clases, e los resultados obteidos se observa cómo a pesar de haber balaceado el cojuto de istacias mediate SMOTE el porcetaje de istacias clasificadas correctamete o aumeta sigificativamete, e icluso es iferior a los resultados obteidos aplicado directamete el clasificador a los datos. Además, a pesar de obteerse meor porcetaje de istacias clasificadas correctamete, los valores de AUC y F-Measure obteidos después de aplicar SMOTE mejora algo e relació a los resultados obteidos si aplicarlo. Tambié se observa ua mejora sigificativa e éstos valores al aplicar la versió SMOTE-I e cojució co el clasificador J48. 5 Coclusioes y trabajo futuro E este trabajo se ha presetado ua modificació del coocido algoritmo de SMOTE. Este es uo de los problemas que preseta SMOTE ya que al iterpolar etre dos istacias mioritarias es posible que etre ellas exista istacias de la clase mayoritaria dificultado así la labor del clasificador. La variate de SMOTE presetada e este trabajo tiee e cueta la distribució de las clases y geera las istacias sitéticas acorde a esta distribució. Los trabajos futuros debe ir ecamiados al desarrollo de uevos algoritmos de balaceo de datos y a mejorar los existetes como por ejemplo el estudio del úmero óptimo de istacias sitéticas a geerar por SMOTE o SMOTE-I. Agradecimietos Esta ivestigació está fiaciada por el Miisterio de Educació y Ciecia (TIN C02-00) y las uiversidades de Alcalá, Sevilla y Pablo de Olavide. ISSN SISTEDES,

8 Referecias 1. Chawla, N.V., Bowyer, K.W., Hall, L.O., Kegelmeyer W.P. (2002). SMOTE: Sytetic Miority Over-samplig Techique. Joural of Artificial Iteligece Research 16, Dispoible e: 2. Fix, E. Hodges, J. (1952). Discrimiatory aalysis, oparametric discrimiatio: small simple performace. Techical Report 11, US Air Force, School of Aviatio Medicie, Radolph Field, TX. 3. Kamei, Y., Otros (2007). The Effects of Over ad Uder Samplig o Fault-proe Module Detectio. Empirical Software Egieerig ad Measuremet, First Iteratioal Symposium o Volume, Issue, Sept Page(s) IEEE Computer Society Press, Los Alamos 4. Tomek, I. (1976), Two modificatios of CNN, IEEE Trasactios o Systems, Ma ad Cyberetics 6. IEEE Computer Society Press, Los Alamos. 5. Wilso, D. L. (1972), Asymptotic properties of earest eighbor rules usig edited data, IEEE Trasactios o Systems, Ma ad Cyberetics. IEEE Computer Society Press, Los Alamos. 6. Witte, I. Frak, E. (2005), Data Miig: Practical machie learig tools ad techiques, 2d ed., Morga Kaufma, Sa Fracisco ISSN SISTEDES,