Aceleración del algoritmo K-NN

Transcripción

1 Aceleración del algritm K-NN Günther Rland Universidad Carls III Av. de la Universidad, Leganés (Madrid) g.rland(at)student.tugraz.at RESUMEN En el siguiente trabaj presentaré un algritm K-NN iterativ que utiliza un númer reducid de prpiedades para acelerar la clasificación. Términs Generales Algrithms, Perfrmance, Languages. Palabras Clave K-NN, perfrmance, runtime 1. INTRODUCCIÓN El K-NN es un algritm de aprendizaje inductiv supervisad utilizad frecuentemente debid a su sencillez y su alta capacidad de clasificar dats crrectamente. Un de ls prblemas del algritm K-NN es que necesita much tiemp para una clasificación a causa de su simple funcinamient. El recncimient de imágenes es una tarea bastante cmpleja para un prcesadr y requiere un alt rendimient. 2. EL ALGORITMO K-NN El algritm K-NN es un algritm supervisad, l que significa que el cnjunt de ls dats de entrenamient incluye, además de las prpiedades multidimensinales utilizadas para el recncimient, clasificadres para predecir la clase de ls dats de entrada. Para clasificar, el K-NN utiliza un tip de distancia, cm, pr ejempl, la distancia euclídea, cn la que determina tdas las distancias entre el punt a clasificar y tds ls punts del cnjunt de entrenamient. Cn las distancias calculadas determina ls K vecins más cercans y, según el tip de la clase para determinar, asigna el punt a una de ellas. Fig. 1: Ilustración del algritm K-NN en ds dimensines cn K=5 Fig. 2: Distancias entre el punt a clasificar al cnjunt de entrenamient 2.1 Clases nminales Para clases nminales, se tma la decisión según mayría. Si n hay ninguna clase prevalente, es psible aumentar el númer K hasta alcanzarla, n tmar ninguna decisión. 2.2 Clases numerales En el cas de clases numerales, la clase se calcula según las clases de ls K vecins más cercans. Una función psible es el prmedi. 2.3 Análisis del tiemp necesari Cm explicad en la descripción del algritm, para una clasificación hay que: Determinar las distancias a tds ls punts del cnjunt de entrenamient Buscar ls vecins más cercans (cn menr distancia) Clasificar según mayría pr prmedi Para analizar el cste cmputacinal definims: n = númer de punts en el cnjunt de entrenamient D = dimensión de ls punts (númer de prpiedades utilizadas para clasificar) Distancia entre ls punts El cste para calcular la distancia entre ds punts depende de la dimensión de ls punts. Pr ejempl la distancia euclídea se calcula según la siguiente fórmula:

2 dd ee = (aa ii xx ii ) 2 ii Para D dimensines es significa D sustraccines y D multiplicacines. Para determinar tdas las distancias hay que calcular n distancias, resultand en nn DD sustraccines y multiplicacines bien: OO(nn DD) Buscar menres distancias Para encntrar ls K vecins más cercans, es necesari rdenar las distancias calculadas. Para hacer est, se puede utilizar algritms rápids cm Quicksrt cn un cste de: OO(nn lg nn) Clasificar La clasificación es la parte más sencilla. Para clases nminales se puede buscar la clase prevalente cn facilidad, usand un algritm cn un cste de OO(KK). Para clases numerales, la función también depende slamente del númer de vecins K resultand en el mism cste de OO(KK) Ttal Cm resultad el cste ttal para la clasificación es: OO(nn DD + nn lg nn + KK) Nrmalmente, el númer de vecins tmad en cuenta a la hra de clasificar, K, es relativamente baj cmparad cn n. Pr es el términ K es insignificante. Sól queda OO(nn DD + nn lg nn). Cm cnsecuencia, si la dimensión de ls punts D es mayr que lg nn, el cste será: OO(nn DD) Pdems supner que DD > lg nn para casi tdas las aplicacines cn un elevad númer de dimensines. (DD = 10 resultaría en nn < ) 3. ACELERAR EL ALGORITMO K-NN Este trabaj para acelerar el algritm de K-NN se centra en aprvechar el hech de que, si reducims el númer de dimensines D, pdems acercar el cste a OO(nn lg nn). 3.1 Reducir la dimensión Se puede reducir el númer de dimensines cn cualquier función que cnvierte varis dats de entrada en un sl valr que se puede utilizar para calcular la distancia. Una frma sencilla que cumple este criteri es calcular el prmedi. El factr de reducción R tiene que ser un divisr de D para reducir el númer de dimensines de D a DD ii = DD RR ii Sin embarg este factr puede variar para cada iteración. 3.2 Clasificar cn la dimensión reducida Cn la dimensión reducida n es psible clasificar punts cn la misma calidad que cn la dimensión riginal. Pr es prpnems un algritm iterativ: (1) Empezar cn un factr de reducción alt, para que la dimensión para la primera clasificación sea baja. (2) Aplicar el algritm K-NN y elegir el prcentaje P más cercan del cnjunt de entrenamient para cntinuar (PP KK nn ) (3) Aumentar la dimensión de este cnjunt reducid, es decir, reducir su dimensión riginal. (4) Cntinuar (2) & (3) hasta que sól quedan K vecins. 3.3 Análisis del tiemp necesari Supnems que el cste del algritm K-NN utilizad en el algritm iterativ se defina cm en el capítul 2: OO(nn DD) En cmparación cn el algritm sin ptimización cambiarán n y D: Para la primera clasificación partims de: nn 1 = nn DD 1 Para las siguientes clasificacines, nn ii bajará rápidamente mientras que DD ii subirá. Aunque el cste del algritm K-NN se reduce, se debe tener en cuenta que ahra hay que aplicar dich algritm varias veces y además es necesari calcular la dimensión reducida del punt a clasificar en cada iteración. Para btener una ventaja en el cste cmputacinal es necesari guardar td el cnjunt de entrenamient cn ls distints númers de dimensines utilizads, para que haya que reducir la dimensión de un sl punt para su clasificación. Obviamente es resulta en un cste de memria mayr Ejempl Análisis del tiemp Para demstrar la ventaja del cste cmputacinal supnems el ejempl siguiente: Recncimient / clasificación de imágenes Imágenes del tamañ 64x64 píxeles de 8 bit Cnjunt de entrenamient de imágenes Buscar sól el vecin más cercan (KK = 1) De este tamañ se btiene una dimensión de DD = 4096, así que en este ejempl D es much más alt que lg nn. Cn el algritm 1-NN riginal se btiene ls siguientes cstes: Para calcular tdas las distancias: ( 2 prque la calculación de la distancia euclídea requiere una sustracción y una multiplicación)

3 Para buscar el vecin más cercan: (n es necesari rdenar las distancias, sól hay que buscar la mínima distancia cn un cste de OO(nn)) En ttal: = Cn el algritm utilizand la reducción de dimensines calculams l siguiente: Para aplicar el algritm iterativ hay que fijar ls valres de P y R. Valres aprpiads para este cas serían, pr ejempl: P = 10%, que resulta en: nn 1 = 10 5, nn 2 = 10 4,, nn 5 = 10 R se elige para que en la primera iteración, DD 1 sea 1 y en la última, DD 5 sea D (4096): RR 1 = 4096 RR 2 = 512 RR 3 = 64 RR 4 = 8 RR 5 = 1 bien: RR ii = 8 5 ii Las dimensines que btenems para las iteracines sn: DD ii = 8 ii 1 bien: DD 1 = 1 DD 2 = 8 DD 3 = 64 DD 4 = 512 DD 5 = 4096 Para calcular el cste de la clasificación hay que tener en cuenta tdas las iteracines: Iteración 1: Iteración 2: Cste para calcular las distancias: Cste para buscar ls más cercans para la segunda iteración: (lg = 5) En ttal: Iteración 3: Cste para calcular las distancias: Cste para buscar ls más cercans para la siguiente iteración: En ttal: Cste para calcular las distancias: Cste para buscar ls 100 más cercans para la siguiente iteración: En ttal: Iteración 4: Iteración 5: Cste para calcular las distancias: Cste para buscar ls 10 más cercans para la siguiente iteración: En ttal: Cste para calcular las distancias: Cste para buscar el más cercan: 10 En ttal: Para las iteracines 1 a 4 es necesari reducir la dimensión del punt a clasificar: de la reducción mediante el prmedi resultan 4096 adicines y 1, 8, 64 y 512 divisines que pueden realizarse pr desplazamient binari. En ttal: = En ttal para tdas las iteracines: Cmparad cn el 1-NN sin reducción de la dimensión el algritm iterativ es aprximadamente 663 veces más rápid Análisis de la memria Obviamente una reducción del cste cmputacinal tan enrme resulta en un aument de la memria utilizada. Para btener la ventaja tempral del algritm, es imprescindible guardar ls dats de las dimensines reducidas de td el cnjunt de entrenamient para pder calcular las distancias directamente. En el ejempl sin ptimización del algritm K-NN sól es necesari guardar ls dats riginales resultand en una utilización de: bbbbbb 390 MMMMMM Para el algritm iterativ hay que guardar, además de ests, ls dats para cada iteración: bbbbbb 49 MMMMMM bbbbbb 6 MMMMMM bbbbbb 1 MMMMMM En ttal: ~447 MMMMMM Est significa que el increment de % en la velcidad implica un increment de un sl 15% en la memria. 4. APLICACIONES Debid a la facilidad de visualizar las dimensines reducidas, el recncimient de imágenes es quizá la aplicación más evidente.

4 En el ejempl anterir, la imagen riginal es de 64 pr 64 píxeles. Si en lugar de RR ii = 8 5 ii se utiliza RR ii = 4 5 ii, cada iteración pdría ser visualizada pr una imagen del mism tamañ per cn distintas reslucines: 32x32, 16x16, 8x8, 4x4. Sin embarg, en tería es psible utilizar el algritm para cualquier tip de dats, siempre y cuand sea psible aplicar una función de reducción (cm el prmedi) a las prpiedades. Es puede limitar el us cn prpiedades nminales. 4.1 Ejempl de representación En el siguiente ejempl la imagen tiene un tamañ de 8 pr 8 píxeles cn tns de grises de 8 bit. Para aplicar el algritm ptimizad usams cuatr iteracines cn las dimensines siguientes: DD 1 = 1 1 = 1 DD 2 = 2 2 = 4 DD 3 = 4 4 = 16 DD 4 = 8 8 = 64 Para calcular ls valres de las prpiedades reducidas usams el prmedi: NN MM NN = 1 NN xx ii La imagen riginal es la siguiente: ii=1 Fig. 4: Imagen reducida a 16 dimensines (CC 33 ) Cn el mism algritm se calcula las tras imágenes, cada vez cn mens píxeles. Para DD 1 = 1 se puede ver que la imagen en Fig. 6 sl cnsiste de un sl pixel en el tn de gris del prmedi de tds ls 64 píxeles de la imagen riginal: 64 CC 1 (1) = 1 64 CC 4(ii) ii=1 Fig. 3: Imagen riginal (CC 44 ) Para demstrar la reducción, cnviene empezar cn la última iteración, que utiliza la dimensión riginal, y cntinuar reduciend la dimensión. En DD 4 la imagen será la de Fig. 3 cn 64 píxeles, cada un blanc (0) negr (1). Para cnvertir la imagen a DD 3 dimensines bien píxeles tmams cuatr píxeles de la imagen riginal y ls unims a un nuev pixel de un tn de gris calculad cm prmedi de ls píxeles sustituids: Ls cuatr píxeles a la izquierda en la parte de arriba sn: (1, 0, 0, 0). El prmedi es: 1 ( ) = La imagen resultand de esta cnversión se puede ver en Fig. 4. Fig. 5: Imagen reducida a 4 dimensines (CC 22 ) Fig. 6: Imagen reducida a una dimensión (CC 11 )

5 5. REFERENCIAS [1] University f Muenster, CVPR Grup Mustererkennung. DOI= ME02-2.pdf [2] Villena, J Inteligencia en Redes de Cmunicacines. Aprendizaje. Universidad Carls III de Madrid. DOI= rial/06.pdf