Mineria de Datos. Clasificacion supervisada: clasificadores k-nn. Dr. Edgar Acuna Departmento de Matematicas

Transcripción

1 Mineria de Datos Clasificacion suervisada: clasificadores k-nn Dr. Edgar Acuna Deartmento de Matematicas Universidad de Puerto Rico- Mayaguez academic.urm.edu/eacuna 1

2 En el método de los k vecinos mas cercanos ( knn: k nearest neighbors") (Fix y Hodges, 1951) se estima la función de densidad de donde rovienen un conjunto de datos. Alicado a clasificacion suervisada el metodo k-nn se usa ara estimar la función de densidad condicional f(x/c j ), de las redictoras x or cada clase C j. Es un método de clasificación noaramétrico, ya que no se hace ninguna suosición distribucional acerca de las variables redictoras. 2

3 Estimacion de densidad univariada or knn Sea x 1, x 2,..x n una muestra con una función densidad desconocida f(x) que se desea estimar y sea t un número real. Recordar que la robabilidad de que x caiga en el intervalo (t-h,t+h), uede ser aroximada or 2hf(t), donde f es la función de densidad y h es una constante cercana a cero. Por otro lado dicha robabilidad tambien uede ser estimada or k/n, donde k es el número de observaciones que caen en el intervalo (t-h,t+h). O sea f(t) k/2hn. En estimacion k-nn, k es refijado y h se determina de acuerdo a el. Más formalmente, sea d(x,y)= x-y la distancia usual entre los untos x e y de la linea recta. 3

4 Suongamos que hemos calculados todas las distancias d(x i,t)= x i -t y que estas son ordenadas de menor a mayor, tal como d 1 (t) d 2 (t). d n (t) Entonces el estimador de la funcion de densidad f en el unto t segun sus k vecinos mas cercanos esta dado or ˆ k f ( t) = 2nd ( t) k 4

5 Ejemlo Estimar usando k-nn la función de densidad corresondiente al siguiente conjunto de datos El histograma (normalizado ara que el area sea 1) de los datos se muestra en el siguiente slide. El estimador de la funcion de densidad usando un vecino mas cercano se muestra abajo. Se hace uso de la funcion fdknn en R. >y=c( , , , , , , , , , ) > fdknn(y,10,1) [1] [7]

6 6

7 Estimador k-nn de la funcion de densidad ara k=1,3,5,7 7

8 Estimacion de densidad multivariada El estimado de la función de densidad en el unto d-dimensional x tiene la forma ˆ k f (x) = nv k (x) donde v k (x) es el volumen de un elisoide centrado en x de radio r k (x), que a su vez es la distancia de x al k-ésimo unto más cercano. 8

9 El clasificador k-nn Desde el unto de vista de clasificacion suervisada el método k-nn es bien simle de alicar. En efecto, si las funciones de densidades condicionales f(x/c i ) de la clase C i que aarecen en la ecuación P( C i / x) = f (x / Ci ) π f (x) i son estimadas or k-nn. Entonces, ara clasificar un objeto, con mediciones dadas or el vector x, en la clase Ci se debe cumlir que k k iπ jπ i j > n v ( x) n v ( x) i k ara j i. Donde k i y k j son los k vecinos de x en las clase C i y C j resectivamente. j k 9

10 Asumiendo riors roorcionales a los tamaños de las clases (n i /n y n j /n resectivamente) lo anterior es equivalente a: k i >k j ara j i Luego, el rocedimiento de clasificación sería así: 1) Hallar los k objetos que están a una distancia más cercana al objeto x, k usualmente es un número imar. 2) Si la mayoría de esos k objetos ertenecen a la clase C i entonces el objeto x es asignado a ella. En caso de emate se clasifica al azar. 10

11 Hay dos roblemas en el método k-nn, la elección de la distancia o métrica y la elección de k. La métrica más elemental que se uede elegir es la euclideana d(x,y)=(x-y)'(x-y). Esta métrica sin embargo, uede causar roblemas si las variables redictoras han sido medidas en unidades muy distintas entre sí. Algunos refieren rescalar los datos antes de alicar el método. Otra distancia bien usada es la distancia Manhatan definida or d(x,y)= x-y. Si hay redictoras de distnto tio, esto es continuas, nominales y ordinales, entonces el uso de la distancia euclideana nos es un aroiado. Se ueden usar distancia ara variables mixtas (Wilson y Martinez, Gower). Algunas veces, las redictoras discretas son continuizadas, ero esto es muy comlejo de hacer. 11

12 La distancia Gower (I) La distancia Gower (Gower, 1971) entre las instancias d- dimensionales x i y x j esta definida or dist. Gow( x, x i Si la k-esima variable es nominal entonces d ijk =0 si x ik =x jk y 1 en caso contrario. Los w ijk= 1 Si la k-esima variable es logica o binaria asimetrica entonces d ijk =0 si x ik =x jk =TRUE, y 1 en caso contrario. Los w ijk seran 1 en todos los casos exceto cuando x ik =x jk =FALSE en cuyo caso valen 0. Si la k-esima variable es continua u ordinal entonces d ijk= x ik - x jk /rango(x k ). Los w ijk =1. Tambien si x ik o x ik o ambos estan missing entonces w ijk vale 0. j ) d k = 1 = d w k = 1 ijk w d ijk ijk 12

13 La Distancia Gower La funcion gower.dist del aquete StatMatch de R calcula la distancia gower Gower.dist(ejearbol) Otra manera de lidiar con variables nominales es usar variables binarias ara reresentarlas. Asi si una varibale nominal asume k valores distintos se ueden usar k-1 variables binarias raa reresentarlas. 13

14 Enas y Choi (1996) usando simulación hicieron un estudio ara determinar el k ótimo cuando solo hay dos clases resentes y determinaron que si los tamaños muestrales de las dos clases son comarables entonces k=n 3/8 si habia oca diferencia entre las matrices de covarianzas de los gruos y k=n 2/8 si habia bastante diferencia entre las matrices de covarianzas. El sesgo del error de classificación aumenta a medida que k aumenta, en tanto que la varianza disminuye. Se ha demostrado (Cover y Hart, 1967) que la tasa de error del clasificador k-nn es a lo más dos veces la tasa de error ótimo (error del clasificador Bayesiano donde las osteriores son conocidas). 14

15 Ejemlo: Datos de notas eje1dis=read.table( htt://math.urm.edu/~edgar/eje1disc.dat,header=t) > knn(eje1dis[,1:2],eje1dis[,1:2],eje1dis[,4],k=1) [1] f fffffff Levels: f ># errror de clasificacion con k=1 vecinos > exak1=knn(eje1dis[,1:2],eje1dis[,1:2],eje1dis[,4],k=1) > mean(exak1!=eje1dis[,4]) [1] 0 > knn(eje1dis[,1:2],eje1dis[,1:2],eje1dis[,4],k=5) [1] f f f f f ffff Levels: f ># error de clasificacion con k=5 vecinos >exak5=knn(eje1dis[,1:2],eje1dis[,1:2],eje1dis[,4],k=5) > mean(exak5!=eje1dis[,4]) [1]

16 Ejemlo: Frontera de decision EX1 EX2 f f f f f f f f Grafica de las fronteras de knn-1 16

17 Ejemlo de knn: Bua > knn(bua[,1:6],bua[,1:6],bua[,7],k=3) [1] [38] [75] [112] [149] [186] [223] [260] [297] [334] Levels: 1 2 Error de mala clasification or resustitucion > mean(knn(bua[,1:6],bua[,1:6],bua[,7],k=3)!=bua[,7]) [1]

18 Ejemlo (cont) > buak1=knn(bua[,-7],bua[,-7],as.factor(bua[,7]),k=1) > table(buak1,bua[,7]) buak error=0% > buak5=knn(bua[,-7],bua[,-7],as.factor(bua[,7]),k=5) > table(buak5,bua[,7]) buak error=21.44% 18

19 Ejemlo (cont.) ># estimacion del error or el metodo de dejar uno afuera > mean(knn.cv(bua[,1:6],bua[,7],k=5)!=bua[,7]) [1] > mean(knn.cv(bua[,1:6],bua[,7],k=7)!=bua[,7]) [1] > mean(knn.cv(bua[,1:6],bua[,7],k=9)!=bua[,7]) [1] > mean(knn.cv(bua[,1:6],bua[,7],k=11)!=bua[,7]) [1] ># estimacion del error or validacion cruzada > crossval(bua,method="knn",kvec=7,reet=10) [1] > crossval(bua,method="knn",kvec=9,reet=10) [1] > crossval(bua,method="knn",kvec=11,reet=10) [1]

20 Ejemlo de knn: diabetes > diabk3=knn(diabetes[,-9],diabetes[,-9],as.factor(diabetes[,9]),k=3) > table(diabk3,diabetes[,9]) diabk error=14.06% > diabk5=knn(diabetes[,-9],diabetes[,-9],as.factor(diabetes[,9]),k=5) > error=mean(diabk5!=diabetes[,9]) >error #estimacion del error or validacion cruzada crossval(diabetes,method="knn",kvec=3,reet=10) Loading required ackage: class [1] > crossval(diabetes,method="knn",kvec=5,reet=10) [1]

21 Otro clasificador noarametrico Estimacion de densidad or kernel. Pero su mayor desventaja es que es esado comutacionalmente. El mas usado es el kernel gaussiano. Los metodos noarametricos or lo general afrontan el roblema de la maldicion de la dimensionalidad. El numero de datos debe crecer casi exonencialmente al numero de la dimension ara que la estimacion sea buena. 21