Capítulo 4: Clasificación no paramétrica (Secciones )

Transcripción

1 Capítulo 4: Clasfcacón no paramétrca (Seccones ) INTRODUCCION ESTIMATION DE DENSIDADES VENTANAS DE PARZEN

2 Introduccón Todas las densdades paramétrcas son unmodales (tenen un únco mámo local ), mentras que muchos problemas práctcos envuelven densdades mult-modales Los procedmentos no paramétrcos pueden ser usados con dstrbucones arbtraras y sn la hpótess de que las densdades son conocdas Hay dos clases centrales de procedmentos no paramétrcos en clasfcacón Estmacón de P( j ) Pasar de largo la estmacón de la densdad e r drectamente a la estmacón de la densdad a posteror Pattern Classfcaton, Ch4 (Part )

3 P( ) P( j )

4 3 Pattern Classfcaton, Chapter

5 Estmacón de la densdad Idea básca: Estmar p en un punto Probabldad de que un vector caga en una regon R es: P P es una verson suavzada o promedada de la funcon de densdad p() S tenemos una muestra de tamaño n, la probabldad de que k puntos cagan en R es: El valor esperado para k es : p( ' ) d' () P E(k) = np (3) k n P k k ( P) nk () Pattern Classfcaton, Ch4 (Part ) 4

6 Estmacón de la densdad La estmacón de mama verosmltud para P = se alcanza en ˆ Ma( Pk ) Por lo tanto el rado k/n es un buen estmador de la probabldad P y de la funcon de densdad p S p es contnua y s la regon R es tan pequeña que p no vara mucho en ella, entonces podemos escrbr k n P )V donde es un punto en R y V es el volumen de R p( ' )d' p( (4) Pattern Classfcaton, Ch4 (Part ) 5

7 Combnando ecuacones (), (3) y (4) se obtene: p( ) k / n V Pattern Classfcaton, Ch4 (Part ) 6

8 Prueba (charlada) Para justfcar la ecuacón p( ' )d' p( )V tenemos que asumr que p() es contnua y que la regon R es tan chca que p no vara sgnfcatvamente dentro de R. (4) Como p() = constante, no es parte de la suma. p( ' ) d' p( ' ) d' p( ' ) ( ) d' Pattern Classfcaton, Ch4 (Part ) 7

9 Prueba (charlada) p( ' ) d' p( ' ) ( ) d' p( ' ) ( ) Donde: (R) es: una superfce en el espaco Eucldeo R un volumen en el espaco Eucldeo R 3 un hpervolumen en el espaco Eucldeo R n Como p() p( ) = constante, en el espaco Eucldeo R 3 : p( ' ) d' Pattern Classfcaton, Ch4 (Part ) 8 p( ). V y p( ) k nv

10 Condcones de convergenca La fraccon k/(nv) es un valor promedado de p(). p() se obtene eacta solo s V se acerca a cero. S n es un numero fjo, puede no haber muestras en R, por lo cual lm V 0, k0 p( ) 0 (s n fjo) S alguna o mas muestras concden con, el estmador dverge lm V 0, k0 Pattern Classfcaton, Ch4 (Part ) 9 p( )

11 Convergenca 0 El volumen V necesta r a cero o no se podra usar esta estmacón. Practcamente, V no puede ser muy chco pues el numero de muestras es sempre lmtado. Se tene que aceptar varabldad en el rado k/n y un promedo en la densdad p() Teórcamente, con nfntas muestras, para estmar la densdad en, se forma una suceson de regones R, R, que contenen : la prmera con una muestra la segunda con dos, etc... Pattern Classfcaton, Ch4 (Part )

12 Condcones Sea V n el volumen de R n, k n el numero de muestras en R n y p n () el n-esmo estmador de for p(): p n () = (k n /n)/v n (7) Hay tres condcones necesaras s para asegurar la convergenca de p n () a p(): ) lmv n ) lmk n 3 ) lmk n n n n / 0 n 0 Pattern Classfcaton, Ch4 (Part )

13 ) lmv n ) lmk n 3 ) lmk n n n n / 0 n 0 La prmera condcon asegura que el rado P/V converge a p() La segunda condcon asegura que la frecuenca de observacon converge en probabldad a P La tercera condcon asegura que s ben hay nfntas muestras en la ventana, solo son una parte pequeña del total de muestras Pattern Classfcaton, Ch4 (Part )

14 Métodos Hay dos métodos prncpales para obtener estas condcones : (a) Reducr una ventana ncal medante una funcón φ, como V n = /n de tal forma que el k n resultante se comporte ben y se cumpla Este método es llamado método de estmacón de la ventana de Parzen (b) Especfcar k n como una funcón de n, como k n = n; el volumen V n crece hasta que engloba k n vecnos de. Este método se llama estmacon por los vecnos mas cercanos Pattern Classfcaton, Ch4 (Part ) 3 p n ( ) p( ) n

15 Pattern Classfcaton, Ch4 (Part ) 4

16

17 Ventana de Parzen El método de la ventana de Parzen para estmar densdades asume que la regon R n es un hpercubo d-dmensonal d V n Sea (u) (u) h n (h 0 6 : largo la funcon del lado de ventana : u j j,..., d en otrocaso ((- )/h n ) es gual a uno s cae dentro del hpercubo de volumen V n centrado en y es cero en otro caso n n ) Pattern Classfcaton, Ch4 (Part )

18 Ventana de Parzen El numero de muestras en el hypercubo es: Susttuyendo k n en ecuacon (7), se obtene: P n () estma p() como un promedo de funcones de y de muestras ( ) ( =,,n). esas funcones pueden ser generales! Pattern Classfcaton, Ch4 (Part ) 7 n n n h k n n n n h V n p ) (

19 Ejemplo Comportamento del método de la ventana de Parzen para el caso N(0,) Sea (u) = (/() ep(-u /) y h n = h /n (n>) y h parámetro conocdo Entonces p n ( ) es un promedo de densdades normales centradas en las muestras 8 n n h hn Pattern Classfcaton, Ch4 (Part )

22 Se obtenen resultados analogos en dos dmensones: Pattern Classfcaton, Ch4 (Part )

23 Pattern Classfcaton, Ch4 (Part )

24 Caso donde la densdad desconocda es una muestra de una densdad unforme y una densdad trangular p() =.U(a,b) +.T(c,d) 3 Pattern Classfcaton, Ch4 (Part )

26 Ejemplo de Clasfcacón Se estman las densdades por cada categora y se clasfca un punto de test con la etqueta correspondente al mamo a posteror 5 La regon de decson del clasfcador de la ventana de Parzen depende de la eleccon de la ventana como se lustra a contnuacon Pattern Classfcaton, Ch4 (Part )

28 Pattern Classfcaton, Chapter 4 (Part ) Implementacón del método de Parzen 7 La mayoría de los métodos de reconocmento de patrones pueden mplementarse en forma paralela. Estas mplementacones se representan en forma de redes neuronales. El método de la ventana de Parzen para clasfcacón se conoce tambén como la red neuronal probablístca. Se supone que se desea realzar una estmacón de Parzen basados en n patrones muestreados aleatoramente de c categoras.

29 Probablstc Neural Netorks 8 Los vectores a clasfcar (ngreso) estan conectados con n patrones, con pesos estmados con la muestra de entrenamento. Los patrones estan conectados con las c clases, tamben de acuerdo a la muestra de entrenamento.. t.

30 Pattern Classfcaton, Chapter 4 (Part ) Algortmo de entrenamento 9 Normalzar cada muestra de entrenamento, = Poner la prmera muestra de entrenamento en las undades de entrada Defnr los pesos de los enlaces de la muestra con el prmer patrón como k = k con k=,..,d. Hacer un enlace desde el patrón a la clase conocda de la muestra : ϵ ω j entonces p --> ω j Repetr el proceso para todos los patrones de entrenamento.

31 Pattern Classfcaton, Chapter 4 (Part ) 30 Cada undad patron tene como vector de pesos a una muestra de entrenamento. La etqueta de dcha muestra produce un enlace con las undades de categora.

32 Algortmo de clasfcacon Normalzar el vector a clasfcar y ponerlo en la undad de entrada Cada patron calcula el producto nterno con sus pesos para armar la red de actvacon net k t k. f ( net y emte una funcon no lneal haca la categora ω j donde esta conectada Cada categora suma las contrbucones de todos los patrones conectados con ella k net k ) ep hn k Pn ( j ) P( j ) j Clasfca selecconando el mamo valor de P n ( j ) 3 Pattern Classfcaton, Chapter 4 (Part )

33 3 Pattern Classfcaton, Chapter 4 (Part )

34 Captulo 4 (parte ): Clasfcacon no parametrca (Seccones ) K N E A R E S T N E I G H B O R E S T I M A T I O N T H E N E A R E S T - N E I G H B O R R U L E

35 K n estmacon de vecnos mas cercanos Objetvo: soluconar el problema de la mejor funcon de ventana Dejemos que el volumen sea una funcon de los datos de entrenamento Centremos una celda en y dejemos crecer el volumen hasta capturar k n muestras(k n = f(n)) k n son llamados k n vecnos mas cercanos Pueden ocurrr dos cosas: Densdad es alta cerca de ; por lo tanto la celda puede ser pequeña lo cual da una buen resolucon. Densdad es pequeña; por lo tanto la celda y se detendra cuando encuentre una regon de alta densdad. Podemos obtener una famla de estmadores ponendo k n =k /n y elgendo dferentes valores de k 34 Pattern Classfcaton, Chapter 4 (Part )

38 Objetvo: estmar P( ) de un conjunto de n muestras etquetadas medante vecnos mas cercanos Pongamos un volumen V alrededor de y capturemos k muestras k muestras alrededor k resultaron de la clase entonces: p n (, ) = k /n.v Un estmador de p n ( ) es: p n ( ) 37 p j c j n p ( n, ) (, j ) k k Pattern Classfcaton, Chapter 4 (Part )

39 Pattern Classfcaton, Chapter 4 (Part ) 38 k /k es la fraccon de las muestras dentro de la celda que estan etquetadas con Para una tasa de error mnma, la categora con mas frecuenca de representacon dentro de la celda es selecconada S k es grande y la celda es sufcentemente chca, el desempeño se acercara al mejor posble.

40 Pattern Classfcaton, Chapter 4 (Part ) La regla del vecno mas cercano 39 Sea Dn = {,,, n} un conjunto de n patrones etquetados Sea Dn el patron mas cercano al punto de test entonces la regla del vecno mas cercano para clasfcar es asgnar la etqueta asocada con La regla del vecno mas cercano lleva a un error mayor que el mnmo posble, la tasa de Bayes. S el numero de patrones es largo (lmtado), el error del clasfcador de vecnos mas cercano no es nunca peor que dos veces la tasa de Bayes S n, sempre es posble encontrar sufcentemente cerca de tal que: P( ) P( )

41 Ejemplo: = (0.68, 0.60) t Patrones Etquetas Probabldades a posteror estmadas (0.50, 0.30) = P( m ) (0.70, 0.65) Decson: 5 es la etqueta asgnada a S P( m ), entonces la regla del vecno mas cercano es cas sempre la eleccon de Bayes 40 Pattern Classfcaton, Chapter 4 (Part )

43 Pattern Classfcaton, Chapter 4 (Part ) La regla de k vecnos mas cercanos 4 Objetvo: Clasfcar a con la etqueta mas representada (en frecuenca) en los k patrones mas cercanos a de la muestra de entrenamento global

45 Ejemplo: k = 3 (valor mpar) y = (0.0, 0.5) t Prototypes (0.5, 0.35) (0.0, 0.8) (0.09, 0.30) (0., 0.0) Labels 5 Vectores mas cercanos a donde sus etquetas son: {(0.0, 0.8, ); (0., 0.0, ); (0.5, 0.35, )} El esquema de votacon asgna la etqueta a pues es el mas representado 44 Pattern Classfcaton, Chapter 4 (Part )

46 Captulo 4 (parte 3): Clasfcacon no parametrca (Seccones ) K N E A R E S T N E I G H B O R E S T I M A T I O N A N D M E T R I C S

47 La regla del vecno mas cercano clasfca asgnado la etqueta de la clase mejor representada, usando un esquema de votacon 46

48 Metrcas Este tpo de clasfcador depende de una funcón de dstanca o métrca. Una métrca es una funcón de dos vectores que cumple las sguentes propedades nonegatvdad: D(a,b) 0 refleon: D(a,b)=0 s a=b smetra: D(a,b)=D(b,a) desgualdad trangular: D(a,b)+D(b,c) D(a,c) 47

49 Escalar camba la clasfcacón 48

50 Métrca de Mnkosk Una clase general de métrcas para patrones d- dmensonales es la metrca de Mnkosk L 49 d / p p p( a, b) a b tambén llamada norma L p. La norma L es llamada dstanca cty block o Manhattan, y mde camno mas corto entre dos puntos a y b usando solo segmentos paralelos a los ejes. La norma L es la norma Eucldea La norma L entre a y b corresponde al supremo de la dferenca entre a y b, coordenada a coordenada.

51 Metrca de Mnkosk 50

52 Métrca Tanmoto La dstanca entre dos conjuntos S y S se defne como D( S, S ) 5 n n n n n n donde n y n son el numero de elementos de S y S respectvamente, y n es el numero de elementos de la nterseccón. Se usa cuando las característcas (elementos de los subconjuntos) o ben son guales o ben dstntas, y no hay nocón de grado de smlardad

53 Invarantes k-vecnos mas cercanos precsan métrcas nvarantes, las cuales no son unversales Cada problema tene transformacones asocadas, a las cuales la medda debe ser nvarante Transformacones comunes son: rotacones traslacones dstorsones escalado 5

54 Dstanca eucldea 53

55 Solucones Se pueden procesar los datos para ponerlos en pose Esto es muy costoso En mágenes, se realza cuando hay que fusonar datos para determnar cambos o generar tres dmensones 54 Para clasfcacón, es ndspensable trabajar con una dstanca nvarante

56 Clasfcador basado en dstanca tangente 55 Se supone que se conocen r transformacones para las cuales se tene que obtener nvaranca Para cada vector de entrenamento, se calcula F () la transformacón de (para cada transformacón dferente) Se construye el vector tangente TV de cada transformacón TV =F ()- El subespaco de los r vectores tangentes que pasan por representa una apromacón lneal de la combnacón de las transformacones.

57 56

58 Cómputo dstanca 57 Para calcular la dstanca tangente de un prototpo a un nuevo vector y, se usa la matrz T de todos los r vectores tangentes a D(, y) mn ( Ta) a y Esto es, la dstanca eucldea entre el vector y al espaco tangente de. Se calculan los k-vecnos mas cercanos (con esta dstanca) y se vota en el entorno para dar la etqueta.

59 58

60 Clasfcacon fuzzy 59 Hay una gran dscusón acerca de que s la lógca dfusa es otra forma de ver probabldades, o es una nueva forma de caracterzar la nformacón Los clasfcadores basados en lógca dfusa no se adaptan ben a grandes dmensones, y son muy pobres cuando hay falta de normalzacón. No usan datos de entrenamento, por lo cual, cuando fallan, es costumbre adaptarlos a sstemas llamados Neuro-fuzzy, que son neural netorks con patrones caracterzados por lógca dfusa. Anfs es uno de sus ejemplos mas mportantes

61 Reduced Coulumb energy netork 60 Metodo de Parzen fja una ventana para todo el espaco de caracterstcas. Sn embargo, en algunas regones un ancho de banda mas chco sera mas efcente mentras que en otras regones uno mas grande sera apropado. K-nearest neghbors reduce ese problema consderando regones ajustadas a la densdad de puntos. Un punto de vsta ntermedo sera ajustar la ventana durante el entrenamento de acuerdo al punto mas cercano de una categora dferente.

62 Reduced Coulumb energy netork 6

63 algortmos 6

64 63

65 Introduccon 64 En el captulo 3, las densdades de probabldad subyacentes eran conocdas. La muestra de entrenamento fue usada para estmar los parametros de esas dstrbucones de probabldad ( estmadores ML, MAP ). En este captulo, solo sabemos las formas de las funcones dscrmnantes : smlar a las tecncas noparametrcas. Pueden no ser optmas pero son muy facles de usar Nos proveen de clasfcadores lneales.

66 Funcones dscrmnantes lneales y superfces de decson Defncon 65 Es una funcon que es una combnacon lneal de componentes de g() = t + 0 () donde es el vector de pesos y 0 el de pesos Un clasfcador con dos clases con una funcon dscrmnante de la forma () usa la sguente regla: Decde por s g() > 0 y s g() < 0 Decde por s t > - 0 y en otro caso s g() = 0 se asgna a cualquera de las clases

67 66

68 67 La ecuacon g() = 0 defne la superfce de decson que separa puntos asgnados a la categora de puntos asgnados a la categora Cuando g() es lneal, la superfce de decson es un hperplano r es la dstanca algebraca de el punto al hperplano H, (la mnma dstanca de un punto fjo a cualquer punto de un plano)

69 68

70 69 d(0,h) en partcular ) ( r 0 y. ) pues g( ) g(. g(). 0 t p p 0 t t 0 t g r r r r p p

71 70 Como concluson, una funcon dscrmnante lneal dvde el espaco de caracterstcas por una supercfe de decson (hperplano) La orentacon de la superfce esta determnada por el vector normal a la superfce y la poscon de la superfce esta determnada por el desvo 0

72 Hay mas de una forma de etender clasfcadores lneales a mas de dos categoras. En la fgura mostramos el mas smple y el mas complejo 7

73 Lnear machne Se defnen c funcones dscrmnantes lneales 7 t g( ) 0,...,c y se asgna a s g () > g j () j ; en caso de empates, la clasfcacon queda ndefnda Un clasfcador as se llama lnear machne Una maquna lneal dvde el espaco de caracterstcas en c regones de decson, con g () el dscrmnante mas grande s esta en la regon R

74 73

75 Lnear machne Dos regones contguas R and R j ; tenen como frontera que las separa a una porcon de un hperplano H j defndo por g () = g j () s ( j ) t + ( 0 j0 ) = 0 j es normal a H j 74 d(,h j ) g g j j es facl mostrar que las regones de decson de una maquna lneal son conveas, esta restrccon lmta la flebldad y la precson del clasfcador

76 Funcones dscrmnantes lneales generalzadas Las fronteras de decson que separan las clases no deberan ser sempre lneales La complejdad de las fronteras algunas veces pden el uso de superfces altamente no lneales Una forma muy popular de generalzar el concepto de funcones de decson lneal es consderar una funcon de decson generalzada como : 75 g() = f () + f () + + N f N () + N+ () donde f (), N son funcones escalares del patron, R n (espaco eucldeo)

77 Funcones dscrmnantes lneales generalzadas Introducendo f n+ () = se tene: 76 g( ) N donde f (, ( ) T,...,. N, N ) T y (f ( ), f ( ),..., f N ( ), f N ( )) T esta ultma representacon de g() mplca que toda funcon de decson defnda por la ecuacon () puede ser tratada como lneal en el espaco (N + ) dmensonal (N + > n) g() mantenen sus caracterstcas no lneales en R n

78 La funcon de decson generalzada mas comun es g() donde f () ( N) son polnomos g( ) ( ) T T: es la transpuesta donde es un nuevo vector de pesos, el cual puede ser calculado del vector orgnal y de las funcones orgnales f (), N funcones de decson cuadratcas para un espaco de dos caracterstcas g( ) aqu : (,,..., 6 ) 3 T y 4 (, 5, 6,,,) T 77

79 Para patrones en R n, la funcon de decson cuadratca mas usada es: 78 g( ) n j j n n n n () j el numero de termnos en el lado derecho es : l N n n( n ) n ( n )( n ) Este es el numero de pesos que son los parametros lbres del problema S por ejemplo n = 3, el vector es 0-dmensonal s por ejemplo n = 0, el vector es 65-dmensonal

80 En el caso de funcones de decson polnomales de orden m, una f () tpca es : f ( ) e donde e,... e m,..., 79 m m 0 o. S f es polnomal con grado entre 0 y m para no tener repetcones se pde m n y e, m es g m ( ) n n... n m m m g ( ) m m (donde g 0 () = n+ ) es la funcon de decson polynomal de orden m mas general

81 80

82 Ejemplo : sea n = 3 and m = entonces: Ejemplo : Sea n = y m = 3 entonces: ) ( g ) ( ) ( donde g ) ( ) ( ) ( g g g g

83 La funcon dscrmnante cuadratca puede ser representada por una superfce cuadratca n- dmensonal 8 g() = T A + T b +c donde la matrz A = (a j ), el vector b = (b, b,, b n ) T y c, dependen de los pesos, j, de la ecuacon () S A es defnda postva entonces la funcon de decson es un hperelpsode con ejes en las dreccones de los autovalores de A En partcular: s A = I n (Identdad), la funcon de decson es smplemente una hperesfera n-dmensonal

84 83 S A es defnda negatva la funcon de decson descrbe un a hyperbolode En concluson: es solo la matrz A la que determna la forma y las caracterstcas de la funcon de decson

85 84

86 Dos clases lnealmente separables Tenemos n muestras de dos clases Queremos determnar pesos a en un dscrmnante lneal g()=a t y Una muestra y se clasfca correctamente s a t y>0 y esta en la clase, o a t y<0 y esta en la clase. Por lo cual, con una normalzacon, se puede buscar un vector a tal que a t y>0 para todas las muestras Un vector as es llamado vector solucon 85

87 solucon lneal 86

88 pesos a son vectores en el espaco de pesos cada muestra y es una restrccon a la poscon del 87 vector de pesos la ecuacon ay=0 defne un hperplano por el orgen del espaco de pesos que tene a y como vector normal por lo cual la solucon tene que estar en la nterseccon de n espacos, y todo vector de ese espaco nterseccon es solucon Podemos mamzar la mnma dstanca de las muestras al hperplano Otra posbldad es buscar el vector a que satsface donde b es el margen a t y b

89 con margen 88

90 89