MÉTODOS AVANZADOS EN APRENDIZAJE ARTIFICIAL: TEORÍA Y APLICACIONES A PROBLEMAS DE PREDICCIÓN

Transcripción

1 MÉTODOS AVANZADOS EN APRENDIZAJE ARTIFICIAL: TEORÍA Y APLICACIONES A PROBLEMAS DE PREDICCIÓN Manuel Sánchez-Montañés Lus Lago Ana González Escuela Poltécnca Superor Unversdad Autónoma de Madrd Transformacón de Varables. Preprocesamento de los datos. Creacón de varables más representatvas usando conocmento experto 3. Reduccón de la dmensonaldad

2 Preprocesamento de los datos Tpfcacón de varables Dscretzacón de varables Tratamento de fechas Creacón de varables ab dcotómcas cas Gestón de mssng values Deteccón de outlers Reduccón de la base de datos Balanceo de clases Normalzacón Creacón de varables más representatvas usando conocmento experto Ratos entre varables Ejemplo: NPI= Grade + Nodes + (Sze * 0.) Varables lógcas funcón de las varables orgnales Compresón de seres temporales: por ejemplo tendenca, meda, dspersón

3 Reduccón de dmensonaldad El problema de la dmensonaldad () Se refere a problemas asocados con el análss de datos multvarable cuando la dmensonaldad (número de varables) es grande Consderemos un problema de clasfcacón en 3 clases: - Una aproxmacón senclla sería: - Dvdr el espaco de característcas en celdas unformes - Por cada celda, calcular qué porcentaje de ejemplos de cada clase caen ahí - Dado un ejemplo nuevo, ver en qué celda cae, y asgnarle la clase predomnante ahí - En nuestro ejemplo de juguete decdmos empezar con un sólo atrbuto y dvdr la recta en tres segmentos - Después de hacer esto, nos damos cuenta de que hay bastante solapamento entre las clases, así que decdmos nclur un atrbuto nuevo para así ntentar mejorar la separabldad

4 El problema de la dmensonaldad () Decdmos mantener la granulardad de cada eje, lo que aumenta el número de celdas de 3 (en D) a 3 =9 9( (en D) - Llegados a este punto necestamos tomar una decsón: Mantenemos la densdad de ejemplos por celda, o mantenemos el número de ejemplos que teníamos en D? - S decdmos mantener la densdad, el número de ejemplos aumenta de 9 (en D) a 7 (en D) - S decdmos mantener el número de ejemplos, su dstrbucón en D está muy dspersada Densdad constante Número de ejemplos constante El problema de la dmensonaldad (3) S nos movemos a 3D, el problema empeora aún más: - El número de celdas aumenta a 3 3 =7 - S mantenemos la densdad de ejemplos, el número de ejemplos que necestamos es 8 - S mantenemos el número de ejemplos, cas todas las celdas están vacías Número de ejemplos constante

5 El problema de la dmensonaldad (4) Nuestra decsón ó de dvdr d el espaco de atrbutos t en celdas gualmente espacadas es claramente nefcente - Hay otras aproxmacones mucho menos susceptbles al problema de la dmensonaldad, pero el problema sgue exstendo Cómo soluconamos este problema? - Incorporando conocmento a pror - Suavzando la funcón objetvo (funcón de densdad) - Reducendo la dmensonaldad El problema de la dmensonaldad (5) En la práctca, el problema de la dmensonaldad d mplca que, dado d un número de ejemplos fjo, hay un número máxmo de atrbutos a partr del cual la efcenca de nuestro clasfcador se degrada en vez de aumentar - En muchos casos, la mayor caldad del clasfcador con menos atrbutos compensa la nformacón que perdemos descartando atrbutos. ef fcenca dmensonaldad

6 El problema de la dmensonaldad (6) Grado de crecmento del problema de la dmensonaldad: Crecmento exponencal en el número de ejemplos necesaros para mantener una densdad dada: Para una densdad de N ejemplos por celda en D dmensones, el número de ejemplos es N D Crecmento exponencal en la complejdad de la funcón objetvo (una estmacón de la densdad) con mayor dmensonaldad Una funcón defnda en un espaco de muchas dmensones es mucho más compleja que una funcón defnda en un espaco de menos dmensones, sendo estas complcacones más dfícles l de dscernr -Fredman El problema de la dmensonaldad (7) Resumendo: Dentro del aprendzaje, cuánto más compleja sea nuestra funcón más ejemplos necestaremos Incluso s sabemos (o suponemos) que las pdfs son gaussanas, para dmensones muy altas segumos tenendo problemas a no ser que asumamos una forma smplfcada en las matrces de correlacón σ C C3 C4 C σ C C 3 4 C C σ C C 4 C4 C 34 σ 4

7 El problema de la dmensonaldad (8) Resumendo: Computaconalmente el tempo de entrenamento de los algortmos ncrementa sustancalmente con el número de atrbutos. Atrbutos rudosos o rrelevantes pueden tener el msmo peso que atrbutos relevantes contrbuyendo negatvamente en la exacttud (accuracy). Tendenca a que las cosas parezcan más smlares cuánto más atrbutos se tenga. Overfttng Reduccón de la dmensonaldad Seleccón vs Extraccón de característcas: Seleccón: se seleccona un subconjunto de característcas a partr del conjunto orgnal Métodos de fltrado (flter methods): Selecconan el mejor conjunto de característcas en funcón de un crtero razonable. El crtero es ndependente del algortmo de aprendzaje. Ej: Informacón mutua con la clase, test múltple hpótess Métodos envolventes (wrapper methods): Seleccona el mejor conjunto de característcas de acuerdo al algortmo de aprendzaje. Ej: SVM-RFE (Guyon et al., 000) Extraccón: las nuevas característcas proceden de una transformacón de las orgnales. Ej: transformacón lneal y= W T x, este es el caso de LDA, PCA, ICA

8 Evaluacón es ndependente del algortmo de aprendzaje Seleccón se basa en el algortmo de aprendzaje. Inconvenentes: Alta carga computaconal Característcas selecconadas dependen del algortmo.

9 Reduccón de la dmensonaldad Enfoques (): Aprendzaje supervsado: Test de múltples hpótess Informacón mutua LDA Aprendzaje no supervsado: PCA ICA Fltrado smple: Test múltples hpótess () Contraste de hpótess: Hpótess nula H 0 frente a la hpótess alternatva H La hpótess nula es elegda de tal forma que la probabldad de cualquer resultado de un expermento puede ser calculado asumendo que H 0 es certa. Nunca se acepta H 0: se rechaza H 0 al nvel de sgnfcanca α no se rechaza al nvel de sgnfcanca α Es precso defnr un buen test estadístco, T y calcular los p-values

10 Test múltples hpótess () Aplcándolo l a la reduccón de dmensonaldad d en un problema con dos clases (ejemplo, mcroarray: tejdos con tumor y sn tumor) Objetvo: Seleccón de aquellos atrbutos (genes) que son estadístcamente dferencados (sgnfcatvos): Test estadístco : t student. Exgencas del test: p(x ω ) = N (μ, Σ) Hpótess nula: En el atrbuto (gen) estudado sgue la msma dstrbucón en las dos clases => H 0 : μ = μ Hpótess alternatva: No sguen la msma dstrbucón => H : μ = μ Para cada atrbuto la hpótess nula es contrastada contra la alternatva Fltrado smple, supone ndependenca de los atrbutos tb t Test múltples hpótess (3) Algortmo de seleccón de atrbutos:. Para cada atrbuto: Calcular su estadístco valor de t_calc Con el valor del estadístco calcular su p-value P-value: P( t > t_calc ). Selecconar aquellos atrbutos cuyos p-values sean menores que el nvel de sgnfcanca α => atrbutos sgnfcatvamente dferencados Selecconar atrbutos con p α

11 Test múltples hpótess (4) Pdf Error Tpo II β Error Tpo I α t Test múltples hpótess (5) Cálculo del estadístco: μ = Meda clase μ = Meda clase t = s μ μ + N N t-student Desvacón muestral s = ( N ) s + ( N ) ( N ) + ( N ) + N s s s N = = = ( x μ ) Ω N N Ω ( x μ ) = N Suponemos que las desvacones standard de las dos clases son equvalentes Número de grados de lbertad: υ = N + N

12 Test múltples hpótess (6) Aproxmacón de Welch-Satterthwate: μ μ Cálculo del estadístco (): s = μ = Meda clase μ = Meda clase t = S S + N N N Ω N x Ω ( x μ ) ( μ ) = N s = = N t-student Aproxmacón de Welch-Satterthwate: desvacones standard de las dos clases NO son equvalentes Número de grados de lbertad: υ = N s s + N N 4 4 s s + ( N ) N ( N ) Test múltples hpótess (7) Cálculo de los p-values: Tablas de la dstrbucón de Student para el valor calculado del estadístco t y ν grados de lbertad. Cálculo de la densdad de probabldad ν + t P( t ν ) = ν / B ν, t + x ν dx P-value = P( t ν)

13 Test múltples hpótess (8) Estudo sobre un únco atrbuto: Datos: Numero Patrones por clase Atrbuto Clase Atrbuto Clase Medas Desvacón Standard No. Patrones por clase 9 Grados lbertad por clase 0 8 Aproxmacón ó Welch-Satterthwate: th t =.694, ν = 5.5 Τabla para α=0.05 t_crtco =.746 t > t_crtco Rechazar la hpótess nula Atrbuto estadístcamente sgnfcatvo Fltrado smple: Informacón mutua () Informacón mutua respecto a la clase nos da una dea de cómo de ndependente es un atrbuto respecto a la clase: Mayor nformacón mutua mayor dependenca con la clase Entropía de una varable aleatora x: H [ x] = p( x)log p( x) dx Informacón mutua o gananca de la nformacón MI[ x, ω] = H[ x] H[ x ω] 0 C H[ x ω] = p( ωc ) H[ x ωc ] c= H [ x ω ] = p ( x ω )log p ( x ω ) dx c c c )

14 Informacón mutua () Seleccón de atrbutos:. Para cada atrbuto calcular su nformacón mutua, MI[x,ω]. Atrbutos con el valor de nformacón mutua alto corresponden a los atrbutos más dependentes de la clase Estos son los que nteresan Cómo hallo las funcones de densdad? Técncas de estmacón de densdades (pdf): Paramétrcas: Gaussanas, Combnacón de Gaussanas, otras funcones de densdad... No Paramétrcas: Hstogramas, vecnos próxmos, kernels... Inconvenentes métodos fltrado smple Combnando varables que ndvdualmente son buenas, no sempre conduce a buenos resultados en problemas de clasfcacón/clusterng. Dos o más característcas fuertemente correlaconadas pueden tener un alto valor en el rankng (nformacón mutua): Sólo una debería selecconarse S correlacones lneal Método de Pearson c k = ρ k σ σ k Solucones Propuestas: mrmr: mde la relevanca como la nformacón mutua con la clase y la redundanca como la nformacón mutua entre las varables: Peng, H.C., Long, F., and Dng, C., "Feature selecton based on mutual nformaton: crtera of maxdependency, max-relevance, and mn-redundancy," IEEE Transactons on Pattern Analyss and Machne Intellgence, Vol. 7, No. 8, pp.6-38, Quadratc Programmng Feature Selecton, Rodríguez et al. Journal of Machne Learnng.

15 Reduccón de la dmensonaldad con transformacones de los atrbutos Idea: encontrar una transformacón y=f(x) que conserve la nformacón acerca del problema, mnmzando el número de componentes En general, la funcón óptma y=f(x) será no lneal Sn embargo, no hay una forma de generar sstemátcamente transformacones no lneales: La seleccón de un subconjunto partcular de transformacones depende del problema Por esta razón, la lmtacón tacó a transformacones aco lneales eaes ha sdo sdo amplamente aceptada, y = W T x y es una proyeccón lneal de x Reduccón de la dmensonaldad con transformacones de los atrbutos () Transformacón lneal Por el momento nos centraremos en transformacones lneales, y volveremos a ver transformacones no lneales cuando hablemos de los perceptrones multcapa.

16 Representacón de la señal versus clasfcacón (PCA vs. LDA) La seleccón de la transformacón extractora de característcas, y=f(x), está guada por una funcón objetvo que buscamos maxmzar (o mnmzar) Dependendo del crtero usado por la funcón objetvo, las técncas de extraccón de característcas se dvden en dos categorías: - Representacón de la señal: El objetvo de la transformacón extractora de característcas es representar los vectores de atrbutos de manera precsa en un espaco de menos dmensones - Clasfcacón: El objetvo de la transformacón extractora de característcas es resaltar en un espaco de menos dmensones la nformacón dscrmnante de clases Hay dos técncas prncpales en la extraccón lneal de característcas: - Análss de Componentes Prncpales (PCA), que usa el crtero de representacón de la señal - Análss Dscrmnante Lneal (LDA), que utlza el crtero de clasfcacón Análss Dscrmnante Lneal (LDA) Análss Dscrmnante Lneal, dos clases Análss Dscrmnante Lneal, C clases Lmtacones de LDA Varantes de LDA Otros métodos de reduccón de la dmensonaldad basados en LDA

17 Análss Dscrmnante Lneal, dos clases () El objetvo de LDA es realzar una reduccón de la dmensonaldad, preservando el máxmo posble de nformacón dscrmnatora. Tenemos un conjunto de vectores en D dmensones {x, x,, x N }, donde N son de clase ω, y N de clase ω Buscamos obtener un escalar y proyectando los vectores x en una línea: y = w T x Análss Dscrmnante Lneal, dos clases () - De todas las posbles líneas, nos gustaría selecconar la que maxmza la separabldad de los escalares y = w T x - Ilustramos a contnuacón esta dea para el caso de vectores x con dmensones:

18 Análss Dscrmnante Lneal, dos clases (3) Para poder encontrar un buen vector de proyeccón, necestaremos defnr una medda de separacón entre las proyeccones - El vector promedo de cada clase en los espacos x e y es: Espaco Orgnal y Espaco de la Proyeccón - Podríamos entonces elegr nuestra funcón objetvo como la dstanca entre los promedos proyectados: clasfcacón por la dstanca a las medas Análss Dscrmnante Lneal, dos clases (4) - Sn embargo, la dstanca entre los promedos proyectados no es una buena medda ya que no tene en cuenta la desvacón standard dentro de las clases. este eje proporcona la mejor separacón entre clases este eje maxmza la dstanca entre medas

19 Análss Dscrmnante Lneal, dos clases (5) La solucón propuesta por Fsher es maxmzar una funcón que representa la dferenca entre las medas, normalzada por una medda de la dspersón dentro de las clases - Por cada clase defnmos la dspersón, un equvalente a la varanza, como: - donde la cantdad es la dspersón ntra clase de los ejemplos proyectados consderando gualdad en la probabldad a pror de las clases S ~ S W El dscrmnante lneal de Fsher se defne como la funcón lneal w T x que maxmza la funcón objetvo:. Dferenca entre medas proyectadas aumenta S. Dspersón ntraclases en la proyeccón dsmnuye Análss Dscrmnante Lneal, dos clases (6) De esta forma, estaremos buscando una proyeccón donde los ejemplos de la msma clase son proyectados muy cerca unos de otros (mínma dspersón), y al msmo tempo, las medas proyectadas están lo más lejos posble.

20 Análss Dscrmnante Lneal, dos clases (7) Para poder encontrar la proyeccón óptma w*, necestaremos expresar J(w) como una funcón explícta de w Prmero defnremos las matrces de dspersón en el espaco orgnal: S T [( x μ )( x μ ) x ω ] = E S W = π S + π S S - donde S w es la llamada matrz de dspersón ntra clase. La dspersón de la proyeccón y se puede expresar en funcón de la matrz de dspersón en el espaco x: ~ T T T T T T S = E ( y ~ μ )( y ~ μ ) y ω = E ( w x w μ )( w x w μ ) x ω [ ] [ ] T T T [ w ( x μ )( x μ ) w x ] = w S w = = E ω ~ ~ ~ T T T Sw = π S + π S = πw Sw + π w Sw = w ( π S + π S) w = w T S w w Análss Dscrmnante Lneal, dos clases (8) De manera smlar, podemos expresar la dferenca entre los promedos proyectados en funcón de las medas en el espaco orgnal x: - S B es la matrz de dspersón nterclase. Como es el producto externo de un vector consgo msmo, tene rango

21 Análss Dscrmnante Lneal, dos clases (9) Con lo que hemos vsto, podemos expresar J(w) como una funcón explícta de w: Maxmzar J(w) respecto a w tene una solucón analítca senclla: - donde el módulo de w* es ndferente Esta solucón es el famoso Dscrmnante Lneal de Fsher (936), aunque en realdad no es un dscrmnante sno la eleccón de una dreccón específca para la proyeccón de los datos a una dmensón ó Ejemplo de LDA Calcular la proyeccón LDA para el sguente conjunto de datos en dos dmensones: Solucón (a mano): - Las estadístcas de las clases son: - Las matrces de dspersón nter- e ntra-clase son: T S = E[ ( x μ )( x μ ) x ω ] - La proyeccón óptma vene entonces dada por: S W B = π S + π S S S = μ μ )( μ ) ( μ T

22 Análss Dscrmnante Lneal, C clases () El Dscrmnante de Fsher se puede generalzar a problemas con C clases (arbtraro) En vez de buscar una proyeccón y (escalar), buscamos (C-) proyeccones [y, y,, y C- ] por medo de (C-) vectores de proyeccón w. Defnmos por convenenca la matrz de proyeccón W con (C-) columnas: W=[w w w C- ] Análss Dscrmnante Lneal, C clases () Dervacón: - Matrz de dspersón ntra-clase C π T S = E[ ( x μ )( x μ ) x ω ] = S W = S - Matrz de dspersón nter-clase C S B = π ( μ μ )( μ μ ) = T

23 Análss Dscrmnante Lneal, C clases (3) De manera smlar, l defnmos el vector promedo y las matrces de dspersón de los ejemplos proyectados como: ~ μ = E ~ μ = E [ y y ω ] C [ y ] π ~ = = μ ~ S W = S C ~ π = C ~ S B = ~ ~ )( ~ π ( ~ μ μ μ μ) De manera análoga a cuando teníamos clases, podemos escrbr: = T Análss Dscrmnante Lneal, C clases (4) Estamos buscando una proyeccón que maxmce la dspersón ó nter-clase dvdda entre la dspersón ntra-clase. Ya que ahora la proyeccón no es un escalar (tene C- dmensones), usamos el determnante de las matrces de dspersón para obtener escalares: Funcón crtero de Fsher es una funcón escalar que es grande cuando: S B es grande S W es pequeña W - De esta forma, buscamos la matrz de proyeccones W* que maxmza J(W).

24 Análss Dscrmnante Lneal, C clases (5) Se puede demostrar analítcamente t que la matrz óptma W* es la que en sus columnas contene los (C-) autovectores de la matrz S - W S B correspondentes a los (C-) autovalores más grandes: (S W - S B ) W* = λ W* Análss Dscrmnante Lneal, C clases (6) Por qué (C-)? - S B es la suma de C matrces de orden o menos C S B = π ( μ μ)( μ μ) = y los vectores meda están restrngdos por: - De esta forma, S B es de rango menor o gual que (C-) T - Esto sgnfca que hay como mucho (C-) autovalores λ que no son cero - LDA se puede tambén dervar del método de Máxma Verosmltud para el caso en el que las densdades condconadas a la clase son gaussanas con las msmas matrces de covaranza.

25 Lmtacones de LDA LDA produce como mucho C - característcas proyectadas - S el error de clasfcacón estmado es demasado alto, necestaremos más característcas, con lo que deberemos utlzar otro método que proporcone esas característcas adconales. LDA es un método paramétrco ya que asume mplíctamente dstrbucones unmodales gaussanas. - S las dstrbucones b dstan de ser gaussanas, las proyeccones LDA no serán capaces de preservar nnguna estructura compleja en los datos, lo que puede ser necesaro para la clasfcacón. SB= 0 SB= 0 Lmtacones de LDA LDA falla cuando la nformacón dscrmnatora no está en la meda sno en la varanza de los datos: Precsa que S - W sea no sngular (S W S B )W*=λ λ W* No es aplcable a datos altamente dmensonados donde el número de patrones es menor que el número de característcas. Como dscrmnante será lneal

26 Varantes de LDA LDA no paramétrco, NPLDA (Fukunaga) - Este método no necesta la suposcón de gaussandad en las dstrbucones. Para ello, calcula la matrz de dspersón nter-clase S B usando nformacón local y la regla de K vecnos más próxmos. - Como resultado de esto: - La matrz S B tene orden máxmo, permténdonos extraer más de C- característcas. t - Las proyeccones son capaces de preservar la estructura de los datos de una manera más precsa. LDA ortonormal (Okada y Tomta) - Se computan proyeccones que maxmzan J(w) y a la vez son ortonormales entre sí. - Se combna lo obtendo con Fsher con el proceso de ortonormalzacón de Gram-Schmdt - Es capaz de encontrar más de C- característcas. LDA generalzado (Lowe) - Se generalza lo desarrollado con Fsher ncluyendo ahora funcones de costo smlares a las usadas al calcular el Resgo de Bayes. - El efecto es una proyeccón LDA cuya estructura está sesgada por la funcón de costo. - Las clases con costos C j mayores se separarán más en el espaco de proyeccones. Perceptrones multcapa (Webb y Lowe) - Estos autores demostraron que las capas ocultas de perceptrones mult-capa (MLP) efectúan un análss dscrmnante no lneal maxmzando Tr [ S B S + T ], donde las matrces de dspersón se mden a la salda de la últma capa oculta. [Nota: S T = S W + S B ]. PCA: DEFINICIÓN Y OBJETIVO Busca comprmr la nformacón que hay en los datos Construccón de componentes o factores más relevantes a partr de las varables orgnales resumen la nformacón representan los datos Smplfcar la estructura de los datos transformando las varables orgnales en otras llamadas componentes prncpales a través de combnacones lneales l de las msmas: Y=W T x

27 Defncón formal de PCA. El objetvo de PCA es realzar una reduccón de la dmensonaldad preservando lo máxmo posble la aleatoredad (varanza) orgnal en el espaco de alta dmensón - Sea un vector x de N dmensones, y una base de vectores ortonormales { φ, φ,, φ N }: φ φ j = φ φ j Entonces podemos expresar x como una combnacón lneal de estos vectores: Supongamos que queremos representar x con solamente M (M<N) de los vectores de la base. Podemos hacer esto s susttumos los componentes [Y M+,, Y N ] T por unas constantes preselecconadas b : Defncón formal de PCA. El error que tenemos en esta representacón de x es: Ν Δx(M) es un vector dferenca. La magntud del error es el módulo de este vector. Podemos cuantfcar el error que cometemos en promedo para cualquer x a través del promedo de la magntud al cuadrado: error cuadrátco medo. El objetvo es entonces encontrar los vectores base φ y las constantes b que mnmzan este error cuadrátco medo:

28 Defncón formal de PCA. 3 El problema es entonces encontrar los vectores base φ y las constantes b que mnmzan el error cuadrátco medo, bajo la restrccón de que los vectores φ deben formar una base ortonormal. Este problema se puede resolver analítcamente, llegando a una solucón cerrada: los φ son los autovectores de Σ x, sendo ésta la matrz de covaranza de x. Cov(X,X k ) = E [(X -μ )(X k - μ k )] Entonces, el error cuadrátco medo es: autovalores de los autovectores que no escogemos). Esto quere decr que debemos escoger los M autovectores cuyos autovalores son los mayores Resumendo: s queremos aproxmar con el mínmo error cuadrátco medo un vector aleatoro de N dmensones, a través de una combnacón lneal de M vectores, (M<N), debemos escoger que esos M vectores sean los autovectores de Σ x con mayores autovalores. Comentaros sobre PCA Ya que PCA elge los autovectores de la matrz de covaranza Σ x, es capaz de encontrar los ejes ndependentes de los datos cuando estos están dstrbudos gaussanamente - Para dstrbucones no Gaussanas (multmodales, por ejemplo), PCA smplemente decorrelacona los ejes (las nuevas varables tenen correlacón 0 entre ellas). La prncpal lmtacón de PCA es que no tene en cuenta la separabldad de las clases ya que no tene en cuenta las clases de los vectores x Método No supervsado - PCA smplemente realza una rotacón de coordenadas que alnea los ejes transformados con las dreccones de máxma varanza. - No hay ygarantía alguna de que los ejes de máxma varanza contengan una buena nformacón para la clasfcacón Comentaros hstórcos: - PCA es la técnca más antgua de análss multvarable - Se conoce tambén como transformada de Karhunen-Loève en otros campos como la Teoría de la Comuncacón y la Físca.

29 Ejemplo En este ejemplo tenemos una dstrbucón gaussana en tres dmensones con los sguentes parámetros: Cov(X,X k ) = E [(X -μ )(X k - μ k )] A contnuacón mostramos los tres pares de proyeccones en los componentes prncpales - La prmera proyeccón tene la mayor varanza, seguda por la segunda - Las proyeccones PCA decorrelaconan los ejes. Cov(Y,Y k )=0 Cov(Y,,Y ) )=0 Ejemplo Ahora tenemos una nube de datos en 3 dmensones Incalmente, excepto por un alargamento en la nube de puntos, no hay estructura aparente Elegr una rotacón apropada nos permte descubrr la estructura que hay por debajo (podemos pensar en esta rotacón como el camnar en 3 dmensones, buscando el mejor punto de vsta). PCA nos puede ayudar en encontrar la estructura mplícta en nuestros datos. Seleccona una rotacón tal que cas toda la varabldad de los datos es representada en las prmeras componentes prncpales. - En nuestro ejemplo no parece de mucha ayuda. - Sn embargo, cuando tenemos docenas de dmensones, PCA es muy potente

30 Ejemplo 3 Fnalmente, resolveremos a mano un problema de PCA. Computar los componentes prncpales de los sguentes datos en dos dmensones: La estmacón (sesgada) de Σ x, es: Cov(X,X k ) = E [(X -μ )(X k - μ k )] Los autovalores son los ceros de la ecuacón característca: Los autovectores son las solucones del sstema: Nota: para resolver este sstema, suponemos que una de las varables vale (p. ej., v =), y entonces calculamos la otra (en este caso, v ). Fnalmente, las dvdmos por un msmo factor para que la norma sea. Ejemplo 4. Qué obtendríamos con PCA en el sguente ejemplo? número de empleados antgüedad

31 Ejemplo 4. Qué obtendríamos con PCA en el sguente ejemplo? número de empleados antgüedad Qué factor, de los dos posbles, resume mejor el comportamento de los clentes con respecto a la antgüedad y el número de empleados? factor factor USO PRÁCTICO DE PCA Varables de partda Varables de salda varables orgnales Aplcacón de PCA componentes - Antgüedad del negoco - Componente - Número empleados - Componente - Facturacón - Componente 3 - Número de sucursales - Componente 4 Cada clente tene un valor en cada una de las varables Las varables orgnales tenen sentdo de negoco Las varables de salda, componentes, sntetzan la nformacón de las varables orgnales es dfícl darles un sentdo de negoco

32 CONDICIONES PARA SU APLICACIÓN (I) Tpo de las varables Por las propedades y característcas del modelo sólo está permtdo el uso de varables numércas S se dspone de varables categórcas que descrban drectamente el problema Para que ntervengan en el análss de componentes prncpales, es necesaro convertrlas en numércas Transformar la varable creando varables dcotómcas CONDICIONES PARA SU APLICACIÓN (II) Escala de medda La escala en la que esté medda la varable nfluye en esta técnca S no se quere dar mportanca a una varable por la escala en la que vene medda Normalzacón (o estandarzacón ) de los datos Correlacones PCA es una técnca que tene sentdo aplcarse en el caso de exstr altas correlacones entre las varables (ndco de que exste nformacón redundante) como consecuenca, pocos factores explcarán gran parte de la varabldad total.

33 APLICACIÓN DE PCA (I) Ejemplo : calfcacón de 5 alumnos en dstntas asgnaturas (los atrbutos orgnales se han normalzado) Factor Varabldad explcada (autovalor / suma de los 8 autovalores) Varabldad acumulada ( ) ( ) ( ) Construccón de 8 factores porque hay 8 varables ndependentes Con 8 factores se consgue explcar toda la nformacón Cada factor aporta menos nformacón que el anteror Con el prmer factor se explca cas el 50% de la nformacón Con 3 factores se consgue explcar el 94% de la nformacón APLICACIÓN DE PCA (II) Matemátcamente: Partendo de K varables ncales Construccón de una matrz a partr de los datos de partda Matrz de Varanza-Covaranza s los datos no están estandarzados o Matrz de Correlacones s los datos están estandarzados. Cálculo de los valores propos y vectores propos de la matrz T λ j y ( a j, a j,..., a jk ) para j =,..., k Cálculo de los nuevos atrbutos ( componentes ) C = ax a k X k k.. C = a X a k kk X k Las componentes sntetzan la nformacón de las varables

34 APLICACIÓN DE PCA (III) Característcas de las componentes o factores La correlacón entre factores dferentes es 0 Cov(Y,Y k )=0 Los prmeros tenen más relevanca (más nformacón) que los últmos Los factores sntetzan la nformacón de las varables orgnales S los atrbutos antguos estaban normalzados: Los nuevos atrbutos ( componentes o factores ) tenen meda 0 La varanza de cada factor es gual al valor propo asocado El Análss de Componentes Prncpales estuda las relacones que las varables tenen entre sí, descubrendo grupos de varables muy correlaconadas entre sí APLICACIÓN DE PCA (IV) Ejemplo : elmnacón de varables redundantes en el problema de mpago en PYMES PCA sobre las varables estandarzadas Número de factores Valores propos Varabldad explcada por cada factor de forma ndvdual Varabldad explcada medda de forma acumulada Por qué hay 9 factores? Porque hay 9 varables ndependentes PCA detecta redundanca en las varables? SÍ

35 Eleccón de componentes APLICACIÓN DE PCA (V) S nos quedamos con todas las componentes calculadas, no se gana nada con respecto a la stuacón orgnal del problema Crteros para la ayuda a la eleccón de factores o componentes.- Selecconar tantos factores necesaros para sumar al menos el 75% del valor total de la varanza.- Selecconar todos los factores con valor propo 3.- Representar en una gráfca los valores propos y selecconar el número de factores en funcón de un cambo brusco Seleccón de los r prmeros factores QUÉ APLICACIONES TIENE PCA? (I). Reducr el número de varables del problema medante extraccón de característcas: Y = W T X Nos olvdamos de las antguas varables y trabajamos en adelante con las varables sntétcas obtendas de los componentes prncpales. Por ejemplo, entrenamos un árbol de decsón con ellas.. Reducr el número de varables del problema medante seleccón de varables: Usamos PCA para que nos dga qué varables antguas podemos tachar (no aportan nformacón relevante o son redundantes). A partr de ese momento, trabajamos sólo con las varables antguas relevantes. 3. Deteccón de outlers : Usamos PCA para detectar qué ejemplos son atípcos 4. Descubrmento de clusters : Usamos PCA para detectar grupos dferentes de ejemplos.

36 QUÉ APLICACIONES TIENE PCA? (II) Ejemplo : calfcacón de 5 alumnos en dstntas asgnaturas Se dspone de la nformacón de 5 alumnos en cuanto a dstntas materas: lengua, matemátcas, físca, nglés, flosofía, hstora, químca y gmnasa. exste alguna relacón entre ellas? alguna agrupacón de estudantes? Ejemplo : elmnacón de varables redundantes en el problema de mpago en PYMES Varables ndependentes : antgüedad negoco, número de empleados, facturacón, comsón apertura, patrmono neto de los ttulares, renta comprometda de los ttulares, renta neta de los ttulares, mporte solctado, cocente entre patrmono y renta. exste nformacón ó redundante d en estas 9 varables? Métodos espectrales para reduccón de dmensonaldad Métodos lneales: l LDA PCA MDS (metrc multdmensonal scalng): Conserva la dstanca entre pares de patrones. Smlar a PCA Métodos basados en grafos: Isomap Maxmum varance unfoldng Locally Lnear Embeddng (LLE) Laplacan Egenmaps Kernel Methods Kernel PCA Graph-Based Kernel

37 Locally Lnear Embeddng LLE: algortmo o de reduccón de dmensonaldad dad de estructura no lneal, sn embargo parte de un ajuste lneal. algortmo no supervsado basado en teoría de grafos Necesdades: Varedad = Manfold = Espaco Orgnal S={x } D-dmensonal Número sufcente de datos = Manfold s well-sampled Motvacón: Conservar en el nuevo espaco reducdo la geometría exstente en el espaco orgnal. Capturar la geometría ntrínseca del vecndaro Embeddng

38 Locally Lnear Embeddng. Reconstruccón de un punto x con los puntos de su vecndaro: K x = W j= j x j K número de vecnos próxmos al punto x. Error cometdo para el punto x : ε = K x W j= j x j 3. Funcón de coste: ε( W ) = x N K = j= W x j j Locally Lnear Embeddng Calcular los pesos W: mn(ε (W)) sujeto a: W j j W j = = 0 s x j no pertenece al conjunto de vecnos de x Solucón Cerrada: problema de mínmos cuadrados con restrccones.

39 Locally Lnear Embeddng Efecto de los vecnos próxmos Locally Lnear Embeddng Para cada punto :. Calcular la matrz de correlacón de sus vecnos próxmos C C = jk x T j x k. Calcular la nversa de C 3. Calcular los multplcadores de Lagrange α = C j k T jk x x β = C k jk j, k Cálculo de los coefcentes W 4. Valor de los coefcentes Wj = T α Wj C jk x xk + k β = 0 s x j no pertenece al conjunto de vecnos de x

40 Locally Lnear Embeddng W obedecen una mportante smetría: Invarantes rotacones Invarantes reescalado W W j = Invarantes translacones de los datos y su vecndaro LLE construye vecndaros en un nuevo espaco d- dmensonal d<<d basándose en propedades de smetría. f: x y j Locally Lnear Embeddng

41 Locally Lnear Embeddng En el nuevo espaco de dmensón d<<d. Reconstruccón de un punto y con los puntos de su vecndaro: K y = W j= j y j Wj. Mnmzar la nueva funcón de coste θ ( Y ) = y = 0 N y K = j= Covaranza = I dxd W j y j Coefcentes encontrados anterormente Con las restrccones: Elmnar desplazamentos constantes centrando en cero Evtar solucones degeneradas Locally Lnear Embeddng mn( θ ( Y )) θ ( Y ) = N y K = j= W j y j N θ ( Y ) = M, j j y T y j donde M j = δ j W j W j + k W W k kj M T = ( I W ) ( I W ) Μes una matrz smétrca semdefnda postva Μes una matrz dspersa, pues W tambén lo es mn( θ ( Y )) mn( M )

42 Locally Lnear Embeddng mn( ( θ ( Y )) mn( ( M ) Problema de descomposcón espectral: 0 = λ λ λ 3 λ 4 L λ N λ = 0 Autovector untaro (restrccón a que los embeddngs tengan meda cero). y = 0 y El resto de los d autovectores (autovalores más pequeños) nos van a dar los nuevos y: x y = f ( ), L, f ( )) ( d + Locally Lnear Embeddng EMBEDDING ΟRIGINAL f f...f d+ Y N X N Y Y Y N D d f Autovectores asocados a los menores autovalores de la matrz T M = ( I W ) ( I W )

43 Locally Lnear Embeddng Nuevo dato x y k ( x) = n = y k ( x ) W ( x, x ) k =... d l l de x, no vecnos W(x,x )=0 = realmente en los vecnos donde W ( x, x ) es el coefcente de x en la reconstruccón de x por sus vecnos más próxmos en el conjunto de entrenamento (volver a la transparenca del cálculo de W, número 78). K x = W( x, x j ) x j== = T α W ( x, x ) C k x x k + k β j α = C j = C β jk j, k k jk x T x k