Extracción de Atributos. Dr. Jesús Ariel Carrasco Ochoa Oficina 8311

Transcripción

1 Extraccón de Atrbutos Dr. Jesús Arel Carrasco Ochoa Ofcna 8311

2 Contendo Introduccón PCA LDA Escalamento multdmensonal Programacón genétca Autoencoders

3 Extraccón de atrbutos Objetvo Preprocesamento Clasfcacón Supervsada Regresón Agrupamento Vsualzacón

4 Extraccón de atrbutos Objetvo Preprocesamento Clasfcacón Supervsada Regresón Agrupamento Vsualzacón

5 Extraccón de atrbutos Por qué hacer Extraccón de atrbutos en clasfcacón supervsada Mejorar los resultados de la clasfcacón Reducr el costo de la clasfcacón Acelerar el proceso de clasfcacón

6 Extraccón de atrbutos El objetvo es transformar el espaco de representacón en otro de menor dmensón que conserve (o mejore) la nformacón contenda en la representacón orgnal Conservar o mejorar alguna característca de los datos Heurístcas

7 Extraccón de varables Muestra reducda Muestra M y 1.. y s M x 1 x 2... x n O 1 y 1 (O 1 ).. y s (O 1 ) O 1 x 1 (O 1 ) x 2 (O 1 )... x n (O 1 ) : : Extractor O m y 1 (O m ).. y s (O m ) O m x 1 (O m ) x 2 (O m )... x n (O m )

8 Estrategas de Extraccón Drectas (tratan de conservar o mejorar alguna característca de los datos) PCA LDA Escalamento multdmensonal Heurístcas Programacón genétca Autoencoders

9 PCA Transformacón lneal Busca un nuevo sstema de coordenadas ortogonales donde cada eje conserve tanta varanza (de los datos orgnales) como sea posble La prmera componente preserva la mayor cantdad de varanza, la segunda preserva la mayor cantdad de la varanza restante, y así sucesvamente. No utlza la nformacón de las clases

10 PCA Busca las dreccones en los datos con mayor varacón

11 PCA Sea X={x =1,,n} con x R m almacenados en una matrz de nxm 1. Centrar los datos (A cada columna de X le restamos la meda de la columna) 2. Calcular la matrz de covaranza de nxn como: C X =(1/n)XX T 3. Calcular los egenvectores y egenvalores de C X C X V=λV 4. La matrz V de nxn contene los egenvectores y el vector contene los egenvalores ordenados de mayor a menor

12 PCA Cada fla de V es una de las componentes prncpales S conservamos todas no se reduce la dmensón de los datos Se selecconan las k prmeros que capturen el K% de la varanza (los prmeros k tales que la suma de sus egenvalores sea K/100) La nueva representacón se obtene como: Y=V k X

13 LDA Transformacón lneal Busca un nuevo sstema de coordenadas que preserve o maxmce la separacón entre las clases Utlza la nformacón de las clases

14 LDA Busca las dreccones en los datos con mayor separacón entre las clases PCA LDA

15 LDA 2 clases Encontrar w que maxmce Solucón ( ) m m w = W S ( ) ( ) w w m m w w w w w w W T T W T B T J S S S = =

16 LDA K>2 clases (K 1,,K K ) Dspersón ntra-clase Dspersón entre-clases Buscar W tal que maxmce ( )( ) = = = t K T t t K W x m x m x S S S 1 ( )( ) = = = = K K T B K K m m m m m m S ( ) W S W W S W W W T B T J = Los egenvectores más grandes de S W -1 S B

17 Escalamento Multdmensonal El objetvo es mapear los objetos n dmensonales orgnales a R d, de modo que se preserven las dstancas entre objetos Usualmente se toma d=2 para vsualzar

18 Escalamento Multdmensonal Sea D es la dstanca en el espaco orgnal y d la dstanca en R d Sea o el mapeo en R d del objeto O El objetvo es encontrar un mapeo tal que: O, O j : D( O, O j ) = d( o, o j )

19 Escalamento Multdmensonal En general el objetvo no se puede lograr Por lo tanto, lo que se busca es un mapeo tal que: O, O j : D( O, O j ) d( o, o j )

20 Escalamento Multdmensonal Tetraedro A D A B C B C A B C D D

21 Escalamento Multdmensonal Cómo decdr qué tan bueno es un mapeo? ( ) ( ) = = j j j j j j j j o o d o o d O D O STRESS o o d O D O m MSE, 2, 2, 2 ), ( ), ( ), ( ), ( ), ( 1

22 Escalamento Multdmensonal Cómo construr un mapeo? Utlzar un optmzador Método del gradente Algortmos genétcos

23 Programacón genétca Idea Utlzar algortmos genétcos para generar programas que realcen una tarea Los ndvduos son programas La funcón de evaluacón (ftness) debe evaluar qué tan ben un ndvduo (programa) resuelve la tarea objetvo

24 Programacón genétca Representacón de ndvduos Los ndvduos son programas usualmente expresones matemátcas codfcadas como árboles

25 Programacón genétca Cruza (2 ndvduos) Se seleccona un nodo de cada ndvduo y se ntercamban Mutacón Se seleccona un nodo y se modfca

26 Programacón genétca Cruza

27 Programacón genétca Mutacón + - -

28 Programacón genétca Generar poblacón ncal P Para =1,..., numgeneracones evalúa(p) P2 = cruza(p) evalúa(p2) P3 = mutacón (P P2) evalúa(p3) P = seleccona(p P2 P3) salda = mejorelemento(p)

29 Programacón genétca Cómo utlzar PG para extraer atrbutos? Cada ndvduos representa una transformacón de los n atrbutos orgnales en k nuevos atrbutos Los ndvduos son coleccones de k árboles (funcones) Sólo se utlzan operadores de +, -, * Los operandos son constantes o alguna de las varables orgnales

30 Programacón genétca Cómo utlzar PG para extraer atrbutos? La cruza consste en ntercambar un árbol selecconado al azar entre dos ndvduos La mutacón consste en elmnar un árbol selecconado aleatoramente y agregar otro generado aleatoramente La funcón de ftness para un ndvduo consste en aplcar la transformacón ndcada y utlzar un clasfcador. La evaluacón de ndvduo será la caldad de los resultados de clasfcacón, evaluados con alguna medda de caldad de clasfcacón

31 Autoencoders Idea Utlzar una red neuronal de 3 capas en la cual las capas de entrada y de salda son del msmo tamaño (tantas neuronas como varables orgnales) y la capa central es más pequeña (tantas neuronas como varables a generar) Se entrena la red con la muestra para que la salda sea gual a la entrada (usualmente con retropropagacón) La saldas de la capa ntermeda son los valores de las nuevas varables

32 Autoencoders

33 Autoencoders Problema La capa oculta no puede ser muy pequeña en relacón con las de entrada y salda, pues en ese caso no es capaz de concentrar adecuadamente la nformacón de la entrada Solucón Agregar múltples capas ocultas que van dsmnuyendo paulatnamente de tamaño y después aumentando en la msma proporcón (Deep Learnng)

34 Autoencoders

35 Autoencoders Problema Una red tan grande es muy costosa de entrenar y el ajuste de los pesos no es muy bueno. Solucón Entrenar una a una las capas ocultas

36 Autoencoders Entrenar capa por capa

37 Autoencoders Ejemplo: PCA vs. Autoencoder en documentos

38 Evaluacón de extractores de varables Utlzando un clasfcador Selecconar un conjunto de bases de datos Utlzar algún método de valdacón aplcando extraccón+clasfcacón Utlzar alguna medda de evaluacón de caldad de clasfcacón