Análisis de Componentes Principales. El análisis de componentes principales (ACP) tiene sus antecedentes en Psicología, a través

Transcripción

1 Caítlo 3 Análss de Comonentes Prncales El análss de comonentes rncales (ACP) tene ss antecedentes en Pscología, a través de las técncas de regresón lneal ncadas or Galton Esecífcamente, Pearson (90) resentó la rmera roesta del método de comonentes rncales Sn embargo, el nombre de comonentes rncales y s rmer desarrollo teórco se debe a Hottelng (933), qen desarrolló n método de etraccón de factores Por s arte, Thrstone (947), eresó la relacón entre las correlacones y las satracones de las varables en los factores Asmsmo, ntrodo el conceto de estrctra smle y desarrolló la teoría y método de las rotacones factorales ara obtener la estrctra factoral más senclla En n rnco las rotacones eran gráfcas Kaser (958) desarrolló el método denomnado VARIMA ara realzar rotacones ortogonales medante La dea central del método de comonentes rncales, consste en redcr n varables a factores o comonentes (rncales), en donde << n De los comonentes qe se obtenen, el rmero, corresonde a n sbconnto de las n varables qe resentan la mayor varanza y or tanto, dcho sbconnto de varables comarten característcas smlares en los datos orgnales El segndo factor, corresonderá al sgente sbconnto de varables qe comarten elementos smlares, ero la varanza qe resentan es menor a la del rmer factor; y así scesvamente 74

2 rocedmentos matemátcos Dcho método, es el qe actalmente tlzan los dversos aqetes comtaconales, como SPSS y SAS El análss de comonentes rncales se emleó ncalmente (y se sge tlzando), en la scología, las cencas socales y natrales Sn embargo, desde hace algnos años se ha vsto lo útl de s alcacón en las cencas físcas, la ngenería, la economía, la edcacón, el reconocmento de atrones, etc Por otra arte, a Fnaga (97), se le consdera como el rmer nvestgador en alcar el análss de comonentes rncales al Reconocmento de Patrones 3 Característcas generales del análss de comonentes rncales El análss con comonentes rncales es na técnca de análss estadístco mltvarante qe se clasfca entre los métodos de smlfcacón o redccón de la dmensonaldad de varables, y qe se alca cando se dsone de n connto elevado de varables con datos canttatvos y con el fn de obtener n menor número de varables: Las nevas varables, son na combnacón lneal de las varables orgnales y se denomnan comonentes rncales o factores El análss con comonentes ermte la descrcón, de forma sntétca, de la estrctra y las nterrelacones de las varables orgnales en el fenómeno qe se estda a artr de los factores qe se obtveron 75

3 Por tanto, el método de comonentes rncales tene como roósto transformar n connto de varables, a las qe se denomnan varables orgnales nterrelaconadas, en n nevo connto de varables, combnacón lneal de las orgnales denomnadas factores o comonentes rncales Estas últmas se caracterzan or estar ncorrelaconadas entre sí En general, la etraccón de los factores se efectúa sobre varables tfcadas ara evtar roblemas dervados de escala, anqe tambén se ede alcar sobre varables eresadas en desvacones resecto a la meda S varables se encentran tfcadas, la sma de las varanzas es gal a, ya qe la varanza de na varable tfcada es or defncón gal a El nevo connto de varables qe se obtenen tlzando ACP, es gal en número al de varables orgnales Sn embargo, es mortante destacar qe la sma de ss varanzas es gal a la sma de las varanzas de las varables orgnales Las dferencas entre ambos conntos de varables estrba en qe, como ya se ndcó, los factores se calclan de manera qe estén ncorrelaconados entre sí (a no ser, qe se esecfqe lo contraro en el análss) Cando las varables orgnales están my correlaconadas entre sí, la mayor arte de s varabldad se ede elcar con my ocos comonentes (factores) S las varables orgnales estveran comletamente ncorrelaconadas entre sí, entonces el ACP carecería de alcacón, ya qe en ese caso, los factores concdrían con las varables orgnales Tambén se ede decr, qe medante el ACP, se tene la osbldad de dentfcar atrones en n connto de datos y eresar los datos de na forma en qe recolemos ss smltdes y dferencas 76

4 3 Planteamento matemátco general Songamos qe cada ndvdo está descrto or varables Los datos de n setos se eden reresentar medante la matrz de orden n : n n n () Los datos de la matrz forman na nbe de n ntos en n esaco -dmensonal Por tanto, sea,, na base de R Y consderando la nbe -dmensonal de n ntos a la qe se denomnará M M,,, M n, en los cales se tendrán las coordenadas (,,, ) corresondentes al nto M en la base,, Por tanto, cada línea de la matrz defnda en () corresonde a los comonentes de n nto de la nbe en el sstema de coordenadas ndcdo or esta base Consderando ahora otra base,,, de Y las coordenadas R ( z z,, z ), del nto M en esta neva base, se ede constrr la matrz de orden n 77

5 (3) n n n z z z z z z z z z Para relaconar con, consderamos U, como la matrz de aso de la base,, a la neva base La matrz U es na matrz de orden cyas colmnas tenen las coordenadas de los vectores,, en la base ncal, es decr s (4) entonces, la matrz de aso será (5) U Por tanto, la relacón entre, y U es (6) T U Como U es nvertble, se ede dedcr qe 78

6 ( U T ) (7) S los vectores,, forman na base ortonormal, la matrz U satsface la relacón U T U I y or lo tanto ( U T ) U Matrz de covaranzas y cambo de bases La matrz de covaranzas ara la matrz se encentra reresentada or S s s s s s s s s s (8) donde s reresenta la varanza de la varable en el connto y, es la covaranza de y s Smlfcando, s se asme qe las varables en,, están centradas, es decr qe tenen na meda de cero: 0 Con lo anteror, se ede comrobar qe la matrz de covaranzas de se ede eresar como S ' (9) n 79

7 Utlzando la ecacón (9), se ede dedcr qe la matrz S de covaranzas de las varables,,, comonentes de los ntos en la neva base,, se relacona con S or medo de T T T T U ( U ) U S ( U ) S (0) n n En el caso en qe U es ortogonal, la relacón se ede escrbr como S U S U () Por tanto, de forma general: s las varables,, se consderan ncorrelaconadas y son na combnacón lneal de las varables ncales y se asme qe elcan la mayor arte de s varabldad, se ede escrbr como: () El sstema anteror es reversble, or lo cal, se ede eresar a las varables en fncón de los comonentes rncales, or tanto: 80

8 (3) Utlzando los comonentes como tfcados: Y,,, (4) λ Entonces, en el segndo sstema (3), se ede ssttr los or Y λ, resltando la ecacón -ésma del sstema con la sgente forma: Y λ Y λ Y λ (5) De la teoría de comonentes rncales (Pérez, 004; Batsta y Martínez, 989), se conoce qe λ es el coefcente de correlacón entre la varable -ésma y la comonente h- h h ésma, lo qe ermte escrbr la ecacón como: r Y r Y ry (6) De la ecacón anteror, se tene la osbldad de searar ss últmos - térmnos, lo qe ermte escrbrla como: ( r Y r Y ) r Y r Y ry, (7) 8

9 Consderando qe na ecacón de modelo factoral se ede reresentar como: l F l F l F e (8) se ede observar qe los factores F h se estman medante las rmeras comonentes rncales tfcados ( Y ) y la estmacón de los coefcentes l, se encentra dada or: h h l ˆ r, lˆ r,, lˆ r (9) La comnaldad de la varable se ede estmar como: h ˆ ˆ ˆ ˆ l l l (0) y el factor únco e se estmará como: e ˆ r, Y rm, Y ry () Por últmo, la esecfcdad o arte de la varanza qe se debe al factor únco se ede estmar como: ˆ ω ˆ h () Utlzando los elementos matemátcos descrtos anterormente, se tene la osbldad de confgrar dversos sstemas ara análss de comonentes rncales En general, de manera básca se ede consderar qe calqer roblema de comonentes rncales, se reresentaría en notacón matrcal como: 8

10 y A' (3) y ara n comonente calqera: y a (4) donde: A es na matrz cadrada de orden cyas colmnas reresentan los esos de las combnacones lneales o Comonentes Prncales es el vector de las varables orgnales Y ara elmnar la ndetermnacón qe se ede rodcr or el hecho de qe la varanza de los comonentes rncales ede llegar a modfcarse al mltlcar los esos or constantes, se mone la restrccón de qe el vector de coefcentes de cada comonente sea de módlo, or tanto: a' a (5) De manera fnal, se eden lantear qe las rncales defncones qe sbyacen a las formlacones matemátcas qe se han resentado, son las sgentes: F El rmer comonente rncal es na combnacón lneal de las varables orgnales, dada or a ' a a' y con varanza máma Con la restrccón de qe 83

11 F El segndo comonente rncal, es la combnacón de las varables orgnales dada or a, qe mamza la varanza Y con las restrccones: a a y ' ' Cov( a', a' ) 0 En general, el -ésmo comonente rncal será la combnacón lneal de las varables observadas, dada or a' qe mamza la varanza no elcada y con las restrccones: a' a y Cov ( a', a' ) 0 ara (< ) Adconalmente, Var ( F ) > Var( F ) > > Var( F ) y Cov( Y, Y ) 0 ara ( ) Dversos aqetes de software dsonbles actalmente (SPSS, SAS, Mntab, etc), tenen la osbldad de realzar análss de comonentes rncales con dversas alternatvas Sn embargo, ara roblemátcas my esecífcas, como es el caso del roblema qe nos oca sobre reconocmento de rostros, se reqere de n sstema ad hoc ara calclar los comonentes y qe nclya dversos elementos adconales Por tanto, en la sgente seccón, se resenta los elementos rncales ara confgrar el algortmo de reconocmento de rostros basado en análss de comonentes rncales Se tlzarán dversos elementos matemátcos qe se lantearon en la resente seccón La rogramacón del sstema, se realzará tlzando MATLAB y la Herramenta de Procesamento de Imágenes de Matlab 84

12 33 Reresentacón de rostros tlzando el análss de comonentes rncales La magen de n rostro, se ede reresentar tlzando n vector S el ancho y la altra de la magen del rostro es de vector será n w h w h eles resectvamente, el número de comonentes del Cada valor nmérco del íel, corresonderá a n elemento del vector La constrccón de dcho vector a artr de la magen, se realza or medo de na smle concatenacón: los renglones de la magen se localzan na tras otra Esaco de magen y esaco de rostros El vector qe reresenta al rostro ertenece a n esaco, al qe se denomnará esaco de magen Y es en donde se encentran todas las mágenes cya dmensón es n Utlzando el método de comonentes rncales y obtenendo los denomnados factores o comonentes, se obtendrá el esaco de rostros La dmensón de n rostro en el esaco de magen es n, sn embargo, no todos los eles del rostro eden ser relevantes Además, cada íel deende de ss vecnos Por tanto, se resone, qe la dmensón del esaco del rostro es menor qe la dmensón del esaco de la magen El obetvo de tlzar el método de Comonentes Prncales, consste en redcr la dmensón de n connto o esaco de modo qe la neva base descrba meor los modelos o atrones tícos del connto total En el caso resente, nestros atrones corresonden al connto de rostros de entrenamento 85

13 En el esaco de mágenes, los rostros se encentran no se encentran aleatoramente dstrbdos, como se ha menconado, tlzando el ACP, se redcrá la alta dmensonaldad del connto de datos La dea central del ACP consste en encontrar n sbesaco de baa dmensonaldad (denomnado esaco de característcas o esaco de rostros), el cal catrará la mayor arte de la varacón qe se resenta en el connto de datos orgnales (esaco de mágenes) Por tanto, dado n connto de vectores de entrenamento { }, qe corresonden a los rostros eemlo, y qe resentan na matrz de covaranza S, los factores se eden calclar al solconar el roblema de egenvales D P T S P (6) en donde P es la matrz de egenvectores de S y D corresonde a la matrz dagonal de los egenvalores La matrz de royeccón ortogonal P M dentro del sbesaco rncal M-dmensonal (ara M << N ), está dado or los M egenvectores, corresondentes a los más grandes egenvalores Estos egenvectores, forman las colmnas de la matrz de royeccón El vector y de comonentes rncales, se obtene al royectar la magen en el esaco de rostros: T y P ( ) (7) M P M en donde, denota el rostro romedo 86

14 34 Algortmo ara reconocmento de rostros tlzando ACP Como se ha menconado en seccones anterores, la magen de n rostro en -D, se ede reresentar medante n vector ndmensonal al concatenar cada colmna de la magen, a lo largo del vector Por tanto, el rocedmento algorítmco será: Concatenar todas las mágenes de los rostros sscetbles a dentfcar en n vector, en donde cada magen del rostro bdmensonal resenta nr renglones y nc colmnas en n vector, de tamaño N( nr nc ): Por tanto, habrá M vectores de tamaño N T [,, ], M (8) N,, en donde, reresenta el valor nmérco del íel Obtener la magen romedo ( m) de todos los rostros (rostro romedo) m M M (9) 3 Sbstraer a cada magen de rostro, el rostro romedo w m (30) 4 Obtener el connto de M vectores ortonormales e ), de tal forma qe resenten la ( máma royeccón osble sobre las w Por tanto, la cantdad 87

15 M T λ ( e w ) (3) M n n T se debe mamzar con la restrccón de ortonormaldad: e δ l e l 5 Obtener la matrz de covaranza Se ha señalado en seccones anterores, qe los valores de e ) y ( λ ) se obtenen or medo de los ege-vectores y ege-valores de ( la matrz de covaranza T C WW (3) donde W es na matrz comesta or los vectores colmna w colocados de forma segda El tamaño de la matrz C (NN) ede ser my grande, or eemlo, ara el caso de la base de datos AT&T con n tamaño de cada rostro de 64 eles, se genera na matrz de covaranza de Para tratar de dsmnr el tamaño de dcha matrz, se ede tlzar n teorema de álgebra lneal Dcho teorema, establece qe los vectores ( e ) y los escalares λ se eden obtener al solconar la matrz de tamaño (M M): W T W Dado qe d y µ sean los egevectores y engevalores de W T W, resectvamente, se ede reresentar T W Wd µ d, mltlcando ambos lados or W T WW ( Wd ) µ ( Wd ) (33) Lo anteror, ermte qe los rmeros M- egevectores ( e ) y los egevalores λ de W T W estén dados or Wd y or µ resectvamente Wd debe ser normalzado, 88

16 con el roósto de qe sea smlar a ( e ) Los ege-vectores qe corresonden a los egevalores dferentes de cero de la matrz de covaranza, rodcen na base ortonormal ara el sbesaco dentro del cal, la mayoría de los datos de las mágenes de los rostros se eden reresentar 6 Clasfcar los egevectores Los egevectores se clasfcan de mayor a menor, de acerdo a ss corresondentes egevalores El egevector (o comonente rncal), asocado con el más grande egevalor, refleará el comonente con la mayor varanza de las mágenes de rostros Se consdera qe aromadamente el 90% de la varanza total, se encentra en el 5% al 0% de los factores qe se obtveron 7 Reconocer n rostro S se denomna a Ω como la descrcón de la contrbcón de cada egevector de rostro ara reresentar la magen facal, al tratar los egevalores como n connto base del connto de entrenamento de los rostros Entonces, n método ara determnar s n determnado rostro ( Ω ) se encentra en la base de entrenamento, consste en encontrar la clase de rostro qe mnmíze la dstanca Ecldeana ε (Ω Ω (34) ε < mbral en donde Ω es n vector qe descrbe la -esma clase de rostro S ε es menor qe n mbral redefndo, entonces, el rostro se clasfca como ertenecente a la clase Lo cal mlca, haber dentfcado el rostro en la base de datos corresondente 89

17 Para efectar la clasfcacón del rostro, se debe tlzar na métrca o norma Anterormente, se menconó qe se sará la dstanca ecldeana, la cal corresonde a la norma L Sn embargo, esten otras osbldades de normas, las cales se menconan a contnacón Meddas de dstanca (normas) Un elemento mortante en la fase del reconocmento, es la norma ara comarar la royeccón del rostro a reconocer con la base de datos Las rncales normas qe se eden tlzar en el Paso 7 del algortmo, son: la ecldeana ( ), la norma L y la dstanca de Mahalanobs L Norma L Esta norma, sma la dferenca absolta entre las comonentes de los dos vectores M L Ω Ω (35) donde M, es el tamaño de ambos vectores Norma L o Ecldana Esta norma, sma la dferenca al cadrado entre las comonentes de los dos vectores L M ( Ω Ω ) (36) 90

18 Dstanca de Mahalanobs Calcla el rodcto de las comonentes y el valor roo (ege-valor) asocado a cada comonente, realzando la smatora de dchos rodctos M Mah Ω Ω h en donde : h λ (37) A artr de los elementos matemátcos qe sbyacen al análss de comonentes rncales y al algortmo ara reconocmento de rostros lanteado anterormente, se desarrolló n rograma en MATLAB ara realzar dversos eermentos y robar las bondades del método de comonentes rncales En caítlo 5, se resentan las característcas rncales del rograma y el desarrollo de los eermentos realzados con fotografías de la base de rostros AT&T, fotografías del ortal del FBI y algnas fotografías adconales 9