4. La Factorzacón No Negatva de Matrces 4.1 Introduccón Un problema bastante extenddo en dferentes técncas de análss de datos consste en encontrar una representacón adecuada de los datos. Un tpo de representacón de gran utldad será aquella que permta reducr las dmensones de los datos a la vez que muestre certas característcas del conjunto de éstos que permanezcan ocultas a pror. La Factorzacón No Negatva de Matrces (en nglés, Non-negatve Matrz Factorzaton, NMF) es una técnca de recente creacón cuya prncpal utldad consste en encontrar una representacón lneal de los datos, que han de ser no negatvos. Una de las propedades prncpales de la Factorzacón No Negatva de Matrces radca en que generalmente suele proporconar una representacón dspersa de los datos que permte codfcarlos de forma que el resultado sea bastante sencllo de nterpretar. 4.2 Defncón del modelo Consderemos que los datos se corresponden con m meddas de n varables aleatoras escalar que serán no negatvas. Llamando v ( = 1,..., m ) a los vectores que representan las meddas, podemos formular una representacón lneal aproxmada de los datos de la sguente manera: r = = 1 v w h h (4.1) donde es una matrz de dmensones n x r que contenen los vectores de las bases w en sus columnas. Destaquemos el hecho de que los vectores representatvos de las v meddas,, se van a generar a partr de combnacones de los msmos vectores de la base, representados por la matrz. Pero qué peso tene cada vector de la base en la conformacón fnal de los datos? La respuesta a esta pregunta está contenda en el vector h, que representa la nfluenca de cada vector en la reconstruccón fnal. S colocamos los vectores de meddas en una matrz de dmensones n x m que llamaremos V, llegaremos a la expresón V H (4.2) donde las columnas de H contenen los vectores de coefcentes h correspondentes a las combnacones de los vectores de la base que generan los vectores de meddas v. La matrz H se conoce como matrz de codfcacón.
Por tanto, las dmensones correspondentes a cada una de las matrces serán: - Matrz V (n x m) - Matrz (n x r) - Matrz H (r x m) Fgura 4.1 Representacón esquemátca de las matrces que aparecen en el modelo. Cuántas bases se han de elegr, o lo que es lo msmo, qué valor hemos de asgnar al parámetro r? Generalmente, el número de bases a determnar se suele tomar sguendo una regla [Lee] del tpo: ( n+ m) r< nm (4.3) Esta eleccón de r conllevará un consderable ahorro de nformacón a almacenar ya que mentras la matrz V consta de n m elementos, las nuevas matrces y H, constarán entre ambas de r ( n+ m) coefcentes, es decr, n ( m r) m r elementos menos. 4.3 Comparatva entre NMF y algunas técncas de representacón de datos El Análss de Componentes Prncpales (PCA), el Análss de Componentes Independentes (ICA), la Cuantzacón de Vectores (VQ) y la Factorzacón No Negatva de Matrces (NMF) se pueden consderar como técncas basadas en la factorzacón de matrces, s ben dferen en la funcón objetvo a tratar así como en las restrccones mpuestas. Estos métodos se pueden clasfcar se pueden caracterzar en funcón de s la extraccón de característcas la hacen de forma global o local. En los métodos de extraccón locales, donde tan sólo algunos píxeles de la magen de entrada contrbuyen a la
formacón de la magen de salda, tendremos una mayor establdad que en el caso de las técncas de extraccón locales donde todos y cada uno de los píxeles de la magen de entrada contrbuyen a la formacón de las mágenes representatvas de las característcas extraídas. Otra ventaja fundamental de los métodos locales frente a los globales radca en su mayor robustez frente a rotacones, escalados y pequeñas varacones. En nuestro caso, consderaremos como métodos de extraccón de característcas locales tanto ICA como NMF. Mentras que PCA e ICA no mponen nnguna restrccón en cuanto al sgno que han de tener las entradas de las matrces de las bases y de codfcacón, las técncas basadas en la Factorzacón No Negatva de Matrces han de presentar la peculardad de que dchas matrces han de contener elementos que han de ser no negatvos [Hoyer]. Esto conlleva que la descrpcón de los datos se realza tan sólo a partr de sumas. Esta restrccón se debe prncpalmente a dos motvos. Por un lado, en certas aplcacones es de sobra conocdo que el conjunto de datos que se maneja nunca puede ser negatvo, como es el caso de la aplcacón que desarrollaremos con mágenes. En estos casos, la nterpretacón de resultados medante técncas basadas en PCA o ICA sería más dfcultosa. En segundo lugar, la no negatvdad se usa como argumento para lustrar la dea que las partes se combnan sempre de forma adtva (nunca a partr de restas) para dar lugar a un todo [Lee]. Por un lado, en la Cuantzacón de Vectores (VQ), la mposcón que se realza radca en que las columnas de la matrz de codfcacón H han de ser vectores untaros, es decr, un solo elemento dstnto de cero, cuyo valor será la undad. En otras palabras, cada columna de la matrz V (que representará por ejemplo una magen colocada en forma de vector) se aproxmará por uno sólo de los elementos de la base al realzar la factorzacón V H. S hablamos en térmnos de mágenes representatvas de rostros humanos veremos como la dea que se quere ndcar con este razonamento es que en general, cada cara se podrá representar sólo por un rostro de la base, sn tener la posbldad de poder combnar varos de ellos. Esta representacón untara por tanto carece de la versatldad que pueden aportar técncas como la Factorzacón No Negatva de Matrces. Fgura 4.2 Cuantzacón de Vectores (VQ). En esta fgura se representa una base formada por 49 mágenes y como la magen que se quere representar tan sólo se hace a partr de un elemento de la base (cuya poscón en el esquema aparece marcada con la caslla en color negro).
Volvendo a retomar PCA, veremos que la restrccón en cuanto a las matrces de bases y codfcacón se relaja consderablemente respecto a la Cuantzacón de Vectores, ya que ahora tan sólo se mpone que las columnas de han de ser ortonormales, mentras que las flas de H deben ser ortogonales entre sí. Esto motvará que ahora las mágenes se puedan representar como combnacones lneales de las bases y no medante una sola como ocurre en el caso de VQ. En este caso, encontraremos un elemento de la base que es domnante (de gran parecdo a una de las mágenes orgnales de entrenamento), correspondente al autovalor de mayor peso. Fgura 4.3 Análss de Componentes Prncpales. En la fgura aparecen representadas 49 bases obtendas tras el análss PCA. En este caso observamos como hay una sere de mágenes domnantes (las que aparece en la prmera fla de la matrz de las bases). La magen sntetzada se reconstruye a partr de la combnacón lneal de, en general, más de un elemento de la base. Sn embargo, el caso de la Factorzacón No Negatva de Matrces, las bases obtendas representan rasgos característcos de las mágenes de entrenamento sn que exsta un elemento predomnante sobre el resto que marque la reconstruccón de la magen defntva.
Fgura 4.4 Factorzacón No Negatva de Matrces. En esta fgura podemos comprobar como en las bases obtendas medante esta técnca, no aparece nngún elemento predomnante sobre el resto. En la reconstruccón fnal no entran en juego numerosos elementos de la base. A tenor de los resultados obtendos, podemos conclur que las bases NMF representan partes localzadas de la magen, es decr, en el caso que nos ocupa de reconstruccón de rostros, tendremos varas versones de bocas, ojos, etc, lo cual ofrecerá una mayor versatldad en la síntess fnal de la magen. Además hay que destacar que la representacón de datos obtenda medante técncas NMF generará tanto bases como matrces de codfcacón que serán dspersas ( sparse ) y en las que, como vmos en el ejemplo de la fgura 4.4, exsten bastantes coefcentes de codfcacón que son nulos. La dspersón en las bases y las matrces de codfcacón es una propedad esencal para la representacón basada en partes. Por últmo, para cerrar el apartado de comparatvas, podemos determnar las bases a partr de técncas ICA. Para ello, emplearemos el algortmo FastICA para estmar 49 bases representatvas de rostros que permtan reconstrur la magen deseada. Como se observa en la fgura 4.5 en las bases ICA se obtenen las dreccones prncpales de los rostros, ya sean bocas, ojos, narces, etc que son precsamente las zonas que marcan los borden más acusados. En general, podemos afrmar que medante ICA se pretende mnmzar la dependenca estadístca entre los elementos de la base resultante.
Fgura 4.5 Las bases obtendas tras aplcar el algortmo FastICA resaltan las dreccones prncpales de las mágenes de entrenamento (bocas, ojos, narces, etc). Sn embargo hay algo más que dferenca ICA y NMF. Hasta ahora, en el estudo de la Factorzacón No Negatva de Matrces, no se ha realzado nnguna consderacón acerca de la dependenca estadístca de las varables aleatoras a estmar [Lee]. Sn embargo en el Análss de Componentes Independentes se exgen una sere de restrccones que han de cumplr las varables para que puedan ser estmadas correctamente: han de ser no gaussanas y estadístcamente ndependentes. Esto plantea un pequeño problema en la aplcacón del algortmo ICA cuya solucón pasa por PCA. La suposcón de ndependenca no es especalmente recomendable cuando se quere realzar un proceso de aprendzaje (generacón de bases) basado en la representacón de partes, esto es, en los dferentes rasgos característcos de la magen, ya que es bastante probable que algunas de estas partes aparezcan de forma smultánea en los datos de entrenamento. Como comentamos anterormente, una alternatva posble podría ser aplcar PCA, de forma que el conjunto de los datos sea lo más ndependente posble. 4.4 Formulacón matemátca del algortmo En este apartado estudaremos dos algortmos basados en actualzacones teratvas de las matrces y H que permten mplementar la Factorzacón No Negatva de Matrces (NMF). Estos algortmos son bastante sencllos de mplementar y codfcar por lo que son de gran utldad en multtud de aplcacones. Exsten otros algortmos cuya carga computaconal es consderablemente menor, como el expuesto por [González], sn embargo su mplementacón es consderablemente más complcada. La bblografía básca que seguremos para desarrollar este apartado vene contenda en [Lee] y [Lee2]. Estos algortmos se basan a grandes rasgos en la actualzacón en cada teracón de las matrces de las bases y de codfcacón, de forma que se consga r convergendo a un certo valor de una funcón de coste prevamente defnda. 4.4.1 Defncón de la funcón de coste
Para encontrar una representacón del tpo V H es necesaro prevamente defnr una funcón de coste que permta determnar la bondad de la aproxmacón. Una funcón de coste de este tpo se puede construr a partr de una medda típca de la dstanca entre dos matrces no negatvas genércas, que denotaremos por A y B. La funcón de dstanca más conocda es la dstanca euclídea, que pasamos a descrbr segudamente: 2 ( A ) 2 j Bj A B = (4.4) j sendo A j y B j los elementos de las matrces A y B. Esta funcón está acotada nferormente por cero, valor que toma cuando A=B. Otra medda de la dstanca se presenta a contnuacón: A D( A B)= ( A log j j Aj + Bj) (4.5) B j Al gual que ocurre en el caso de la dstanca euclídea, esta medda estará acotada nferormente por cero y se cumplrá cuando ambas matrces sean déntcas. Sn embargo no es del todo correcto consderarla una dstanca, ya que no es smétrca en A y B por lo que la llamaremos dvergenca de A con respecto a B. A contnuacón consderaremos dos posbles escenaros en los que formular el problema de optmzacón NMF. j Problema 1: Mnmzar, H 0. 2 V H con respecto a y H, sujeto a la restrccón Problema 2: Mnmzar D( A B) con respecto a y H, sujeto a la restrccón, H 0. Aunque las funcones 2 V H y D( A B) son convexas para sólo o sólo H, no son convexas en ambas varables a la vez. De todas formas parece poco probable esperar que un msmo algortmo pueda resolver ambos problemas smultáneamente encontrando un mínmo global. Sn embargo exsten multtud de técncas numércas de optmzacón que permten encontrar mínmos locales. La reduccón del gradente es quzás la técnca más empleada a la vez que la más smple de mplementar, sn embargo, su convergenca es bastante lenta. Otros métodos basados en el gradente presentan una mayor velocdad de convergenca a la hora de estmar el mínmo local, aunque como era de esperar, son mucho más dfícles de formular e mplementar y además son bastante sensbles a la eleccón del tamaño del paso de smulacón, lo cual sn duda es una gran desventaja en aplcacones de gran envergadura. 4.4.2 Reglas de actualzacón multplcatvas
Se puede comprobar que las sguentes reglas de actualzacón multplcatvas, representan un buen compromso entre velocdad de ejecucón y sencllez de mplementacón, para los Problemas 1 y 2 prevamente descrtos. Como aclaracón de la notacón que usaremos en este apartado, defnamos la transformacón NMF como: ( ) = µ µ a a= 1 r V H H (4.6) donde los subíndces prmero y segundo ndcarán la fla y la columna de dcha matrz respectvamente. Regla 1 (Para la dstanca euclídea) La dstanca euclídea sguente regla de actualzacón de las matrces y H: V H es estrctamente no decrecente bajo la ( V) ( ) H H (4.7) H ( VH ) a ( ) a a (4.8) HH a La dstanca euclídea es nvarante bajo estas reglas de actualzacón s y sólo s y H se encuentran en un punto estaconaro de la dstanca. Regla 2 (Para la dvergenca) La dvergenca D( A B) es estrctamente no decrecente bajo la sguente regla de actualzacón de las matrces y H: H H V / ( H) a µ µ k ka (4.9) a ( ) H V / H µ µ a υ aυ (4.10) La dvergenca es nvarante bajo estas reglas de actualzacón s y sólo s y H se encuentran en un punto estaconaro de la dvergenca.
En el [Lee2] se proporcona una demostracón de estas expresones. Por ahora, destaquemos que cada actualzacón consste en una multplcacón por un factor. En partcular, resulta fácl comprobar como este factor multplcatvo es la undad cuando V= H de forma que esta reconstruccón tan perfecta se corresponde necesaramente con un punto fjo en las reglas de actualzacón prevamente descrtas. 4.4.3 Reglas de actualzacón multplcatvas frente a las adtvas Resulta de gran utldad comparar las reglas multplcatvas con aquellas que se fundamentan en un progresvo descenso del gradente. En partcular, una regla adtva bastante smple para actualzar la matrz H que reduce la dstanca cuadrátca se puede escrbr de la sguente forma: ( ) ( ) H H +η V H (4.11) S los η se toman todos guales a una constante postva arbtraramente pequeña, la expresón anteror se corresponde con el algortmo clásco del gradente. Mentras menor sea esta constante, mayor será la reduccón que se produzca en V H. A contnuacón s fjamos la constante η a un certo valor: η = H ( H) (4.12) obtendremos la regla de actualzacón dada por la ecuacón (4.7), que resuelve el Problema 1. Para el Problema 2, la expresón de la actualzacón de H vene dada por: H H +η V µ a a ( H) µ (4.13) De nuevo, s los η se corresponden con constantes postvas y sufcentemente pequeñas, la regla de actualzacón rá reducendo progresvamente el valor de la dvergenca D( A B). S ahora fjamos el valor de la constante η a un certo valor: η = H a (4.14)
obtendremos la regla de actualzacón de la matrz H dada por la ecuacón (4.9), que resuelve el Problema 2. La eleccón de los valores de η es una cuestón crítca ya que de no tomarse de forma adecuada puede ocurrr que la funcón de coste no decrezca como sería deseable. 4.4.4 Defncón de la funcón de coste y reglas de actualzacón empleadas en el algortmo NMF Llegados a este punto, tendremos que decdr qué problema resolver, esto es, elegr una funcón de coste a optmzar y unas reglas de actualzacón a mplementar en el algortmo. Aunque prevamente hemos defndo unas funcones de coste y unas reglas de actualzacón, vamos a realzar una sere modfcacones en ellas de forma que no sea necesaro realzar el ajuste del parámetroη, cuyo valor resulta crítco de cara a una correcta convergenca del algortmo. Además, el ajuste de η ha de hacerse medante prueba y error, lo cual retardará en exceso el algortmo fnal cuando las dmensones de la matrz V demasado elevadas. La funcón objetvo resultante, que llamaremos F vene descrta en [Lee], y guarda un gran parecdo con la correspondente ala dvergenca: n m µ log( ) ( ) µ µ (4.15) F = V H H = 1 µ= 1 que por supuesto estará tambén sujeta a las restrccones de no negatvdad descrtas prevamente, H 0. Sn embargo, en este caso, la convergenca no se da haca un valor mínmo sno haca un máxmo (en las prmeras teracones, la funcón de coste toma un valor muy negatvo y va crecendo aproxmándose a cero). Realmente, la forma que tome la funcón objetvo no es tan relevante como las restrccones mpuestas referentes a la no negatvdad. Por otro lado, las reglas de actualzacón guardan tambén una gran smltud con las correspondentes al Problema 2 (dvergenca) y se descrben tambén en [Lee] como: V H µ a a µ ( H) µ a j a ja (4.16) µ Ha µ Ha µ a (4.17) ( H ) µ V
En el Apéndce I de este proyecto se proporcona una funcón Matlab que permte mplementar este algortmo de Factorzacón No Negatva de Matrces. 4.4.5 Representacón esquemátca de la reconstruccón de mágenes Por otro lado, resultaría de gran utldad vsualzar la dependenca entre los píxeles de la magen y los elementos de la matrz de codfcacón como se lustra en la fgura 4.6. En la fla superor aparecen los coefcentes de reconstruccón h,..., 1 h r (se correspondería con una columna de la matrz H), y en la fla nferor cada una de las n muestras de una de las m mágenes (se trata de una de las columnas de la matrz V). Los elementos de la matrz determnan la nfluenca que el a-ésmo coefcente de a codfcacón h a, tene en la reconstruccón del -ésmo píxel v. Como se puede comprobar en la fgura cada ha tene repercusón en varos píxeles de la magen a tenor de las múltples conexones entre los ha y los v. Debdo a la no negatvdad de los elementos de a, esta nfluenca sempre será de carácter adtvo en cada píxel por lo que el algortmo NMF que se dseñe ha de controlar que las aportacones sean las adecuadas de cara a una correcta reconstruccón de la magen. Fgura 4.6 Representacón esquemátca de la reconstruccón de mágenes basada en la Factorzacón No Negatva de Matrces. El modelo se presenta como una red que relacona las varables de los datos v,..., 1 v n y las de codfcacón h,..., 1 h r. De acuerdo con el modelo, las varables vsbles v se generan a partr de una dstrbucón de probabldad de meda h a a a. En el dagrama de esta fgura, la nfluenca de h a sobre v la determnan las conexones cuyos pesos venen dados por los elementos de a. Para la aplcacón que estamos desarrollando relatva a la reconstruccón de mágenes, las varables vsbles se corresponden con los píxeles de la magen, mentras que las varables ocultas serán los coefcentes de codfcacón.
4.5 Conclusones La Factorzacón No Negatva de Matrces (NMF) se corresponde con una técnca de representacón de datos especalmente ndcada para el aprendzaje basado en el reconocmento de partes en los objetos, como ocurre en el caso del cerebro o los ordenadores. Aunque exsten otras técncas de representacón de datos como ICA, PCA o VQ, cada una presenta característcas específcas en cuanto a la funcón objetva a optmzar y las restrccones a mponer. Por ejemplo, en el Análss de Componentes Independentes se ha de verfcar como que las varables han de ser no gaussanas, mentras que en el caso de la Factorzacón No Negatva de Matrces, la prncpal mposcón radca en que los datos han de ser no negatvos. El hecho de tratar con datos no negatvos hace que la Factorzacón No Negatva de matrces tenga especal relevanca en todas aquellas aplcacones en la que por la naturaleza de los datos se adecue a las mposcones requerdas, como ocurre en el caso del tratamento de mágenes. Para formular el problema es precso defnr una funcón objetvo que optmzar (mnmzar o maxmzar), que puede adoptar dferentes expresones en funcón de cómo se formule la funcón dstanca entre la matrz de datos V y el producto de la matrz de las bases y la de codfcacón H. Para alcanzar un máxmo o mínmo de la funcón objetvo hay que formular un algortmo teratvo que vaya actualzando las matrces y H hasta que se consga el grado de convergenca deseado. Una ventaja esencal de este tpo de representacón de datos medante la Factorzacón No Negatva de Matrces a partr de las matrces y H, consste en un consderable ahorro de nformacón a almacenar con respecto a la matrz V. Sn embargo por consderarse de una aproxmacón (recordemos que V H ), hay que verfcar una correcta convergenca del algortmo teratvo que dé lugar a una descomposcón lo más parecda posble a la matrz de datos orgnal.