6 Sistemas Autoorganizativos

Transcripción

1 6 Sstemas Autooganzatvos 6.1 Intoduccón Las edes de neuonas atfcales con apendzae no supevsado se han aplcado con éxto a poblemas de econocmento de patones y deteccón de señales. Estas edes constuyen clases o categoías a pat de los datos de entada utlzando coelacones o meddas de smltud y tatan de dentfca patcones óptmas en el conunto de datos de entada. En una ed neuonal compettva las undades de salda compten ente sí paa actvase; sólo se actva la de mayo potencal snáptco. La dea del apendzae compettvo está ya tazada en los pmeos tabaos de von de Malsbug (1973) sobe la autooganzacón de las células nevosas de la coteza ceebal. En 1975, Fukushma popuso el cognton que es una ed compettva multcapa y autooganzada. Wllsha y von de Malsbug (1976) tabaaon sobe la fomacón de las conexones neuonales medante autooganzacón y Gossbeg (197, 1976) sobe la clasfcacón adaptatva de patones. Rumelhat y Zspe (1985) especfcaon los tes elementos báscos de una egla de apendzae compettva: Un conunto de neuonas (undades de poceso) que se actvan o no en espuesta a un conunto de patones de entada (estímulos) y que dfeen en los valoes de un conunto de pesos snáptcos específco de cada neuona. Un límte mpuesto sobe la fueza de cada neuona. Un mecansmo que pemte compet a las neuonas paa esponde a un subconunto de entadas de tal manea que una y sólo una neuona po gupo se actva. En una ed neuonal compettva smple las neuonas ndvduales apenden a especalzase sobe conuntos de patones smlaes y, po lo tanto, llegan a se detectoas de caacteístcas de los patones de entada. El algotmo de apendzae compettvo smple se puede contempla como un método apoxmado paa la econstuccón de vectoes de epesentacón, tambén llamados de epoduccón, pototpos o códgos, de manea no supevsada. Ahalt, Kshnamuthy and Chen (1990) han llevado a cabo la aplcacón de las edes neuonales compettvas a la cuantfcacón vectoal (VQ) y han desaollado un nuevo algotmo no supevsado paa el dseño de la tablas de códgos (vectoes de epesentacón o pototpos) que conducen a esultados óptmos o cas óptmos. Además, las expeencas computaconales muestan un conunto de ventaas de dcho algotmo fente al algotmo tadconal LBG (Lnde et al., 1980) paa el dseño de cuantfcadoes vectoales. Ya, Zege y Gesho (199) han demostado popedades de la convegenca de la ed autooganzada de Kohonen aplcada al dseño de

2 cuantfcadoes vectoales y poponen condcones sobe los paámetos de apendzae. Pal, Bezdek y Tsao (1993) han popuesto una genealzacón de la técnca de apendzae de cuantfcacón vectoal (LVQ) paa la fomacón de gupos que evta la necesdad de defn un esquema de vecndad y donde los centodes fnales no paece que sean sensbles a los valoes ncales. Xu, Kzyzak y Oa (1993) han desaollado un nuevo algotmo, llamado apendzae compettvo con vales penalzados, donde paa cada entada no sólo se modfca la undad de poceso ganadoa paa adaptala al patón de entada sno que tambén sus vales se modfcan sepaándolas del patón de entada (desapenden) con una tasa de apendzae meno. Ueda y Nakano (1994) han pesentado un nuevo algotmo de apendzae compettvo con un mecansmo de seleccón basado en el pncpo de equdstosón paa dseña cuantfcadoes vectoales óptmos; el mecansmo de seleccón le pemte al sstema escapa de los mínmos locales. Mao y Jan (1996) han popuesto una ed neuonal autooganzada paa agupacones hpeelpsodales que aplcan a poblemas de segmentacón de textuas. Po ota pate, el análss de gupos clásco (cluste analyss) tata de foma automátcamente gupos o categoías (clustes) a pat de un conunto de datos de manea que a cada dato o entada le asgna una únca etqueta o gupo. La agupacón va a supone una patcón de los datos en categoías o clases con caacteístcas smlaes y se lleva a cabo asgnando datos o patones con atbutos smlaes a la msma clase. Cuando se elge el cteo de mínmos cuadados (mínma dstosón o pncpo de los M meoes centodes) la fomacón de gupos basada en patcones se puede ealza po el algotmo clásco de las K-MEDIAS popuesto po McQueen (1967). Uchyama y Abb (1994) han demostado la elacón que hay ente la fomacón de gupos (clusteng) basada en patcones y la cuantfcacón vectoal; así, el poblema de la fomacón de gupos basada en el pncpo de mínmos cuadados es el msmo que el poblema de la seleccón óptma de los vectoes de epesentacón (tambén llamados de epoduccón o pototpos). Además, pesentan un algotmo de apendzae compettvo que genea undades donde la densdad de vectoes de entada es más alta y muestan su efcenca como una heamenta paa la fomacón de gupos en el espaco de colo que pemte la segmentacón de mágenes de colo basada en el cteo de mínmos cuadados. 6. Redes Neuonales Compettvas no supevsadas Una undad de poceso bnaa (neuonal atfcal) es un dspostvo smple de cálculo que solo puede pesenta dos estados, actvo (encenddo) e nactvo (apagado). El estado que pesenta depende de las señales que le lleguen de los sensoes de entada o de otas undades de poceso. Cada undad de poceso bnaa,, va a tene asocado un vecto de pesos snáptcos ( 1,,, N ), con el que va a pondea los valoes que le lleguen de los sensoes de entada. Comenzaemos defnendo lo que se entende po el potencal snáptco de una undad de poceso. S a la undad de poceso le llegan N señales, dadas po el vecto (x 1,x,,x N ), y el vecto de pesos snáptcos de dcha undad es ( 1,,, N ),entonces el potencal snáptco vene dado po la expesón: h... 1 x1 x N x N (1) 10

3 1 donde ( N ). Defncón 1 Una ed compettva está consttuda po N sensoes de entada, M undades de poceso (neuonas atfcales), y conexones ente cada senso y cada undad de poceso, de manea que la conexón ente el senso y la undad de poceso tene asocado un valo. Paa cada entada ecogda po los sensoes solamente una undad de poceso se actva, aquella que tene el mayo potencal snáptco, que se le consdea como la undad ganadoa Fgua 1. Aqutectua de la ed. Po lo tanto, s epesentamos el estado de la undad de poceso po la vaable bnaa y, que toma el valo 1 cuando dcha undad está actvada y ceo en caso contao, la dnámca de la computacón de la ed vene dada po la expesón: 1 s h max h1, h,..., hm k y, =1,,,M () 0 en oto caso Cada entada a la ed, es un vecto (x 1,x,,x N )R N, que vene ecogdo po los sensoes de entada, y paa el cual se actva una sola undad de poceso, pemanecendo las estantes desactvadas. Así, podemos dec que la ed neuonal compettva es una funcón de R N en el conunto {1,,,M}, que aplca un punto (x 1,x,,x N )R N en el valo {1,,,M}, cuando sea la undad ganadoa. Dcha funcón poduce una patcón del espaco de los datos (patones) de entada en M egones dsuntas. Dcho de ota foma, la ed compettva agupa el conunto de datos de entada en M gupos o clases. Cómo se detemnan los pesos snáptcos? Medante un poceso de apendzae no supevsado. Se petende que se actve aquella undad de poceso cuyo vecto de pesos snáptcos sea el más paecdo al vecto de entada. De manea que los pesos snáptcos de cada undad de poceso sean la meo epesentacón del conunto de patones que hacen que esa undad de poceso sea ganadoa. Paa ello sólo tenemos que demosta que la undad ganadoa es aquella cuyo vecto de pesos snáptcos es el que más se paece al vecto de entada. El paecdo ente el vecto de entada x=(x 1,x,,x N ) y el vecto de pesos snáptcos de la undad de poceso, =( 1,,, N ), vendá dado po la dstanca euclídea ente dchos vectoes, es dec, 11

4 d ( x, ) x ( x1 1)... ( x N N ) A contnuacón vamos a demosta que la undad ganadoa es aquella cuyo vecto de pesos snáptcos es el que más se paece al vecto de entada. Teoema 1 S es la undad de poceso ganadoa cuando se ntoduce el patón de entada, x=(x 1,x,,x N ), entonces d( x, ) d( x, k ), k 1,,..., M Demostacón: En efecto, d( x, ) x ( x x' x h x' x h d( x, )'( x ) x' x ' x ' k ) k Vamos a detemna los pesos snáptcos de la ed utlzando un conunto de p patones de entenamento, que epesentaemos po x(=(x 1 (, x (,,x N (), k=1,,,p, y sguendo una egla de apendzae, es dec, una ecuacón matemátca que me especfque cómo se actualzan los pesos snáptcos cada vez que ntoduzco, como entada, un patón de entenamento. Los patones de entenamento están agupados en M clases, C 1,C,,C M, desuntas ente sí, de manea que cada patón de entenamento petenece a una sola clase. Las clases no son conocdas peo tenen que esta fomadas po los patones más cecanos (póxmos) ente s, es dec, más smlaes. El obetvo de la ed compettva con apendzae no supevsado (puesto que no conocemos las clases) es descub po sí msma los gupos o clases que foman los patones de entenamento. Paa ello, vamos a eleg un cteo o pncpo. Dcho cteo va a se el cteo de mínmos cuadados. Según este cteo se tata de enconta M vectoes de pesos snáptcos 1,,, M, tales que la funcón suma de eoes cuadátcos sea mínma, es dec, se tata de mnmza la expesón: donde E M p 1 1 a x ( ) (3) a 1 s x( ) C 0 en oto caso la funcón a k me ndca s el patón de entada x( es, o no, de la clase C, peo dcha funcón no es conocda. Vamos a detemna los vectoes de pesos snáptcos sguendo un poceso teatvo que mnmce la funcón de eo cuadátco en cada paso, es dec, que el nuevo vecto detemnado po dcho poceso dsmnuya el eo cuadátco E. A dcho poceso lo llamaemos egla de apendzae. La egla de apendzae puede se de dos fomas, según que actualcemos los pesos snáptcos cada vez que ntoducmos un patón de entada a la ed, en cuyo caso 1

5 demos que el apendzae es ndvdualzado o en línea, o actualza los pesos snáptcos después de ntoduc todos los patones de entada, en cuyo caso demos que el apendzae es po lotes. Supongamos pmeo que el apendzae es en línea. Sea x( el patón que ntoducmos en la ed en la teacón k. Se tata de modfca los vectoes de pesos snáptcos de modo que se mnmce la expesón del eo que depende de dcho patón: M E a x 1 k S en la teacón k los vectoes de pesos snáptcos son 1 (, (,, M ( entonces vamos a detemna los nuevos vectoes en la teacón k+1 sguendo el método del descenso del gadente que vene dado po la expesón: E donde es el paámeto que egula la longtud del paso en sentdo opuesto al gadente. Tenendo en cuenta que E a k ( x( ) (4) y que el patón x( sólo puede petenece a una de las M clases, vamos a estma los valoes desconocdos a 1k,,a k,,a Mk. que son todos nulos menos uno, medante la expesón 1 s x x, aˆ k (5) 0 en oto caso A la undad de poceso que le coesponde =1, es dec, aquella cuyo vecto de pesos snáptcos está más ceca del patón de entada, demos que es la undad ganadoa, y seá la únca que modfque su vecto de pesos snáptcos, las demás no lo modfcan, como se despende de la expesón (4). Po lo tanto la egla de apendzae es la sguente: aˆk donde ( k 1) ) (6) ( x ) s (7) 0 s y es la undad ganadoa, es dec, la de mayo potencal snáptco (según el teoema 1) Note que =. Al paámeto lo llamaemos tasa de apendzae, pues confome mayo sea, más se modfcan los pesos snáptcos. Paa entende meo dcha egla de apendzae vamos a ealza la sguente ntepetacón geométca. S es la undad ganadoa entonces ( k 1) ( x( ) 13

6 es dec, ( k 1) (1 ( ) ( x( Po lo tanto, el nuevo vecto de pesos snáptcos (k+1) es una combnacón lneal de los vectoes ( y x(. Quee dec que el vecto de pesos snáptcos se modfca acecándose al patón de entada, como se muesta en la fgua. Confome mayo es el valo del paámeto de apendzae más se aceca. ( (k+1) x( Fgua. El nuevo vecto de pesos snáptcos. En cada teacón se ntoduce un patón de entada selecconado aleatoamente. El poceso contnua hasta ealza un númeo total de T teacones, es dec, después de que cada patón se haya ntoducdo en la ed un númeo detemnado de veces (po eemplo 10 veces). Los valoes ncales de los vectoes de pesos snáptcos pueden se M patones de entada selecconados aleatoamente. El paámeto de apendzae debe de dsmnuyendo a lo lago de poceso de apendzae hasta alcanza el valo ceo paa el cual la ed dea de apende. Incalmente se puede eleg un valo o (0,1). El valo de dcho paámeto en la teacón k puede ven dado po la expesón: k 0 (1 ), k 1,,... (8) T que supone un dececmento lneal con especto al númeo de teacón. El paámeto T es el númeo total de teacones del algotmo hasta conclu el poceso de apendzae. ALGORITMO DE APRENDIZAJE COMPETITIVO INDIVIDUALIZADO Paso 0 Eleg como vectoes de pesos snáptcos ncales M patones de entenamento y pone k=1. Paso 1 Eleg aleatoamente un patón de entenamento. 14

7 Paso Calcula los potencales snáptcos h 1 (,h (,,h M (. Paso 3 Detemna la neuona ganadoa, es dec, la de mayo potencal snáptco h máx h 1M Paso 4 Actualza como sgue: ( k 1) x( Paso 5 Calcula la nueva tasa de apendzae según la expesón k 0 (1 ) T Paso 6 S k=t paa. Hemos encontado los vectoes snáptcos. En oto caso pone k=k+1 e al paso 1. Note que la condcón de paada se puede establece fando el númeo total de teacones T o establecendo un valo sufcentemente pequeño de la tasa de apendzae. S actualzamos los vectoes de pesos snáptcos después de ntoduc todos los patones de entada entonces tendemos que mnmza en cada teacón la expesón: M p x k (9) 1 1 a ( ) ( ) Paa ello utlzamos tambén el método del descenso del gadente. En este caso, p E a ( x( ) ) 1 y la egla de apendzae es la sguente: donde ( k 1) p a ( x( ) ) (10) 1 y los coefcentes de petenenca de patones a clases, a se estman según la expesón (5). Puede obsevase que cuando p 1 aˆ x( ) p 1 aˆ 15

8 es dec, cuando el vecto de pesos snáptcos de la undad de poceso es el patón pomedo de todos los patones de entada asgnados a dcha undad (aquellos que la hacen ganadoa po su poxmdad con su vecto snáptco) entonces (k+1)=0, y así no modfca sus pesos, pues ha encontado el valo buscado. Un poblema que se puede pesenta es que algunas undades de poceso no ganen nunca, es dec, no se actven, lo que quee dec que no epesentan a nngún patón de entada y se les llama undades de poceso muetas. Ello se debe a que sus vectoes snáptcos no están póxmos a nngún patón de entada. Paa tata de evta este poblema se pueden segu algunas pautas, como eleg los vectoes snáptcos ncales de las undades de poceso guales a patones del conunto de entenamento, en luga de eleg valoes aleatoos cualesquea, o ntoduc un mecansmo de concenca que evte que haya undades de poceso que ganen con demasada fecuenca; esto se puede hace estándole un valo al potencal snáptco de las undades que ganan con más fecuenca paa evta que ganen, y dcho valo se puede ncementando popoconalmente al númeo de veces que ganen. ALGORITMO DE APRENDIZAJE COMPETITIVO POR LOTES Paso 0 Eleg como vectoes de pesos snáptcos ncales M patones de entenamento. Paso Calcula los potencales snáptcos h 1 (,h (,,h M ( paa cada patón de entada x(, k=1,,,p. Paso 3 Detemna la neuona ganadoa, es dec, la de mayo potencal snáptco, h máx h 1M paa cada patón de entada x(, k=1,,,p. Pone ˆ a 1 0 s en oto caso es la undad ganadoa paa x( ) Paso 4 (Regla de apendzae) Actualza cada como sgue: ( k1) aˆ x( ) ( k ) 1 Paso 5 Calcula la nueva tasa de apendzae según la expesón k 0 (1 ) T Paso 6 S k=t paa. Hemos encontado los vectoes snáptcos. En oto caso pone k=k+1 e al paso 1. p 16

9 Note que la condcón de paada se puede establece fando el númeo total de teacones T o establecendo un valo sufcentemente pequeño de la tasa de apendzae. La eleccón del cteo de mínma suma de eoes cuadátcos (9) es apopada cuando los gupos foman nubes compactas que están ben sepaadas unas de otas. Sn embago, no es apopada cuando hay una gan dfeenca ente el tamaño de los gupos, es dec, ente el númeo de elementos que foman cada gupo. En la fgua 3 obsevamos que la agupacón (a), que coesponde a un mayo valo del eo cuadátco total, es la natual, mentas que la (b), que tene un meno eo cuadátco total, no lo es. Fgua 3. (a) Agupacón natual con valo de E gande. (b) Agupacón con valo de E pequeño. Esta stuacón se pesenta tambén con la pesenca de patones atípcos que poducen agupacones que no son adecuadas. Un cteo altenatvo es mnmza el eo cuadátco medo de epesentacón dento de cada gupo, es dec, mnmza la funcón: M p 1 a x( ) n 1 1 sendo n el númeo de patones del gupo, es dec, de apendzae po lotes vene dada po la expesón: n p a 1. En este caso, la egla p 1 ( ) ( ) ˆ k k a( x( ) ) nˆ 1 (11) donde nˆ p aˆ 1. Es dec, p 1 ( k1) aˆ x( ) ( ) ˆ k n 1 (1-( ) ( 1 nˆ p 1 aˆ x( ) 17

10 Obsévese que el nuevo valo del peso snáptco es una combnacón lneal de su valo actual con el patón pomedo de los patones asgnados a la clase. Asmsmo, la egla de apendzae en línea vene dada po la sguente expesón: 1 ( x ) s ( ) nˆ k (1) 0 s sendo la undad ganadoa en esta teacón. Asmsmo, tenendo en cuenta que 1 ( k 1) ( x( ) nˆ 1 1 ( 1( ) ( x( nˆ nˆ vemos que tambén el nuevo valo del vecto snáptco es una combnacón lneal de su valo actual con el patón de entada, pondeado de foma nvesa con el tamaño de la clase a la que petenece, como paece lógco. Es dec, se modfca menos el vecto snáptco cuantos más patones tenga la clase a la que ha sdo asgnado el patón de entada. 6.3 Redes neuonales autooganzatvas: Mapas de Kohonen En el apendzae compettvo no hemos tendo en cuenta paa nada la poscón físca de las undades de poceso. Sn embago, no ocue así en el ceebo humano, donde neuonas póxmas físcamente pesentan caacteístcas y compotamento smlaes. Así, el desaollo de estos modelos está motvado po la manea de oganzase que tene el ceebo. Las dfeentes áeas de la coteza ceebal están caactezadas po la delgadez de sus capas y po el tpo de neuonas que hay dento de ellas; así tenemos las áeas vsual, audtva, motoa, etc. Cada entada sensoal es aplcada al áea coespondente de la coteza ceebal de una manea odenada. Po lo tanto, la localzacón espacal de una neuona dento de un mapa topogáfco va a coesponde a un domno o caacteístca patcula de los datos de entada. Así, nspados en estas deas las undades de poceso se van a esta colocadas sobe una cuadícula o ella ectangula dento de la cual cada undad de poceso va a tene un conunto de undades vecnas, de manea que los pesos snáptcos de las undades vecnas debeán se paecdos. Esta dea está nspada en los estudos poneos que hzo von de Malsbug (1973) ndcando que un modelo de la coteza vsual puede no esta completamente pedetemnado genétcamente sno que un poceso de autooganzacón po apendzae puede se esponsable de la odenacón local de las neuonas. Kohonen (198) pesentó un modelo sencllo paa la fomacón autooganzada de mapas de caacteístcas de los datos de entada del que nos ocupaemos en este capítulo. La autooganzacón es un fenómeno obsevado en la natualeza medante el cual se alcanza un oden global a pat de nteaccones locales (Tung 195). Dcho oden global conduce a un compotamento coheente que es la esenca de la autooganzacón. La autooganzacón es un poceso de apendzae no supevsado medante el cual se descuben caacteístcas o patones sgnfcatvos en los datos de entada. 18

11 Consdeemos M 1 M undades de poceso colocadas sobe una ella ectangula (fgua 4) de manea que el vecto p =(p 1,p ) nos da la poscón de la undad de poceso. Paa establece la nocón de poxmdad ente las undades de poceso defnemos una funcón dstanca, d( p, p ) p p, que nos da la dstanca que hay ente la undad p y la undad p. Podemos utlza la dstanca euclídea, la dstanca ectangula, o cualque ota funcón dstanca. d (, p ) ( p1 p 1) ( p p ) p, d ( p, p ) p1 p 1 p p Sensoes Neuonas Fgua 4. Rella de colocacón de las undades de poceso. A contnuacón defnmos una funcón de vecndad (o funcón de ventana) que tomaá valoes mayoes confome más póxmas estén las dos undades de poceso, es dec, es cualque funcón dececente de la dstanca ente las msmas. Un eemplo de funcón de vecndad cuando las undades de poceso están sobe un segmento es 1 s ( p, p ) 0.5 s en oto caso S las undades de poceso estuvean sobe una cuadícula se podía utlza una funcón de vecndad detemnada po una plantlla o ventana, como la sguente: Es dec, la funcón de vecndad vale 1 cuando p concde con p ; vale 0.5 cuando p es la undad vecna que está encma, debao, a la deecha o a la zqueda de p, y vale ceo paa el esto de los casos. En geneal, cuando las undades de poceso estuvean ubcadas espacalmente se puede emplea como funcón de vecndad: ( p, p) ( p, p ) e d Además, tambén se puede utlza funcones de vecndad dnámcas, es dec, que se van modfcando en cada teacón. Po eemplo, la funcón de vecndad dnámca: 19

12 ( p, p ) e d ( p, p) ( k ) 1/ donde 0(1. Dcha funcón va educendo su ado de vecndad confome k aumenta apoxmándose sucesvamente a un apendzae compettvo smple. La taea que petendemos ealza es la sguente: Dado un conunto de patones del espaco de entadas, vamos a constu una aplcacón ente dcho espaco y el espaco de colocacón de las undades de poceso de manea que cada patón de entada se asgna a una undad de poceso (la undad ganadoa) de foma que patones de entada vecnos según la topología defnda en el espaco de entadas se coespondan con undades de poceso vecnas según la topología defnda ente las undades de poceso. Paa ello seguemos una la egla de apendzae smla a la egla compettva donde habá una undad ganadoa peo ahoa se modfcan tambén los vectoes snáptcos de las undades de poceso vecnas, aunque en meno medda, según su poxmdad a la undad ganadoa, acecándose al patón de entada. Ello gaantza que las undades de poceso vecnas tengan sus vectoes snáptcos paecdos, es dec, se peseve la topología del espaco de entada. Po eemplo, s se tata de agupa fonemas, las señales de sondo coespondentes a la ponuncacón del fonema be seá asgnaán a una undad de poceso leana de la undad de poceso coespondente al fonema tu peo vecna de la undad coespondente al fonema ve. Po lo tanto, s es el vecto de pesos snáptcos de la undad de poceso coespondente a la conexón ente el senso de entada y dcha undad, la actualzacón del msmo se ealza según la sguente egla de apendzae: p, p ( x( ( )) ( k 1) k, =1,,,M 1 M (13) sendo la undad de poceso ganadoa que, de manea smla a la egla del apendzae compettvo, es la de mayo potencal snáptco. Paa la tasa de apendzae podemos k eleg una funcón lneal y dececente, como la funcón (1 ) 0, donde T 0 (0,1] es el valo nca de dcha tasa y T el númeo total de teacones, o una 1/ funcón no lneal y dececente como la funcón (1. La ntepetacón de esta egla de apendzae es la sguente: Paa cada patón de entada se austa el vecto de pesos snáptcos de la undad ganadoa de manea que sea más paecdo a dcho patón, es dec, se aceca al msmo; tambén se austan los vectoes snáptcos de las undades vecnas, peo en meno medda, dependendo de su poxmdad. Se obtene así una ella sobe la que están colocadas las undades de poceso (neuonas). Cada undad de poceso tene un vecto de pesos snáptcos que epesenta a todos los patones de entada que hacen ganadoa a dcha undad, ya que es el vecto de pesos snáptcos más póxmo (smla) a dchos patones de entada. A dcha ella, con los coespondentes vectoes snáptcos de sus neuonas detemnados po la egla de apendzae (13), la llamaemos Mapa Autooganzatvo de caacteístcas (en nglés Self-Oganzng Featue Map, acónmo SOFM, o smplemente SOM). Una SOM tata de poyecta los patones (puntos) de entada sobe una ella de manea que los patones (puntos) póxmos en el espaco de entada se asgnen a neuonas póxmas en la ella (pesevacón de la topología). Las ellas pueden se ectangulaes, hexagonales, cculaes, etc. En la fgua 5 mostamos una ella hexagonal, en la que 130

13 cada neuona tene 6 neuonas vecnas, y una ella ectangula, donde cada neuona puede tene 4 u 8 neuonas vecnas, según se defna el tamaño del entono. Fgua 5 a) Rella hexagonal. b) ella ectangula. El poceso de entenamento de un Mapa Autooganzatvo consta de etapas: a) En la pmea etapa, llamada fase de odenacón global, tene luga la odenacón topológca de los vectoes snáptcos (vectoes de efeenca o pototpos) de las undades de poceso. Se utlza una tasa de apendzae alta (0.9) y un ado de vecndad gande smla al dámeto del mapa. A medda que avanza el apendzae, tanto la tasa de apendzae como el ado de vecndad se van educendo foma lneal hasta alcanza unos valoes mínmos, 0.0 y 1, espectvamente. b) La segunda etapa, llamada fase de auste fno, tene como obetvo consegu la convegenca de los vectoes snáptcos a los pototpos de los gupos que constuye la ed. La tasa de apendzae se toma pequeña (0.05) y se puede mantene constante o educéndose suavemente. El ado de vecndad se toma gual a 1 (mínmo). Se epte el poceso de entenamento 10 veces, cada una de ellas con una confguacón ncal dfeente de los vectoes snáptcos. Se calcula el eo de epesentacón paa cada uno de los mapas obtendos y se seleccona el de meno eo. Po lo tanto, el poceso de apendzae de un Mapa Autooganzatvo se puede dvd en tes fases. Una pmea fase compettva en la que se detemna la neuona ganadoa, es dec, la meo empaeada con el patón de entada según la dstanca eucldana; una segunda fase coopeatva establecda en témnos de una funcón de vecndad ente la neuona ganadoa y las demás, y, fnalmente, una tecea fase adaptatva que actualza los vectoes snáptcos de la undad ganadoa y sus vecnas según la egla de apendzae (13) Pecsón de la tansfomacón Cada undad de poceso tene asgnado el conunto de patones de entada que la hace ganadoa. Dcho conunto vene epesentado po el vecto de pesos snáptcos de la undad de poceso. Una medda de pecsón de la tansfomacón de un mapa autooganzatvo descbe cómo de coecta es la epesentacón de dcho conunto de patones po el vecto de pesos snáptcos de la undad de poceso que los epesenta (undad ganadoa). Es dec, la pecsón de las espuestas de las undades de poceso a 131

14 un conunto de patones (datos) dado. Una medda que calcula la pecsón de la tansfomacón es el eo medo de cuantfcacón sobe un conunto de N datos que vene dada po la expesón: EMC 1 N k N x k 1 sendo ( el vecto snáptco de la undad de poceso ganadoa cuando la entada es el patón x k Pesevacón de la topológa Con una ed autooganzatva se pesgue la pesevacón topológca en el plano de la poyeccón. Es dec, que los puntos póxmos en el espaco ognal estén tambén póxmos en el plano de la poyeccón. Una medda de la pesevacón de la topología del conunto de patones (datos) en el mapa autooganzado es el eo topogáfco que vene dado po la expesón: donde N 1 ET u( x ) N k 1 1 s la pmea y segunda undades ganadoas paa xk están póxmas u( x k ) 0 en oto caso k Po oto lado, la poyeccón de Sammon es un algotmo que poyecta un espaco de alta dmensón en un espaco de baa dmensón (genealmente en una egón bdmensonal) de manea que se mnmce la sguente funcón de eo: sendo * d E * d d 1 * * d d la dstanca ente los obetos -ésmo y -ésmo en el espaco ognal, y d la dstanca ente sus poyeccones. Podemos utlza tambén la expesón anteo paa compoba la adecuacón de la poyeccón ealzada po la ed autooganzada, es dec, el gado de pesevacón topológca de los obetos (puntos) Aplcacones Aplcacón 1: Vsualzacón de datos Una de las aplcacones de los Mapas autooganzatvos es a la vsualzacón de datos ya que poyectan puntos (patones) de un espaco de alta dmensonaldad a puntos sobe una ella ntentando mantene la topología (punto póxmos en el espaco de entada se coesponde con puntos póxmos en le ella). Una matz de dstancas unfcada (U-matz) es una vsualzacón D de datos multvaantes que utlza los vectoes snáptcos (pototpos, vectoes de epesentacón o vectoes códgo) de las undades de poceso de un Mapa Autooganzatvo. Paa ello, se genea una matz en la que cada elemento de la msma está asocado a una undad de poceso y el valo de cada 13

15 elemento vene detemnado po la dstanca meda del vecto de pesos snáptcos de la undad de poceso a los vectoes snáptcos de sus undades de poceso vecnas. Po eemplo, consdeemos un mapa autooganzado de tamaño 5 1, sendo p, =1,,...,5, las undades de poceso. La U-matz es el vecto ( u, u, u, u, u ) donde N() u d(, ), 1,,...,5. y N() es el conunto de undades de poceso vecnas con la undad. Los valoes altos de una U-matz epesentan una egón fontea ente clustes mentas que los valoes baos epesentan un alto gado de smltud ente las neuonas de esa egón (clustes). Podemos utlza algún sstema de coloes o tonos de gs paa ealza una epesentacón gáfca de dcha matz. Po eemplo, utlza tonos de gs claos paa valoes altos de la dstanca y oscuos paa valoes baos. Así, una tonaldad claa ente neuonas coesponde a una gan dstanca ente sus vectoes snáptcos (hay un gan espaco ente ellos). Una oscua ndca que los vectoes snáptcos están póxmos ente sí en el espaco de entada. Las áeas oscuas se pueden ntepeta como agupacones y las claas como sepaacones de gupos. Ello nos puede ayuda a defn los gupos (clustes) cuando no tenemos nfomacón a po de los msmos. Po eemplo, vamos a constu una U-matz paa el conunto de datos IRIS fomada po 150 patones, cada uno consttudo po los valoes de 4 caacteístcas de la hoas (ancho y lago del pétalo y del sépalo) de tes vaedades de los (setosa, vescolo y vgnca). Hay 50 patones de cada vaedad. S utlzamos una ella cuadada de undades de poceso se puede obtene una U-matz como la de la fgua 6. Las neuonas de la ella que se actvan paa los de la vaedad setosa tenen un punto de colo azul, paa la vaedad vescolo el punto es vede y paa la vaedad vgnca es oo. Loe elementos más claos de la matz (montañas) coesponden a gandes dstanca y po lo tanto macan las fonteas de los gupo mentas que los elementos oscuos (valles) se coesponden con patones smlaes. Los los de la vaedad setosa (punto azul) están claamente sepaados de las otas dos vaedades. Fgua 6. Mapa Autooganzatvo de Kohonen paa datos IRIS. Aplcacón : Cómo se puede tata de esolve el poblema del vaante con una Red autooganzada de Kohonen? Tenendo en cuenta que la solucón del poblema del vaante es un ecodo (uta) que pasa po cada una de las N cudades sólo una vez y egesa a la cudad de patda, vamos a utlza una ed autooganzada con un númeo 133

16 mayo de undades de poceso (po eemplo, 3N) que cudades a vsta. Las undades de poceso van a esta colocadas sobe una ccunfeenca e gualmente espacadas (ve la fgua 7), de manea que la ccunfeenca nos detemnaá la uta a segu y los pesos snáptcos de cetas undades de poceso van a llega a se las coodenadas de los pueblos que epesentan. Vamos a toma como funcón de vecndad: Fgua 7 Topología de la ed autooganzada. 1 s 0 1/ s (, ) 3N, =1,,...,3N 4 1/4 s 3N 0 en oto caso sendo la neuona ganadoa y el ángulo, en adanes, que detemna la poscón de la neuona atfcal con especto al ogen y el ee de abscsas. Con esta funcón la undad ganadoa compate la mtad de sus ganancas con cuato neuonas vecnas. Así, conseguemos que los vectoes snáptcos de neuonas vecnas sean tambén póxmos. Po lo tanto, la dnámca de computacón es la sguente: Se detemna la undad ganadoa,, es dec, la de mayo potencal snáptco: h h sendo h N x N 1 1 y se sgue la sguente egla de apendzae: / (, )( x ), =1,,...,N 134

17 tomando como conunto de patones de entenamento el conunto de N puntos: {(x, y ), =1,,...,N} que coesponden a las coodenadas de la cudades. Los vectoes snáptcos seán ataídos po los puntos donde están stuadas las cudades y cuando se establce la ed los pesos snáptcos seán las coodenadas de las cudades y la uta vene detemnada po la secuenca de cudades sobe la ccunfeenca. Fgua 8. Evolucón de los pesos snáptcos. En la fgua 8 pesentamos la tayectoa de los pesos snáptcos y el esultado obtendo cuando el númeo de cudades es gual a 15 y el númeo de undades de poceso es gual a 45. Aplcacón 3: Se dspone de 3 puntos (x, y ), =1,,...,3, que confguan el contono dfuso de un vaso sanguíneo en una mamogafía (ve la fgua 9). Se tata de dseña una ed neuonal que constuya el contono polgonal de 30 vétces que meo se austa al contono del vaso sanguíneo. Fgua 9. Vaso capla en una mamogafía. Se puede utlza una ed autooganzada de Kohonen con tantas neuonas atfcales como vétces tenga el contono polgonal. Como no conocemos la poscón n la oentacón del vaso sanguíneo, la neuonas atfcales estaán colocadas sobe una ccunfeenca e gualmente espacadas (fgua 10). Vamos a toma como funcón de vecndad: 1, ) 1/ 0 s ( 0 s 10 en oto caso, =1,,...,N 135

18 sendo la neuona ganadoa y el ángulo, en adanes, que detemna la poscón de la neuona atfcal con especto al ogen y el ee de abscsas. Con esta funcón la undad ganadoa compate la mtad de sus ganancas con dos neuonas vecnas. Así, conseguemos que los vectoes snáptcos de neuonas vecnas sean tambén póxmos. neuona Fgua 10. Topología de la Red autooganzada. La dnámca de computacón es la sguente: Se detemna la undad ganadoa,, es dec, la de mayo potencal snáptco, h h, sendo Se utlza la egla de apendzae h N x N 1 1 / (, )( x ), =1,,...,N, tomando como conunto de patones de entenamento el conunto de 3 puntos: {(x, y ), =1,,...,3} que coesponden a las poscones de los píxeles del contono en la magen de bodes. Los vectoes snáptcos seán ataídos po los puntos que confguan el contono del vaso sanguíneo y nos daán los vétces del contono polgonal (fgua 11). Fgua 11. Auste al contono de vaso sanguíneo de una mamogafía. 136

19 6.4 Redes Neuonales ART (Adaptve Resonance Theoy) En las edes compettvas es necesao que la tasa o tmo de apendzae vaya dececendo gadualmente hasta hacese gual a ceo paa gaantza la establdad de la ed, pues en caso contao puede ocu que el gupo que se va asgnando a un msmo patón de entada vaya cambando ndefndamente en etapas sucesvas. Sn embago, esta estatega conduce a que cuando la tasa de apendzae llegue a se pequeña la ed no se adapta ben a los nuevos patones de entada, es dec, va pedendo plastcdad (capacdad de eaccona paa adaptase a nuevos patones). Esto conduce al dlema de establdad-plastcdad planteado po Gossbeg. Los modelos de edes neuonales ART pemten foma gupos o categoías a pat de una secuenca de patones de entada no etquetados, es dec, que no conocemos la clase a la que petenecen, y además esuelven el dlema de la establdad-plastcdad de Gossbeg, pues la ed pemte adaptase a nuevos patones evtando que su nfomacón sea anqulada po la nfomacón de todos los patones de entenamento anteomente utlzados cuando tata de busca la establdad del poceso. Estas edes van a ealza la agupacón según la smltud de los patones de entada, de manea que los patones que consttuyan un msmo gupo sean smlaes ente sí. Asmsmo, tampoco se tene que establece a po el númeo de gupos que foman los patones de entada, ya que la popa ed se encagaá de detemnalos sguendo un poceso que se contola medante un paámeto de vglanca. La ed neuonal ART1 consta de una capa de sensoes de entada bnaos, es dec, los patones de entada tenen que se bnaos, x{0,1} N, y las undades de poceso son lneales con vectoes snáptcos tambén bnaos que epesentan patones pototpo. Se actva sólo la undad de poceso cuyo vecto de pesos snáptcos (pototpo) es más paecdo al patón de entada. S la undad de poceso actvada (ganadoa) no epesenta ben a dcho patón de entada (lo que se compueba medante un test de smltud) entonces se añade una nueva undad de poceso cuyo vecto de pesos snáptcos es el popo patón de entada; s la undad de poceso actvada epesenta ben al patón de entada, según el test de smltud, entonces su vecto de pesos snáptcos se modfca acecándolo al patón de entada. Paa cada patón de entada, x{0,1} N, pesentado a la ed, se calcula el potencal snáptco nomalzado de cada undad de poceso. El potencal snáptco nomalzado de la undad de poceso vene dado po la expesón: h ' x ' x... N 1 sendo 1... N, ya que los pesos snáptcos son tambén vectoes bnaos, y es el vecto snáptco nomalzado de la undad de poceso. La undad ganadoa es la de mayo potencal snáptco nomalzado, h, =1,, Sea la undad ganadoa. Con el fn de compoba s el vecto snáptco de la undad ganadoa, epesenta de foma adecuada al patón de entada x (está lo bastante póxmo) utlzamos un pme test, que consste en compoba s h ' x x N 137

20 Es dec, s hay una faccón sufcente de unos en el vecto empaeados con los unos de x, puesto que nos da el númeo de unos que tene el vecto. S no se pasa este pme test es poque el vecto de entada no está ben epesentado po los vectoes snáptcos exstentes, po lo que se hablta una nueva undad de poceso que tendá como vecto snáptco el popo patón de entada x. En caso contao (pasa el pme test) compobamos s además pasa un segundo test que se ocupa tambén de vefca el empaeamento adecuado del patón de entada con el vecto snáptco de la undad ganadoa. Se pasa este segundo test s ' x x Es dec, se declaa el vecto empaeado con el vecto de entada x s una faccón sgnfcatva de unos de x (detemnada po el paámeto ) están tambén en. El paámeto (0,1), llamado paámeto de vglanca, contola la ganuladad de la agupacón que foma la ed. Así, valoes pequeños de pemten gandes desvacones del pototpo que conducen a un númeo pequeño de gupos (gupos más gandes), mentas que valoes gandes de conducen a agupacones con muchos gupos peo de menos elementos, y más póxmos ente sí los patones de cada gupo. Po lo tanto, el pme test tene en cuenta el númeo de unos de que tambén tene x con especto al númeo de unos de mentas que el segundo test tene en cuenta el númeo de unos de x que tambén están en con especto al númeo de unos de x. Cuando se pasa tambén este segundo test se dce que la ed está en esonanca y entonces se modfca el vecto snáptco de la undad ganadoa según la sguente egla de apendzae: nuevo x donde es la opeacón conuncón lógca (AND) componente a componente. Así, el nuevo vecto snáptco peseva su natualeza bnaa y sólo conseva los unos que tene en común con x. Esta educcón sucesva de unos en el poceso de apendzae puede conduc a que un patón anteo salga de un gupo poque oto patón se ha undo a él. Cuando no se pasa este segundo test (habendo pasado el pmeo) entonces la undad de poceso ganadoa se desactva y se actva como ganadoa aquella que tene mayo potencal snáptco h ente la estantes y se epte el poceso de vefcacón con los tests. S esta stuacón pesste después de que se haya do tomando sucesvamente cada una de las undades de poceso entonces se hablta una nueva undad de poceso cuyo vecto snáptco es el patón de entada. Una caacteístca mpotante de esta ed es su capacdad paa apende contnuamente al msmo tempo que es estable paa un conunto fnto de patones de entenamento, ndependentemente del valo elegdo del paámeto de vglanca. Po lo tanto, la ed ART1 no sólo ealza una agupacón no supevsada de los patones de entada sno que detemna tambén el númeo de gupos que la confgua. Ahoa vamos a estuda una ed de esonanca adaptatva, llamada ART, que pemte que las entadas de la ed y los pesos snáptcos sean númeos analógcos (númeos eales, no necesaamente númeos bnaos). La ed neuonal pate de un númeo educdo M de undades de poceso. Como vectoes snáptcos ncales de las msmas se toman vectoes (patones) de entada. Se actva sólo una undad de poceso, llamada undad ganadoa, aquella que su vecto 138

21 snáptco está más póxmo al patón de entada, x, es dec, se actva la undad (ganadoa) s x x, A contnuacón la ed compueba s el patón de entada está ben epesentado po el vecto snáptco de la undad ganadoa aplcando el sguente test de vglanca: La undad de poceso epesenta adecuadamente al patón de entada s x donde el paámeto contola el gado de pecsón de la epesentacón y es el ado del gupo que se foma entono al vecto snáptco de la undad ganadoa. Confome dcho paámeto sea mayo se fomaán menos gupos y de mayo tamaño; confome sea meno se fomaán más gupos y de meno tamaño. S no se pasa el test se hablta una nueva undad de poceso h con peso h = x, que epesentaía a dcho patón y se vuelve a ntoduc un nuevo patón de entada. S se pasa el test entonces se actualza sólo el vecto snáptco de la undad ganadoa según la expesón (egla de apendzae): x gupo ( k 1) 1 gupo donde gupo es el númeo de elementos del gupo confguado po la undad de poceso, es dec, el consttudo po todos los patones de entada que tenen a la undad de poceso como undad ganadoa ( es el vecto pototpo que meo los epesenta). La egla de apendzae anteo nos dce que modfcamos el vecto snáptco de la undad ganadoa acecándolo al patón de entada y que dcha modfcacón es meno cuanto más gande sea el tamaño del gupo que confgua la msma, es dec, se aceca más a x cuanto mayo se la cantdad 1/(1+ gupo ). Obsévese que s ( es el centode (meda) del gupo entonces (k+1) es el centode del nuevo gupo de +1 patones, al ncopoa el patón de entada x, pues x x. 1 El poceso se contnúa hasta que se establce la ed, es dec, no se modfquen ya los pesos snáptcos después de habe ntoducdo, uno a uno, todos los patones de entenamento. Po lo tanto, la ed ART no sólo ealza una agupacón no supevsada de los patones de entada analógcos, sno que detemna tambén el númeo de gupos que la confguan. x 6.5 Redes Neuonales Compettvas Supevsadas Como vmos con anteodad, una ed compettva está consttuda po N sensoes de entada, M undades de poceso (neuonas atfcales), y conexones ente cada senso y cada undad de poceso, de manea que la conexón ente el senso y la undad 139

22 de poceso tene asocado un valo. Paa cada entada ecogda po los sensoes se actva solamente una undad de poceso, aquella que tene el mayo potencal snáptco. Po lo tanto, la dnámca de la computacón de la ed vene dada po la expesón: 1 s h max h1, h,..., hm k y, =1,,,M (14) 0 en oto caso donde el potencal snáptco de la undad de poceso vene dado po la expesón 1 con ( N ). h... 1 x1 x N x N (15) Paa una entada x=(x 1,x,,x N ) R N se actva la undad de poceso cuyo vecto de pesos snáptcos =( 1,,, N ) está más póxmo a x. Así, se puede dec que la ed neuonal compettva es una funcón de R N en el conunto {1,,,M}, que aplca un punto (x 1,x,,x N ) R N en el valo {1,,,M}, cuando sea la undad ganadoa. Dcha funcón poduce una patcón del espaco de los datos (patones) de entada en M egones dsuntas. Dcho de ota foma, la ed compettva agupa el conunto de datos de entada en M gupos o clases. Cómo se detemnan los pesos snáptcos? En este caso dsponemos de un conunto de patones de entenamento etquetados, {(x, z ), = 1,,,p}, es dec, podemos sabe s la undad que se actva coesponde, o no, a la clase a la que petenece el patón de entada. Paa ncopoa dcha nfomacón al poceso de apendzae nos basamos en la dea de aceca el vecto snáptco al patón de entada sempe y cuando la undad ganadoa sea la de la clase coecta (como en el apendzae no supevsado), y en caso contao, cuando la asgnacón sea ncoecta, aleamos el vecto snáptco de la undad ganadoa del vecto de entada x. Po lo tanto, en el poceso de apendzae el vecto snáptco de la undad ganadoa es ataído po patón de entada s la clasfcacón es coecta, y epeldo s la clasfcacón es ncoecta. Concetamente, cuando el patón de entada x es de la clase s, y la undad ganadoa es la, entonces la egla de apendzae supevsado es la sguente: ( k 1) (16) donde ( x ) s s ( x () s s 0, (17) Al paámeto lo llamaemos tasa de apendzae, pues confome mayo sea más se modfcan los pesos snáptcos. Sn embago, la evolucón de dcho paámeto duante el poceso de entenamento de la ed no va a se sempe dececente como en el caso del apendzae no supevsado. Paa meoa la velocdad de convegenca cada undad de poceso tene su popa tasa de apendzae y evolucona según la sguente egla popuesta po Kohonen (1990): 140

23 s s 1 (18) s s 1 Así, se dsmnuye la tasa de apendzae cuando la clasfcacón ha sdo coecta y se aumenta en caso contao. Po lo tanto, vamos a tene una ed neuonal con m undades de poceso El vecto snáptco de la undad de poceso vene dado po un pototpo de la clase coespondente. Los vectoes snáptcos (pototpos) se van modfcando según la anteo egla de apendzae. Sn embago, puede ocu que patones de una msma clase no estén agupados fomando un únco gupo, en cuyo caso utlza un únco pototpo, es dec, una únca undad de poceso paa epesenta una clase no seía adecuado. S los patones de la clase están agupados en K gupos entonces debeíamos utlza K undades de poceso paa esta clase. Po lo tanto, la ed neuonal m estaía fomada po K undades de poceso. Se obtene el sguente algotmo: 1 Algotmo de apendzae compettvo supevsado Paso 1: Eleg K pototpos ncales paa la clase, =1,,,m (se puede utlza paa ello la ed compettva no supevsada o el algotmo de las K-medas) que consttuán los vectoes snáptcos de las undades de poceso. Paso (k-ésma teacón): Seleccona aleatoamente (con eemplazamento)un patón del conunto de entenamento, x(. Paso 3: Detemna la undad ganadoa medante la expesón h max h Paso 4 (Fase de apendzae): 1,..., M S es la undad ganadoa y coesponde a la msma clase que la entada x( entonces se modfca el vecto snáptco de la msma según la expesón: ( k 1) ( x( ) Las demás undades de poceso no modfcan sus pesos. En oto caso se modfca el vecto snáptco de la undad ganadoa según la expesón: ( k 1) ( x( ) 141

24 Las demás undades de poceso no modfcan sus pesos. Paso 5: Repet el paso modfcando la tasa de apendzae de la undad ganadoa según la expesón (18). El algotmo fue popuesto po Kohonen (1989) y se suele llama Apendzae de la Cuantfcacón Vectoal (Leanng Vecto Quantzaton) o algotmo LVQ. Paa entende meo dcha egla de apendzae vamos a ealza la sguente ntepetacón geométca. S es la undad ganadoa y el patón de entada x( es de la msma clases entonces ( k 1) ( x( ) ( 1( ) ( x( Es dec, el nuevo vecto de pesos snáptcos (k+1) es una combnacón lneal de los vectoes ( y x(. Quee dec que el vecto de pesos snáptcos se modfca acecándose al patón de entada, como se muesta en la fgua 1. Confome mayo es el valo del paámeto de apendzae más se aceca. En oto caso, entonces ( k 1) ( x( ) ( 1( ) ( x( Es dec, el nuevo vecto snáptco se eta del patón de entada en la deccón opuesta, como se muesta en la fgua 13. La utlzacón de la egla (18) paa modfca la tasa de apendzae puede conduc a valoes altos de la msma, puesto que s una undad de poceso ganadoa se equvoca vaas veces consecutvas en la asgnacón de la clase, entonces s vale 0.100, va pasando a los valoes 0.111, 0.15, 0.143, 0.167, 0.00, 0.50, 0.333, 0.50, 1,. Po ello, es meo utlza la sguente egla: s s 1 (19) k ( ) mn, (0) s s 1 14

25 ( (k+1) x( Fgua 1. El nuevo vecto de pesos snáptcos en caso de ataccón. (k+1) ( x( Fgua 13. El nuevo vecto de pesos snáptcos en caso de epulsón. 143