2.2 Redes neuronales artificiales

Transcripción

1 2.2 Redes neuronales arificiales Los modelos de redes neuronales arificiales inenan reproducir el comporamieno del cerebro (ver figura 2.2), es decir, cada neurona esá caracerizada por enradas de acivación y j, que son modificadas por un peso w j (la sinapsis en el caso biológico), las señales moduladas se combinan enre ellas y enran a una función de acivación que deermina la salida S con base en una comparación de la suma con el valor de acivación θ. Figura 2.2 Como se puede noar, las neuronas arificiales son simples unidades procesadoras, que pueden recibir muchas enradas de oras neuronas y luego procesar una salida, igual que las neuronas biológicas, la forma en que se conecen las neuronas depende de la arquiecura de red neuronal que se quiera uilizar. Con base en lo anerior podemos definir a una red neuronal arificial de la siguiene forma: Una red Neuronal Arificial es un modelo maemáico compueso por elemenos inerconecados enre sí, que se inspira en el sisema nervioso biológico. 2.3 Red Holográfica Inroducción Un paradigma de redes neuronales es el modelo holográfico [SUTHERLAND_1992], donde el érmino Tecnología neuronal holográfica ha sido asignado a ese nuevo paradigma de la ineligencia arificial, debido a algunas analogías que ese ipo de proceso neural iene con las maemáicas enconradas en el campo de la eoría elecromagnéica, principalmene en la holografía ópica. La siguiene descripción de la red holográfica es omada de [SUTHERLAND_1992] y en ésa se expone el modelo maemáico de la red en su fase de enrenamieno y su fase de reconocimieno. 9

2 El modelo holográfico se basa en un concepo donde la información se presena como un vecor ubicado en el plano complejo y cada neurona opera como una ransformada deerminísica, a ravés de un mapeo de conjunos de esímulos analógicos de enrada hacia una respuesa analógica de salida. Además, el proceso neuronal holográfico iene la capacidad de almacenar gran canidad de información, ya que permie superponer gran canidad de asociaciones esímulo-respuesa, de al manera que las asociaciones esímulorespuesa sean mapeadas direcamene denro de una mariz de correlación formada por números complejos. Además, sí se inroduce como enrada un parón de esímulo que se encuenre denro del conexo de los aprendidos, pero que no perenezca al conjuno inicial de enrenamieno, la red regenera la respuesa asociada a un parón de esímulo previamene aprendido eniendo una gran capacidad de generalización [SUTHERLAND_1992] Arquiecura de la red holográfica La arquiecura del modelo holográfico se encuenra conformado por las siguienes cinco celdas: Esímulos Salida Enrada Celda Buffer Celda Sa Celda Corex Celda Buffer O. Respuesa Deseada Celda Buffer Figura 2.3 Configuración básica del paradigma holográfico. Donde el funcionamieno de cada celda es la siguiene: Celda Buffer : Es la fuene de enrada, conviriendo los valores reales de enrada en valores complejos con los cuales rabaja el sisema holográfico. Celda Sa : Lee los valores complejos de enrada y los expande, con la finalidad de disminuir el error de la respuesa asociada. Celda Corex : Genera la mariz de correlación con base en la relación exisene enre el esímulo complejo de enrada y la salida compleja deseada. Celda Buffer O: Conviere los valores de salida complejos en valores en el dominio de los reales. 10

3 2.3.3 Parámeros de la red holográfica El paradigma holográfico es de aprendizaje supervisado, por lo que al enrenarla se necesian varios parones de enrada (vecores de números reales), y sus correspondienes respuesas (vecores de números reales), eniendo así por cada parón un campo de esímulo [S] y un campo de respuesa [R], que son represenados por arreglos de números reales: [S]={s 1,s 2,s 3,,s n } (2.1) [R]={r 1,r 2,r 3,,r m } (2.2) Los parones de enrada y las respuesas asociadas, esán represenadas en el mundo de los reales, la celda buffer de enrada, conviere los valores esímulo en el conjuno de los reales al dominio de los números complejos, a ravés de una ransformación lineal o sigmoidal cenrada alrededor de un valor medio µ (de los diferenes parones), como se ilusra en las figuras 2.4 y 2.5. Figura 2.4 Normalización lineal Figura 2.5 Normalización sigmoidal En el eje horizonal se encuenra el dominio de los números reales y las fases que se asignan en el eje verical en un rango de 0 de 2π. 11

4 De esa manera los elemenos de información son números complejos, eniendo magniud (valor de 0 á 1) y fase (en radianes de 0 a 2π), como se muesra en la figura 2.6. Figura 2.6 Valor de la información en red holográfica consisene de magniud y fase. Las ransformaciones aneriores, lleva a los campos [S] y [R] a converirse en: [S]={λ 1 e iθ1,λ 2 e iθ2,λ 3 e iθ3,,λ N e iθν } (2.3) [R]={γ 1 e iφ1,γ 2 e iφ2,γ 3 e iφ3,,γ M e iφm } (2.4) Donde: λ i = Nivel de ponderación de los elemenos del campo esímulo. θ i = Información semánica de los elemenos del campo esímulo. γ i = Nivel de ponderación de los elemenos del campo de respuesa. φ i = Información semánica de los elemenos del campo de respuesa. Se puede observar que a cada fase se le asigna un nivel de ponderación, represenado en la magniud del vecor complejo. La asignación del valor de ponderación puede ser dado por el usuario de acuerdo a su conveniencia, pero lo más recomendado es deerminar el valor uniario. Se hace noar que el nivel de ponderación asigna el peso de cada componene de información con respeco a los demás. 12

5 2.3.4 Aprendizaje El proceso de aprendizaje iene caracerísicas operacionales semejanes al méodo holográfico al superponer una serie de asociaciones de esímulos-respuesa en una mariz de correlación [X], compuesa de números complejos, donde el proceso de codificación se ejecua en un nivel fundamenal como el produco de vecores complejos. Evaluando un elemeno de la mariz de correlación con un elemeno de esímulo y un elemeno de respuesa j y calculando el produco y suma se iene: x,j = Σ s r j (2.5) Donde: s es el conjugado de s s y r j son complejos y se represenan como: r j = γ j e iφj (2.6) S = λ e iθ (2.7) Escribiendo a (2.6) en forma compleja: X,j = T λ γ j e i(φj-θ) (2.8) Teniendo un conjuno de parones de esímulos (T esímulos con m elemenos) y respuesas (T respuesas con p elemenos), Obeniendo un vecor de parones y de respuesas, que a su vez son oro vecor de valores complejos, generando así una mariz de elemenos complejos. 13

6 S 1 λ 1,1 e iθ11 λ 2,1 ei θ21... λ m,1 e iθm1 S 2 λ 1,2 e iθ12 λ 2,2 ei θ22... λ m,2 e iθm2 [S] =.... (2.9).... S T λ 1,T e iθ1t λ 2,T ei θ2t... λ m,t e iθmt R 1 γ 1,1 e iφ11 γ 2,1 ei φ21... γ p,1 e iφp1 R 2 γ 1,2 e iφ12 γ 2,2 ei φ22... γ p,2 e iφp2 [R] =.... (2.10).... R T γ 1,T e iφ1t γ 2,T ei φ2t... γ p,t e iφpt El proceso de codificación para múliples parones puede ser represenado en su forma canónica por la siguiene ecuación: T [X] = [S] -T [R] (2.11) Donde: T = Número de esímulos de enrenamieno -T significa la raspuesa de [S] con sus elemenos conjugados Uilizando el conjugado de s i, con la finalidad de obener una diferencia de fases y la ranspuesa de [S] para lograr la muliplicación, a nivel de elemenos de [X] [SUTHERLAND_1992]. A parir de la ecuación (2.11) eniendo una sola variable en el vecor de respuesa (múiple enrada simple salida), se obiene una mariz de correlación de la siguiene manera: 14

7 T λ 1, γ e i(φ-θ1) [X] = T λ 2, γ e i(φ-θ2) (2.12).... T λ m, γ e i(φ-θm) Donde cada elemeno de la mariz de correlación, guarda odas las asociaciones enre cada elemeno de los esímulos y las respuesas deseadas. Ese proceso de aprendizaje lleva inherenemene a un principio de no inerferencia, en el senido de que los pares esímulo respuesa aprendidos, no son influenciados por mapeos de aprendizaje poseriores como sucede en oros modelos neuronales. Es por eso que oras redes neuronales, basadas en écnicas de gradiene descendene al presenar mayor número de resricciones en el aprendizaje, llegan a producir una degradación en su desempeño [MAYORA_1994] Decodificación. El proceso de reconocimieno se encarga de omar un esímulo de enrada (parón de enrada [S]*), y mediane la mariz de correlación [X], genera la respuesa asociada [R]*, eniendo ese desarrollo la siguiene represenación [SUTHERLAND 1992]: [R]* = 1 C [S]* [X] (2.13) Donde: C es un coeficiene de normalización y esa dado por: m C = = 1 λ * (2.14) El campo de esímulo experimenal [S] * se proporciona a la red para obener una respuesa, represenado de la siguiene manera: 15

8 [S] * ={λ 1e iθ 1,λ 2e iθ 2,λ 3e iθ 3,,λ me iθ m } (2.15) Cada érmino de respuesa generado por (2.13) puede ser desarrollado a parir de sus pares consiuivas, y cada pare es un vecor complejo generado por una ransformación de un esímulo [S] a ravés de la mariz de correlación [X]. Represenando una expansión en su forma exponencial compleja, para cada elemeno de [R] se obiene: T r = m 1 λ * c e iθ* λ, γ e i(φ-θ,) (2.16) Ésa puede ser escria de la siguiene forma: r = 1 c T γ e iφ m λ λ, e i(θ -θ,) (2.17) Además, reescribiendo (2.17), en forma más compaca: r = 1 c {Λ 1 e iφ 1,Λ 2 e iφ 2,Λ 3 e iφ 3,,Λ T e iφ Τ } (2.18) Donde: Λ es el nivel de ponderación de la respuesa, y e iφ* es la fase de cada una de las respuesas. Un elemeno de (2.18) puede escribirse de la siguiene manera: Λ e iφ* = γ e iφ m λ * λ, e i(θ*-θ,) (2.19) Una vez eniendo, la magniud y la fase de cada componene de [R], cada érmino puede ser evaluado deerminísicamene por las siguienes ecuaciones: Λ = γ. T C m λ * λ, cos(θ * -θ, ) + m 2 2 1/2 λ * λ, sen(θ * -θ, ) (2.20) 16

9 m λ * λ, sen(θ * - θ, + φ ) φ * = an -1 (2.21) m λ * λ, cos(θ * - θ, + φ ) Recordando que se debe ajusar a φ * a su cuadrane correco. Cada componene de (2.18), coniene una magniud o nivel de ponderación proporcional al grado del cual el parón de esímulo se acerque o falle, a un parón memorizado en la mariz de correlación. Ilusrando eso gráficamene se puede decir que aquellos parones que muesren la similiud más grande con el nuevo parón esimulo, producen los elemenos vecoriales más dominanes. En la figura 2.7 se muesra la suma de los elemenos del vecor de respuesa. Figura 2.7 Suma vecorial represenaiva de una respuesa. Finalmene, se procede a pasar del dominio de los complejos al dominio de los reales la respuesa generada, a ravés de una función inversa a la sigmoide (si es el caso), con la siguiene relación: R* = µ σ ln 2π φ* - 1 (2.22) Error de la red holográfica Para enconrar el error se supone un error aleaorio e r, el cual da la diferencia que exise enre el parón desconocido [S]* y el parón de esímulo codificado en el iempo T, eniendo la siguiene relación: 17

10 e iθ* = e i(θ, + εr) = 1,2,3... (2.23) Cuando los elemenos de [S]* ienen mucha similiud con el parón de esímulo codificado en el iempo T, el error ε r iende a cero. ε r 0.0 (2.24) Para cada elemeno. Subsiuyendo a (2.23) en (2.14) y (2.20), suponiendo que (2.24) es verdadera, se encuenra que: γ m λ * λ,t Λ Τ (2.25) m λ * Además, sí enemos que λ = λ,t = γ T = 1 para oda se iene: Λ T 1.0 (2.26) Similarmene, la orienación de la fase iene una reducción de ε r al que: φ * T φ T (2.27) Pero la anerior expresión únicamene ayuda a calcular la magniud y fase de la respuesa cuando el esímulo desconocido es similar al esímulo codificado en el iempo T. Recordando la figura 2.6, ambién se generan respuesas no dominanes con error denro de la respuesa generada. La varianza esadísica en la magniud para ese érmino de error es proporcional al número oal de esímulos-respuesa diferenes denro de la mariz de correlación. Es ese error el que esablece el límie a la capacidad de encapsular un número de asociaciones disinas que pueden ser exacamene mapeadas denro de una neurona. Se puede probar una mayor densidad de parones para cualquier sisema de coordenadas orogonales mulimensionales, es por lo ano, P el promedio de la magniud de una suma de P caminos aleaorios. Resiuyendo la expresión en (2.20), se puede evaluar y esimar para el error promedio denro de la respuesa, aproximando se consigue: r T = 1 Λ e iφ* C T P Para: γ, λ, 1 P N (2.28) 18

11 Para propósios de esimación de caracerísicas operacionales de una celda en paricular, se deriva el error promedio de la relación (2.28) impuesa por condiciones de simería, aclarando que ése esimado asume parones generados aleaoriamene, enonces el error dado por la dimensión de la celda (N) y el número de parones codificados (P) puede ser aproximadamene: φ error = 1 an -1 π 8 P N (2.29) Reducción del error Expansión de los elemenos del esímulo (generación de esadísicos) Como se puede noar en la ecuación (2.12), el número de componenes de los esímulos es direcamene proporcional al número de líneas de la mariz de correlación, y a su vez el número de líneas de la mariz de correlación influye direcamene en el error en la capacidad de reconocimieno de la red neuronal holográfica como se observa en la ecuación (2.29), algo parecido a la capacidad de un polinomio para poder represenar funciones con n raíces con respeco al grado del polinomio. Por ese moivo es necesario aumenar la canidad de elemenos de los esímulos sin aumenar las variables de los mismos, en oras palabras en el proceso holográfico las limiaciones en el mapeo pueden ser superados a ravés de una expansión de la información por medio de una generación de érminos de alo orden a parir del conjuno de enradas en el esímulo [S]. Así obeniendo la mariz hermiiana del conjuno de enradas [S], se genera un conjuno compleo de érminos de segundo orden ambién llamados esadísicos, esa mariz hermiania puede ser obenida por el siguiene produco: [H] = [S] -T [S] La mariz se genera de la siguiene forma: 1 λ 1 λ 2 e i(θ2-θ1) H = λ 1 λ 2 e i(θ2-θ1) 1 Pero esa mariz es simérica, por lo ano exise redundancia en el conjuno de elemenos que forman la pare baja de la diagonal principal, con respeco al conjuno que conforman la pare ala de la diagonal, de al forma que para generar los elemenos de segundo orden de nuesro esímulo sólo omamos uno de esos conjunos (sin incluir la 19

12 diagonal principal). De esa manera el esímulo [NS], endrá más componenes que el esimulo original [S]. Es decir: [NS] = [S] U [Elemenos de segundo orden de S (generados en H)]. Ese proceso puede ser generalizado para varios ordenes, por ejemplo para generar un conjuno de valores de ercer orden, se genera una mariz hermiania de [NS] de la siguiene manera: [H2] = [NS] -T [NS] Y se oman sólo los valores de una de las pares de la mariz que divide la diagonal principal, obeniendo así esadísicos de ercer orden. Repiiendo el proceso hasa obener el número de esadísicos deseados Resalamieno de la información En el proceso de codificación básico pueden exisir operaciones no ópimas debido a que exisen esímulos muy parecidos pero con respuesas muy diferenes, causando disorsión en la mariz de correlación. El resalamieno de la información puede ser usado para ener un mapeo efecivo enre los esímulos de enrada y el conjuno de respuesas deseadas, y ese proceso puede ser subdividido en res eapas de operación: 1.- Se decodifica un esimulo a ravés de la neurona de correlación (celda corex), obeniendo una respuesa parcial R. R = 1 C [S] [X] 2.- Se obiene un vecor de diferencias R d enre la respuesa obenida R y la respuesa deseada R. R d = R - R 3.- La mariz de correlación es acualizada a parir del esímulo [S] y R d. [X] = [S] -T R d Ese proceso permie reducir el error de respuesa cuando hay disorsión en la mariz de correlación, y se puede repeir anas veces como sea necesario. Haciendo una comparación con oras redes neuronales, cada vez que se realiza ese proceso de ajuse se puede considerar que se ejecua una época. Noa.- Normalmene después de cuaro épocas la reducción del error es despreciable (como se demuesra en el capíulo 5). 20

13 2.8 Comenario La red neuronal holográfica iene un excelene desempeño cuando los esímulos de enrada ienen un gran número de elemenos (Apéndice B), debido a eso, cuando hay pocos valores (menos de diez) en los esímulos de enrada se ienen que expandir usando esadísicos, pero eso genera un problema, por que cuando se realiza una expansión muy grande (esadísicos mayores al ercer orden) la red iende a memorizar y su eficacia al generalizar es muy pobre [TORRES_1996], además de que consume más memoria reduciendo su eficiencia. 21