Redes Neuronales. Redes neuronales, algoritmo, multicapas, entrenamiento, retropropagación.

Transcripción

1 Jamie Areli-Toral Barrera Redes Neuronales Resumen En este royecto se resenta como se conforman las redes neuronales, en esecial se analizara un algoritmo de arendizaje suervisado ara el entrenamiento de redes neuronales llamado roagación hacia atrás de errores o retroroagación (mejor conocido en inglés como bacroagation). Palabras claves Redes neuronales, algoritmo, multicaas, entrenamiento, retroroagación. etodología Las redes de neuronas artificiales son una herramienta atractiva ara solucionar roblemas de clasificación como el reconocimiento de caracteres manuscritos, el reconocimiento de alabras habladas, y el diagnóstico de diferentes enfermedades. Entre las más utilizadas se encuentra el algoritmo de retroroagación debido a la naturaleza de su roceso de arendizaje, que solamente necesita de dos ecuaciones ara roagar las señales de error hacia atrás, ara obtener esas ecuaciones se utilizaran tres técnicas imortantes en matemáticas que es la función de error, gradiente descendiente y la regla de la cadena. Originalidad Se desarrollara un documento nuevo exlicando detalladamente el algoritmo de retroroagación. Introducción Las redes neuronales artificiales (RNA) son modelos matemáticos que intentan reroducir el funcionamiento del sistema nervioso, constituidos or un conjunto de unidades llamadas neuronas o nodos conectados unos con otros. El rimer modelo de red neuronal fue rouesto or cculloch y Pitts (1943) en términos de un modelo comutacional de actividad nerviosa. Este modelo era un modelo binario, donde cada neurona tenía un escalón o umbral refijado, y sirvió de base ara los modelos osteriores. Las redes neuronales ermiten obtener un modelo no exlícito que relaciona un conjunto de variables de salida con un conjunto de variables de entrada. Así, estos modelos ermiten redecir cuál es el valor de salida, dados unos valores de entrada del modelo. Para estimar el modelo es necesario disoner de un conjunto de observaciones de las variables. Estas observaciones son usadas como atrones de entrenamiento ara que la red arenda y sea caaz de redecir una salida del modelo, ante nuevas observaciones. Por tanto, las

2 caacidades de la red van a deender en gran medida de esta fase de entrenamiento. En la fase de entrenamiento es necesario controlar muchos arámetros y distintos algoritmos de otimización. 1. odelo biológico de una neurona La neurona es la célula fundamental y básica del sistema nervioso esecializada en conducir imulsos nerviosos. Las neuronas tienen características roias que le ermiten comunicarse entre ellas, lo que las diferencia del resto de las células biológicas. Se estima que el cerebro humano contiene más de cien mil millones de neuronas cada una con un romedio de conexiones sináticas con otras neuronas. En las neuronas se ueden distinguir tres artes fundamentales: Dentrinas, soma o cuero celular y axón. Las dendritas actúan como un canal de entrada de señales rovenientes desde el exterior hacia el soma de la neurona, mientras que el axón actúa como un canal de salida. La figura 1 muestra una neurona y las distintas artes que la comonen. El esacio entre dos neuronas vecinas se denomina sinasis. Su funcionamiento es el siguiente, en el soma de las neuronas transmisoras o resináticas genera un ulso eléctrico llamado otencial de acción. El ulso eléctrico se roaga a través del axón en dirección a las sinasis, que es la zona de contacto entre otras neuronas (u otro tio de células, como las recetoras). La sinasis recoge información electro-química rocedente de las células adyacentes que están conectadas a la neurona en cuestión. Esta información llega al núcleo que se encuentra dentro del soma de la neurona, a través de las dendritas, que la rocesa hasta generar una resuesta, la cual es osteriormente roagada or el axón. La sinasis está comuesta de un esacio líquido donde existe una cierta concentración de iones. Este esacio tiene determinadas características eléctricas que ermiten inhibir o otenciar la señal eléctrica a conveniencia. Figura 1.- odelo fisiológico de una neurona.

3 2. odelo de una red neuronal Las redes neuronales son modelos matemáticos que intentan reroducir el comortamiento del cerebro humano. El rincial objetivo de este modelo es la construcción de sistemas caaces de resentar un cierto comortamiento inteligente. Esto imlica la caacidad de arender a realizar una determinada tarea. Una red neuronal está comuesta de tres artes: Entrada, núcleo y salidas. La figura 2 muestra un esquema de una red neuronal artificial. Las entradas reciben los datos o arámetros que le ermiten decidir a la neurona se estará activa o no, normalmente se resentan como x 1, x 2,, x n. Entre la entrada y el núcleo se tienen los esos (w 1, w 2,, w n ), que reresentan la memoria de la red. En el núcleo se realizan todas las oeraciones necesarias ara determinar la salida de la neurona; el roceso que se realiza en el núcleo varía deendiendo de la red neuronal que se esté trabajando. Las salidas devuelven la resuesta de la neurona, es decir se está activa o no, reresentadas comúnmente como y 1, y 2,, y n. Figura 2.- odelo de una red neuronal artificial Veamos que en el núcleo se realizan 3 tios de oeraciones ara determinar la salida de la neurona que son: Regla de roagación, Función de activación y Función de salida. La regla de roagación, integra la información roveniente de las distintas neuronas artificiales y roorciona el valor del otencial ostsinático de la neurona i. La función de activación, rovee el estado de activación actual de la neurona i. La función de salida, reresenta la salida actual de la neurona i. Estudiando más a fondo los untos anteriores tenemos que:

4 Entrada y salida Las entradas y salidas de una neurona ueden ser clasificadas en dos grandes gruos, binarias o continuas. Las neuronas binarias, sólo admiten dos valores osibles. En general en este tio de neurona se utilizan los siguientes dos alfabetos {0,1} o {-1,1}. Por su arte, las neuronas continuas admiten valores dentro de un determinado rango, que en general suele definirse como [-1, 1]. La selección del tio de neurona a utilizar deende de la alicación y del modelo a construir. Pesos El eso sinático w ij define la fuerza de una conexión sinática entre dos neuronas, la neurona resinática i y la neurona ostsinática j. Los esos sináticos ueden tomar valores ositivos, negativos o cero. En caso de una entrada ositiva, un eso ositivo actúa como excitador, mientras que un eso negativo actúa como inhibidor. En caso de que el eso sea cero, no existe comunicación entre el ar de neuronas. ediante el ajuste de los esos sináticos la red es caaz de adatarse cualquier entorno y realizar una determinada tarea. Regla de roagación La regla de roagación determina el otencial resultante de la interacción de la neurona i con las N neuronas vecinas. La regla de roagación más simle y utilizada consiste en realizar una suma de las entradas onderadas con sus esos corresondientes: Función de activación N net i (t) = w ij x j (t) La función de activación determina el estado de activación actual de la neurona en base al otencial resultante net i y al estado de activación anterior de la neurona a i (t 1). El estado de activación de la neurona ara un determinado instante de tiemo t uede ser exresado de la siguiente manera: a i (t) = f(a i (t 1), net i (t)) Sin embargo, en la mayoría de los modelos se suele ignorar el estado anterior de la neurona, definiéndose el estado de activación en función del otencial resultante h i : a i (t) = f( net i (t)) Algunas de las funciones de activación más utilizadas en los distintos modelos de redes neuronales son:

5 Función Rango Gráfica Identidad y = x [, ] Escalón 1, si x 0 y = { 0, si x < 0 1, si x 0 y = { 1, si x < 0 [0, 1] [ 1, 1] 1, si x > 1 Lineal a tramos y = { x, si 1 x 1 1, x < 1 [ 1, 1] Sigmoidea y = e x y = tanh(x) [0, 1] [ 1, 1] Gaussiana y = Ae Bx2 [0, 1] Sinusoidal y = A sin(wx + φ) [ 1, 1] Función de salida La función de salida roorciona el valor de salida de la neurona, en base al estado de activación de la neurona. Es decir: y i (t) = f( net i (t))

6 3. Estructura de una red neuronal Las artes rinciales de una red neuronal son: neuronas de entradas, ocultas, salidas y las interconexiones entre las neuronas. La figura 3 muestra la estructura de una red neuronal artificial. Las neuronas de entrada son transarentes, es decir no realizan ningún roceso, sólo dejan asar la información que se quiere manejar en la red. Las neuronas ocultas reciben las entradas y tienen la función de roorcionar un mejor arendizaje. Las neuronas ocultas ueden o no estar resentes en una red y su incororación deende de dos factores: Primero la toología con la que se esté trabajando y segundo de la comlejidad de los atrones que deben ser arendidos or la red. Cuando la red está formada or una única caa de neuronas, se le llama redes monocaa, y las neuronas que conforman dicha caa cumlen la función de neuronas de entrada y salida simultáneamente. Cuando la red está comuesta or dos o más caas hablamos de redes multicaa. La figura 4 muestra las regiones de decisión de una red neuronal de 1, 2 y 3 caas. Las neuronas de salida se encargan de roorcionar la salida del sistema indicado, según su arendizaje, una resuesta correcta o incorrecta. Las interconexiones son las sinasis de la red, estas tienen asociadas un eso sinático, y son direccionales. Cuando la conexión se establece entre dos neuronas de una misma caa hablamos de conexiones laterales o conexiones intra-caa. Por el contrario, si la conexión se establece entre neuronas de distintas caas se la denomina conexión inter-caa. Si la conexión se roduce en el sentido inverso al de entrada-salida la conexión se llama recurrente o realimentada. Una vez definida el tio de neurona que se utilizará en un modelo de redes neuronales artificiales es necesario definir la toología de la misma. La organización y disosición de las neuronas dentro de una red neuronal se denomina toología, y viene dada or el número de caas, la cantidad de neuronas or caa, el grado de conectividad, y el tio de conexión entre neuronas. A su vez, hablamos de redes neuronales con conexión hacia delante (redes feedforward) cuando las interconexiones entre las distintas neuronas de la red siguen un único sentido, desde la entrada de la red hacia la salida de la misma. Cuando las interconexiones ueden ser tanto hacia delante como hacia atrás hablamos de redes recurrentes (redes feedbac).

7 Figura 3.- Estructura de una red neuronal artificial Figura 4.- Regiones de decisión En el roceso de una red neuronal odemos distinguir dos fases o modos de oeración: La fase de arendizaje o entrenamiento, y la fase de ejecución o rueba. Fase de entrenamiento Una vez seleccionada el tio de neurona artificial que se utilizará en una red neuronal y determinada su toología es necesario entrenarla ara que la red ueda ser utilizada. Partiendo de un conjunto de esos sináticos aleatorio, el roceso de arendizaje busca un conjunto de esos que ermitan a la red desarrollar correctamente una determinada tarea. Durante el roceso de arendizaje se va refinando iterativamente la solución hasta alcanzar un nivel de oeración suficientemente bueno. El roceso de arendizaje se uede dividir en tres grandes gruos de acuerdo a sus características (Isasi Viñuela y Galván León, 2004), (Yao, 1999): Arendizaje suervisado. Se resenta a la red un conjunto de atrones de entrada junto con la salida eserada. Los esos se van modificando de manera roorcional al error que se roduce entre la salida real de la red y la salida eserada.

8 Arendizaje no suervisado. Se resenta a la red un conjunto de atrones de entrada. No hay información disonible sobre la salida eserada. El roceso de entrenamiento en este caso deberá ajustar sus esos en base a la correlación existente entre los datos de entrada. Arendizaje or refuerzo. Este tio de arendizaje se ubica entre los dos anteriores. Se le resenta a la red un conjunto de atrones de entrada y se le indica a la red si la salida obtenida es o no correcta. Sin embargo, no se le roorciona el valor de la salida eserada. Este tio de arendizaje es muy útil en aquellos casos en que se desconoce cuál es la salida exacta que debe roorcionar la red. Fase de oeración Una vez finalizada la fase de arendizaje, el modelo uede que se ajuste demasiado a las articularidades resentes en los atrones de entrenamiento, erdiendo su habilidad de generalizar su arendizaje a casos nuevos. Para evitar el roblema del sobreajuste, es aconsejable utilizar un segundo gruo de datos diferentes a los de entrenamiento, que ermita controlar el roceso de arendizaje. Una de las rinciales ventajas que osee este modelo, es que la red arende la relación existente entre los datos, adquiriendo la caacidad de generalizar concetos. De esta manera, una red neuronal uede tratar con información que no le fue resentada durante de la fase de entrenamiento. 4. Algoritmo de retroroagación El algoritmo bacroagation es el método de entrenamiento más utilizado en redes con conexión hacia delante. Es un método de arendizaje suervisado de gradiente descendente, en el que se distinguen claramente dos fases: rimero se alica un atrón de entrada, el cual se roaga or las distintas caas que comonen la red hasta roducir la salida de la misma. Esta salida se comara con la salida deseada y se calcula el error cometido or cada neurona de salida. Estos errores se transmiten hacia atrás, artiendo de la caa de salida, hacia todas las neuronas de las caas intermedias (Fritsch, 1996). Cada neurona recibe un error que es roorcional a su contribución sobre el error total de la red. Basándose en el error recibido, se ajustan los errores de los esos sináticos de cada neurona. La entrada total o neta que recibe una neurona oculta j, es: N net j (t) = w ji x i (t) + θ j donde θ j es el umbral de la neurona que se considera como un eso asociado a una neurona ficticia con valor de salida igual a 1. El valor de salida de la neurona oculta j, se obtiene alicando la función de activación f sobre su entrada neta: y j (t) = f( net j (t))

9 De igual forma, la entrada neta que recibe una neurona de salida, es: net (t) = v j y j (t) + θ Por último, el valor de salida de la neurona de salida, es: y (t) = f( net (t)) La salida de la red de cada neurona y se comara con la salida deseada d ara calcular el error en cada unidad de salida δ = (d y ) El objetivo es hacer mínimo el error entre la salida obtenida or la red y la salida deseada or el usuario ante la resentación de un conjunto de atrones denominado gruo de entrenamiento. Así el arendizaje en las redes bacroagation es de tio suervisado. La función de error que se retende minimizar ara cada atrón viene dada or: E = 1 2 (d y ) 2 Este roceso se reite ara el número total de atrones de entrenamiento P, ara un roceso de arendizaje exitoso el algoritmo debe actualizar todos los esos y ganancias de la red minimizando el error medio cuadrático total descrito en P E = E =1 La base del algoritmo bacroagation ara la modificación de los esos es la técnica conocida como gradiente decreciente que es: W(t + 1) = W(t) + W(t) El error que genera una red neuronal en función de sus esos, genera un esacio de n dimensiones, donde n es el número de esos de conexión de la red, al evaluar el gradiente del error en un unto de esta suerficie se obtendrá la dirección en la cual la función del error tendrá un mayor crecimiento, como el objetivo del roceso de arendizaje es minimizar el error debe tomarse la dirección negativa del gradiente ara obtener el mayor

10 decremento del error y de esta forma su minimización, condición requerida ara realizar la actualización de la matriz de esos en el algoritmo Bacroagation: W(t + 1) = W(t) α E[W(t)] siendo α el tamaño del aso o tasa de arendizaje, que suele ser una constante de tamaño reducido 0 < α < 1. La variación de los esos será roorcional al gradiente de la función de error, así en una neurona de salida: v j (t + 1) = α E = α ( 1 v j v j 2 (d y ) 2 ) = α ( 1 v j 2 (d f ( net 2 (t))) ) = α 1 v j 2 (d f ( v j y j (t) + θ )) ( ) = α (d f ( v j y j (t) + θ )) y v j 2 = α(d y ) y y = αδ v j Para calcular y se debe utilizar la regla de la cadena, ues el error no es una función v j exlícita de los esos de la red, así obtenemos que: v j donde y y = y net v j net v j y = f (net net net (t)) = f (net (t)) net = ( v v j v j y j (t) + θ ) = y j (t) j Por lo tanto se tiene donde v j (t + 1) = α E v j = α δ y j (t)

11 δ = δ f (net (t)) Este algoritmo se denomina bacroagation o de roagación inversa debido a que el error se roaga de manera inversa al funcionamiento normal de la red, de esta forma, el algoritmo encuentra el error en el roceso de arendizaje desde las caas más internas hasta llegar a la entrada; con base en el cálculo de este error se actualizan los esos y ganancias de cada caa. Desués de conocer el error en la neurona de salida se rocede a encontrar el error en la caa oculta el cual está dado or: w ji (t + 1) = α E = α ( 1 w ji w ji 2 (d y ) 2 ) = α ( 1 w ji 2 (d f ( net 2 (t))) ) = α 1 w ji 2 (d f ( v j y j (t) + θ )) ( ) = α 1 w ji 2 (d f ( v j f( net j (t)) + θ )) ( ) = α 1 w ji 2 (d f ( v j f ( w ji x i (t) + θ j ) + θ )) ( ) = α (d f ( v j f ( w ji x i (t) + θ j ) + θ )) N = α (d y ) = α δ w ji y Para calcular y se debe alicar la regla de la cadena en varias ocasiones uesto que w ji la salida de la red no es una función exlícita de los esos de la conexión entre la caa de entrada y la caa oculta y w ji y = y net y j net j w ji net y j net j N w j 2 2 y w ji 2 donde

12 y = (f (net net net (t))) = f (net (t)) net = ( v j y y j y j (t) + θ ) = v j j y j net j = net j (f ( net j (t))) = f ( net j (t)) Por lo tanto se tiene que N net j = ( w w j w ji x i (t) + θ j ) = x i (t) j donde w ji (t + 1) = α E w ji = α δ j x i (t) δ j = f ( net j (t)) δ v j Para acelerar el roceso de convergencia de los esos, Rumelhart et al. (1986) sugirieron añadir un factor momento β, que tiene en cuenta la dirección del incremento tomada en la iteración anterior esto es: w ji (t + 1) = α δ j x i (t) + β w ji (t) Resumiendo, el algoritmo bacroagation queda exresado de la siguiente manera: Con w ji (t + 1) = w ji (t) + [α δ j x i (t) + β w ji (t)] δ j = { δ j f (net j (t)) f ( net j (t)) δ v j si j es una neurona de salida si j es una neurona oculta Como se observa en la ecuación las funciones de activación utilizadas en este tio de red deben ser continuas ara que su derivada exista en todo el intervalo, ya que el término f (net (t)) es requerido ara el cálculo del error.

13 Las funciones de activación más utilizadas en el algoritmo de retroagación y sus resectivas derivadas son las siguientes: Función de activación Derivada Identidad f(x) = x f (x) = 1 Sigmoidal logarítmica f(x) = e x f (x) = f(x)(1 f(x)) Sigmoidal hierbólica f(x) = tanh(x) = ex e x e x + e x f (x) = 1 (f(x)) 2 Ya que como se observa no se requiere derivar la función ara obtener la derivada en algún unto, esto hace que su costo comutacional sea menor y su eficiencia sea mejor. Conclusiones Las redes neuronales ueden solucionar roblemas no lineales y de alta comlejidad. Son un instrumento muy flexible ara la solución de roblemas, ya que las neuronas ueden reconocer atrones que no han sido arendidos. El algoritmo de retroroación disminuye el costo y tiemo en el roceso de arendizaje de la red. Solo la exeriencia uede roorcionar el tio de toología que se utilizara en la red. Bibliografía Britos,. I. P. (2005). ENTRENAIENTO DE REDES NEURONALES BASADO EN ALGORITOS EVOLUTIVOS. Rivera, E. (2005). Introducción a las Redes Neuronales Artificiales. atich, D. J. (2001). Redes Neuronales: Concetos básicos y alicaciones.cátedra de Informática Alicada a la Ingeniería de Procesos Orientación I. ontaño oreno, J. J. (2002). Redes neuronales artificiales alicadas al análisis de datos (Doctoral dissertation, Tesis Doctoral, Universidad de Islas Balerares: Palma de allorca, Esaña). oreno Rodríguez, A. (2009). Desarrollo de una interfaz gráfica de redes neuronales usando atlab. Tanco, F. (2003). Introducción a las redes neuronales artificiales. Gruo de Inteligencia Artificial.