Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario CAPÍTULO III

Transcripción

1 herramienta en la toma de decisiones Villanueva Espinoza, María CAPÍTULO III III ELEMENTOS DE UNA RED NEURONAL ARTIFICIAL Las redes neuronales son modelos que intentan reproducir el comportamiento del cerebro Como modelos, son una simplificación de lo que emulan, incorporando los elementos relevantes del sistema Una elección adecuada de sus características, más una estructura conveniente, es el procedimiento convencional utilizado para construir redes capaces de realizar una determinada tarea Un modelo de red neuronal consta de dispositivos elementales de proceso: las neuronas A partir de ellas se pueden generar representaciones específicas, de modo que un estado conjunto de ellas puede representar una letra, un número o cualquier objeto Generalmente se pueden encontrar tres tipos de neuronas: Aquellas que reciben estímulos eternos, relacionadas con el aparato sensorial, que toman la información de entrada 2 Esta información se trasmite a ciertos elementos internos que se ocupan de su procesamiento Es en las sinapsis neuronas de este segundo nivel donde se genera cualquier tipo de representación interna de la información Puesto que no tienen relación directa con la información de entrada ni con la de salida, estos elementos se denominan unidades ocultas 3 Una vez que ha finalizado el procesamiento, la información llega a las unidades de salida, cua misión es dar la respuesta del sistema La neurona artificial pretende emular las características de las neuronas biológicas Cada neurona i-ésima está caracterizada en cualquier instante por un valor numérico denominado valor o estado de activación ai(t) Asociado a cada unidad, eiste una

2 herramienta en la toma de decisiones Villanueva Espinoza, María función de salida fi, que transforma el estado actual de activación en una señal de salida, i Dicha señal es enviada a través de los canales de comunicación unidireccionales a otras unidades de la red En estos canales la señal se modifica de acuerdo con la sinapsis (el peso sináptico, w ji ) asociada a cada uno de ellos según una determinada regla Las señales moduladas que han llegado a la unidad j-ésima se combinan entre ellas, generando así la entrada total, Net j, Net j = i iwji Una función de activación, F, determina el nuevo estado de activación aj (t+) de la neurona, teniendo en cuenta la entrada total calculada el anterior estado de activación a j (t) La dinámica que rige la actualización de los estado de las neuronas (evolución de la red neuronal) puede ser de dos tipos: asincrónico sincrónico En el primer caso, las neuronas evalúan su estado continuamente, según les va llegando información, lo hacen de forma independiente En el caso sincrónico, aunque la información llega de forma continua, los cambios se realizan simultáneamente Los sistemas neuronales biológicos mu probablemente actúan de una forma mita

3 herramienta en la toma de decisiones Villanueva Espinoza, María Neurona Uh h Neurona U j Neurona U i w jh i w ji F(a j (t), Net j ) Net j = aj (t+) w jg f j (a j (t+)) = j j Neurona U g g III La Neurona Artificial Si tenemos N unidades (neuronas), podemos ordenarlas arbitrariamente designar la j-ésima unidad como U j Su trabajo consiste únicamente en recibir las entradas de las neuronas vecinas calcular un valor de salida, que es enviado a todas las neuronas restantes Es útil identificar tres tipos de unidades: entradas, salidas ocultas Las unidades de entrada reciben señales desde el entorno Estas entradas (que son entradas a la red) pueden provenir de sensores o de otros sectores del sistema Las unidades de salida envían la señal fuera del sistema Estas pueden controlar directamente potencias u otros sistemas Las unidades ocultas son aquellas cuas entradas salidas se encuentran dentro del sistema, es decir, no tienen contacto con el eterior

4 herramienta en la toma de decisiones Villanueva Espinoza, María Se conoce como capa o nivel a un conjunto de neuronas cuas entradas provienen de la misma fuente, cuas salidas van al mismo destino (que pueden ser en ambos casos otra capa de neuronas) III 2 Estado de Activación Además del conjunto de neuronas, la representación necesita considerar los estados del sistema en un tiempo t Esto se especifica por un vector de N números reales A(t), que representa el estado de activación del conjunto de neuronas Cada elemento del vector representa la activación de la unidad en el tiempo t Si la activación de la unidad Ui en el tiempo t se designa por ai(t), tenemos: A(t) = (a(t), a2(t),, ai(t),, an(t)) El procesamiento que realiza la red se ve como una evolución de un patrón de activación en el conjunto de neuronas que lo componen, a través del tiempo Todas las neuronas que conforman la red se hallan en cierto estado Podemos decir que ha dos posibles estados: reposo ecitado, llamados genéricamente estados de activación; a cada uno de los cuales se le asigna un valor Estos valores pueden ser a su vez continuos o discretos Es necesario además saber qué criterios o reglas siguen las neuronas para alcanzar estos estado de activación Esto depende de dos factores:

5 herramienta en la toma de decisiones Villanueva Espinoza, María Dado que el comportamiento de las redes no es producto de la actuación de cada neurona individualmente, sino del conjunto como un todo, es necesario conocer el mecanismo de interacción entre ellas El estado de activación estará influenciado por estas interacciones, dado que el efecto que producirá una neurona sobre otra será proporcional a la fuerza, peso o magnitud de la coneión entre ambas La señal que envía cada neurona a sus vecinas depende de su propio estado de activación III 3 Función de Salida o de Transferencia Entre las neuronas que componen la red eiste un conjunto de coneiones que las unen Cada neurona trasmite señales a aquellas que están conectadas con su salida Asociada a cada unidad U i ha una función de salida f i (a i (t)), que transforma el estado actual de activación ai(t) en una señal de salida i(t); es decir: i(t) = fi(ai(t)) En consecuencia, el vector que contiene las salidas de todas las neuronas en un instante t es: Y(t) = (f(a(t)), f 2(a2(t)),, fi(ai(t)),, fn(an(t))) En algunos modelos, esta salida es igual al nivel de activación de la unidad, en cuo caso la función f i es la función identidad, f i (a i (t)) = a i (t) A menudo, f i es de tipo sigmoidal, suele ser la misma para todas las neuronas Eisten cuatro funciones de transferencia típicas que determinan los distintos tipos de neuronas: Función Identidad

6 herramienta en la toma de decisiones Villanueva Espinoza, María Función Escalón, Función lineal mita Sigmoidal, Función gaussiana La función escalón o umbral únicamente se utiliza cuando las salidas de la red son binarias La salida de una neurona se activa sólo cuando el estado de activación es maor o igual que cierto valor umbral (la función puede ser desplazada sobre los ejes) La función lineal o identidad equivale a no aplicar función de salida, se usa mu poco Las funciones mita sigmoidal son las más apropiadas cuando queremos como salida una información analógica Neurona de Función Escalón 0 f ( ) = 0 si 0 si < 0 - si 0 f ( ) = si < 0 En ambos casos se ha tomado que el umbral es cero; en caso de no serlo, el escalón quedaría desplazado

7 herramienta en la toma de decisiones Villanueva Espinoza, María Neurona de Función Lineal Mita -c 0 c -c 0 - c 0 si < c f ( ) = si > c /(2c) + / 2 en otro caso si < c f ( ) = si > c a en otro caso c = límite superior de la suma de todas las entradas de activación -c = límite inferior Neurona de Función Continua (sigmoidal) /2 0 0 f ( ) = + e a -/2 La importancia de la función sigmoidal (o cualquier otra función similar) es que su derivada es siempre positiva cercana a cero para los valores grandes positivos o negativos Además, toma su valor máimo cuando es 0 Esto es particularmente útil para definir métodos de aprendizaje en los cuales se usan derivadas

8 herramienta en la toma de decisiones Villanueva Espinoza, María Neurona de Función de transferencia gaussiana = A e B Los centros anchura de estas funciones pueden ser adaptados, lo cual las hace más adaptativas que las funciones sigmoidales Mapeos que suelen requerir dos niveles ocultos (neuronas que se ubican entre las de entrada las de salida) con neuronas de transferencia sigmoidales, algunas veces se pueden realizar con un solo nivel empleando neuronas de transferencia gaussiana III 4 Coneiones entre Neuronas Las coneiones entre las neuronas de una red tienen asociado un peso, que es el que hace que la red adquiera conocimiento Tomemos el valor i como el valor de salida de una neurona i en un instante dado Una neurona recibe un conjunto de señales que le dan información del estado de activación de todas las neuronas con las que se encuentra conectada Cada coneión (sinapsis) entre la neurona i la neurona j está ponderada por un peso wji Normalmente, como simplificación, se considera que el efecto de cada señal es aditivo, de forma que la entrada neta que recibe una neurona (potencial post sináptico) netj es la suma del producto de cada señal individual por el valor de la sinapsis que conecta ambas neuronas:

9 herramienta en la toma de decisiones Villanueva Espinoza, María net = N j wji i i Esta regla muestra el procedimiento a seguir para combinar los valores de entrada a una neurona con los pesos de las coneiones que llegan a esa neurona, es conocida como regla de propagación Suele utilizarse una matriz W con todos los pesos wji que reflejan la influencia que la neurona j tiene sobre la neurona i W es una matriz de elementos positivos, negativos o nulos Si wji es positivo, significa que la interacción entre ambas neuronas es ecitadora, es decir, siempre que la neurona i esté activada, la neurona j recibirá una señal proveniente de i que tenderá a activarla Si wji es negativo, la sinapsis será inhibidora; es decir, si i está activada, enviará un mensaje a la neurona j que tenderá a desactivarla Por último, si w ji es cero, significa que no ha coneión entre ambas neuronas III 5 Función o Regla de Activación Así como es necesario una regla que combine las entradas a una neurona con los pesos de sus coneiones, también se requiere una regla que combine las entradas con el estado actual de la neurona, para producir un nuevo estado de activación Esta función, F, produce un nuevo estado a partir del estado (ai) que eistía la combinación de las entradas con los pesos de las coneiones (net i ) Dado el estado de activación ai(t) de la neurona Ui, la entrada total que llega a ella, Net i, el estado de activación siguiente, a i (t+) se obtiene aplicando la función de activación F: ai(t+) = F(ai(t), Neti)

10 herramienta en la toma de decisiones Villanueva Espinoza, María En la maor parte de los casos, F es la función identidad, por lo que el estado de activación de una neurona en t+ coincide con el Net de la misma en el tiempo t En este caso, la salida de la neurona i (i) será: i ( t + ) = f ( Neti) = N f ( w j = ij j( t)) j N w ij w i win f j Normalmente la función de activación no está centrada en el origen del eje que representa el valor de la entrada neta, sino que eiste cierto desplazamiento debido a las características internas de la propia neurona, que no es igual en todas ellas Este valor se denota como θi, representa el umbral de activación de la neurona i N i ( t + ) = f ( Neti θ i) = f ( wijj( t) θi) j=

11 herramienta en la toma de decisiones Villanueva Espinoza, María En el caso de neuronas de respuesta todo-nada, este parámetro representa el umbral de disparo de la neurona, es decir, el nivel mínimo que debe alcanzar el potencial post sináptico para que la neurona se dispare o active III 6 Regla de Aprendizaje El aprendizaje se entiende como la modificación del comportamiento inducido por la interacción con el entorno, como resultado de eperiencias conducente al establecimiento de nuevos modelos de respuesta a estímulos eternos Biológicamente, se suele aceptar que la información memorizada en el cerebro está más relacionada con los valores sinápticos de las coneiones entre las neuronas, que con ellas mismas; es decir, el conocimiento se encuentra en las sinapsis En el caso de las redes neuronales artificiales, el conocimiento se encuentra representado en los pesos de las coneiones entre neuronas Todo proceso de aprendizaje implica cambios en estas coneiones, es decir, se aprende modificando los valores de los pesos de la red Durante el proceso de aprendizaje, los pesos de las coneiones de la red sufren modificaciones, por lo tanto se puede afirmar que la red ha aprendido cuando los valores de los pesos permanecen estables (dw ij /dt = 0) Un aspecto importante respecto al aprendizaje de las redes neuronales es el conocer cómo es que se modifican estos valores; es decir, cuáles son los criterios que se siguen para cambiar los valores asignados a las coneiones cuando se pretende que la red aprenda una nueva información Estos criterios determinan lo que se conoce como la regla de aprendizaje de la red De modo general, se distinguen:

12 herramienta en la toma de decisiones Villanueva Espinoza, María Redes Neuronales con aprendizaje supervisado Redes neuronales con aprendizaje no supervisado o autoorganizado La diferencia fundamental entre ambos tipos radica en la eistencia o no de un agente eterno (supervisor) que controle el proceso de aprendizaje de la red III 7 Formas de Coneión entre Neuronas La conectividad entre los nodos de una red neuronal está relacionada con la forma en que las salidas de las neuronas están canalizadas para convertirse en entradas de otras neuronas La señal de salida de un nodo puede ser una entrada de otro elemento de proceso, o incluso ser una entrada de sí mismo en una coneión auto recurrente Cuando ninguna salida de las neuronas de una capa es entrada de neuronas del mismo nivel o de niveles precedentes, se dice que la red tiene propagación hacia delante En caso contrario se dice que la red es de propagación hacia atrás Las redes de propagación hacia atrás que tienen lazos cerrados se dice que son sistemas recurrentes

13 herramienta en la toma de decisiones Villanueva Espinoza, María I O ENTRADAS I 2 O 2 SALIDAS I m O m Nivel de Entrada Niveles Ocultos Nivel de Salida Estructura de una red multinivel con todas las coneiones hacia adelante Nodo con propagación hacia atrás sobre sí mismo O O2 SALIDAS O m Red con propagación hacia atrás a nodos de niveles anteriores Ejemplos de coneiones con propagación hacia atrás