Análisis de Datos. Perceptrón multicapa. Profesor: Dr. Wilfrido Gómez Flores

Transcripción

1 Análisis de Datos Perceptrón multicapa Profesor: Dr. Wilfrido Gómez Flores 1

2 Introducción De acuerdo con el consejo de la IEEE Neural Networks de 1996, inteligencia artificial (IA) es el estudio de cómo hacer que las computadoras hagan cosas que los humanos hacemos mejor hasta ahora. Inteligencia computacional es una rama de la IA que estudia mecanismos adaptativos inspirados en la naturaleza para habilitar comportamiento inteligente en ambientes complejos y cambiantes. Sistemas inmunes artificiales Modela el sistema inmune humano Modela los sistemas neuronales biológicos Redes neuronales artificiales Computación evolutiva Modela la selección natural Modela la interacción de los organismos con el ambiente Sistemas difusos Inteligencia de enjambre Modela el comportamiento social de organismos Modelos probabilísticos Paradigmas de inteligencia computacional 2

3 Neurona biológica La neurona es una célula nerviosa cuya función es recolectar y procesar señales eléctricas. Las neuronas presentan una morfología típica: un cuerpo celular llamado soma, prolongaciones cortas que transmiten impulsos hacia el soma denominadas dendritas y una prolongación larga llamado axón que conduce impulsos desde el soma hacia otras neuronas u órganos. Dendrita Terminal del axón Soma Núcleo Axón Mielina Modelo de una neurona biológica. 3

4 Neurona biológica El cerebro humano posee aproximadamente neuronas conectadas por aproximadamente sinapsis. La sinapsis es el enlace electro-químico para la transmisión del impulso nervioso entre neuronas. Las redes neuronales en el cerebro forman un sistema de procesamiento paralelo de información masiva. El aprendizaje puede deberse al cambio en la fuerza en las conexiones neuronales, es decir, agregar o eliminar conexiones (plasticidad sináptica). La eficacia de la sinapsis puede cambiar debido a la experiencia, dotando de memoria y aprendizaje a través de la potenciación a largo plazo. 4

5 Neurona artificial Tres trabajos sentaron las bases de las redes neuronales artificiales (RNA) actuales: McCulloch & Pitts (1943). Primer modelo neuronal simplificado. Podía resolver las operaciones lógicas AND, OR y NOT. Hebb (1949). Propone un modelo matemático que incluye el concepto de aprendizaje por medio de refuerzo o asociación. Rosenblatt (1959, 1962). Origen del concepto machine learning. Propuso el modelo perceptrón, el cual al ser entrenado converge en un número finito de iteraciones. 5

6 Neurona de McCulloch-Pitts McCulloch y Pitts (1943) propusieron el primer modelo simplificado de una neurona artificial con comportamiento binario, es decir, dado un umbral de activación, θ, la respuesta de la neurona sufre un cambio abrupto de estado de 0 1 ó viceversa: Entradas excitatorias a 2 a 1 a n b 1 Entradas inhibitorias Σ θ b 2 b m y donde la respuesta de la neurona es: y = 1 si a i θ y b j = 0 McCulloch & Pitts (1943), A Logical Calculus and the Ideas Immanent in the Nervous Activity, Bulletin of Mathematical Biophysics, vol. 5, pp n i=1 0 otro caso m j =1 (1) 6

7 Neurona de McCulloch-Pitts La implementación de las funciones lógicas AND, OR y NOT utiliza la siguiente configuración de la neurona: AND OR a 1 a 2 b 1 θ=2 θ= a 1 Σ a 2b1 θ y NOT a 1 a 2 b 1 θ= Las principales limitantes del modelo de McCulloch-Pitts son: Los umbrales son determinados analíticamente, es decir, no existe un mecanismo de aprendizaje. Únicamente trabaja con problemas binarios 7

8 Teoría Hebbiana La teoría Hebbiana describe el mecanismo básico de plasticidad sináptica, el valor de una conexión sináptica se incrementa si las neuronas de ambos lados de la sinapsis se activan repetidas veces de forma simultánea y se debilita si se activan por separado. Conexión fuerte Apple Conexión débil Marca Fruta Probablemente, en países de habla hispana, la palabra Apple esté más relacionada con la marca de computadoras que con la fruta. 8

9 Perceptrón simple El modelo de aprendizaje Hebbiano establece cómo modificar los pesos sinápticos, w=[w 0,w 1,,w d ], entre neuronas y se aplica para entrenar la neurona artificial de McCulloch-Pitts (1943), dando origen al modelo perceptrón introducido por Rosenblatt en 1958: w 1 w 0 Función de transferencia Entradas x 3 w 2 w 3 Σ φ f x d w d donde la respuesta de la neurona para un patrón x es: f (x) = ϕ w 0 + d i=1 w i x i (2) 9

10 Perceptrón simple El proceso de aprendizaje de una neurona consiste en adaptar los pesos sinápticos para realizar un mapeo entrada salida: w j = 1 n n, j = 1,,d (3) i=1 y i x i,j donde n es el número de muestras de aprendizaje y y i es la salida deseada del patrón xi=[1,x i,1,x i,2,,x i,d ] T (aumentado). La función de transferencia define la salida de la neurona como: ϕ(z) = +1 si z > θ 1 otro caso (4) donde θ es un umbral predeterminado. 10

11 Perceptrón simple La implementación de las funciones lógicas AND, OR y NOT utiliza la siguiente configuración de la neurona: w 0 w AND = [ 0.5,0.5,0.5] T w OR = [0.5,0.5,0.5] T w NOT = [0,0, 1] T w 1 Σ θ=0 w 2 f AND OR NOT w T x f w T x f w T x f

12 Perceptrón simple El perceptrón simple es un clasificador lineal, donde los pesos pueden ser ajustados mediante un algoritmo de descenso de gradiente Fronteras de decisión generadas por el perceptrón simple para los problemas AND (izquierda) y OR (derecha). 12

13 Perceptrón simple Uno de los resultados mostrados en el trabajo de Minsky y Papert (1969) fue que el perceptrón simple no es capaz de representar la compuerta XOR, ya que no existe separabilidad lineal entre clases. 1 XOR En el problema XOR no existe una única recta que separe a los puntos negros de los blancos. *M. L. Minsky & S. A. Papert (1969). Perceptrons. Cambridge, MA: MIT Press. 13

14 Perceptrón multicapa 0.5 AND Capa de entrada Capa oculta Σ Σ θ 0.5 Σ θ f θ Capa de salida La capa de entrada distribuye las variables del patrón de entrada hacia la capa oculta. En la capa oculta se entrenan dos perceptrones para resolver la compuerta AND (rojo) y OR (negro) cuyas respuestas son combinadas en la capa de salida generando una solución bilineal al problema XOR. El umbral θ=0 para todos los perceptrones. OR

15 Perceptrón multicapa Aunque el perceptrón multicapa es capaz de resolver el problema XOR, surge un problema en la generalización a problemas no linealmente separables: cómo calcular los pesos sinápticos de las neuronas ocultas sin conocer su salida deseada? En 1974 P. Werbos planteó una solución para el entrenamiento del perceptrón multicapa, aunque fue hasta 1986 cuando Rumelhart propuso un algoritmo similar al que llamó retropropagación del error (backpropagation algorithm). El algoritmo backpropagation está basado en el método de descenso de gradiente para minimizar el error. Es un algoritmo ampliamente utilizado para entrenamiento supervisado de RNA. P. J. Werbos. Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences. PhD thesis, Harvard University, D. E. Rumelhart, G. E. Hinton, R. J. Williams, "Learning representations by back-propagating errors". Nature 323 (6088): ,

16 Red neuronal prealimentada El perceptrón multicapa da origen a la red neuronal prealimentada (feedforward neural network, FNN) que utiliza el algoritmo backpropagation en el entrenamiento. z z Una red de dos capas sólo genera fronteras de decisión lineales, mientras que una red con dos o más capas produce fronteras de decisión arbitrarias. 16

17 Red neuronal prealimentada w ji y 1 w kj z 1 Salida de la red Referencia t 1 y 2 y 3 z 2 t 2 x i x i z k t k x d x d y j z c t c y h Entrada Oculta Salida Una red FNN d-h-c totalmente conectada de tres capas y la notación utilizada para la derivación del algoritmo backpropagation. 17

18 Función de activación Un nodo oculto o nodo de salida genera una respuesta no lineal a una variable de entrada ponderada con un peso sináptico. Dicha respuesta no lineal está dada por una función de activación, siendo la función sigmoidal la más utilizada en FNN y se define como: y su primera derivada es: σ(x) = exp( x) (5) σ(x ) = σ(x)(1 σ(x)) (6) Se asume la misma no linearidad para todos los nodos ocultos y de salida. 18

19 Aprendizaje de la FNN El entrenamiento de la FNN consiste en encontrar el conjunto de pesos que reduzca el error de entrenamiento entre la salida de la red y la referencia (etiqueta de clase): J(w) 1 2 c (t k z k ) 2 = 1 2 t z 2 (7) k=1 donde t y z son los vectores de referencia (target) y salida de la red y w representa todos los pesos en la red. La regla de entrenamiento backpropagation está basada en descenso de gradiente. Los pesos se inicializan aleatoriamente y cambian en la dirección que reduce el error: Δw = η J (8) donde η es la taza de aprendizaje. Entonces la regla de actualización en la iteración t es: w(t + 1) = w(t) + Δw(t) (9) w 19

20 Aprendizaje de la FNN Tomando el problema de entrenamiento de una FNN con tres capas, primero se derivan los pesos de las capas oculta salida mediante la regla de la cadena: Derivando J se tiene: y derivando z k se tiene: J w kj = J z k J = 1 z k z k 2 (t z k k )2 z k = σ(!y ) j w kj w kj z k w kj (10) = (t z ) k k (11) (12) donde!y j = w kj y j. = σ(!y j )(1 σ(!y j ))y j 20

21 Aprendizaje de la FNN Entonces sustituyendo (11) y (12) en (10) se obtiene la regla de aprendizaje para los pesos de las capas oculta salida: Δw kj = η(t k z k )σ(!y j )(1 σ(!y j ))y j = ηδ k y j (13) donde δ k es la sensibilidad de la neurona k y describe cómo el error cambia con la activación de la neurona. Derivando los pesos de las capas entrada oculta se vuelve aplicar la regla de la cadena: J w ji = J y j y j w ji (14) 21

22 Aprendizaje de la FNN Derivando J se tiene: J = 1 y j y j 2 c k=1 c (t k z k ) 2 = (t z ) z k k k k=1 y j c z = (t k z k ) k!y c j = (t k=1!y j y k z k ) j k=1 Derivando y j se tiene: y j = σ(!x ) i = σ(!x w ji w i )(1 σ(!x i ))!x i ji w ji Δw ji = η σ(!y j )(1 σ(!y j ))w kj (15) = σ(!x i )(1 σ(!x i ))x i (16) donde!x i = w ji x i. Entonces, la regla de aprendizaje para los pesos de las capas entrada oculta es: c k=1 w kj δ k σ(!x i )(1 σ(!x i ))x i (17) = ηδ j x i 22

23 Aprendizaje de la FNN El cálculo del bias involucra una entrada ficticia cuyo valor es siempre la unidad para cada neurona de la red, de modo que todos los pesos bias se actualizan exactamente igual que los pesos sinápticos durante las iteraciones. 1 z Se considera una entrada unitaria para el cálculo del bias. 23

24 Aprendizaje de la FNN En el algoritmo backpropagation, todos patrones de entrenamiento se presentan primero para generar una salida de la red con los pesos actuales y sólo entonces se actualizan los pesos. Este proceso se itera hasta que se cumpla una condición de paro. Algoritmo backpropagation. Begin initialize: w, n #patrones, umbral θ, η, t 0 do t t+1 // Incrementa la época p 0; w ji 0; w kj 0 do p p+1 x p selecciona un patrón w ji w ji + ηδ j x i w kj w kj + ηδ k y j until p=n w ji w ji + w ji w kj w kj + w kj until J(w) <θ return w end 24

25 Conjunto de validación Para evitar el sobreentrenamiento de la red, adicionalmente al conjunto de entrenamiento, se debe usar un conjunto independiente denominado conjunto de validación, de modo que el entrenamiento se detiene en el mínimo error de validación. J/n validación entrenamiento prueba épocas Una curva de entrenamiento muestra la función de costo en función del número de épocas. Los errores de validación y prueba son generalmente más altos que el error de entrenamiento. 25

26 Funciones discriminantes Para clasificar un patrón desconocido, se tendrán c neuronas de salida, una para cada clase, y la señal de cada neurona de salida es la función discriminante g k (x). Para un patrón de entrada x la respuesta de la k-ésima neurona de salida para una FNN d-h-c es: h d g k (x) z k = σ w kj σ w ji x i + w j 0 i=1 + w k 0 j =1 (18) Entonces, el patrón x es clasificado en ω p, p=1,,c, si g p (x) > g q (x), p q (19) 26

27 Funciones discriminantes FNN FNN

28 Ventajas de las RNAs Las RNAs son relativamente fáciles de implementar y presenta las siguientes ventajas: No linealidad. Dependiendo de la función de activación, una neurona puede tener una respuesta no lineal, de manera que con la interconexión de varias neuronas se pueden generar fronteras de decisión no lineales. Relación entrada-salida. Las RNAs aprenden de ejemplos, los cuales son introducidos como un conjunto de muestras etiquetadas donde a cada entrada le corresponde una salida. Adaptabilidad. Debido a su capacidad de aprendizaje continuo, las RNAs tienen la habilidad de adaptarse a problemas no estacionarios en el tiempo, adaptando sus pesos al entorno que las rodea. Tolerancia a fallos. El alto grado de paralelismo les confiere una gran robustez, ya que si una neurona o peso sináptico falla, el daño se ve amortiguado por las neuronas vecinas. 28

29 Desventajas de las RNAs Por otro lado, las RNAs presentan los siguientes problemas: Sobreentrenamiento. Cuando la red no es capaz de generalizar, es decir, que calcule correctamente las relaciones entrada-salida para muestras no presentadas durante el entrenamiento, se dice que se ha sobreentrenado. Número de neuronas. No existe una forma sencilla de definir el número adecuado de neuronas y capas ocultas. Mínimos locales. Durante el entrenamiento existe la posibilidad de caer en un mínimo local, es decir, la solución no alcanzó el mínimo error posible. 29