Introducción a las Redes Neuronales

Transcripción

1 Introducción a las Redes Neuronales Perceptrón Simple William Campillay-LLanos williamcampillay@gmail.com Departamento de Matemática, Física y Estadística. Universidad Católica del Maule. Una maravillosa introducción a Cálculo I

2 Resumen Introducción Modelamiento Matemático Aplicado Perceptrón Simple en Matlab Construcción del Programa Referencias William Campillay MSc Primavera 2018 Redes Neuronales 2 / 22

3 Introducción Inspiración: Las Redes Neuronales surgen como intento de emular estructuras biológicas, en particular estas redes se inspiran en las neuronas de nuestro cerebro. Es importante señalar que la empresa Citroen utiliza redes neuronales en la determinación de la calidad del material utilizado en la confección de los asientos de los vehículos. Ford en reducción de contaminantes y Renault para detectar desperfectos en el encendido de los automóviles. Una de las aplicaciones más sorprendentes de estas redes a sido comandar el aterrizaje de una avión Jumbo sin intervención humana (1). Creando música con Redes Neuronales William Campillay MSc Primavera 2018 Redes Neuronales 3 / 22

4 Clasificación William Campillay MSc Primavera 2018 Redes Neuronales 4 / 22

5 Modelamiento Matemático Aplicado Modelamiento Matemático La membrana de la neurona se comporta como un condensador que recibe cargas procedentes del exterior o de otras neuronas, integrándolas y provocando una respuesta, generalmente del tipo no lineal. Esta idea se presenta en la siguiente figura: La salidad de la neurona es una tensión analógica (la frecuencia de disparo por una tensión continua). William Campillay MSc Primavera 2018 Redes Neuronales 5 / 22

6 Con la imagen anterior podemos modelar la neurona como un elemento integrador no lineal, con lo que la dinámica de cierta neurona i se puede describir utilizando la ley de conservación de la carga eléctrica, obteniendo la siguiente ecuación: Ley de conservación de la carga eléctrica C du i dt = F i + I i (1) U i potencial de la membrana. C capacidad. F i representa el conjunto de las corrientes de pérdida o de fuga de la neurona. I i suma de corrientes sinápticas debidas a la acción de las entradas que recibe, provenientes, bien de otras neuronas, bien de fuentes externas. William Campillay MSc Primavera 2018 Redes Neuronales 6 / 22

7 Además podemos escribir la totalidad de las corrientes que la neurona recibe de la siguiente manera I i = n w ij V j + b i (2) j=1 En la representación anterior consideramos que la acción de las demás neuronas sobre la i es lineal, donde: 1 w ij son los pesos sinápticos, que dan la intensidad de interacción entre la neurona j y i (conductancias eléctricas). 2 b i (umbral) el resto de las corrientes provenientes del entorno. 3 V j potenciales generados por las neuronas j (o del exterior). William Campillay MSc Primavera 2018 Redes Neuronales 7 / 22

8 Y finalmente considerando F = g(y i ) 1, el modelo dinámino (1) se transforma en: C du i dt = g(y i ) + n w ij V j + b i (3) Ahora considerando el supuesto de que las entradas cambian lentamente, podrán considerarse estables durante un tiempo, de tal manera que podemos realizar la siguiente aproximacón du i dt 0. Despejando en (3) tenemos: g(y i ) = j=1 n w ij V j + b i (4) j=1 1 Donde g es una función monótona creciente William Campillay MSc Primavera 2018 Redes Neuronales 8 / 22

9 Modelos Estático de la Neurona Es de nuestro interés calcular la salidad de la neurona, por lo tanto tenemos el modelos estático de la neurona Modelo estático de la neurona n n y i = g 1 ( w ij V j + b i ) = f ( w ij V j + b i ) (5) j=1 En el modelo que representa el percetrón simple, se considera f como la identidad. j=1 William Campillay MSc Primavera 2018 Redes Neuronales 9 / 22

10 Resultados Matemáticos Existen resultados matemáticos que relacionan ciertas ideas que nos permiten tener un buen entendimiento de las redes neuronales. Por ejemplo la noción de que la neurona aprende en un tiempo finito, se expresa en el siguiente resultado: Separación de datos en un tiempo finito Para cualquier conjunto de datos que sea linealmente separable, se garantiza que la regla de aprendizaje del perceptrón encuentra una solución en un número finito de iteraciones. William Campillay MSc Primavera 2018 Redes Neuronales 10 / 22

11 Noción de Recuerdo También es posible considerar la noción de recuerdo que se traduce en el término de estabilidad en matemática, es decir en redes con realimentación, al considerarlas como sistemas dinámicos no lineales, requieren ciertas condiciones para que sus respuesta converja a une estado estable o punto fijo. William Campillay MSc Primavera 2018 Redes Neuronales 11 / 22

12 Cohen-Grossberg Para cualquier sistema dinámico no lineal que se pueda escribir de las siguiente forma: x i = α i (x i )[β i (x i ) n m ji S j (x j )] (6) j=1 1 la matriz m ij es simétrica y m ij 0, para todo i, j. 2 La función α i (ξ i ) es continua para todo ξ i 0. 3 α i (ξ) 0, para todo ξ 0; S i (ξ) 0, para todo ξ 0. 4 la función S i (ξ) es diferenciable y no decreciente para todo ξ 0. Existe una función de energía de Lyapunov y el sistema es estable. William Campillay MSc Primavera 2018 Redes Neuronales 12 / 22

13 Aproximador Universal Para finalizar estas ideas relacionadas con los métodos matemáticos tradicionales, consideramos una de las aplicaciones de las redes neuronales, que las considera como aproximadores universales. Funahashi Un Perceptrón Multicapa de una única capa oculta puede aproximar hasta el nivel deseado cualquier función continua en un intervalo. William Campillay MSc Primavera 2018 Redes Neuronales 13 / 22

14 Ejemplos de Redes Neuronales 1 Perceptron Simple: Idea de Frank Rosenblatt. 2 Adalina: ADAptive Linear Neuron, introducida por Windrow en Este modelos utiliza una neurona similar a la del perceptrón, pero de respuesta lineal. 3 Perceptron Multicapa William Campillay MSc Primavera 2018 Redes Neuronales 14 / 22

15 Perceptrón Simple Problema: Dos grupos de datos, que pertenecen a dos clases, se definen en un espacio de entrada bidimensional. Las clases son linealmente separables. La tarea es construir un Perceptrón para la clasificación de datos (Ver: PerceptronSimple1). William Campillay MSc Primavera 2018 Redes Neuronales 15 / 22

16 Algoritmo de Aprendizaje Algoritmo de Levenberg-marquardt 1 Paso 1: Definimos x 1, el punto inicial o primera aproximación de x. M el máximo número de iteraciones permitido, y λ el criterio de convergencia o parada. Hacemos k = 1 y λ 1 = Paso 2: Calculamos f (x k ). 3 Paso 3: Si f (x k ) < ɛ, x = (x k ). Parar. 4 Paso 4: Si k > M, entonces Superado el número de iteraciones. Parar. William Campillay MSc Primavera 2018 Redes Neuronales 16 / 22

17 Algoritmo de Levenberg-marquardt 1 Paso 5: Calcular s(x k ) = [Hf (x k ) + λ k I ] 1 f (x k ). 2 Paso 6: Calcular x k+1 = x k + s(x k ). 3 Paso 7: Si f (x k+1 ) < f (x k ), entonces λ k+1 = 1 2 λ k y k tiende k + 1. Ir al paso 2. 4 Paso 8: Si f (x k+1 ) f (x k ), entonces λ k tiende a 2λ k. Ir al paso 5. William Campillay MSc Primavera 2018 Redes Neuronales 17 / 22

18 Adalina ADAptive Linear Neuron, introducida por Windrow en Este modelos utiliza una neurona similar a la del perceptrón, pero de respuesta lineal. Problema: Construir un ADALINE para la predicción adaptativa de series de tiempo basadas en datos de series temporales pasadas. William Campillay MSc Primavera 2018 Redes Neuronales 18 / 22

19 Perceptrón Multicapa (Entender...) El Perceptron Simple (Rosenblatt) así planteado no podía tratar problemas con una función lógica llamada OR Exclusiva o simplemente XOR. Las funciones lógicas tienen normalmente dos entradas y una salida que depende de los valores de las entradas. Las entradas y las salidas pueden tomar dos valores: Verdadero y Falso, ó 0 y 1. Así para cada función lógica existe una tabla que indica cuál será la salida dada la combinación de los valores de la entrada. El resultado de XOR será Verdadero (1) sólo si las dos entradas son distintas, sino será Falso (0). William Campillay MSc Primavera 2018 Redes Neuronales 19 / 22

20 Perceptrón Multicapa Problema: 4 grupos de datos (A, B, C, D) se definen en un espacio de entrada bidimensional. Los clústeres (A, C) y (B, D) representan un problema de clasificación de XOR. La tarea es definir una red neuronal para resolver el problema XOR. William Campillay MSc Primavera 2018 Redes Neuronales 20 / 22

21 Programas en Matlab 1 EjemploPrincipal fileexchange/44470-single-perceptron-learning hardlimit evalnet 2 PerceptronSimple1 William Campillay MSc Primavera 2018 Redes Neuronales 21 / 22

22 Referencias Martin del Brío, Bonifacio, Sanz, Alfredo, Redes Neuronales y Sistemas Borrosos, Alfaomega, Ciudad de México, Mathews, John, Kurtis, Fink, Métodos Numéricos con Matlab, Pearson, España, William Campillay MSc Primavera 2018 Redes Neuronales 22 / 22