Redes Neuronales. Las redes neuronales son modelos computacionales que buscan imitar el funcionamiento

Transcripción

1 Redes Neuronales Las redes neuronales son modelos computacionales que buscan imitar el funcionamiento de las neuronas biológicas. Se usan principalmente para el reconocimiento de patrones complejos. Para construir una red neuronal, es necesario hacerla pasar por un proceso de aprendizaje. Jorge Baier Aranda, PUC 24

2 Redes Neuronales Artificialies (RNAs) Una red neuronal es un grafo dirigido construido a partir de elementos computacionales básicos. Una red neuronal codifica funciones numéricas. La función representada depende de parámetros de la red (especificados como etiquetas en el grafo), y de la arquitectura de la misma (forma dada a las interconexiones). Los elementos computacionales básicos de una red son: Suma un nodo suma recibe un conjunto de entradas numéricas. Cada entrada puede provenir de otros nodos o del medio. x 0. Σ ni=0 x i x n Jorge Baier Aranda, PUC 25

3 Multiplicación Umbral (threshold units) x x w wx 1 si x > 0 0 en otro caso Jorge Baier Aranda, PUC 26

4 Cuándo Utilizar RNAs? Problemas de aprendizaje altamente multidimensional (valores discretos o reales) Función a aprender (función objetivo) real o discreta (puede ser vectorial). Datos con ruido. Función a aprender con forma desconocida. El resultado (la función objetivo encontrada) no requiere de ser analizada. Jorge Baier Aranda, PUC 27

5 Una Neurona El modelo de neurona de McCulloch-Pitts (1943) o perceptrón es: x 0 = 1 x 1 w 1 w 0. Σ x n w n Esta neurona elemental es conocida como una unidad de umbral lineal (linear threshold unit o ltu) y representa una familia de funciones parametrizada por los pesos w 1, w 2,..., w n, en particular, la función de salida será: f(x) = { 1 Si n i=0 w ix i > 0 0 en otro caso Jorge Baier Aranda, PUC 28

6 En notación vectorial: f(x) = { 1 Si w x > 0, 0 en otro caso. La función de salida se conoce también como función de activación. Jorge Baier Aranda, PUC 29

7 Funciones no Lineales Además de la función umbral que hemos visto recién, se utilizan funciones continuas, las más utilizadas son: Gaussiana: f(x) = e 2σ 1 ni=1 (x i c i ) Activación Gaussiana Jorge Baier Aranda, PUC 30

8 Donde σ y c 1,..., c n son constantes. La respuesta de esta función depende de la distancia entre x y c. Sigmoidal: Se utiliza como una alternativa no lineal a la función umbral ( ). f(x) = e n i=1 w i x i 1 Activación Sigmoidal Esta función también se conoce como función logística. Una razón importante para preferir esta función a la función umbral, es que 1/(1 + e x ) es continua y diferenciable. Jorge Baier Aranda, PUC 31

9 Tangente Hiperbólica: Similar a la función logística, pero tiene como rango a [ 1, 1]. La expresión es la siguiente. 1 e x 1 + e x. Jorge Baier Aranda, PUC 32

10 Redes Neuronales Una red neuronal se construye en base a neuronas como la de McCulloch-Pitts. Si N 1,..., N 3 son neuronas de dos entradas, entonces una red puede ser como: x 1 N 1 N 4 x 2 N 2 N 6 N 5 x 3 N 3 Toda red neuronal determina una familia de funciones de salida. Una configuración de pesos determina a una función individual de la familia. Jorge Baier Aranda, PUC 33

11 Estructura de una Red Neuronal Existen muchos tipos de redes neuronales. Las redes neuronales más utilizadas de tipo feed-forward, que son grafos dirigidos acíclicos. En el resto de nuestra exposición trabajaremos con redes que están ordenadas en capas. En una red de este tipo, cada neurona está conectada sólo con neuronas de la siguiente capa. Jorge Baier Aranda, PUC 34

12 Aprendizaje en Redes Neuronales Para lograr que una red neuronal pueda representar una función es necesario someterla a un proceso de aprendizaje. Debemos estar conscientes que por el sólo hecho de elegir una cierta estructura para la red estamos incurriendo en un sesgo inductivo. Si queremos aprender una función f(x) podemos usar una red neuronal de alguna arquitectura y pesos que hay que definir. Jorge Baier Aranda, PUC 35

13 Limitaciones de los Perceptrones Los perceptrones sólo pueden aprender conceptos linealmente separables. Un concepto es linealmente separable si existe un hiperplano capaz de separar todos los puntos que el concepto clasifica como 1 de los que clasifica como 0. Por ejemplo, un perceptrón no puede aprender el XOR. Jorge Baier Aranda, PUC 36

14 Regla de Aprendizaje del Perceptrón Veremos el caso particular de la neurona de McCulloch-Pitts: La red se inicializa con valores aleatorios para los pesos w i. Si se está procesando un ejemplo de entrenamiento con salida correcta d y la red entrega salida y, el peso w i de la entrada x i se ajusta de acuerdo a la regla: w i w i + η(d y)x i. η es una constante positiva llamada constante de aprendizaje. La regla de aprendizaje se aplica iterativamente a cada uno de los ejemplos. Cada vez que se procesa un ejemplo, se ajustan los pesos. Si todos los ejemplos se clasifican correctamente, se detiene el proceso. En otro caso, se vuelve al punto anterior. Jorge Baier Aranda, PUC 37

15 Error Cuadrático Medio El problema de aprendizaje en una red neuronal es un problema de búsqueda. El espacio queda definido por: La arquitectura de la red. El espacio de valores de los parámetros de la red (pesos). Dada la arquitectura de la red, buscaremos una hipótesis que maximice el rendimiento (minimice el error, con respecto a los ejemplos). Así, si T es un conjunto de n ejemplos, con x i, d i T para i = 1... n, el rendimiento es: P = 1 n n (f(x i ) d i ) 2. i=1 donde f(x i ) corresponde a la salida de la red para el i ésimo ejemplo (considerando una unidad con una sola salida). La medida anterior considera el error mirando todos los ejemplos, por lo cual es apropiada para métodos de aprendizaje batch. Jorge Baier Aranda, PUC 38

16 La regla Delta de entrenamiento La regla delta de entrenamiento está basada en un análisis matemático de la función de salida de los perceptrones. Está basada en el método del gradiente. Una de sus ventajas es que funciona con cualquier función de activación diferenciable. Deduciremos uns regla de actualización de pesos para hacer aprender a un perceptrón sin umbral (ADALINE). Es decir, una unidad lineal con: o(x) = w x Si D = { x 0, d 0,..., x n, d n } es el conjunto de entrenamiento, consideremos la función de error como: E(w) = 1 2 n (d k o(x k )) 2 k=1 Jorge Baier Aranda, PUC 39

17 El Gradiente [ E E(w) =, E,..., E ], w 0 w 1 w m donde m es la dimensión de los ejemplos. Ahora: E w i = = 1 2 = = = 1 w i 2 n k=1 n (d k o(x k )) 2 k=1 w i (d k o(x k )) 2 n (d k o k ) (d k o(x k )) w i k=1 n (d k o k ) (d k w x k ) w i k=1 n (d k o k )( x k,i ), k=1 Jorge Baier Aranda, PUC 40

18 donde x k,i es la i-ésima componente de x k. Como el gradiente da la dirección de mayor crecimiento, los pesos se pueden actualizar con la regla: w w η E(w). o bien: w i w i + η n (d k o k )( x k,i ). k=1 Jorge Baier Aranda, PUC 41

19 Algoritmo de descenso por el gradiente Descenso-Gradiente(ejemplos,η). Cada ejemplo es un par x, d y η es la tasa de aprendizaje. Inicializar los pesos w i en un valor pequeño aleatorio. Repita hasta que converja: Inicialice w i en cero. Para cada x, d en ejemplos: Calcule la salida o de la unidad. Para cada peso w i : w i w i + η(d o)x i. Para cada w i : w i w i + w i. Jorge Baier Aranda, PUC 42

20 Unidad de Umbral Sigmoidal En redes más complejas, se utilizan con frecuencia unidades con funciones de activiación no lineales. Una de las más populares son las unidades sigmoidales. x 0 = 1 x 1 w 1 w 0. S σ(net) x n w n Donde: y net = w x o = σ(net) = e net Jorge Baier Aranda, PUC 43

21 Una característica útil de la función logística es que: dσ(x) dx = σ(x)(1 σ(x)). Jorge Baier Aranda, PUC 44

22 Gradiente del error en Unidades Sigmoidales Consideremos la medida de error E definida previamente y calculemos: E w i = = 1 2 = = 1 w i 2 n k=1 n (d k o k ) 2 k=1 w i (d k o k ) 2 n (d k o k ) (d k o k ) w i k=1 n (d k o k ) k=1 ( o ) k w i Jorge Baier Aranda, PUC 45

23 Pero, o k = σ(net k) w i = σ(net k) w i net k net k w i = o k (1 o k )x k,i donde x k,i es la i-ésima componente de x k. Finalmente: E w i = n (d k o k )o k (1 o k )x k,i k=1 Jorge Baier Aranda, PUC 46

24 Redes Multicapa Veremos cómo entrenar redes de dos capas y extenderemos el resultado al caso general. Una red de dos capas se ve de la siguiente manera: z 0 = 1 x 0 = 1 1 z 1 1 y 1 d 1 x 1. x i. w (1) ji j z j w (2) kj k y k y k d k x n J z J K y K y K d K Donde y 1,..., y L son las salidas de la red y d 1,..., d L son los datos usados para entrenar. Jorge Baier Aranda, PUC 47

25 Si consideramos el error cuadrático de todas las salidas, E(x) = 1 2 K (d m y m ) 2 m=1 obtenemos la regla de actualización para los pesos de la última capa: w (2) kj E = η w (2) kj = η(d k y k )f (net k )z j, donde k = 1,..., K y j = 1,..., J y net k = J l=0 w klz l y donde f es la función de activación. Para obtener la regla de actualización de pesos de w (1) ji regla de la cadena, obteniéndose lo siguiente: w (1) ji [ K ] = ρ h (d k y k )f (net k )w (2) f (net j )x i k=1 kj es necesario aplicar la Jorge Baier Aranda, PUC 48

26 Error Backpropagation Backpropagation(ejemplos, η, n in, n out, n hidden ) Caso particular de una red con una capa escondida, con conexiones completas hacia adelante y unidades sigmoidales. Inicializar todos los pesos en valores aleatorios pequeños. Repita hasta que haya convergencia: Para cada ejemplo: 1. Procese el ejemplo a través de la red y calcule la salida. 2. Para cada unidad k de salida: 3. Para cada unidad escondida h δ k y k (1 y k )(t k y k ) δ h y h (1 y h ) k salidas w kh δ k 4. Actualizar los pesos w j,i : w ji w ji + ηδ j x j,i Jorge Baier Aranda, PUC 49

27 Comentarios al Algoritmo El ciclo principal del algoritmo se repite miles de veces. La condición de término puede cambiarse: Número fijo de iteraciones. Terminar cuando el error en los ejemplos caiga bajo un valor prefijado. Terminar cuando el error en un conjunto de validación obedezca un criterio, etc. Jorge Baier Aranda, PUC 50

28 Qué podemos representar? Funciones booleanas: Cualquier función booleana es representable por una red con una capa escondida. El número de nodos en la capa escondida puede crecer exponencialmente en el número de entradas. Funciones continuas: Cualquier función continua acotada puede representarse con una red con una capa escondida de unidades sigmoidales y una capa de salida de unidades lineales (sin umbral). Funciones Arbitrarias: Cualquier función puede aproximarse con una red con dos capas escondidas de unidades sigmoidales y una capa de salida de unidades lineales (sin umbral). Jorge Baier Aranda, PUC 51