ALGUNOS MODELOS DE UNA NEURONA

Transcripción

1 ALGUNOS MODELOS DE UNA NEURONA w 1 Μ w 2 w m

2 ADALINE ADAptve Lnear Element Wdrow y Hoff 1960 w 1 Μ w 2 w m

3 El Adalne x 0 x 1 x 2 Μ Μ x m con w 2 w = x = w 1 w m v b m v m = w j x j + b = j= 1 = 0 [ b w w Λ w ] [ 1 x x Λ x ] t m m t w x y = φ v = t w x y = v

4 El Adalne Podemos tener como en el caso del perceptrón varos ADALINEs juntos y en este caso se le denomna MADALINE. Vamos a centrarnos en una sola neurona. El Entrenamento La regla de actualzacón de pesos es la LMS least mean square algorthm que se basa en el método de descenso de gradente para mnmzar la dferenca entre la salda deseada y la actual entrenamento supervsado. El método de descenso de gradente forma parte del conjunto de métodos de optmzacón sn restrccones. En el caso del perceptrón se requera que el problema fuera lnealmente separable. Aqu buscamos un clasfcador lneal que sea óptmo en algún sentdo mnmzando una funcón de costos. La dea es producr una secuenca de pesos Wn tal que en cada teracón la funcón de costos dsmnuya, esto se logra con correcones al vector en dreccón opuesta al gradente que resulta ser la de mayor descenso

5 Descenso de Gradente y La pendente de la funcón es el gradente de la tangente a la curva en ese punto p Δy δy P= Δy/Δx Δx x S Δx es pequeño, Δy reflejará en la dervada un cambo smlar a δy en yx en 1-D: S nco en a, para γ sufcentemente pequeño, b=a+γy a es tal que yb>=ya Hay Hay que que yb = ya + γ y a = ya + hy a +Oh 2 = ya +γ y a 2 > ya camnar en en dreccón h opuesta!!

6 Notacón: D es el conjunto de datos {x,d,=1,,,,,,l}, con x un vector Queremos mnmzar el error cuadrátco medo E w = 1 2 x D d 2 y Esta funcón por defncón es concava, dferencable y tene un mínmo.

7 Descenso de Gradente

8 El Adalne El gradente se calcula como: E E E w =,, Λ, w0 w1 E w m En el algortmo del descenso del gradente tomamos un paso en dreccón de máxmo descenso que es menos el gradente Δw ϖ = η Ew En cada componente Δw E = η w

9 El Adalne = = = = = D x D x D x D x D x x y d wx d w y d y d w y d y d w y d w w E

10 El Adalne Por lo tanto la regla de actualzacón es Δw = η x D d y x El método del gradente garantza convergenca haca 0 cuando los pesos snáptcos aproxman la relacón de entrada y salda. La convergenca el asntótca, mentras que en el caso del perceptrón sabemos que converge en un número fnto de pasos. OJO!!!! Hay dos tpos de actualzacones dstntas que nducen a tpos de convergenca dferentes: Actualzacón en lote y actualzacón contínua

11 El Adalne Actualzacón por lotes Batch update Repetr hasta satsfacer la condcón de parada - Buscar el gradente del error - w w η E D w E D w Actualzacón contnua Contnuos update Repetr hasta satsfacer la condcón de parada - Para cada par x,d en D ** Calcule E d ** w w η Ed w w = d y x

12 El Adalne En actualzacón contnua, usamos como funcón de error el error cometdo en la n-ésma teracón, mentras que en el descenso de gradente usamos la suma de los errores. Algortmo 1 Incar los pesos en valores aleatoros pequeños 2 Poner E=0 3 Para cada w, ncalzar Δw =0 4 Para cada x,den D - δ = d yx - E= E + δ 2 - Δw = Δw +ηδx, para =1.m 5 Para cada w actualzar w =w +Δw 6 S no se verfca la condcón de parada, contnuar al paso 2

13 El Adalne Este algortmo actualza los pesos al fnal de cada época en vez de contnuamente con cada presentacón de los estmulos, la convergenca está garantzada por la convergenca de descenso de gradente. Sn embargo el LMS que se presenta en el Hayn es la actualzacón contnua 1 Incar los pesos en valores aleatoros pequeños 2 Para cada x,den D - δ = d yx - w = w +ηδx, para =1.m

14 El Adalne propedades On-lne batch convergenca aproxmacones evaluacones Los pesos sguen una trayectora aleatora stochastc gradent descent. A medda que aumenta el número de teracones los pesos se comportan como un movmento Brownano. Aproxma la actualzacón por lotes batch cuando η es pequeño Converge al mínmo lentamente depende de η. S η es suf. pequeño los pesos sguen una trayectora suave. Mas efcente

15 Efecto del parámetro α η pequeña β η alta

16 El Adalne Se puede demostrar que LMS contínua converge s 0 < η < 2/λ max donde λ max es el mayor autovalor de la matrz de correlacón para las entradas. Un estmado esta dado por 0 < η < 2/trR x, donde trr x es la suma cuadrada de los estmulos. R x =E[x*x t ] A la actualzacón contínua se le puede mejorar su convergenca s se utlzan parámetros adaptatvos η=η 0 ηn=c/n aproxmacón estocástca ηn = η 0 /1+ n/τ

17 La curva de aprendzaje S hemos elegdo ben al parámetro de aprendzaje, en cada teracón vamos a acercarnos más haca un mínmo en nuestro caso global, por lo que el error en cada época debería ser menor que la anteror. MSE FAQ: Cómo Cómo es es la la curva curva de de aprendzaje del del perceptrón? Epoca Porqué no no es es monótona s s la la regla regla de de actualzacón es es la la msma?

18 Problemas que pueden resolver 1 Clasfcacón. Recordar que un ADALINE busca un hperplano. En esta aplcacón es el que separa. El error cometdo no será 0, por lo que típcamente la condcón de parada debe cambar. 1 Dferenca entre errores en épocas sucesvas sea pequeña 2 Número máxmo de épocas. 2 Regresón lneal. Se busca un modelo de la forma: Y = a + b 1 x 1 + b 2 x 2 + b 3 x b n x n 3 Modelos autorregresvos. Se busca un modelo de la forma: Y = a + b 1 xn + b 2 xn-1 + b 3 xn b xn-+1 4 Aproxmacón polnómca. Se busca un modelo de la forma: Y = a + b 1 x + b 2 x 2 + b 3 x b x

19 Fjando deas 1. Defncón de red neural, vnculacón con cerebro humano. 2. Paradgmas del aprendzaje. 3. Defnmos una red neural artfcal. 4. Modelos de una neurona: 1. Perceptrón 1. Neurona no lneal. 2. Clasfcacón, data lnealmente separables. 3. Usa LMS actualzacón contínua como regla de aprendzaje. 4. Convergenca garantzada para cualquer valor de la tasa de aprendzaje. 2. Adalne 1. Dspostvo lneal. 2. Usa LMS como regla de aprendzaje. 3. Convergenca garantzada según estlo de teracón, sensble a cambos en la tasa de aprendzaje. 5. Vmos ejemplos de declaracón de cada dspostvo en Matlab.

20

21 Haca donde vamos? Hay problemas dfícles de resolver con una sola neurona, o con una capa de neuronas y hace falta recurrr a arqutecturas más complejas para resolverlas. Vamos a ver redes artfcales con más de una capa de neuronas, y la forma de aprendzaje: retropropagacón Bacpropagaton