Procesamiento Digital de Imágenes. Pablo Roncagliolo B. Nº 21. Redes Neuronales. 2

Transcripción

1 Procesamento Dgtal de Imágenes Pablo Roncaglolo B. Nº Redes Neuronales

2 Redes Neuronales Báscas Células de McCulloch&Ptts El Perceptrón ADALINE El Perceptrón n Multcapa prb@7 Celulas de McCulloch-Ptts 94. Fueron un modelo smplfcado del funconamento de las neuronas del cerebro. Cada célula c puede tener dos estados de salda, ó. w w n w Σ Θ S n prb@7 4

3 Celulas de McCulloch-Ptts Las células c operan en lapsos dscretos. Una red neuronal de células c de McCulloch-Ptts tene la capacdad de computo unversal. Es decr, cualquer estructura que pueda ser programada en un computador, puede ser modelada con este tpo de redes. n w w Σ Θ S w n > s( t+ ) = Sn embargo, el tamaño o de estas redes para problemas complejos es mu elevado. Además s el método m de aprendzaje para redes mu grandes no es apropado. prb@7 5 w( t) θ... en caso contraro Celulas de McCulloch-Ptts Ejemplo: NOT - - S w S prb@7 6

4 Celulas de McCulloch-Ptts Ejemplo: AND S w S prb@7 7 Celulas de McCulloch-Ptts Ejemplo: OR S w S prb@7 8 4

5 Celulas de McCulloch-Ptts XOR??? Con una celula no es posble.??? S w S prb@7 9 El Perceptrón Rosenblat generalzó las células c de McCulloch-Ptts Se concbó como un sstema capaz de realzar tareas de clasfcacón n de forma automátca. tca. La dea era dsponer de un sstema que a partr de un conjunto de d ejemplos (patrones) de clases dferentes, fuera capaz de determnar las ecuacones de las superfces que hacían an de frontera de dchas clases. w w σ ' n = = w = F( ', σ) F( s, σ) = en ss> σ casocontraro prb@7 5

6 El Perceptrón Se puede epresar la msma ecuacón n consderando SIGMA como parte de la sumatora de entrada a la funcón: n: Ej. Para dos entradas: n = F w + σ = ss> F( s, σ) = en casocontraro ( w + w +σ) = F Se observa que el umbral que separa las dos respuestas de la red, corresponde a una recta con pendente w/w e ntercepto -σ/w prb@7 El Perceptrón Grafcamente, la separacón n de las dos clases: prb@7 6

7 El Perceptrón En el caso general sería: Dado el conjunto de puntos A=(a,a...an) B=(b,b...bn). Obtener el conjunto W=(w,w...wn) tal que: r a A: wa r b B: wb wa wb Esta es la base del aprendzaje del PERCEPTRON. + σ > + σ > prb@7 n n n n El Perceptrón El proceso de aprendzaje: Sea: d( ) = clase del vector = PASO : Comenzar con valores aleatoros para pesos umbral. PASO : Selecconar un ejemplo X del conjunto de entrenamento. PASO : S <>d(), modfcar w de acuerdo con: w =d() PASO : S no se ha cumpldo el crtero de fnalzacón, n, volver a prb@7 4 7

8 El Perceptrón El proceso de aprendzaje: w =d() Se observa que s la salda =d()= para un vector de clase, entonces w = - El delta W es proporconal al nodo de entrada en la dreccón n de clasfcacón n del vector. prb@7 5 El Perceptrón ( ) = Fw + w +σ ss> F( s, σ) = en casocontraro Ejemplo: AND AND ( A) ( A) ( A) ( B) Patron Salda (, ) + Clasfca Mal Actualzo pesos Incalmente al azar w=w= Umbral=.5.5 w =d() w =w + w =+(-)*= )*= w =w + w =+(-)*= )*= w =w + w =.5+(-)*= -.5 prb@7 6 8

9 El Perceptrón ( ) = Fw + w +σ ss> F( s, σ) = en casocontraro Ejemplo: AND AND ( A) ( A) ( A) ( B) Patron Salda (, ) + Clasfca Mal -.5 w =d() w =w + w =+(-)*= )*= w =w + w =+(-)*= )*= w =w + w =-.5+(.5+(-)*= )*=-.5.5 prb@7 7 El Perceptrón Ejemplo: AND AND ( A) ( A) ( A) ( B) Patron (, ) (, ) Salda Clasfca Ben Mal -.5 w =d() w =w + w =+(+)*= w =w + w =+(+)*= w =w + w =-.5+(+)*=.5+(+)*=-.5 prb@7 8 9

10 El Perceptrón 4 Ejemplo: AND AND ( A) ( A) ( A) ( B) Patron (, ) (, ) (, ) Salda + + Clasfca Ben Ben Mal -.5 w =d() w =w + w =+(-)*= w =w + w =+(-)*= )*= w =w + w =-.5+(.5+(-)*= )*=-.5.5 prb@7 9 El Perceptrón 5 Ejemplo: AND AND ( A) ( A) ( A) ( B) Patron Salda (, ) + Clasfca Mal -.5 w =d() w =w + w =+(-)*= )*= w =w + w =+(-)*= w =w + w =-.5+(.5+(-)*= )*=-.5 prb@7

11 El Perceptrón 6 Ejemplo: AND AND ( A) ( A) ( A) ( B) Patron Salda (, ) Clasfca Mal -.5 w =d() w =w + w =+(+)*= w =w + w =+(+)*= w =w + w =-.5+(+)*=.5+(+)*=-.5.5 prb@7 El Perceptrón 7 Ejemplo: AND AND ( A) ( A) ( A) ( B) Patron (, ) (, ) (, ) (, ) Salda + Clasfca Ben Ben Ben Ben = =.5 prb@7

12 El Perceptrón Ejemplo práctco... Set de ejemplos durante Ejemplos fuera del entrenamento para el entranamento verfcar capacdad de generalzacón El Perceptrón Paso Respuestas correctas para los 8 ejemplos de entrenamento clear; map=(:55)/55; map=[map' map' map']; fgure(); COLORMAP(map map); CLASE=[ ]; n = F w + σ = PESOS=rand rand(,4); UMB=rand rand(,); prb@7 4

13 El Perceptrón Paso Lee magen El cclo whle se debería a realzar hasta que todos los ejemplos sean clasfcados correctamente de manera consecutva. nde=; =; whle < A=double double(mread(['f' numstr(nde nde) ) '.bmp' bmp'])); subplot(,,); mage(a); Transforma en vector de 4 n = F w + σ = CAPA_ENTRADA=[]; for f=:, CAPA_ENTRADA=[CAPA_ENTRADA A(f,:)];end end; Y=sum(CAPA_ENTRADA.*PESOS+UMB); f (Y> & CLASE(nde nde)<) (Y<( & CLASE(nde nde)>) dsp('error') PESOS=PESOS+CLASE(nde nde)*capa_entrada; UMB=UMB+CLASE(nde nde); end; w =w + w =w +d() nde=nde nde+; f nde>8 >8, nde=; end; =+; end; prb@7 5 El Perceptrón ADALINE ADALINE (ADAptve LInear NEuron): Neuron Lneal Adaptatva La salda del perceptrón n en bnara. La regla de aprendzaje del perceptrón n no mde el grado de error. Wdrow & Hoff, 96 proponen ADALINE. Consste smplemente en una transformacón n que permte adaptar una entrada X a una salda Y. r n = = w +σ prb@7 6

14 ADALINE La regla de aprendzaje de ADALINE consdera el error entre la salda lograda versus la salda deseada d d r r Esta regla se conoce como REGLA DELTA w = α ( d ) p La constante α se denomna TASA DE APRENDIZAJE p p prb@7 7 ADALINE Al gual que en el perceptrón n los pasos son:. Incalzar los pesos en forma aleatora. Introducr PATRON de entrada. Calcular salda Y, obtener dferenca 4. Para todos los pesos, multplzar dcha dferenca por la entrada correspondente ponderarla por la tasa α 5. Actualzar todos los pesos w = w + w 6. S no se ha cumpldo el crtero de convergenca, regresar a.. S se han acabado todos los patrones, empezar de nuevo a ntroducr patrones. prb@7 8 p (d ) p p 4

15 ADALINE Ejemplo: Decodfcador Bnaro a Decmal [] [ ] [ ] [ 4] [ 5] [ 6] [ 7] = tasa α =. w prb@7 9 ADALINE Ejemplo: Decodfcador Bnaro a Decmal [] [ ].84 tasa α=..94 [ ] [ 4] [ 5] [ 6] [ 7] w = w w w = w = w.78 + αe + αe = =.78 E + αe = p =.84 =.94 ( d p p ) =.78=.7 = =.848 prb@7 5

16 ADALINE Ejemplo: Decodfcador Bnaro a Decmal [] [ ].84 tasa α=..94 [ ] [ 4] [ 5] [ 6] [ 7] w w w = w = w.848 = w + α E = =.94 E + α E + α E = p =.84 =.848 ( d p p ) =.94=.6 = =.876 prb@7 ADALINE 7 Ejemplo: Decodfcador Bnaro a Decmal [] [ ]... tasa α=.... Resultado despues de la prmera teracón del entrenamento [ ] [ 4] [ 5] [ 6] [ 7] w = w w w... = w = w = = 6.88 E + αe + αe + αe = p ( d p p ) = =. =.9+..=.6 = =. =.85+..=.86 prb@7 6

17 ADALINE Ejemplo: vsualzacón n de los pesos según n teracones.. Iteracón Pesos...86 > La tasa de aprendzaje α tambén n puede ser adaptatva > Por ejemplo al nco el valor puede ser alto, para dar grandes pasos de correccón del error para salr de mínmos locales. > Sn embargo al fnal del entrenamento debe dsmnur para hacer correccones fnas. prb@7 Sn embargo... El uso del Perceptrón n o de las redes ADALINE permte apromar de manera fácl, f cualquer tpo de funcón n o sstemas, sólo conocendo un conjunto de ejemplos. De esta manera cualquer sstema (caja negra), se puede representar por una red. Sn embargo, después s de la década d del 5 se demostró que estas técncas t poseen grandes lmtacones. Un ejemplo clásco es el OR Eclusvo. CONCLUSION: éstas técncas t sólo s pueden resolver sstemas donde los ejemplos son lnealmente separables. prb@7 4 7

18 Sn embargo... OR Eclusvo.???? El Perceptrón n o ADALINE nunca convergen!! Solucón: varas redes en cascada complejdad!! prb@7 5 Sn embargo... prb@7 6 8

19 Perceptrón Multcapa Corresponde a una generalzacón n del Perceptrón n Adalne 969, Mnsk & Papert mostraron que el uso de varos perceptrones smples (neuronas ocultas) puede ser una solucón para problemas no lneales. Sn embargo no dejaron en claro como se puede entrenar (ajustar los pesos ocultos) 986, Rumelhart &..., presentó un método m para retropropagar el error meddo en la salda haca las neuronas ocultas. Se denomna REGLA DELTA GENERALIZADA. 989, Cbenko, Hornk, han demostrado que el Perceptrón Multcapa es un apromador unversal. Cualquer funcón contnua sobre R n, puede ser apromada, con al menos una capa oculta. prb@7 7 Perceptrón Multcapa El Perceptrón n Multcapa: puede aprender a partr de ejemplos, apromar relacones no lneales, fltrar rudo, modelar sstemas... s... Con éto ha sdo aplcado a: Reconocmento del habla (Cohen, 9) Reconocmento de caracteres (Sacknger, 9) Reconocmento de caracteres escrtos (Guon, 9) Control de Procesos (Werbos, 89) Modelamento de Sstemas Dnámcos (Narendra, 9) Conduccón n de vehículos (Pomerleau, 9) Dagnóstcos médcos m (Bat, 9) Predccón n de Seres Temporales (Weggend, 9) Etc... prb@7 8 9

20 Perceptrón Multcapa Arqutectura: CAPA DE ENTRADA CAPAS OCULTAS CAPA DE SALIDA Todas las neuronas transmten nformacón n haca delante: se denomnan redes feedforward Cada neurona posee un umbral ndependente. Se consdera como una entrada más m s cua entrada es. Generalmente se utlzan resde completamente conectadas Funcón n de actvacón n de las neuronas: sgmodal, hperbólca. prb@7 9 Perceptrón Multcapa Funcón n de actvacón n de las neuronas: sgmodal, hperbólca son equvalentes (f =f -) Sgmodal Hperbólca f ( ) f( ) = + e e = + e La dervada de la f. Sgmodal es: f() =f()( =f()(-f()) f()) prb@7 4 -

21 Perceptrón Multcapa Algortmo BACKPROPAGATION: Cada neurona de salda dstrbue haca atrás s su error δ a las neuronas ocultas que se conectan a ella, ponderado por el valor de la coneón. n. Cada neurona oculta recbe un δ de cada neurona de salda. La suma de estas es el térmno t δ de la neurona oculta. Se repte el proceso haca atrás... Por ello el nombre retropropagacón n del error. prb@7 4 Perceptrón Multcapa Algortmo BACKPROPAGATION: Pesos de la capa oculta, umbrales de la capa de salda: w u j = = ' u w ' j + α δ + α δ j nodos δ = ( s ) ( ) j nodos prb@7 4

22 Perceptrón Multcapa Algortmo BACKPROPAGATION: Pesos de la capa entrada, umbrales de la capa de salda: w u δ = ( ) j kj = = j w ' j u j ' kj + α δ + α δ j j w j j δ j nodos nodos prb@7 4 k k nodos Perceptrón Multcapa Ejemplo: XOR ' v= v+ v = v ' αδ a δ = ( s ) ( ) + αδ a ' u = u + α δ TAREA: Implementar esta pregunta de prueba. Capa k Capa j prb@7 44 w w w uj a a v uj v w ' j w= w+αδ... ' j uj = uj+α δ j δ = a( a) v δ u Capa