4 El Perceptrón Simple

Transcripción

1 El Perceptró Simple. Itroducció Ua de las características más sigificativas de las redes euroales es su capacidad para apreder a partir de algua fuete de iformació iteractuado co su etoro. E 958 el psicólogo Fra Roseblat desarrolló u modelo simple de euroa basado e el modelo de McCulloch Pitts e ua regla de aprediae basada e la correcció del error. A este modelo le llamó Perceptró. Ua de las características que más iterés despertó de este modelo fue su capacidad de apreder a recoocer patroes. El Perceptró está costituido por couto de sesores de etrada que recibe los patroes de etrada a recoocer o clasificar ua euroa de salida que se ocupa de clasificar a los patroes de etrada e dos clases, segú que la salida de la misma se activada o 0 desactivada. Si embargo, dicho modelo teía muchas limitacioes, como por eemplo, o es capa de apreder la fució lógica XOR. Tuviero que pasar uos años hasta que se propusiera la regla de aprediae de retropropagació del error para demostrarse que el Perceptró multicapa es u aproimador uiversal.. El Perceptró simple Supogamos que teemos ua fució f de R e {-,}, que aplica u patró de etrada,,, T R e la salida deseada {-,}, es decir, f. La iformació de que dispoemos sobre dicha fució viee dada por p pares de patroes de etreamieto {, }, {, },,{ p, p } dode i R f i i {-,}, i,,,p. Dicha fució realia ua partició e el espacio R de patroes de etrada; por ua parte estaría los patroes co salida por otra parte los patroes co salida. Por lo tato, diremos que la fució f clasifica a los patroes de etrada e dos clases. Eemplos de fucioes f de este tipo so la fució lógica OR o la fució par. Ahora vamos a costruir u dispositivo secillo que apreda dicha fució a partir de u couto coocido de patroes relacioes de etreamieto. Para ello vamos a utiliar ua uidad de proceso bipolar que como vimos es ua fució matemática co domiio el couto -dimesioal {-,} rago el couto {-,}, defiida por la siguiete epresió: si... θ f,,..., si... θ

2 dode los parámetros,,,, se llama pesos siápticos so los pesos co los que se podera los valores de etrada,,,, o argumetos de la fució; la suma poderada u... se llama potecial siáptico el parámetro θ se llama umbral o sesgo. Tambié se puede epresar la fució f mediate la fució sigo, es decir, f,,..., sg u θ siedo la fució sigo, 0 sg 0 diremos que e este caso la fució de trasferecia es la fució sigo. Aálogamete, se defie ua uidad de proceso biaria como ua fució matemática co domiio el couto -dimesioal {0,} rago el couto {0,}, defiida por la siguiete epresió: si... θ f,,..., 0 si... θ 3 Figura. Uidad de proceso bipolar. Cuado la salida de la uidad de proceso es igual a se dice que dicha uidad de proceso está activada o ecedida preseta el estado, mietras que si su salida es igual a cero se dice que está desactivada o apagada, presetado el estado 0. Fució sigo f - Fució paso o De Heaviside f 0 Figura. Fucioes de trasferecia.

3 Para la determiació de los pesos siápticos del umbral vamos a seguir u proceso adaptativo que cosiste e comear co uos valores iiciales aleatorios e ir modificádolos iterativamete cuado la salida de la uidad o coicide co la salida deseada. La regla que vamos a seguir para modificar los pesos siápticos se cooce co el ombre de regla de aprediae del Perceptró simple viee dada por la epresió:,,, siedo [ ] 3 esto os idica que la variació del peso es proporcioal al producto del error i i por la compoete -ésima del patró de etrada que hemos itroducido e la iteració, es decir,. La costate de proporcioalidad es u parámetro positivo que se llama tasa de aprediae puesto que cuato maor es más se modifica el peso siáptico viceversa. Es decir, es el parámetro que cotrola el proceso de aprediae. Cuado es mu pequeño la red aprede poco a poco. Cuado se toma costate e todas las iteracioes, > 0 tedremos la regla de adaptació co icremeto fio. Cuado la fució de trasferecia usada es la fució sigo valores bipolares la regla de aprediae se puede escribir de la forma: si si si, Por lo tato, esta regla de aprediae es u método de detecció del error correcció. Solo aprede, es decir, modifica los pesos, cuado se equivoca. Cuado teemos u patró que perteece a la primera clase o es asigado a la misma, etoces corrige el valor del peso siáptico añadiédole ua catidad proporcioal al valor de etrada, es decir lo refuera, mietras que si el patró de etrada o perteece a esta clase el Perceptró lo asiga a ella, lo que hace es debilitar el peso restádole ua catidad proporcioal al patró de etrada. No modificaremos los pesos cuado el valor deseado coicida co la salida de la red. Cómo se modifica el sesgo? De la misma maera, teiedo e cueta que el sesgo se puede cosiderar como el peso siáptico correspodiete a u uevo sesor de etrada que tiee siempre ua etrada igual a, como peso siáptico el valor del umbral, pues... θ... 0 cuado θ. Así, la red equivalete tedría sesores, su umbral sería siempre cero, los patroes de etrada,,..., será ahora,,...,,,

4 los pesos asociados,,..., será,,...,, co θ la regla de aprediae: θ,,, [ ] A partir de ahora vamos a cosiderar el umbral como u peso siáptico más. Algoritmo de aprediae del Perceptró simple Paso 0: Iicialiació Iicialiar los pesos siápticos co úmeros aleatorios del itervalo [-,]. Ir al paso co Paso : -ésima iteració Calcular sg Paso : Correcció de los pesos siápticos Si modificar los pesos siápticos segú la epresió:,,,..., Paso 3: Parada [ ] i Si o se ha modificado los pesos e las últimas p iteracioes, es decir, r,,,...,, r,..., p, parar. La red se ha estabiliado. E otro caso, ir al Paso co. Ahora surge la cuestió: Dado u couto de patroes de etreamieto, puede el Perceptró apreder a clasificarlos correctamete? Solamete si los patroes so liealmete separables. Ello reduce cosiderablemete el campo de aplicacioes del Perceptró simple puesto que i siquiera es capa de implemetar la fució lógica XOR dada por la siguiete relació: Etradas Salidas,,,, i

5 a b Figura. a Patroes separables liealmete. b Patroes o separables liealmete. Decimos que dos coutos de putos A B so liealmete separables e u espacio -dimesioal si eiste úmeros reales,...,,, de maera que cada puto,,..., A, θ satisface i i i θ cada puto,,..., B satisface i i i θ. A cotiuació vamos a estudiar la covergecia del Perceptró simple, es decir, bao que codicioes u Perceptró es capa de ecotrar ua solució e u úmero fiito de iteracioes. θ θ θ Figura. Semiespacios que defie el Perceptró. Teorema de covergecia del Perceptró Si el couto de patroes de etreamieto, {, }, {, },,{ p, p }, es liealmete separable etoces el Perceptró simple ecuetra ua solució e u úmero fiito de iteracioes, es decir, cosigue que la salida de la red coicida co la salida deseada para cada uo de los patroes de etreamieto.

6 Demostració: E efecto, como los patroes so liealmete separables eistirá uos valores,...,, tales que > para los patroes de la clase para los patroes de la clase. Obsérvese que es el umbral θ. Supogamos que e la iteració la red tiee que modificar los pesos siápticos segú la regla de aprediae, puesto que la salida de la red o coicide co la salida deseada. Tedremos que: [ ] Desarrollado, [ ] [ ] 5 [ ] [ ] [ ] Obsérvese que [ ], 0 puesto que si 0 > etoces como la salida es icorrecta tiee que ser, si 0 etoces como la salida es icorrecta,. Dicho térmio se puede escribir de la forma: Asimismo, el térmio [ ] 0 > es positivo puesto que si 0 > etoces la salida deseada es la salida icorrecta de la red tiee que ser, si 0 etoces la

7 salida icorrecta de la red tiee que ser. Así, tambié se puede escribir de la forma: Por lo tato teemos que puesto que hemos prescidido de u térmio egativo e la derecha de la epresió. Sea D D ma L p mi T p etoces la epresió aterior se reduce a D D D L T D [ L T ] Si tomamos L T 0, es decir, T L T etoces DD. Esto sigifica que eligiedo u valor de tal que 0 L hace que D dismiua al meos e la catidad costate L T e cada iteració co correcció. Si el úmero de iteracioes co correcció fuese ifiito etoces llegaríamos al absurdo de alcaar e ua mometo determiado u valor egativo del térmio D que evidetemete es o egativo. La siguiete cuestió que vamos a abordar es estudiar cuál sería el valor meor que debemos elegir del parámetro de aprediae de forma que se cosiga más rápidamete la covergecia de la red. Se trata de elegir de maera que D sea lo meor posible así coseguir u maor acercamieto de los pesos de la red a la solució. Como D es ua fució cuadrática del parámetro solo teemos que derivar e igualar a cero para ecotrar el valor de dicho parámetro que correspode al míimo de la epresió D.

8 D D E 0 8 E El valor de que verifica dicha ecuació es opt Si embargo el segudo térmio del umerador o lo coocemos puesto que o coocemos los valores. Si aproimamos dicho térmio por el aterior teemos que u valor aproimado de la tasa de aprediae óptima es el siguiete: ~ opt Como hemos visto ateriormete, [ ] así [ ] ~ opt Sustituedo este valor del parámetro e la regla de aprediae cuado obteemos, [ ] [ ] es decir,

9 6 puesto que [] cuado. Dicha regla se cooce co el ombre de regla del Perceptró ormaliada, pues si partimos de u vector de pesos ormaliado, es decir,, etoces todos los pesos que se va obteiedo segú la regla de aprediae se matiee ormaliados. E efecto, i