4. El perceptrón. 4.1 Introducción. 4.2 Consideraciones básicas

Transcripción

1 4. El perceptrón 4.1 Introducción El perceptrón es la forma más simple de una red neuronal usada para la clasificación de un tipo especial de patrones, los linealmente separables (es decir, patrones que se encuentran a ambos lados de un hiperplano). Básicamente, consiste de una neurona con pesos sinápticos y umbral ajustables, como se muestra en la figura (4.1). El algoritmo usado para ajustar los parámetros libres de esta red neuronal apareció por primera vez en un procedimiento de aprendizaje desarrollado por Rosenblatt (1958) para su modelo de perceptrón del cerebro. En realidad, Rosenblatt demostró que si los patrones usados para entrenar el perceptrón son sacados de dos clases linealmente separables, entonces el algoritmo del perceptrón converge y toma como superficie de decisión un hiperplano entre estas dos clases. La prueba de convergencia del algoritmo es conocida como el teorema de convergencia del perceptrón. x 1 x 2 Entradas Salida y Umbral x p Figura 4.1 Representación gráfica de un perceptrón de una sola neurona El perceptrón de una capa descrito en la figura (4.1) tiene sólo una neurona. Dicho perceptrón está limitado a realizar clasificación de patrones con sólo dos clases. Expandiendo la capa de salida del perceptrón para incluir más que una neurona, podemos realizar dicha clasificación con más de dos clases. Sin embargo, las clases tendrían que ser linealmente separables para que el perceptrón trabaje correctamente. 4.2 Consideraciones básicas Como ya hemos visto, el modelo de una neurona consiste en un combinador lineal seguido de un limitador. Este modelo se puede ver en la figura (4.2). El nodo suma del mismo mide una combinación lineal de las entradas aplicadas a sus sinapsis y, además, representa un umbral aplicado externamente. La suma resultante es aplicada a un limitador. Así, de acuerdo a esto, la neurona produce una salida igual a +1 si la entrada del limitador es positiva, y -1 si es negativa. 1

2 Figura 4.2 Modelo de un perceptrón simple En la figura anterior, los pesos sinápticos son denotados por w 1, w 2,..., w p. Asimismo, las entradas aplicadas al perceptrón son denotadas por x 1, x 2,..., x p. El umbral externo es. Del modelo de la figura (4.2) podemos ver que la salida del combinador lineal (es decir, la entrada del limitador) es la siguiente: p v = w i x i (4.1) i= 1 El propósito del perceptrón es clasificar un conjunto de estímulos aplicados externamente x 1, x 2,..., x p en una de dos clases, llamadas 1 o 2 : La regla de decisión para la clasificación es asignar el punto representado por las entradas x 1, x 2,..., x p a la clase 1 si la salida del perceptrón es +1 y a la clase 2 si es -1. Para adquirir capacidad de penetración en el comportamiento de un clasificador de patrones, es frecuente dibujar un mapa de las regiones de decisión en el espacio de señal p- dimensional abarcado por las p variables de entrada x 1, x 2,..., x p. En el caso de un perceptrón elemental, hay dos regiones de decisión separadas por un hiperplano, el cual está definido por la siguiente ecuación: p i= 1 w i x i - = 0 (4.2) Esto se muestra en la figura (4.3) para el caso de dos variables de entrada x 1 y x 2, para las que la región de decisión toma la forma de una línea recta. Un punto (x 1,x 2 ) que se encuentre por encima de la línea divisoria se asigna a la clase 1, y un punto (x 1,x 2 ) que se encuentre por debajo de dicha línea se asigna a la clase 2. Notemos, asimismo, que el efecto del umbral es desplazar la región de decisión del origen. 2

3 Figura 4.3 Regiones de decisión de un problema de clasificación de patrones de dos clases Los pesos sinápticos w 1, w 2,..., w p del perceptrón pueden ser fijados o adaptados iteración tras iteración. Para la adaptación, podemos usar una regla de corrección de error conocida como algoritmo de convergencia del perceptrón. 4.3 Teorema de convergencia del perceptrón Para el desarrollo del algoritmo de aprendizaje por corrección de error para un perceptrón de una capa, encontramos más conveniente trabajar con el modelo descrito en la figura (4.4). En este segundo modelo, el umbral (n) es tratado como un peso sináptico conectado a una entrada fija e igual a -1. Así pues, podemos definir el vector de entrada como x(n) = [-1, x 1 (n), x 2 (n),..., x p (n)] T (4.3) Asimismo, definimos el vector de pesos como w(n) = [(n), w 1 (n), w 2 (n),..., w p (n)] T (4.4) De este modo, la salida del combinador lineal puede ser escrita de forma compacta, como se muestra en la siguiente ecuación: v(n) = w T (n)x(n) (4.5) Dado un n fijado, la ecuación w T x = 0, representada en un espacio p-dimensional de coordenadas x 1, x 2,..., x p, define un hiperplano como superficie de decisión entre dos clases diferentes de entradas. 3

4 Figura 4.4 Modelo de un perceptrón simple con una entrada fija Suponemos, entonces, que las variables de entrada del perceptrón de una capa originan dos clases linealmente separables a ambos lados de un hiperplano. Denotamos por X 1 al subconjunto de vectores de entrenamiento x 1 (1), x 1 (2),... que pertenecen a la clase 1, y por X 2 al subconjunto de de vectores de entrenamiento x 2 (1), x 2 (2),... que pertenecen a la clase 2. La unión de X 1 y X 2 da el conjunto completo de entrenamiento X. Dados los paquetes de entrenamiento X 1 y X 2 para entrenar al clasificador, el proceso de entrenamiento involucra el ajuste del vector de pesos w de forma que las dos clases 1 y 2 sean separables. Esas dos clases se dice que son linealmente separables si existe un vector de pesos sinápticos w realizable. A la inversa, si se sabe que las dos clases 1 y 2 son linealmente separables, entonces existe un vector de pesos w tal que cumple con las siguientes expresiones: w T (n)x(n) 0 para cada vector de entrada x que pertenezca a la clase 1 y (4.6) w T (n)x(n) < 0 para cada vector de entrada x que pertenezca a la clase 2 Dados los subconjuntos de entrenamiento X 1 y X 2, el problema de entrenamiento del perceptrón elemental (de una sola capa) es, por lo tanto, encontrar un vector de pesos w tal que satisfaga las dos inecuaciones anteriores. El algoritmo para adaptar el vector de pesos del perceptrón elemental puede ser formulado ahora como sigue: 4

5 1. Si el enésimo elemento del vector de entrenamiento x(n) es clasificado correctamente por el vector de pesos w(n) calculado en la enésima iteración del algoritmo, no se lleva a cabo ninguna corrección del vector de pesos del perceptrón, como se muestra a continuación: w(n+1) = w(n) si w T (n)x(n) 0 y x(n) que pertenezca a la clase 1 y (4.7) w(n+1) = w(n) si w T (n)x(n) < 0 y x(n) que pertenezca a la clase 2 2. Por otro lado, el vector de pesos del perceptrón se actualiza de acuerdo a la regla siguiente: w(n+1) = w(n) (n)x(n) si w T (n)x(n) 0 y x(n) que pertenezca a la clase 2 y (4.8) w(n+1) = w(n) + (n)x(n) si w T (n)x(n) < 0 y x(n) que pertenezca a la clase 1 donde el parámetro tasa de aprendizaje (n) controla el ajuste aplicado al vector de pesos en la iteración n. Si (n) = > 0, donde es una constante independiente del número de iteración n, tenemos una regla de adaptación de incremento fijo para el perceptrón. A continuación, primero probamos la convergencia de una regla de adaptación de incremento fijo en la que = 1. Claramente, el valor de n no es importante, sino que lo importante es que sea un valor positivo. Un valor de 1simplemente escala los vectores de patrones sin afectar a su separabilidad. La prueba se presenta para la condición inicial w(0) = 0. Suponemos que w T (n)x(n) < 0 para n = 1, 2, y un vector de entrada x(n) que pertenece al subconjunto X 1. Esto es, el perceptrón clasifica incorrectamente a los vectores x(1), x(2),, desde que la segunda condición de la ecuación (4.6) es violada. Entonces, con la constante (n) = 1, nosotros podemos usar la segunda línea de la ecuación (4.8) para escribir w(n+1) = w(n) + x(n) si x(n) pertenece a la clase 1 (4.9) Dada la condición inicial w(0) = 0, podemos resolver iterativamente esta ecuación para w(n+1), obteniendo el siguiente resultado: w(n+1) = x(1) + x(2) + + x(n) (4.10) 5

6 Desde que se asume que las clases 1 y 2 son linealmente separables, existe una solución wo para la que w T (n)x(n) > 0 para los vectores x(1), x(2),, x(n) pertenecientes al subconjunto X 1. Para una solución fija wo, podemos definir un número positivo mediante la relación: = min x(n) X1 wo T (n)x(n) (4.11) Así, multiplicando ambos lados de la ecuación (4.10) por el vector fila wo T, obtenemos la siguiente expresión: wo T w(n+1) = wo T x(1) + wo T x(2) + + wo T x(n) (4.12) De acuerdo a esto, y en base a la definición dada en la ecuación (4.11), tenemos la expresión siguiente: wo T w(n+1) n (4.13) A continuación podemos hacer uso de una inecuación conocida como inecuación de Cauchy-Schwarz. Dados dos vectores wo y w(n+1), esta inecuación dice que wo 2 w(n+1) 2 [wo T w(n+1)]2 (4.14) donde denota la norma Euclídea y wo T w(n+1) es un escalar. Notamos que, viendo la ecuación (4.13), [wo T w(n+1)]2 puede ser sustituido por n2, manteniéndose el cumplimiento de la inecuación, y quedando: o, equivalentemente, wo 2 w(n+1) 2 n2 (4.15) n 2 w(n+1) 2 (4.16) w o 2 Ahora seguimos por otro camino. En particular, rescribimos la ecuación (3.9) de la siguiente forma: w(k+1) = w(k) +x(k) para k = 1,..., n y x(k) perteneciente a X 1 (4.17) Así, tomando la norma Euclídea a ambos lados de la ecuación (4.17), conseguimos 6

7 w(k+1) 2 = w(k) 2 + x(k) 2 + 2w T (k)x(k) (4.18) Pero, bajo la suposición de que el perceptrón clasifica incorrectamente un vector de entrada x(k) que pertenece al subconjunto X 1, tenemos que w T (k)x(k) < 0. Por tanto, deducimos de la ecuación (4.18) que w(k+1) 2 w(k) 2 + x(k) 2 (4.19) o, equivalentemente w(k+1) 2 - w(k) 2 x(k) 2 para k = 1,..., n (4.20) Añadiendo esas inecuaciones para k = 1,..., n, y sumando la condición inicial w(0) = 0, obtenemos la siguiente condición: n w(k+1) 2 x(k) 2 n (4.21) k= 1 donde es un número positivo definido por = max x ( k ) X1 x(k) 2 (4.22) La ecuación (4.21) dice que la norma Euclídea cuadrada del vector de pesos w(n+1) crece mucho con el número de iteraciones n. Claramente, el segundo resultado de la ecuación (4.21) está en conflicto con el resultado de la ecuación (4.16) para valores lo suficientemente grandes de n. En realidad, podemos decir que n no puede ser mayor que un valor nmax para el que las ecuaciones (4.16) y (4.21) se satisfacen con el signo de la igualdad. Esto es, nmax es la solución de la ecuación n 2 max 2 n max = (4.23) w o 2 Resolviendo nmax para un vector solución wo, encontramos que w o 2 n max = (4.24) 2 7

8 Hemos demostrado, por tanto, que para (n) = 1 y w(0) = 0, y suponiendo que existe una solución wo, la regla para adaptar los pesos sinápticos que conectan las unidades asociativas a la unidad de respuesta del perceptrón debe terminar tras, como mucho, n iteraciones. Notemos que en las ecuaciones (4.11), (4.22) y (4.23) no hay una única solución para wo o nmax. Ahora podemos enunciar el teorema de convergencia de incremento fijo para un perceptrón de una capa como sigue: Sean los subconjuntos de entrenamiento X 1 y X 2 linealmente separables. Sean las entradas presentadas al perceptrón las originadas por esos subconjuntos. El perceptrón converge tras n o iteraciones, en el sentido de que w(no) = w(no+1) = w(no+2) =... (4.25) es un vector solución para n o n max. Consideramos a continuación el procedimiento de corrección de error para la adaptación de un perceptrón de una sola capa, para el que (n) es variable. En particular, dejamos que (n) sea el menor entero para el que (n)x T (n)x(n) > w T (n)x(n) (4.26) Con este procedimiento vemos que el producto escalar w T (n)x(n) en la iteración n tiene un signo incorrecto, por lo que w T (n+1)x(n) tendría el signo correcto. Esto sugiere que si w T (n)x(n) tiene un signo incorrecto, podemos modificar la secuencia de entrenamiento en la iteración n+1 haciendo x(n+1) = x(n). En otras palabras, cada patrón es presentado repetidamente al perceptrón hasta que el patrón es clasificado correctamente. Hay que hacer notar también el uso de un valor inicial w(0) diferente de la condición nula simplemente conllevará un aumento o decremento en el número de iteraciones requeridas para alcanzar la convergencia, dependiendo de cómo se relaciona w(0) con wo Resumen del algoritmo de convergencia del perceptrón Variables y parámetros: x(n) = [-1, x1(n), x2(n),..., xp(n)] T es el vector de entradas w(n) = [(n), w1(n), w2(n),..., wp(n)] T es el vector de pesos (n) es el umbral y(n) es la respuesta actual d(n) es la respuesta deseada n es el parámetro tasa de aprendizaje, una constante positiva menor que la unidad Paso 1: inicialización 8

9 Hacemos w(0) = 0 y se llevan a cabo los siguientes cálculos en los instantes de tiempo n = 1, 2,... Paso 2: activación En el instante de tiempo n, se activa el perceptrón aplicando el vector de entrada x(n) y l la respuesta deseada d(n). Paso 3: cálculo de la respuesta actual Se calcula la respuesta actual del perceptrón: y(n) = sgn[w T (n)x(n)] (4.27) donde sgn(n) es la función signo (vale +1 si n > 0, y -1 si n < 0). Paso 4: adaptación del vector de pesos Se actualiza el vector de pesos del perceptrón: w(n+1) = w(n) + n[d(n) - y(n)]x(n) (4.28) donde +1 si x(n) pertenece a la clase 1 d(n) = (4.29) -1 si x(n) pertenece a la clase 2 Paso 5: Se incrementa n en una unidad y se vuelve al paso 2. Como podemos ver, la adaptación del vector de pesos w(n) es realizada en forma de regla de aprendizaje corrección de error, como se muestra en la figura (4.25), en la que es el parámetro tasa de aprendizaje (parámetro que es positivo y que varía de 0 a 1) y la diferencia d(n) - y(n) juega el papel de señal de error. A la hora de asignar un valor a dentro de su rango de validez, hay que tener en cuenta dos cosas: - Un promediado de las entradas pasadas para proporcionar estimaciones de pesos estables, las cuales requieren una pequeña. - Una rápida adaptación con respecto a cambios reales en las distribuciones subyacentes del proceso responsable de la generación del vector de entrada x, la cual requiere una grande. 9

10 4.4 Medida del rendimiento En la sección anterior hemos desarrollado el algoritmo de convergencia del perceptrón sin ninguna referencia a la medida del rendimiento. Cuál es una medida adecuada del rendimiento para un perceptrón de una sola capa? Una elección lógica sería la probabilidad media de clasificación de error, que se define como la probabilidad media de que e perceptrón tome una decisión en favor de una clase particular cuando el vector de entrada es sacado de la otra clase. Desafortunadamente, dicha medida no deriva analíticamente a un algoritmo de aprendizaje. Shynk (1990) propuso el uso de una función de rendimiento que corresponde a la operación de un perceptrón, mostrada como una esperanza matemática J = -E[e(n)v(n)] (4.30) donde e(n) es la señal de error definida como la diferencia entre la respuesta deseada d(n) y la respuesta actual y(n) del perceptrón, y v(n) es la salida del combinador lineal. Nótese que la señal de error e(n) no es una señal cuantizada, sino que se trata de la diferencia de dos señales cuantizadas. El estimador instantáneo de la función de rendimiento es la función variante con el tiempo siguiente: (n) = -e(n)v(n) = -[d(n) - y(n)]v(n) (4.31) El vector gradiente instantáneo se define como la derivada del estimador (n) con respecto al vector de pesos w(n), como se muestra aquí: Ĵ( n) w (n) = (4.32) w( n) De este modo, reconociendo que la respuesta deseada d(n) es independiente de w(n) y el hecho de que la respuesta actual y(n) tenga un valor constante igual a -1 o a +1, podemos ver que, usando la ecuación (4.31) en la (4.32), obtenemos w (n) = -[d(n) - y(n)] v( n) w( n) (4.33) Ya vimos que v(n) = w T (n)x(n), por lo que llegamos a v( n) = x(n) (4.34) w( n) Así pues, el uso de la ecuación (4.34) en la (4.33) da como resultado 10

11 w (n) = -[d(n) - y(n)]x(n) (4.35) De este modo, de acuerdo a la regla de corrección de error ya descrita, podemos expresar el cambio aplicado al vector de pesos como w(n) = - w (n) = [d(n) - y(n)]x(n) (4.36) donde n es el parámetro tasa de aprendizaje. Ésta es precisamente la corrección hecha al vector de pesos cuando pasamos de la iteración n a la n+1. De esta forma, acabamos de demostrar que la función de rendimiento instantáneo (n) es, en realidad, la medida de rendimiento correcta para un perceptrón de una sola capa. 11