Análisis de Datos. Métodos de mínimos cuadrados. Profesor: Dr. Wilfrido Gómez Flores

Transcripción

1 Análisis de Datos Métodos de mínimos cuadrados Profesor: Dr. Wilfrido Gómez Flores 1

2 Introducción Recordemos que los clasificadores lineales se utilizan ampliamente debido a que son computacionalmente simples y eficientes. En los casos donde las clases no son linealmente separables aún se puede utilizar un clasificador lineal aunque se obtenga un desempeño subóptimo desde el punto de vista de la probabilidad de error de clasificación. Los métodos de mínimos cuadrados se enfocan en minimizar la diferencia entre la salida del clasificador lineal, w T x, y la salida deseada (o clase real), y. Métodos: error cuadrático medio y error de suma de cuadrados. 2

3 Error cuadrático medio Partiendo del caso de dos clases, diseñar un clasificador lineal a partir de los patrones de entrenamiento con media cero (yi,x i ) para i=1,,n y xxxxxxxxxxxx. y i 2 { 1, +1} En caso que la media de las muestras no sea cero, se les resta. El objetivo es estimar wxxxxxx 2 R D para el modelo lineal w T x, de modo que el error cuadrático medio (MSE) entre la salida del clasificador y la salida deseada sea mínimo, esto es J(w) =E (y w T x) 2 (1) ŵ = arg minj(w) w (2) 3

4 Error cuadrático medio Minimizando la función de costo J(w) se tiene: rj(w) = re[(y w T x)(y x T w)] = r { E[y 2 ] 2w T E[xy]+w T E(xx T )w = 2E[xy]+2E[xx T ]w =0 (3) (4) (5). donde rxxxxxxxxx xy = E(xy) es el vector de correlación cruzada entradasalida y xxxxxxxxxxx x = E(xx T ) es la matriz de. covarianza: r xy = E[x 1 y] E[x 2 y]. E[x D y] y x = E[x 1 x 1 ] E[x 1 x D ] E[x 2 x 1 ] E[x 2 x 1 ]..... E[x D x 1 ] E[x D x D ]

5 Error cuadrático medio Entonces, resolviendo para w se tiene: ŵ = Σ x 1 r xy (6) Nótese que los pesos del estimador lineal óptimo son obtenidos mediante un sistema de ecuaciones lineales si se provee una matriz de covarianza definida positiva la cual es invertible. El método MSE asume que las muestras de entrenamiento poseen distribución normal. Además, si la distribución de los datos es normal, es preferible usar un clasificador Bayesiano, de modo que se perdería el sentido de usar un clasificador lineal. S in embargo, se desea encontrar resultados similares sin tener que estimar medias y covarianzas, de modo que el método MSE deriva en el método error de suma de cuadrados (SSE). 5

6 Error de suma de cuadrados En el método SSE el vector de pesos y el vector de características han sido aumentados: w=[w 0,w 1,,w D ] T y x=[1,x 1,,x D ] T. Para el caso de dos clases, los patrones de entrenamiento son (yi,x i ), para i=1,,n y xxxxxxxxxxxx. y i 2 { 1, +1} La función de costo SSE es: N (7) J(w) = (y i w T x i ) 2 i=1 de modo que se tiene que encontrar un vector de pesos w que minimice la distancia Euclidiana cuadrada entre la salida del clasificador lineal, w T x, y la salida deseada, y: ŵ = arg minj(w) (8) w 6

7 Error de suma de cuadrados Minimizando la función de costo en (7) se tiene: N J(w) = (y i w T x i )(y i x T i w) i=1 N N N 2 = y i 2w T x i y i + w T T x i x i i=1 i=1 i=1 N N = 2 x i y i + 2 T x i x i w = 0 i=1 i=1 Expresando (11) en forma matricial: w (9) (10) (11) donde J(w) = 2Xy T + 2XX T w = 0 X = [x 1,, x N ] y y = [y 1,,y N ]. (12) 7

8 Error de suma de cuadrados Entonces, resolviendo para w se tiene: ŵ = (XX T ) 1 Xy T donde la matriz de tamaño (D+1) N (13) = X + y T (14) X + = (XX T ) 1 X (15) se le conoce como la pseudoinversa de X. Si X es cuadrada y no singular, la pseudoinversa coincide con la inversa regular. Existirá siempre una solución de mínimo SSE si X + se define de manera más general como: X + lim δ 0 (XX T + δi ) 1 X (16) donde δi di es un término de regularización. 8

9 Error de suma de cuadrados Supóngase que se tienen los siguientes puntos en dos dimensiones para dos clases: ω 1 : 1 2, 2 0, ω 3 2 : 1, 2 3 w T x = 0 X T = , y T = La pseudoinversa de X es: x 2 R 2 X + = El vector de pesos es: R 1 w = X + y T = x 1 9

10 Error de suma de cuadrados El principal problema del método SSE es su sensibilidad a patrones extremos (outliers). El hiperplano de decisión es atraído hacia los outliers, ya que también reduce la distancia a esos puntos. Esto generará errores de clasificación, aún cuando las clases sean linealmente separables. outlier x 2 x 2 x 1 x 1 10

11 Método LMS La función de costo SSE J(w)= y w T X 2 puede minimizarse mediante un procedimiento de descenso de gradiente. Ventajas con respecto al método de la pseudoinversa: 1) evita problemas que surgen cuando XX T es singular y 2) evita trabajar con matrices muy grandes. Debido a que J(w)= 2(y w T X)X y considerando las muestras de manera secuencial, la regla de actualización de Widrow-Hoff es: w(1) arbitrario w(k + 1) = w(k) + η(k)(y(k) w T (k)x k )x k k 1 (17) Este algoritmo es similar al criterio de relajación del perceptrón, donde y(k) es el margen. La diferencia es que el perceptrón corrige el error de clasificación y en el caso de LMS la función w T x k nunca será igual a y; por tanto, la corrección nunca terminará. Para que exista convergencia, η(k) debe disminuir en función de k, donde una forma común es η(k)=η(1)/k. 11

12 Método LMS Algoritmo LMS (least-mean-squared) o Widrow-Hoff Begin initialize: w, umbral θ, η( ), k 0 do k (k+1)modn w w + η(k)(y k w T x k )x k until η(k)(y k w T x k )x k <θ return w end Hiperplano de separación Solución LMS De manera similar que en el entrenamiento del perceptrón, los patrones de la clase ω 2 son normalizados ; por tanto, las etiquetas de ambas clases son iguales tal que y i =1, para i=1,,n. x 2 Nótese que el algoritmo LMS no converge al hiperplano de separación, aún si las clases son linealmente separables. Esto se debe a que la solución LMS minimiza la suma de los cuadrados de las distancias de los patrones de entrenamiento al hiperplano. x 1 12

13 Método de Ho-Kashyap El método LMS puede modificarse para obtener un vector de pesos w y un margen y tal que w T X=y>0. Si se define una función de costo SSE que permita variar w y y como: J(y, w) = y w T X 2 (18) entonces el mínimo valor de J es cero y el vector w que alcanza el mínimo es un vector de separación. Derivando J con respecto de w y y: w J(y, w) = 2(y w T X)X y J(y, w) = 2(y w T X) y para cualquier valor de y siempre se toma: w = X + y T (19) (20) (21) 13

14 Método de Ho-Kashyap A partir de (20) y (21) se obtiene la regla de Ho-Kashyap para minimizar J(y,w): y(1) > 0 w(1) = X + y(1) T y(k + 1) = y(k) + η(e(k) + e(k)) (22) w(k + 1) = w(k) + ηx + e(k) T donde e(k) es un vector de error definido como: e(k) = w(k) T X y(k) (23) La regla de Ho-Kashyap garantiza un hiperplano de separación en el caso separable, aunque para el caso no separable se puede establecer una condición de paro como: donde w(k 1) w(k) < θ (24) denota norma L 2 y θ es un umbral. 14

15 Método de Ho-Kashyap Algoritmo de Ho-Kashyap Begin initialize: w, y, umbral θ, η<1 do e w T X y y y + η(e + abs(e)) w w + ηx + abs(e) T until w(k 1) w(k) <θ return w end De manera similar que en el entrenamiento del perceptrón, los patrones de la clase ω 2 son normalizados ; por tanto, las etiquetas de ambas clases son iguales tal que y i =1, para i=1,,n. Caso separable Caso no separable Con outliers x 2 x 2 x 2 x 1 x 1 x 1 15