Análisis de Datos. Regresión logística. Profesor: Dr. Wilfrido Gómez Flores

Transcripción

1 Análisis de Datos Regresión logística Profesor: Dr. Wilfrido Gómez Flores 1

2 Regresión logística Supóngase que se tiene una variable binaria de salida Y, y se desea modelar la probabilidad condicional P(Y=1 X=x) como una función de x. Pregunta de los estadísticos: cómo usar regresión lineal para modelar p(x) en función de x? Hacer que p(x) sea una función lineal de x; sin embargo, el problema es que la probabilidad p debe estar en el rango [0,1] y las funciones lineales se encuentran en el rango [, ]. Para resolver esto, se puede transformar p(x) mediante la función logit como: ln p(x) 1 p(x) = wt x + w 0 (1) 2

3 Regresión logística En clasificación Bayesiana, la asignación de un patrón x a una clase ω i se realiza mediante las probabilidades a posteriori P(ω i x). Nótese que se requiere conocimiento del tipo de distribución de los datos para estimar las funciones de verosimiltud para computar la probabilidad P(ω i x). Con el método de regresión logística las probabilidades a posteriori se pueden modelar directamente sin necesidad de conocer la distribución de los datos. Expresando (1) para el caso de dos clases, la proporción de las probabilidades a posteriori se modela como: ln p(y = 1 x) p(y = 0 x) = ln p(y = 1 x) 1 p(y = 1 x) = wt x (2) donde w=[w 0,w 1,,w d ] T y x=[1,,,x d ] T han sido aumentados. 3

4 Regresión logística Resolviendo (2) para p(y=1 x) se tiene: p(y = 1 x) = σ(t) = exp( t) donde t=w T x. A la función σ(t) se le conoce como función logística o sigmoidal. (3) σ(t) t La función logística es una función suave que convierte las predicciones lineales en probabilidades en el rango [0,1]. 4

5 Función de verosimilitud El vector de pesos w es estimado a través el método MLE aplicado a los patrones de entrenamiento (y i,x i ), para i=1,,n y y i {0,1}. La función de verosimilitud de w se escribe como: p(y 1,,y n w) = p(y i w) n (4) Expresando (4) como la función de log-verosimilitud de w: i=1 L(w) = ln p(y i w) i=1 donde el MLE del parámetro w es: n (5) ŵ = arg max w n i=1 ln p(y i w) (6) 5

6 Función de verosimilitud Las probabilidades condicionales en (5) se definen como: ŷ p(y i w) = i si y i = 1 1 ŷ i otro caso donde 1 ŷ i = 1 + exp( w T x i ) (7) (8) La ecuación 7 se puede escribir de manera compacta como: p(y i w) = ŷ i y i (1 ŷ i ) 1 y i (9) Sustituyendo (9) en (5), la función de log-verosimilitud negativa se reescribe como: n i=1 L(w) = (y i lnŷ i + (1 y i )ln(1 ŷ i )) (10) 6

7 Estimador ML Derivando con respecto de los parámetros w j, j=0,1,,d, e igualando a cero: w j L(w) = Entonces el gradiente está dado por: w j [y i lnŷ i + (1 y i )ln(1 ŷ i )], (11) = (ŷ i y i )x ij = 0 (12) donde L(w) = n i=1 (ŷ i y i )x i (13) = X T (ŷ y) (14) X = [,, x n ], y = [y 1,,y n ] T, ŷ = [ŷ 1,,ŷ n ] T. 7

8 Descenso de gradiente Para minimizar la función de log-verosimilitud negativa se puede utilizar un esquema de descenso de gradiente, donde la regla de actualización es: w(1) w(k + 1) = w(k) η(k)x T (ŷ(k) y) k 1 arbitrario (15) donde η(k)=η es la tasa de aprendizaje. El criterio de paro del algoritmo de actualización se define como: w(k 1) w(k) < θ (16) donde denota norma L 2 y θ es un umbral. Una muestra x es clasificada ω 1 si w T x>0 ó ω 2 si w T x<0. 8

9 Descenso de gradiente p(y w) Linealmente separable p(y w) No linealmente separable Izquierda: función logística en el espacio de características, donde a cada muestra de entrenamiento le corresponde un valor de probabilidad. Derecha: El hiperplano de separación está definido por w T x=0. 9

10 Algoritmo de Newton Un enfoque alternativo para aprender el vector de pesos w sin tener que seleccionar una tasa de aprendizaje η es el algoritmo de Newton, donde la regla de actualización dada una función de costo J(w) es: w(k + 1) = w(k) H 1 J(w) (17) donde H es la matriz Hessiana de las derivadas parciales de segundo orden 2 J/ w i w j evaluada en w(k). Begin initialize: w, umbral θ, do w w H 1 J(w) until H 1 J(w) <θ return w end Algoritmo de Newton 10

11 Algoritmo de Newton A partir de (10), la matriz Hessiana está dada por: donde 2 L(w) = n i=1 = X T RX ŷ i (1 ŷ i )x i x i T (18) (19) R = diag{ŷ 1 (1 ŷ 1 ),,ŷ n (1 ŷ n )} (20) Entonces, la regla de adaptación está dada por: donde w(1) arbitrario w(k + 1) = ( X T R(k)X ) 1 X T R(k)z(k) k 1 z(k) = Xw(k) R(k) 1 (ŷ(k) y) (21) (22) 11

12 Regularización Si los datos de entrenamiento son linealmente separables, minimizar la función de verosimilitud en (10) puede producir sobreentrenamiento, ya que la función logística se convierte en una función escalón y equivalentemente w. w = [0,1] T σ(w T x) w = [0,2.5] T w = [0,100] T Conforme w x la función logística se convierte en una función escalón. 12

13 Regularización El sobreentrenamiento se puede evitar al introducir un término de regularización,, en la función de costo: w 2 L(w) = ln p(y i w) n λ w 2 (23) i=1 donde λ es una constante que define el balance entre ambos términos. La regla de actualización para el descenso de gradiente es: w(k + 1) = w(k) η(k)[x T (ŷ(k) y) + λ ] (24) w i (k) i>0 y para el algoritmo de Newton la ecuación 20 se reescribe como: R = diag{ŷ 1 (1 ŷ 1 ),,ŷ n (1 ŷ n )} + λ diag{0,1,,1} (25) Nótese que el término asociado al bias no se incluye. w

14 Regularización λ = 0.01, w = [ 37.1,7.6, 4.0] T λ = 0.1, w = [ 23.0, 4.5,2.6] T p(y w) p(y w) λ = 1, w = [ 10.1,1.6,1.4] T λ = 10, w = [ 1.8,0.1,0.3] T p(y w) p(y w) Funciones logísticas en el espacio de características para datos linealmente separables determinadas mediante el algoritmo de Newton con regularización. Nótese que a mayor valor de λ se producen pesos más pequeños. 14

15 Generalización multiclase Para el caso más general de clasificación con c clases, la regresión logística está definida como: p(y = j x) = c exp(w T j x), para j = 1,,c (26) exp(w T l x) l =1 Entonces, la función de verosimilitud se reescribe como: p(y 1,,y n w 1,, w c ) = L(w 1,, w c ) = n c i=1 j =1 n c y ŷ ij ij (27) i=1 j =1 donde y^ ij p(y i =j x i ) y y ij =1 si x i ω j y 0 en otro caso. Por tanto, la función de log-verosimilitud negativa ahora es: (28) y ij lnŷ ij 15

16 Generalización multiclase El gradiente de L(w 1,,w c ) con respecto de w j es: wj L(w 1,, w c ) = donde X = [,, x n ], n i=1 (ŷ ij y ij )x i, para j = 1,,c = X T ( Y ˆ Y ) ˆ Y = [ŷ1,, ŷ n ] T, Y = [y 1,, y n ] T. (29) (30) La regla de actualización del vector de pesos w j mediante descenso de gradiente es: w j (1) arbitrario w j (k + 1) = w j (k) η(k)x T ( ˆ Y(k) Y ) k 1 Un patrón x es clasificado en ω i si (31) w i T x > w j T x, i j (32) 16

17 Generalización multiclase p(y w j ) Izquierda: función logística multiclase en el espacio de características, donde a cada muestra de entrenamiento le corresponde un valor de probabilidad. Derecha: regiones de decisión creadas por el algoritmo de regresión logística multiclase para el problema de cinco clases. 17