Regresión Lineal. Minería de datos con python. Miguel Cárdenas Montes

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Regresión Lineal. Minería de datos con python. Miguel Cárdenas Montes"

Juan Pablo Córdoba Alarcón
hace 7 años
Vistas:

1 Regresión Lineal Minería de datos con python Miguel Cárdenas Montes Centro de Investigaciones Energéticas Medioambientales y Tecnológicas, Madrid, Spain miguel.cardenas@ciemat.es 2-6 de Noviembre de 2015 M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

2 Tabla de Contenidos 1 Objetivos 2 Introducción 3 Ejemplo Numérico 4 Sobreajuste en Regresión M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

3 Objetivos Conocer la técnica de regresión lineal. Conocer la técnica de regresión polinómica. Aspectos Técnicos Regresión Lineal, y Regresión Polinómica. Sobreajuste M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

4 Introducción M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

5 Regresión Lineal I La técnica de regresión lineal es una de las más populares en minería de datos y en cualquier disciplina científica. Incluso más allá de la minería de datos. Sin embargo es suficientemente sencilla para introducir otros conceptos. Tiene puntos en común con otros algoritmos más complicados. M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

6 Regresión Lineal II Cuál es la recta que mejor se ajusta a estos puntos? Y X M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

7 Regresión Lineal III Esta recta tiene apariencia de ajustar mal Y X M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

8 Regresión Lineal IV Esta recta produce el ajuste óptimo. Cómo se puede automatizar la búsqueda de este óptimo, h θ (x) = θ 0 +θ 1 x? Y X M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

9 Regresión Lineal V El objetivo es optimizar h θ (x) = θ 0 +θ 1 x, y por lo tanto los valores de θ 0 y θ 1. Para este propósito se puede componer una función de coste, cuyo mínimo permite obtener los valores óptimos de θ 0 y θ 1. Función de coste J(θ 0,θ 1 ) = 1 2m puntos (h θ(x i ) y i ) 2, donde m es el número de puntos. M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

10 Regresión Lineal VI Cómo minimizar la función de coste J(θ 0,θ 1 ) = 1 2m puntos (h θ(x i ) y i ) 2. Exiten múltiples métodos para minimizar cualquier función: montecarlo, algoritmos evolutivos, gradiente descendiente, etc. Muchos algoritmos de minería de datos tienen una función de coste fácilmente reconocible y cuyo mínimo en muchos casos puede calcularse con métodos anaĺıticos. Por ejemplo, kmeans, SVM, regresión logística, etc. M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

11 Regresión Lineal VII Si los datos tienen una dimensionalidad más alta (más atributos) se puede ampliar la hipótesis al resto de variabbles, h θ (x) = θ T x = θ 0 x 0 +θ 1 x 1 + +θ n x n. Así la función de coste es: J(θ 0,θ 1,...,θ n ) = 1 2m m i=1 (h θ(x i ) y i ) 2. M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

12 Regresión Lineal VIII O por el contrario se puede utilizar un polinomio de mayor grado: h θ (x) = θ T x = θ 0 +θ 1 x +θ 2 x 2. La función de coste J se contruye de forma equivalente J = 1 2m m i=1 (h θ(x i ) y i ) 2. M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

13 Y Y Regresión Lineal IX Cuál es el mejor ajuste? La que dé el mínimo más bajo en la función de coste? Qué pasa si se aumenta el grado del polinomio? X X M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

14 Regresión Lineal X A medida que se aumenta el grado del polinomio el valor mínimo de la función de coste desciende. Para grados elevados el mínimo es cero, ya que el polinomio pasará por todos los puntos. Es esto adecuado? Cómo varía la capacidad de predicción de nuevos valores a medida que se aumenta el grado del polinomio? M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

15 Regresión Lineal XI Hay una tendencia hacia el uso de datos no idealizados : sucios, ruidosos, con incertidumbres, altamente dimensionales (maldición de la dimensionalidad). Cómo se pueden manejar estos datos? Y X M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

16 Ejemplo Numérico: python M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

17 Regresión Lineal XII import numpy as np import pylab as pl from sklearn import datasets, linear_model import random # Datos x1=[[0.4],[1.1],[2.1],[2.9],[3.1],[4.2],[4.5]] y1=[0.6,1.0,1.9,3.2,3.0,4.1,4.4] # Create linear regression object regr = linear_model.linearregression() # Train the model using the training sets regr.fit(x1,y1) # The coefficients print( Coefficients: \n, regr.coef_, regr.intercept_) M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

18 Regresión Lineal XIII pl.figure(1) pl.plot(x1, regr.predict(x1), color= black, linewidth=3) pl.scatter(x1, y1, s=40, marker= o, color= k ) pl.xlabel( X ) pl.ylabel( Y ) pl.xlim(.0, 5.0) pl.ylim(.0, 5.0) pl.show() M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

19 Ejemplo Numérico: R M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

20 Regresión Lineal XIII # valores eje x x1<-c(0.4,1.1,2.1,2.9,3.1,4.2,4.5) # valores eje y y1<-c(0.6,1.0,1.9,3.2,3.0,4.1,4.4) # ajuste por regresion lineal de las dos variables fit1 <- lm(y1 ~ x1) # valores del ajuste fit1 fit1$coefficients # nuevos valores de x para hacer la prediccion xnew<- seq(0,5,length.out=100) # plot plot(y1~ x1) lines(xnew,predict(fit1,data.frame(x1=xnew)),col="blue",lty = 2) M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

21 Regresión Lineal XIV y x1 M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

22 Regresión No Lineal XV # valores eje x x1<-c(0.4,1.1,2.1,2.9,3.1,4.2,4.5) # valores eje y y1<-c(0.6,1.0,1.9,3.2,3.0,4.1,4.4) # ajuste por regresion lineal de las dos variables fit3 <- lm(y1 ~ poly(x1,3)) # valores del ajuste fit3 fit3$coefficients # nuevos valores de x para hacer la prediccion xnew<- seq(0,5,length.out=100) # plot plot(y1~ x1) lines(xnew,predict(fit3,data.frame(x1=xnew)),col="blue",lty = 2) M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

23 Regresión Lineal XVI y x1 M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

24 Sobreajuste en Regresión M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

25 Sobreajuste I El problema asociado a sobreajustar el modelo (aprendizaje supervisado) a un conjunto particular de datos, produce una reducción de la capacidad de predicción del modelo y de su calidad. y x M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

26 Sobreajuste II x=c(0.3,0.4,1.0,1.1,1.4,2.0,2.1,2.9,3.1,3.4, 4.0,4.1,4.2,4.5,5.0,5.7,6.0,6.2,6.5,6.6) y=c(1.6,1.3,0.9,0.8, 0.6, 1.1,1.7,1.2,2.5, 3.2,3.0,3.3,4.1,4.9,6.4,8.2,8.6,8.9,9.1,9.4) plot(x,y, xlim=c(0,8), ylim=c(-1,12)) fit1 <- lm( y~x ) fit2 <- lm( y~poly(x,2) ) fit3 <- lm( y~poly(x,3) ) fit9 <- lm( y~poly(x,9) ) xx <- seq(0,11, length.out=250) lines(xx, predict(fit1, data.frame(x=xx)), col= green ) lines(xx, predict(fit2, data.frame(x=xx)), col= blue ) lines(xx, predict(fit3, data.frame(x=xx)), col= red ) lines(xx, predict(fit9, data.frame(x=xx)), col= black ) M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

27 Sobreajuste III > sum((fit1$residuals)^2) [1] > sum((fit2$residuals)^2) [1] > sum((fit3$residuals)^2) [1] > sum((fit9$residuals)^2) [1] A medida que se aumenta el grado del polinomio desciende el error (suma de los residuos al cuadrado). Si se aumenta el grado del polinomio mejoramos la representación de los datos de entrenamiento? (Sí, No) Si se aumenta el grado del polinomio mejoramos la capacidad de predicción sobre nuevos datos? (Sí, No) M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

28 Sobreajuste IV y Si se aumenta el grado del polinomio mejoramos la representación de los datos de entrenamiento? (Sí, No) Si se aumenta el grado del polinomio mejoramos la capacidad de predicción sobre nuevos datos? (Sí, No) x M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

29 Sobreajuste V M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

Material Adicional Documentos de: regresión lineal, tratamiento de regresión lineal con datos con incertidumbre, qué es el sobreajuste, cómo evitarlo (regularización),

30 Material Adicional Documentos de: regresión lineal, tratamiento de regresión lineal con datos con incertidumbre, qué es el sobreajuste, cómo evitarlo (regularización), aplicación de análisis de componentes principales para reducir el número de atributos (dimensionalidad) del problema. M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

31 Gracias Gracias Preguntas? Más preguntas? M. Cárdenas (CIEMAT) Regresión Lineal 2-6 de Noviembre de / 31

Documentos relacionados

Support Vector Machine

Support Vector Machine Gráficas, estadística y minería de datos con Python Miguel Cárdenas Montes Centro de Investigaciones Energéticas Medioambientales y Tecnológicas, Madrid, Spain miguel.cardenas@ciemat.es