Métodos Estadísticos de la Ingeniería Tema 4: Correlación y Regresión Grupo B

Transcripción

1 Métodos Estadísticos de la Ingeniería Tema 4: Correlación y Regresión Grupo B Área de Estadística e Investigación Operativa Licesio J. Rodríguez-Aragón Febrero 2010 Contenidos Variables Bidimensionales 3 Introducción Variables Bidimensionales Frecuencias y Frecuencias Marginales Distribución Condicionada Ejemplo Variables Bidimensionales con R Variables Bidimensionales con R Representaciones Gráficas Representaciones Gráficas con R Representaciones Gráficas con R Momentos Análisis de la Covarianza Coeficiente de Correlación de Pearson Correlación con R Regresión 18 Regresión y Correlación Modelo de Regresión Suma de Cuadrados Regresión Lineal Simple Coeficiente de Determinación Regresión con R Regresión con R summary(regresion) Regresión Lineal X sobre Y Regresión Exponencial, Potencial e Hiperbólica Regresión Polinómica y Múltiple

2 Contenidos Variables Bidimensionales Frecuencias, Frecuencias Marginales, Distribución Condicionada, Representaciones Gráficas. Frequencies, Marginal Frequencies, Conditional Distributions, Graphs. Correlación, Correlation. Covarianza y Coeficiente de Correlación de Pearson. Covariance and Correlation Coefficient. Regresión, Regression. Modelo de Regresión, Regresión Lineal Simple, Coeficiente de Determinación. Linear Regression, Determination Coefficient. La Regresión tiene como objetivo buscar una función que permita explicar una Variable en función de otra. A method for fitting a curve (not necessarily a straight line) through a set of points using some goodness-of-fit criterion. The most common type of regression is linear regression. Licesio J. Rodríguez-Aragón Tema 4, M.E.I. 2 / 29 Variables Bidimensionales 3 / 29 Introducción Hasta ahora, para cada Unidad Estadística de nuestra muestra, sólo hemos observado un determinado Carácter. En la realidad, la mayoría de las ocasiones que tomamos una muestra observaremos más de un Carácter por Unidad Estadística. Como ya vimos los Caracteres podían ser: Cuantitativos o Cualitativos. El valor que adoptaba un Carácter entre sus distintas Modalidades posibles era una Variable Estadística. Cuantitativas Discretas o Continuas. Cualitativas Nominales u Ordinales. Licesio J. Rodríguez-Aragón Tema 4, M.E.I. 4 / 29 2

3 Variables Bidimensionales El caso más sencillo es cuando para cada Unidad Estadística se observan dos Caracteres distintos. Siendo X e Y dos Variables Estadísticas. La ordenación de datos bidimensionales se puede efectuar mediante tablas de doble entrada, según sean: Variables cualitativas o no agrupadas. Variables cuantitativas agrupadas. Se tendrá: Para Variables cualitativas o no agrupadas, Para Variables cuantitativas agrupadas, X \ Y y 1... y j... y l Totales x 1 n n 1j... n 1l n x i n i1... n ij... n il n i..... x m n m1... n mj... n ml n m Totales n 1... n j... n l n X \ Y [b 1,b 2 )... [b j,b j+1 )... [b l,b l+1 ] Totales d 1... d j... d l [a 1,a 2 ) c 1 n n 1j... n 1l n [a i,a i+1 ) c i n i1... n ij... n il n i [a m,a m+1 ) c m n m1... n mj... n ml n m Totales n 1... n j... n l n Licesio J. Rodríguez-Aragón Tema 4, M.E.I. 5 / 29 Frecuencias y Frecuencias Marginales Se definen entonces las Frecuencias Absolutas y las Frecuencias Relativas: Frecuencia Absoluta de (x i,y j ) es n ij. Frecuencia Relativa de (x i,y j ) es f ij = n ij n. Además podemos definir Frecuencias Marginales: Frecuencia Marginal Absoluta n i o n i, suma por columnas o por filas respectivamente. Frecuencia Marginal Relativa f i o f i, suma de las f ij por columnas o filas respectivamente. The total row and total column report the marginal frequencies or marginal distribution, while the body of the table reports the joint frequencies. Licesio J. Rodríguez-Aragón Tema 4, M.E.I. 6 / 29 3

4 Distribución Condicionada Se define la Distribución Condicionada como la distribución de una de las variables respecto de un valor concreto de la otra variable. f(y i x j ) = n ij n j = f ij f j f(x i y j ) = n ij n j = f ij f j Given two jointly distributed random variables X and Y, the conditional probability distribution of Y given X (written Y X) is the probability distribution of Y when X is known to be a particular value. Licesio J. Rodríguez-Aragón Tema 4, M.E.I. 7 / 29 Ejemplo Pedidos recibidos hoy en nuestra empresa de transporte logístico. En primer lugar observaremos el carácter Cualitativo de la Delegación Comercial que ha recibido el pedido y en segundo lugar el Producto Solicitado. Resinas Aceites Aditivos Ciudad Real Puertollano Completamos la tabla de frecuencias con las Frecuencias Marginales: Resinas Aceites Aditivos Totales Ciudad Real Puertollano Totales Frecuencias condicionadas por Delegación Comercial: Resinas Aceites Aditivos Totales Ciudad Real 1 Puertollano 1 Frecuencias Condicionadas por Producto Solicitado: Resinas Aceites Aditivos Ciudad Real Puertollano Totales Licesio J. Rodríguez-Aragón Tema 4, M.E.I. 8 / 29 4

5 Variables Bidimensionales con R > Producto<-c("a","r","o","a","o","a","r","a","o","a") > Delegacion<-c("CR","P","CR","CR","P","CR","P","CR","CR","P") > addmargins(table(producto,delegacion)) Delegacion Producto CR P Sum a o r Sum > margin.table(table(producto,delegacion),1) Producto a o r Licesio J. Rodríguez-Aragón Tema 4, M.E.I. 9 / 29 Variables Bidimensionales con R > Producto<-c("a","r","o","a","o","a","r","a","o","a") > Delegacion<-c("CR","P","CR","CR","P","CR","P","CR","CR","P") > prop.table(table(producto,delegacion),1) Delegacion Producto CR P a o r > prop.table(table(producto,delegacion),2) Delegacion Producto CR P a o r Licesio J. Rodríguez-Aragón Tema 4, M.E.I. 10 / 29 5

6 Representaciones Gráficas Las representaciones gráficas más usadas son los Diagramas de Rectángulos para Caracteres Cualitativos y diagramas de Barras e Histogramas, para datos Caracteres Cuantitativos. Pedidos Pedidos Puertollano Ciudad Real Ciudad Real Puertollano Resinas Aceites Aditivos Resinas Aceites Aditivos Zona Comercial Zona Comercial Ahora bien, en el caso de parejas de Variables Estadísticas las representaciones más sencillas son los diagramas de dispersión. Y X Licesio J. Rodríguez-Aragón Tema 4, M.E.I. 11 / 29 6

7 Representaciones Gráficas con R > Producto<-c("a","r","o","a","o","a","r","a","o","a") > Delegacion<-c("CR","P","CR","CR","P","CR","P","CR","CR","P") > barplot(table(producto,delegacion),legend.text=true) > barplot(table(producto,delegacion),legend.text=true, + beside=true) r o a a o r CR P CR P Licesio J. Rodríguez-Aragón Tema 4, M.E.I. 12 / 29 7

8 Representaciones Gráficas con R > library(usingr) > Ingresos<-cfb$INCOME[1:15] > Ahorros<-cfb$SAVING[1:15] > plot(ingresos,ahorros) Ahorros Ingresos Licesio J. Rodríguez-Aragón Tema 4, M.E.I. 13 / 29 8

9 Momentos Se definen los Momentos de orden (r,s) respecto de (v,w): i,j M (r,s) (v,w) = n ij(x i v) r (y j w) s, n teniendo especial interés para (v, w) = (0, 0) y (v, w) = (x, y) Raw Moments, (v,w) = (0,0). Central Moments, (v, w) = (x, y). Momentos respecto al origen, (v,w) = (0,0): Momentos centrales, (v, w) = (x, y): a 0,0 = 1 n ij = 1 n ij a 1,0 = 1 n ij x i = 1 n i x i = x n n ij a 0,1 = 1 n ij y j = 1 n j y j = y n n ij j a 1,1 = 1 n ij x i y j = xy n ij a 2,0 = 1 n ij x 2 i = 1 n i x 2 i = x n n 2 ij i a 0,2 = 1 n ij yj 2 = 1 n j yj 2 = y n n 2 ij m 0,0 = 1, m 0,1 = m 1,0 = 0 m 1,1 = 1 n ij (x i x)(y j y) = a 1,1 a 1,0 a 0,1 = n i,j = xy x y = s xy = s yx = Covarianza m 2,0 = 1 n ij (x i x) 2 = 1 n i (x i x) 2 = s 2 x n n i,j m 0,2 = 1 n ij (y j y) 2 = 1 n j (y i y) 2 = s 2 y n n i,j i j i j Licesio J. Rodríguez-Aragón Tema 4, M.E.I. 14 / 29 9

10 Análisis de la Covarianza s xy = 1 n n ij (x i x)(y j y) = a 1,1 a 1,0 a 0,1 = xy x y. i,j Var Var1 s xy = 0 Var Var1 s xy > 0 Var Var1 s xy < 0 Licesio J. Rodríguez-Aragón Tema 4, M.E.I. 15 / 29 10

11 Coeficiente de Correlación de Pearson La Covarianza posee unidades, las unidades de la Unidad Estadística al cuadrado. Para conseguir un dato adimensional que nos permita comparar la correlación entre parejas de variables, se define el Coeficiente de Correlación de Pearson: s xy r = s x s y 1 < r < 1 Este coeficiente determina el grado de correlación lineal, pudiendo existir otro tipo de relaciones. Correlation is the degree to which two or more quantities are linearly associated. In a two-dimensional plot, the degree of correlation between the values on the two axes is quantified by the so-called correlation coefficient. Licesio J. Rodríguez-Aragón Tema 4, M.E.I. 16 / 29 11

12 Correlación con R > Diesel<-c(0,0,0,2,2,2,4,4,4,6,6,6,8,8,8,10,10,10,12,12,12) > Viscosidad<-c(71.95,71.89,71.92,65.56,65.54,65.66,60.53,60.73, ,56.05,56.09,56.02,51.93,51.75,51.88,47.91,48.1,48.12,44.91,44.37,44.5) > cor(diesel,viscosidad) [1] > plot(diesel,viscosidad) Viscosidad Diesel Licesio J. Rodríguez-Aragón Tema 4, M.E.I. 17 / 29 Regresión 18 / 29 Regresión y Correlación La Regresión trata de buscar una función que permita explicar los valores de una variable en función de otra. La Correlación cuantifica el grado de dependencia o asociación que liga ambas variables. La regresión persigue: Determinar el tipo de relación que une a las variables. Ecuación funcional matemática que representa al modelo. Estimar los parámetros del modelo y determinar la bondad del ajuste. Realizar predicciones de la variable respuesta, dentro del rango de valores. Licesio J. Rodríguez-Aragón Tema 4, M.E.I. 19 / 29 12

13 Modelo de Regresión Siendo X la variable explicativa o independiente e Y la variable respuesta o dependiente, tendremos la Regresión Simple: Y = f(x) Si la variable respuesta, Y, depende de varias variables explicativas, X 1,X 2,...,X n, tendremos la Regresión Múltiple: Y = f(x 1,X 2,...,X n ) In statistics, regression analysis includes any techniques for modeling and analyzing several variables, when the focus is on the relationship between a dependent variable, Y, and one or more independent variables, X. Según la naturaleza de la función f podemos tener distintos tipos de Modelos de Regresión: Regresión Lineal Simple: Regresión Polinómica Simple: Y = a + b X Regresión Lineal Múltiple: Y = a + b X + c X 2 + d X Y = a + b 1 X 1 + b 2 X b n X n También hay Regresión: Logarítmica, Exponencial, Potencial, Hiperbólica, Trigonométrica, etc. Los valores desconocidos que caracterizan la función f se denominan Parámetros de Regresión, Regression Parameters. Qué criterio utilizar para escoger unos valores adecuados para los parámetros. Regresión Y=f(X) Y X Licesio J. Rodríguez-Aragón Tema 4, M.E.I. 20 / 29 13

14 Suma de Cuadrados Para una observación dada (x i,y j ) con una frecuencia n ij, definimos el error cometido por el modelo de regresión: ε ij = (y j f(x i )), y j = f(x i ) + ε ij. El objetivo es minimizar el error cometido por el modelo al explicar la variable respuesta Y en función de la variable independiente X: SCE = i,j n ij ε 2 ij = i,j n ij (y j f(x i )) 2. Los parámetros del Modelo que minimizan la Suma del Cuadrado de los Errores, definen al Modelo de Regresión. En el caso del Modelo Lineal Simple tendremos: ε ij = (y j f(x i )), y j = a + b x i + ε ij. El objetivo es entonces minimizar la Suma del Cuadrado de los Errores: SCE = i,j n ij ε 2 ij = i,j n ij [y j (a + b x i )] 2 = G(a,b). The linear least squares fitting technique is the simplest and most commonly applied form of linear regression and provides a solution to the problem of finding the best fitting straight line through a set of points. Licesio J. Rodríguez-Aragón Tema 4, M.E.I. 21 / 29 14

15 Regresión Lineal Simple La recta que explique la dependencia de Y respecto a X, tendrá parámetros a y b que minimizen la SCE: G(a,b) = n ij [y j (a + b x i )] 2. i,j Para obtener a y b: G(a,b) a = 0 G(a,b) b = 0 ij n ij y j ij n ij a ij n ij b x i = 0 ij n ij y j x i ij n ij a x i ij n ij b x 2 i = 0 Las ecuaciones normales que resultan de minimizar G(a,b), son: y = a + b x yx = a x + b x 2 Resolviendo el sistema, tenemos los valores a y b: a = y b x b = yx x y = sxy x 2 x 2 s 2 x Con lo que la recta de regresión de Y sobre X es: y = f(x) = y + s xy s 2 (x x) x Licesio J. Rodríguez-Aragón Tema 4, M.E.I. 22 / 29 Coeficiente de Determinación El Coeficiente de Correlación de Pearson determina el grado de correlación lineal entre las variables. 1 < r < 1 Se demuestra que para r 2 = 1, la Suma de los Cuadrados de los Errores, SCE= 0. SCE = G min = n s 2 y (1 r2 ) El Coeficiente de Determinación, R 2, en este caso de Regresión Lineal Simple coincide con r 2, expresa el porcentaje de Variabilidad Explicada por el modelo. The overall quality of the fit is then parameterized in terms of a quantity known as the Coefficient of Determination, defined by r 2, which gives the proportion of (y i y) 2 which is accounted for by the regression. Licesio J. Rodríguez-Aragón Tema 4, M.E.I. 23 / 29 15

16 Regresión con R > Diesel<-c(0,0,0,2,2,2,4,4,4,6,6,6,8,8,8,10,10,10,12,12,12) > Viscosidad<-c(71.95,71.89,71.92,65.56,65.54,65.66,60.53,60.73, ,56.05,56.09,56.02,51.93,51.75,51.88,47.91,48.1,48.12,44.91,44.37,44.5) > Regresion<-lm(Viscosidad ~ Diesel) > Regresion Call: lm(formula = Viscosidad ~ Diesel) Coefficients: (Intercept) Diesel > plot(diesel,viscosidad) > abline(regresion) Licesio J. Rodríguez-Aragón Tema 4, M.E.I. 24 / 29 Regresión con R Viscosidad Diesel Licesio J. Rodríguez-Aragón Tema 4, M.E.I. 25 / 29 16

17 summary(regresion) Call: lm(formula = Viscosidad ~ Diesel) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) <2e-16 *** Diesel <2e-16 *** --- Signif. codes: 0 ³***³ ³**³ 0.01 ³*³ 0.05 ³.³ 0.1 ³ ³ 1 Residual standard error: on 19 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: 1915 on 1 and 19 DF, p-value: < 2.2e-16 Licesio J. Rodríguez-Aragón Tema 4, M.E.I. 26 / 29 17

18 Regresión Lineal X sobre Y En el caso en que busquemos explicar la dependencia de X respecto de Y, mediante regresión lineal simple: X = a + b Y ε ij = (x i f(y j )), x i = f(y j ) + ε ij. Regresión X=f(Y) Y X La SCE a minimizar será, G(a,b) = i,j n ij [x i (a + b y j )] 2. G(a,b) a = 0 G(a,b) b = 0 Resolviendo el sistema, tenemos los valores a y b: a = x b y b = yx x y = sxy y 2 y 2 s 2 y Con lo que la recta de regresión de Y sobre X es: x = f(y) = x + s xy s 2 (y y) y Licesio J. Rodríguez-Aragón Tema 4, M.E.I. 27 / 29 18

19 Regresión Exponencial, Potencial e Hiperbólica Para los casos de modelos Exponenciales, Potenciales e Hiperbólicos, una transformación de las variables permite adaptar lo visto para la Regresión Lineal Simple: Exponencial: Potencial: Hiperbólica: Y = a b X log(y ) = log(a) + log(b) X Y = a X b log(y ) = log(a) + b log(x) Y = 1 a + b X 1 Y = a + b X Licesio J. Rodríguez-Aragón Tema 4, M.E.I. 28 / 29 Regresión Polinómica y Múltiple De forma genérica se obtienen los parámetros de regresión para ecuaciones Polinómicas o para el caso de Regresión Múltiple: Y = f(x;θ), θ = (a,b,c,... ). La Suma de Cuadrados a minimizar será, ε ij = (x i f(y j )), x i = f(y j ) + ε ij. G(θ) = i,j n ij [x i f(x i )] 2. G(a, b) θ = 0 Licesio J. Rodríguez-Aragón Tema 4, M.E.I. 29 / 29 19