Análisis de Regresión y Correlación con MINITAB

Transcripción

1 Análisis de Regresión y Correlación con MINITAB Primeras definiciones y conceptos de la regresión El análisis de la regresión es una técnica estadística que se utiliza para estudiar la relación entre variables o factores cuantitativos referidos a un mismo grupo de unidades observadas. Se trata de comprobar estadísticamente si tal relación es posible, y de serlo, expresarlo matemáticamente mediante una ecuación. Su uso más frecuente es el de la predicción de resultados de una de ellas para valores fijos de las otras.

2 Primeras definiciones y conceptos de la regresión Cuando se cree que algunas de las variables pueden causar ( o al menos explicar) los cambios observados en otra, a éstas se les llama variables explicativas (X s) La que mide el resultado del estudio se le llama variable respuesta (Y) Se intentará establecer una ecuación de la forma Y=g(x) Metodología de un análisis de regresión 1. Representar los datos en un gráfico 2. Identificar su aspecto y sus desviaciones 3. Descripciones numéricas que informen sobre los datos y su posible relación 4. Descripción matemática resumida del aspecto general del problema

3 1. Representación de los datos La manera de mostrar gráficamente los datos observados en un gráfico es a través de un diagrama de dispersión. Y, la respuesta se marca en el eje vertical; la X, variable explicativa, en el eje horizontal. Cada observación, es un punto del gráfico 2. Identificación del aspecto del diagrama de dispersión El aspecto general del gráfico viene dado por la dirección, forma y fuerza del mismo: Dirección: positiva o negativa Forma: disposición de los puntos (rectilínea o curvilínea) Fuerza: cuanta más amorfa sea la disposición de los puntos en el gráfico, menor su relación

4 2. Identificación del aspecto del diagrama de dispersión Es interesante en esta primera identificación del aspecto del gráfico, identificar observaciones atípicas (aquellas que se distinguen del aspecto general del gráfico) El diagrama de dispersión sólo muestra el aspecto general de la relación entre las dos variables. En situaciones no muy evidentes, un simple cambio de escala puede hacernos cambiar la forma de pensar. 2. Identificación del aspecto del diagrama de dispersión Scatterplot of Tiempo vs Edad 45 4 Tiempo Edad

5 3. Descripciones numéricas Se necesita una medida numérica que complemente al gráfico y que, independientemente de las dimensiones de los valores de las variables, nos informe sobre la fuerza de la relación existente. Una medida es el Coeficiente de correlación Características del coeficiente de correlación de Pearson r utiliza valores estandarizados, luego no le influyen las unidades: tomaría el mismo valor aunque se cambiara de unidad de medida. r se ve afectada por las observaciones atípicas Una r positiva (negativa)indica una relación positiva (negativa) entre las variables. Valores de r cercanos al indican una relación lineal muy débil. La fuerza de la relación lineal aumenta a medida que r se aleja del y se acerca al +1 o al 1.

6 Ejemplos reales Situación 1 Situación 2 Situación Temperatura Temperatura Temperatura r =,983 r =,887 r =,23 p-value:, p-value:, p-value:,18 Un valor de r distinto de no implica relación lineal Es necesario que sea significativamente distinto de cero Coeficiente de correlación: Precaución El coeficiente de correlación de Pearson sólo mide relación LINEAL 2 r =,5 pero... 1 Relación casi perfecta, aunque no lineal

7 4. Descripción matemática de la forma del gráfico Si la correlación entre las dos variables indica una relación fuerte, sería muy interesante poder resumir el gráfico en forma de una ecuación matemática. En el caso de una forma lineal, a la recta que ajusta la nube de puntos se le llama recta de regresión. Esta recta se calcula teniendo en cuenta dos cosas: Puesto que describe un cambio en la respuesta a medida que cambia la otra variable, se necesita tener presente esta distinción a la hora de calcularla. Puesto que ninguna recta puede pasar exactamente por todos los puntos, se necesita una manera de construirla que asegure su paso tan cerca de todos los puntos como sea posible. 4. Descripción matemática de la forma del gráfico Fitted Line Plot Tiempo = ,8 Edad - 1,193 Edad**2 45 S 38,3533 R-Sq 37,1% R-Sq(adj) 35,% 4 Tiempo Edad

8 Modelo de regresión simple Modelo teórico para la población: y = β + β 1 x + ε ε ~N (, σ) Y distancia entre lo real y lo que se predice ŷ = b + b1x Recta ajustada: (a partir de una muestra) ŷ i predicción de la recta r s ŷ = y + s x y (x x) y i observado x i X Modelo de regresión simple La pendiente de la recta, b 1, representa la tasa de cambio, es decir, la cantidad en que cambia ŷ cuando x aumenta en una unidad. y ŷ = b + b1x r s b1 = s x y b 1 1 b x

9 Modelo de regresión simple r 2, representa la fracción de la variación de Y que se explica por la regresión de Y sobre X y sirve de medida de bondad de la regresión para explicar la respuesta. La parte de la variable Y que no es explicada por el modelo se llama residual. Una vez dibujada la recta de regresión, existe un valor residual para cada dato: e = y ŷ Modelo de regresión simple e i = y i ŷ i e i

10 Análisis de los residuos La disposición de los residuos sirve para comprobar si la recta sirve para ajustar los datos Dibujando sus valores en el eje de ordenadas frente a las predicciones deben presentar una forma uniforme, centrada en el valor, a lo largo de toda la recta, sin que aparezca ningun valor extraño Inferencia para la regresión lineal Regression Plot Rendi2 = 1,2163 +, Temperatura S = 2,1711 R-Sq = 78,6 % R-Sq(adj) = 78,2 % 95 Intervalo para las predicciones Intervalo para la recta Rendi2 85 Regression 75 95% CI 95% PI Temperatura

11 Regresión no lineal La relación entre x e y no tiene porqué ser lineal. Los softwares informáticos ajustan los datos a curvas no lineales (exponenciales, parabólicas, etc.) y calculan el valor de r 2 para medir la fuerza de esa relación. Fitted Line Plot Tiempo = ,8 Edad - 1,193 Edad**2 45 S 38,3533 R-Sq 37,1% R-Sq(adj) 35,% 4 Tiempo Edad Regresión múltiple La regresión múltiple expresa el valor de la variable dependiente Y, como función de las variables independientes X 1, X 2,...,X k La más simple es la regresión lineal y el modelo al que se debieran ajustar los datos es: Y = α + β X + β X β X + ε i 1 1i 2 2i k ki i

12 Regresión múltiple Comprobar si el rendimiento de un proceso químico depende, además de la temperatura de la presión a la que se realiza. Regresión múltiple lineal: Interpretación de resultados Regression Analysis: Rendi versus Presion; Temperatura The regression equation is Rendi = 48,9 + 1,84 Presion +,28 Temperatura Predictor Coef SE Coef T P Constant 48,941 2,79 18,7, Presion 1,8437,4699 3,92,1 Temperat,287, ,32, S =,7947 R-Sq = 9,8% R-Sq(adj) = 89,9% Desviación tipo de los residuos ŷ ± 2s Pruebas de significación para los coeficientes Media de calidad del ajuste

13 Regresión múltiple lineal: Interpretación de resultados Coeficiente de correlación múltiple R 2 = r 2 = 1 El r 2 proporciona, al igual que en el caso simple, una medida de la fuerza de la relación entre Y y sus predicciones, a partir del modelo de regresión propuesto (plano de regresión) Se pueden definir también, coeficientes de correlación parciales, r YXi, miden la relación entre Y y X i eliminando los efectos del resto de X j i i i i 2 (y ŷ ) 2 (y y ) Regresión múltiple lineal: Inferencias Al igual que en el caso simple, pueden calcularse intervalos de confianza para los coeficientes del plano También al igual que en el caso simple, será necesaria la comprobación de la adecuidad del modelo con el análisis y estudio de sus residuos: éstos deben de ser normales, centrados en y con variabilidad constante.

14 Ejemplo práctico con MINITAB Deducir una ecuación que relacione el tiempo marcado por una atleta (en minutos) en una carrera de triatlón con los siguientes posibles factores: Edad del deportista Peso del deportista Experiencia en la práctica del triatlón, en años Kilómetros en carrera en entrenamientos Kilómetros en bicicleta en entrenamientos Kilómetros nadadndo en entrenamientos Consumo de oxígeno corriendo Consumo de oxígeno en bicicleta Cosumo de oxígeno nadando Ejemplo práctico con MINITAB

15 Ejemplo práctico con MINITAB Para la Regresión Simple: Stat/Regression/Fitted Line Plot Fitted Line Plot Tiempo = 25,2 + 3,585 Edad Residual Plots for Tiempo Normal Probability Plot of the Residuals Residuals Versus the Fitted Values 45 S 44,7224 R-Sq 13,% R-Sq(adj) 11,7% Percent 99, Residual Tiempo , Residual Histogram of the Residuals Fitted Value Residuals Versus the Order of the Data 1 3 Frequency Residual Edad Residual Observation Order Fitted Line Plot Tiempo = ,8 Edad - 1,193 Edad**2 Residual Plots for Tiempo Normal Probability Plot of the Residuals Residuals Versus the Fitted Values 99, S 38,3533 R-Sq 37,1% R-Sq(adj) 35,% Percent Residual 5 Tiempo , Residual Histogram of the Residuals Fitted Value Residuals Versus the Order of the Data Edad Frequency Residual Residual Observation Order

16 Ejemplo práctico con MINITAB Lo más habitual en la práctica es querer establecer una relación entre una variable respuesta (Y) y varias explicativas (X s) Para la Regresión Múltiple, existen varias opciones: Stat/Regression/Regression Stat/Regression/Best Subsets Stat/Regression/Stepwise Ejemplo práctico con MINITAB Ejemplo con la opción Stat/Regression/Regression Regression Analysis: Tiempo versus Edad; Peso;... The regression equation is Tiempo = ,41 Edad +,347 Peso - 21,4 Experiencia +,72 EnCarrera -,173 EnBici - 1,37 EnNatacion - 3,36 COCarrera - 1,38 COBici +,893 CONatacion Predictor Coef SE Coef T P Constant 486,3 114,5 4,25, Edad 3,41 1,91 3,13,3 Peso,347,7862,44,661 Experien -21,424 3,697-5,8, EnCarrer,725,2771 2,54,14 EnBici -,17251,692-2,49,16 EnNataci -1,3727,9566-1,43,157 COCarrer -3,355,8338-4,2, COBici -1,3845,998-1,52,134 CONataci,8934,9217,97,337 S = 22,7 R-Sq = 8,4% R-Sq(adj) = 77,2% Analysis of Variance Bondad del ajuste Cuidado!! Source DF SS MS F P Regression ,14, Residual Error Total Linealidad significativa Unusual Observations Obs Edad Tiempo Fit SE Fit Residual St Resid 19 36, 48, 359,5 1,3 48,95 2,4R 32 37, 47, 364,39 1,96 42,61 2,14R 36 37, 325, 367,72 8,39-42,72-2,3R R denotes an observation with a large standardized residual

17 Ejemplo práctico con MINITAB Realizar un análisis de regresión multivariante tiene el siguiente inconveniente: si dos variables X están muy relacionadas entre sí y aportan mucho a la hora de conocer Y, una de ellas tendrá un p- valor grande y la otra no. Pero, de eliminar una cuál eliminaríamos? Una la conozco, pero no sé con cual está correlacionada... Posibilidades: Representar gráficamente las relaciones: Gráfico matriz Calcular los coeficientes de correlación entre las variables Ejemplo práctico con MINITAB

18 Ejemplo práctico con MINITAB Matrix Plot of Tiempo; Edad; Peso; Experiencia; EnCarrera; EnBici; , 2,5 5, Tiempo Edad Peso 7 6 5, Experiencia 2,5, 9 EnCarrera EnBici EnNatación 1 7 CoCarrera CoBici 6 5 CoNatación Ejemplo práctico con MINITAB

19 Ejemplo práctico con MINITAB Correlations: Tiempo; Edad; Peso; Experiencia; EnCarrera; EnBici; EnNatación; Co Tiempo Edad Peso Experien EnCarrer EnBici EnNataci CoCarrer CoBici Edad,361 Peso,249,342 Experien -,436,414,254 EnCarrer -,469 -,288 -,9,349 EnBici -,492 -,356 -,91,137,792 EnNataci -,43 -,419,132 -,5,479,691 CoCarrer -,695 -,36 -,56,183,255,147,16 CoBici -,647 -,441 -,474,146,376,323,9,695 CoNataci -,596 -,635 -,34,134,478,415,38,548,652 Ejemplo práctico con MINITAB Cuando existen muchas variables X que pueden influir en la respuesta Y, estas opciones pueden resultar complicadas de interpretar. Cómo resuelve este problema MINITAB? Stepwise:crea un modelo paso a paso, eligiendo primero la variable X que mejor explica la Y, añadiendo después una a una, otras X que junto con las anteriores aporten información. Para, cuando no encuentra ninguna más de las que quedan fuera que añada información Best Subsets: Crea subconjuntos de n variables X que mejor explican Y

20 Ejemplo práctico con MINITAB Step Constant 687,9 79,7 74,1 532,8 516,1 CoCarrer -5,68-5,2-4,82-3,96-4,9 T-Value -7,67-8,24-8,37-6,81-7,45 P-Value,,,,, EnBici -,23 -,187 -,128 -,242 T-Value -5,15-5,24-3,51-4,69 P-Value,,,1, Experien -1,7-16,9-2,8 T-Value -3,94-5,56-6,61 P-Value,,, Edad 3,3 3,53 T-Value 3,56 4,32 P-Value,1, EnCarrer,8 T-Value 2,96 P-Value,4 S 34,5 29,1 26,2 24, 22,6 R-Sq 48,31 63,82 71,15 76,17 79,25 R-Sq(adj) 47,49 62,65 69,73 74,59 77,5 C-p 84,4 42,8 24,1 12, 5,3

21 Ejemplo práctico con MINITAB Response is Tiempo E E E C C x n n o o p C E N C C N e a n a a o a E P r r B t r B t d e i r i a r i a a s e e c c e c c Vars R-Sq R-Sq(adj) C-p S d o n r i i r i i 1 48,3 47,5 84,4 34,482 X 1 41,8 4,9 12,6 36,578 X 2 63,8 62,6 42,8 29,81 X X 2 58,8 57,4 57, 31,5 X X 3 71,3 69,9 23,8 26,117 X X X 3 71,2 69,7 24,1 26,177 X X X 4 76,2 74,6 12, 23,987 X X X X 4 75,1 73,5 14,9 24,5 X X X X 5 79,3 77,5 5,3 22,573 X X X X X 5 76,9 75, 11,9 23,81 X X X X X 6 79,5 77,4 6,7 22,631 X X X X X X 6 79,5 77,3 6,8 22,651 X X X X X X 7 8,1 77,6 7, 22,56 X X X X X X X 7 79,7 77,2 8,1 22,721 X X X X X X X 8 8,4 77,6 8,2 22,535 X X X X X X X X 8 8,1 77,3 8,9 22,687 X X X X X X X X 9 8,4 77,2 1, 22,699 X X X X X X X X X

22 Ejemplo práctico con MINITAB Regresión-Stepwise: crea un modelo paso a paso, eligiendo primero la variable X que mejor explica la Y, añadiendo después una a una, otras X que junto con las anteriores aporten información. Para cuando no encuentra ninguna más, de las que quedan fuera que añada información Inconveniente: el modelo es muy dependiente de la primera elegida (la que más información aporta por si sola, pero puede no ser la mejor para trabajar con ella) Ejemplo práctico con MINITAB Regresión Best Subsets: Crea subconjuntos de n variables X que mejor explican Y Inconvenientes: No dice cual es la mejor opción, luego hay que decidirse. Su lista se basa en el valor R 2, luego habrá que comprobar si las variables del modelo son significativas

23 Ejemplo práctico con MINITAB Si elegimos el modelo con 5 variables (R 2 =77,5%) y hacemos regresión multivariante: The regression equation is Tiempo = ,53 Edad - 2,8 Experiencia +,796 EnCarrera -,242 EnBici - 4,9 CoCarrera Predictor Coef SE Coef T P Constant 516,1 54,51 9,47, Edad 3,5335,8188 4,32, Experien -2,752 3,141-6,61, EnCarrer,7958,2689 2,96,4 EnBici -,24185,5154-4,69, CoCarrer -4,886,549-7,45, S = 22,57 R-Sq = 79,3% R-Sq(adj) = 77,5% Analysis of Variance Source DF SS MS F P Regression ,8, Residual Error Total Ejemplo práctico con MINITAB Qué pasaría con el de 6 variables añadiendo Ennatación? The regression equation is Tiempo = ,39 Edad - 2,6 Experiencia +,758 EnCarrera -,215 EnBici - 4,7 CoCarrera -,582 EnNatación Predictor Coef SE Coef T P Constant 52,92 55,6 9,46, Edad 3,3875,8434 4,2, Experien -2,612 3,157-6,53, EnCarrer,7583,2742 2,77,8 EnBici -,21535,6217-3,46,1 CoCarrer -4,746,5512-7,39, EnNataci -,5823,7581 -,77,446 S = 22,65 R-Sq = 79,5% R-Sq(adj) = 77,3%

24 Ejemplo práctico con MINITAB Y qué pasaría con el de 4 variables quitando Encarrera? The regression equation is Tiempo = ,3 Edad - 16,9 Experiencia -,128 EnBici - 3,96 CoCarrera Predictor Coef SE Coef T P Constant 532,77 57,62 9,25, Edad 3,256,858 3,56,1 Experien -16,867 3,33-5,56, EnBici -,12825,3655-3,51,1 CoCarrer -3,9574,5815-6,81, S = 23,99 R-Sq = 76,2% R-Sq(adj) = 74,6% Analysis of Variance Source DF SS MS F P Regression ,96, Residual Error Total Ejemplo práctico con MINITAB Antes de dar por válido el estudio y con las opciones elegidas se deberán analizar los residuos:

25 Ejemplo práctico con MINITAB Residual Plots for Tiempo Normal Probability Plot of the Residuals Residuals Versus the Fitted Values 99, Percent Residual , Residual Fitted Value 4 45 Histogram of the Residuals Residuals Versus the Order of the Data 12 5 Frequency Residual Residual Observation Order