Regresión múltiple k k

Transcripción

1 Métodos de Regresón Estadístca Ismael Sánchez Borrego Regresón múltple El modelo de regresón múltple es la extensón a k varables explcatvas del modelo de regresón smple estudado en el apartado anteror. En general, una varable de nterés y depende de varas varables x1,, xk y no sólo de una úncavarable de predccón x. Por ejemplo, para estudar la varacón del preco de una vvenda, parece razonable consderarmás de una varable explcatva, como pueden ser el preco del suelo, la superfce del pso, el número de cuartos de baño, la edad de la vvenda, etc. Además de las varables observables, la varablede nterés puede depender de otras desconocdas para el nvestgador. Un modelo de regresón representa el efecto de estas varables en lo que se conoce como error aleatoro o perturbacón. S suponemos un modelo de regresón teórco en el que las varables se pueden relaconar medante una funcón de tpo lneal, éste puede escrbrse y = β + β x + β x + + β x + ε, k k donde β 0, β1,, β kson los parámetros desconocdos que vamos a estmar y ε es el error aleatoro o perturbacón. y es la varable de nterés que queremos predecr, tambén llamada varable respuesta o varable dependente. Las varables x1,, x se llaman varables k ndependentes, explcatvas o de predccón. El error ε representa el efecto de todas las varables que pueden afectar a la varable dependente y no están ncludas en el modelo de regresón. Algunos ejemplos de modelos de regresón múltple pueden ser: El consumo de combustble de un vehículo, cuya varacón puede ser explcada por la velocdad meda del msmo y por eltpo de carretera. Podemos nclur en el térmno de error, varables como el efecto del conductor, las condcones meteorológcas, etc. El presupuesto de una unversdad, cuya varacón puede serexplcada por el número de alumnos. Tambén podríamos consderar en el modelo varables como el número de profesores, el número de laboratoros, la superfce dsponble de nstalacones, personal de admnstracón, etc. S se desea explcar los valores de una varable aleatora y, medante k varables, que a su vez toman n valores, tenemos entonces y = β + β x + β x + + β x + ε, = 1,, n k k

2 Métodos de Regresón Estadístca Ismael Sçanchez Borrego Las perturbacones deben verfcar las sguentes hpótess: Su esperanza es cero Su varanza es constante Son ndependentes entre sí Su dstrbucón es normal Los parámetros desconocdos son estmados por mínmos cuadrados, resultando la ecuacón estmada de regresón dada por y = ˆ β + ˆ β x + ˆ β x + + ˆ β x + ε, k k donde cada coefcente ˆβ representa el efecto sobre la respuesta cuando la varable aumenta en una undad y las demás varables permanecen constantes. Puede nterpretarse como el efecto dferencal de esta varable sobre la varable respuesta cuando controlamos los efectos de las otras varables. βˆ0 es el valor de la respuesta ajustada cuando todas las varables explcatvas toman el valor cero. Descomposcón de la varabldad y contrastes de hpótess La varabldad de la respuesta puede descomponerse de gual forma que en regresón smple Esta descomposcón la notamos por: y y = (y ŷ ) + (ŷ y) SCT = SCE + SCR eg, donde SCT es la suma de cuadrados total y representa la varabldad total, SCR eg es la suma de cuadrados de la regresón y representa la varabldad explcada por el modelo de regresón. SCE es la suma de cuadrados resdual y representa la varabldad que queda sn explcar. Esta descomposcón se resume en la sguente tabla Tabla ANOVA Fuente de varacón Suma de cuadrados t t t Regresón ( ) Error g.l. B X Y 1 y k = m 1 n t t Y Y B X t Total ( ) t Y n m Y Y 1 y n 1 n Cuadrados medos S. C. R. m 1 S. C. E n m F exp F S. C. R. = m 1 S. C. E. n m

3 Métodos de Regresón Estadístca Ismael Sánchez Borrego El valor del estadístco F exp permte resolver el contraste de regresón, dado por H0 : β1 = β = = βk = 0 H1 : β j 0 para algún j = 1,, k Fjado un nvel de sgnfcacón α se rechaza H0 s Fexp > F α, k, n k 1. En la práctcaspss proporcona el p-valor o nvel mínmo desgnfcacón para el rechazo de H 0, que permte resolver elcontraste de hpótess fjado un nvel de sgnfcacón. S p valor < α, entonces se rechaza H0 S p valor α, entonces no se rechaza H0 S estamos nteresados en estudar el efecto ndvdual de una varable explcatva sobre la varable respuesta se consdera el sguente contraste H 0 : β = 0 H 1 : β 0 En este caso el estadístco de contraste sgue una F de Snedecor con 1 y n k 1grados de lbertad. Este contraste es equvalenteal contraste de regresón con una únca varable explcatva, estudado en el apartado anteror. El rechazo de la hpótess nula mplca admtr la valdez de la varable explcatva x para predecr la varable de nterés y. Coefcente de determnacón Para construr una medda descrptva del ajuste global de un modelo de regresón se emplea el coefcente de determnacón, dado por SCR... SCE... R = = 1. SCT... SCT... R representa la proporcón de varacón de y explcada por el modelo de regresón. Por construccón, es evdente que 0 R 1. S R = 1entonces SCR eg =SCT, por lo que toda la varacón de y es explcada por el modelo de regresón. S R = 0 entonces SCT=SCE, por loque toda la varacón de y queda sn explcar. En general, cuanto más próxmo esté a 1, mayor es la varacón de y explcada por el modelo de regresón.

4 Métodos de Regresón Estadístca Ismael Sánchez Borrego Sn embargo, en regresón múltple, el coefcente dedetermnacón presenta el nconvenente de que su valor aumentaal añadr nuevas varables al modelo de regresón, ndependentemente de que éstas contrbuyan de forma sgnfcatvaa la explcacón de la varable respuesta. Para evtar un aumentonjustfcado de este coefcente, se ntroduce el coefcente dedetermnacón corregdo, que notamos por R y que se obtene a partr de R en la forma R = 1 n k 1 ( y y) e n 1 Este coefcente no aumenta su valor cuando se añadennuevas varables, sno que en caso de añadr varables superfluasal modelo, el valor de R dsmnuye consderablemente respecto al valor del coefcente R. 4

5 Métodos de Regresón Estadístca Ismael Sánchez Borrego Ejercco: Una empresa fabrcante de cereales para el desayuno desea conocer la ecuacón que permta predecr las ventas (en mles de euros) en funcón de los gastos en publcdad nfantl en televsón (en mles de euros), la nversón en publcdad en rado (en mles de euros) y la nversón en publcdad en los peródcos (en mles de euros). Se realza un estudo en el que se reúnen los datos mensuales correspondentes a los últmos 0 meses. Estos datos aparecen en la sguente tabla Ventas Pub. en tv Pub. en rado Pub. en per. 10,0 1,30 56,40 1,0 1,40 55,40 11,0 1,50 60,4 13,0 1,70 65,50 1,0 1,75 69,40 14,0 1,30 67,44 16,0 1,45 68,40 1,0,90 67,44 14,0,80 97,46 11,0,90 66,46 10,0,80 65,45 19,0 1, ,10 8,5 1,70 70,30 8,0 1,80 110,50 9,0 1,85 75,45 13,0 1,90 80,40 16,0,00 85,80 18,0,00 90,90 0,0 1,30 56,90,0 1, ,10 Se pde: a) Ajustar un modelo de regresón lneal múltple. Obtener una estmacón de los parámetros del modelo y su nterpretacón b) Contrastar la sgnfcacón del modelo propuesto. c) Puede elmnarse alguna varable del modelo? Realza los contrastes de sgnfcacón ndvduales d) Coefcente de determnacón y de determnacón corregdo

6 Métodos de Regresón Estadístca Ismael Sánchez Borrego Solucón: a) Ajustar un modelo de regresón lneal múltple. Obtener una estmacón de los parámetros del modelo y su nterpretacón Notamos ventas, publ_tv, publ_rad y publ_per las varables que ntervenen en el ejercco. La varable ventas es la varable dependente, mentras que publ_tv, publ_rad y publ_per son las varables explcatvas. Introducmos dchas varables en la Vsta de Varables de SPSS, como se muestra Ajustamos un modelo de regresón que responde a una expresón deltpo: y = β + β x + β x + β x + ε, donde y representa las ventas de cereales (en mles de euros), x1es la publcdad en televsón (en mles de euros), xes el coste de la publcdad en rado (en mles de euros) y x 3 es la publcdad en peródcos (en mles de euros). De nuevo, los parámetros desconocdos β 0, β 1, β y β3 cuadrados. La ecuacón estmada de regresón está dada por: son estmados por mínmos ŷ = ˆ β + ˆ β x + ˆ β x + ˆ β x El valor 0 ˆβ es el valor de la respuesta ajustada cuando todas las varables predctvas tenen un valor gual a cero. Cada ˆ β = 1,,3representa el cambo en la respuesta estmada para un aumento gual a una undad de la correspondente varable xcuando todas las demás varables ndependentes se mantenen constantes. Para obtener dchas estmacones medante el paquete SPSS selecconamos Analzar -> Regresón -> Lneales. 6

7 Métodos de Regresón Estadístca Ismael Sánchez Borrego Se ntroducen las tres varables explcatvas en el campo Varables Independentes y la varable ventas en el campo Varable Dependente, como muestra la sguente fgura. Se pulsa Aceptar y se obtene como resultado la sguente salda del programa

8 Métodos de Regresón Estadístca Ismael Sánchez Borrego En esta fgura aparecen los parámetros estmados de regresón ˆ β 0 =.108, ˆ β 1 = 3.43, ˆ β = y ˆ β 3 = La ecuacón de regresón ajustada está dada por: yˆ = x x x. 1 3 Las ventas estmadas son guales a 108 euros s no se produce nversón en publcdad (n en televsón, n en rado n en peródcos). Por cada ml euros nvertdos en publcdad en televsón las ventas esperadas aumentan en 343 euros, supuesto que permanecen constantes las otras varables. Por cada ml euros nvertdos en publcdad en rado, las ventas estmadas aumentan úncamente en 1 euro, suponendo que se mantenen constantes las otras varables ndependentes. Por cada ml euros nvertdos en publcdad en peródcos se produce un ncremento en las ventas esperadas de euros, supuestas constantes las restantes varables predctvas. A la vsta de estos resultados parece recomendable la nversón en publcdad en peródcos frente a la publcdad en televsón o en rado. b) Contrastar la sgnfcacón del modelo propuesto. El contraste de sgnfcacón del modelo de regresón permte verfcar s nnguna varable explcatva es válda para la predccón de la varable de nterés. Este contraste puede escrbrse 8

9 Métodos de Regresón Estadístca Ismael Sánchez Borrego H H : β = β = β = 0 : al menos un β 0 = 1,,3. El p-valor asocado a este contraste aparece en la tabla ANOVA: El p-valor asocado al contraste es menor que α = 0.05, por lo que rechazamos la hpótess nula. Esto mplca que al menos una de las varables ndependentes contrbuye de forma sgnfcatva a la explcacón de la varable respuesta. c) Puede elmnarse alguna varable del modelo? Realza los contrastes de sgnfcacón ndvduales En la sguente salda de SPSS aparecen los p-valores asocados a los contrastes de regresón ndvduales Realzamos tres contrastes de hpótess, uno para cada coefcente que acompaña a cada varable explcatva ( = 1,,3) H 0 : β = 0 H 1 : β 0 = 1,,3.

10 Métodos de Regresón Estadístca Ismael Sánchez Borrego Para la varable publ_rado, p-valor = >α = 0.05, por lo que no rechazamos la hpótess nula de sgnfcacón de la varable publ_rado. Esta varable no es válda para predecr las ventas de cereales y por tanto puede ser elmnada del modelo. d) Coefcente de determnacón y de determnacón corregdo El coefcente de determnacón es gual a 0.83 y el coefcente de determnacón corregdo es gual a 0,801. En este caso no se aprecan grandes dferencas entre los dos coefcentes R y R. El 83. % de la varacón en las ventas de cereales se explcan por su relacón lneal con el modelo propuesto. El valor del coefcente de determnacón es satsfactoro. 10

11 Métodos de Regresón Estadístca Ismael Sánchez Borrego Ejerccos propuestos Ejercco 1: La sguente tabla muestra la cantdad de gasolna y (en porcentaje con respecto a la cantdad del petróleo en crudo). Se quere expresar como combnacón lneal de cuatro varables: x 1, gravedad del crudo, x, presón del vapor del crudo, x 3, temperatura para la cual se ha evaporado un 10% y x 4, temperatura para la cual se ha evaporado el 100%, a partr de los sguentes datos: Y X 1 X X 3 X Se pde: a) Ajustar un modelo de regresón lneal múltple. Obtener una estmacón de los parámetros del modelo y su nterpretacón b) Contrastar la sgnfcacón del modelo propuesto. c) Puede elmnarse alguna varable del modelo? Razona la respuesta d) Coefcente de determnacón y de determnacón corregdo

12 Métodos de Regresón Estadístca Ismael Sánchez Borrego Ejercco : Se pretende estudar la posble relacón lneal entre el preco de psos en mles de euros, en una conocda cudad española y varables como la superfce en m y la antgüedad del nmueble en años. Para ello, se realza un estudo, en el que se seleccona de forma aleatora una muestra estratfcada representatva de los dstntos barros de la cudad. Los datos aparecen en la sguente tabla. Preco Superfce Antgüedad Se pde: a) Ajustar un modelo de regresón lneal múltple. Obtener una estmacón de los parámetros del modelo y su nterpretacón b) Contrastar la sgnfcacón del modelo propuesto. c) Puede elmnarse alguna varable del modelo? Razona la respuesta d) Coefcente de determnacón y de determnacón corregdo. Interpretacón. 11

13 Métodos de Regresón Estadístca Ismael Sánchez Borrego Ejercco 3: Salsberry Realty vende casas en la costa este de Estados Undos. Una de las preguntas más habtuales de los potencales compradores es: s compramos esta casa, cuánto gastaremos en calefaccón durante el nverno?. Para contestar esa pregunta de forma satsfactora, el departamento de nvestgacón de dcha compañía realzó un estudo en el que se pretende relaconar lnealmente el coste de la calefaccón en dólares, con las varables temperatura meda externa en grados Fahrenhet, el aslamento del átco en pulgadas y la antgüedad del calentador en años. Los datos se muestran en la sguente tabla. Casa Coste calefaccón Temperatura Aslamento Antgüedad Se pde: a) Ajustar un modelo de regresón lneal múltple. Obtener una estmacón de los parámetros del modelo y su nterpretacón b) Contrastar la sgnfcacón del modelo propuesto. c) Cuánto será el coste estmado de la calefaccón para una casa con temperatura meda externa de 40ºF, 6 pulgadas de aslamento y 5 años de antgüedad? d) Puede elmnarse alguna varable del modelo? Razona la respuesta e) Coefcente de determnacón y de determnacón corregdo. Interpretacón.