1 x 11 x x 1p y 1 2 x 21 x x 2p y 2 : n x n1 x n2... x np y n

Transcripción

1 4. Análss de regresón lneal múltle En caítulos anterores tratamos el análss de regresón smle que trata de relaconar una varable exlcatva cuanttatva con una varable resuesta cuanttatva. Todos los elementos de ese caítulo nos van a servr ahora ara contnuar con el caso más general y de mayor utldad ráctca, que es la regresón lneal múltle. Por regresón lneal múltle entenderemos el análss de regresón lneal ero ahora con más de una varable exlcatva. Datos ara regresón múltle Los datos ara regresón lneal smle conssten en ares de observacones (x, y ) de dos varables cuanttatvas. Ahora tendremos múltles varables exlcatvas, or lo que la notacón será más elaborada. Llamaremos x el valor de la -ésma varable del -ésmo sueto o undad (=,,...,n ; =,,...,). Los datos se ueden organzar de la sguente forma en una base: x x... x y x x... x y : n x n x n... x n y n Donde n es el número de casos o tamaño muestral y es el número de varables exlcatoras. Esta es una forma de organzar la base de datos, no morta el orden de las varables. de regresón lneal múltle: El modelo estadístco de regresón lneal múltle es: ara =,,...,n y = β + β x + β x + L+ β x + ε La resuesta meda µ E(Y ) es una funcón lneal de las varables exlcatoras: y = µ = β + β x + β x + L+ β x y Las desvacones ε son ndeendentes y normalmente dstrbudas con meda y desvacón estándar σ: ε ~ N(, σ ) β, β,, β Los arámetros del modelo son: L y σ, los coefcente de regresón y la estmacón de la varabldad, es decr son en total ( + ) arámetros. S suonemos que la resuesta meda está relaconada con los arámetros a través de la ecuacón: µ = β + β x + β x + L+ β x y, esto quere decr que odemos estmar la meda de la varable resuesta a través de la estmacón de los arámetros de regresón. S esta ecuacón se austa a la realdad entonces tenemos una forma de descrbr cómo la meda de la varable resuesta y varía con las varables exlcatoras x, x, L, x. Estmacón de los arámetros de regresón múltle. En regresón lneal smle usamos el método de mínmos cuadrados ara obtener estmadores del nterceto y de la endente. En regresón lneal múltle el rnco es el msmo, ero necestamos estmar más arámetros. Llamaremos b, β β, β, b, L b a los estmadores de los arámetros,, L

2 La resuesta estmada or el modelo ara la -ésma observacón es: y ˆ = b + b x + b x + L+ b x El -ésmo resduo es la dferenca entre la resuesta observada y la redcha: resduo = y observado yˆ estmado El -ésmo resduo = e = y yˆ e = y b + b x + b x + L+ b ( x ) El método mínmos cuadrados elge los valores de los estmadores b, b,, b cuadrados de los resduos menor osble. En otras alabras, los arámetros estmados ( y ) ˆ y. L ótmos, en decr, que hacen la suma de b, b,, b L mnmzan la cantdad: La fórmula de los estmadores de mínmos cuadrados ara regresón múltle se comlca orque necestamos notacón matrcal, sn embargo estamos a salvo s entendemos el conceto y dearemos a SPSS hacer los cálculos. El arámetro σ mde la varabldad de la resuesta alrededor de la ecuacón de regresón en la oblacón. Como en regresón lneal smle estmamos σ como el romedo de los resduos al cuadrado: s = ˆ = e n y x σ ( y y ) ˆ = n La cantdad (n--) son los grados de lbertad asocados con la estmacón de la varabldad: s y / x es entonces el estmador de la varabldad de la resuesta y, tomando en cuenta las varables exlcatoras x. Lo dstngumos de s ( y y ) = n s y x que es la varabldad de y sn tomar en cuenta las varables exlcatvas x. Intervalos de confanza y test de sgnfcanca ara los coefcentes de regresón Podemos obtener ntervalos de confanza y test de hótess ara cada uno de los coefcentes de regresón hcmos en regresón smle. Los errores estándar de los estadístcos muestrales comlcadas, así es que nuevamente dearemos que SPSS haga su trabao. b, b,, b β como lo L tenen fórmulas más Test de hótess ara β : Para docmar la hótess H H : β = : β se usa el test t: b t = ~ t( n ) EE(b ) Donde EE( b ) es el error estándar de b

3 Notas: - Vamos a dear a SPSS el cálculo del error estándar de b - Tendremos entonces un test de hótess asocado a cada varable exlcatora en el modelo. - Podemos realzar hótess de una cola, donde H : β < o H : β >, ero lo usual es hacer el test blateral. Intervalo de confanza ara β : α Un ntervalo de confanza ( )*% ara β está dado or: donde α b ± t ( n ) EE( b α t es el ercentl aroado de la dstrbucón t con (n--) grados de lbertad, b ) ) EE( es el error estándar de b Intervalos de confanza ara la resuesta meda e ntervalos de redccón ndvdual: S queremos obtener ntervalos de confanza ara la resuesta meda o ntervalos de confanza ara futuras observacones en los modelos de regresón múltle, las deas báscas son las msmas que ya vmos en regresón smle y dearemos el cálculo a SPSS. Tabla de ANOVA ara regresón múltle La tabla de análss de varanza ara la regresón múltle es la sguente: Fuente de varacón gl Grados de lbertad SC Suma de Cuadrados CM Cuadrados Medos SC Mod= ( yˆ y) Resduo n SC Re s= Total n = ( y yˆ ) n SCT = ( y y) n = SCMod SC Re s n La tabla ANOVA es smlar a la de regresón smle. Los grados de lbertad del modelo son ahora en vez de, lo que reflea que ahora tenemos varables exlcatoras en vez de sólo una. Las sumas de cuadrados reresentan las fuentes de varacón. Recordemos que la suma de cuadrados total es gual a la suma de los cuadrados del modelo de regresón más la suma de los cuadrados del resduo: SCT = SCMod + SCRes El estmador de la varanza σ de nuestro modelo está dado or la meda cuadrátca resdual MCRes=SCRes/(n--) Estadístco F La razón entre el cuadrado medo del modelo y el resduo F = MCMod MC Re s, ermte estmar s la relacón entre las varables exlcatoras y la resuesta es sgnfcatva. La hótess que docma el test F es: 3

4 H : β = β = L= β = H : al menos un β no es cero La hótess nula dce que nnguna de las varables exlcatoras son redctoras de la varable resuesta. La hótess alternatva dce que al menos una de las varables exlcatoras está lnealmente relaconada con la resuesta. Como en regresón smle, valores grandes de F nos dan evdenca en contra de hótess nula. Cuando H es verdadera, el estadístco F tene dstrbucón F de Fsher con (, n--) grados de lbertad. Los grados de lbertad están asocados a los grados de lbertad del modelo y del resduo en la tabla ANOVA. Recordemos que en regresón lneal smle el test F de la tabla ANOVA es equvalente al test t blateral ara la hótess de que la endente es cero. Ahora, el test F de regresón múltle docma la hótess de que todos los coefcentes de regresón (con excecón del nterceto) son cero, hótess que no es de mucho nterés. En el roblema de regresón múltle nteresan más las hótess ndvduales ara cada arámetro asocado a cada varable exlcatora. Coefcente de determnacón (R ) En regresón lneal smle vmos que el cuadrado del coefcente de correlacón era SCReg r = y se odía nterretar SCTotal como la roorcón de la varabldad de y que odía ser exlcada or x. Un coefcente smlar se calcula en regresón múltle: SCMod ( yˆ y) R = SCTotal = ( y y) Donde R es la roorcón de la varabldad de la varable resuesta y que es exlcada or las varables exlcatoras x, x, L, x en la regresón lneal múltle. A menudo se multlca R or y se exresa como orcentae. La raíz cuadrada de R es el coefcente de correlacón múltle, es la correlacón entre las observacones y y los valores redchos yˆ. Coefcente de determnacón (R ) austado Cuando evaluamos un modelo de regresón lneal múltle nos nteresa decdr s una varable dada meora la caacdad ara redecr la resuesta comarando el R de un modelo que contene la varable, con el R del modelo sn la varable. El modelo con meor R debería ser el meor modelo. Pero debemos ser cudadosos cuando comaramos los coefcentes de determnacón de dos modelos dferentes. La nclusón de una varable adconal en el modelo nunca rovoca la reduccón de R. Para manear este roblema, odemos utlzar el R austado, que austa or el número de varables que hay en el modelo. El R austado es: R a ( ) n = R n ( + ) Un eemlo En educacón exste olémca acerca de las notas de los colegos que se creen están nfladas. Se esera que las ruebas de ngreso a la Unversdad estén altamente correlaconadas con las notas de enseñanza meda. Revsemos con datos de la Prueba de Attud Académca (PAA) del año en la regón del Maule, s odemos exlcar las notas de enseñanza meda con la PAA. 4

5 Resumen del modelo R cuadrado Error tí. de la R R cuadrado corregda estmacón.578 a a. Varables redctoras: (Constante), Prueba Hstora y Geografía, Prueba Attud Matemátca, Prueba Attud Verbal Regresón Resdual Total ANOVA b Suma de Meda cuadrados gl cuadrátca F Sg a a. Varables redctoras: (Constante), Prueba Hstora y Geografía, Prueba Attud Matemátca, Prueba Attud Verbal b. Varable deendente: NEM Notas Ens Meda (Constante) Prueba Attud Verbal Prueba Attud Matemátca Prueba Hstora y Geografía Coefcentes no estandarzados a. Varable deendente: NEM Notas Ens Meda Coefcentes a Coefcentes estandarzad os Intervalo de confanza ara B al 95% Límte B Error tí. Beta t Sg. Límte nferor sueror Verfcando suuestos en la regresón lneal múltle. Examne los gráfcos de dsersón entre la varable resuesta y versus las varables exlcatoras x ara nvestgar s la relacón entre estas varables es lneal y or lo tanto s el modelo es razonable. A través de este análss odremos entender meor la relacón entre los datos. NEM Notas Ens Meda Prueba Attud Verbal Prueba Attud Matemátca Prueba Hstora y Geografía Correlacón de Pearson Sg. (blateral) Correlacón de Pearson Sg. (blateral) Correlacón de Pearson Sg. (blateral) Correlacón de Pearson Sg. (blateral) Correlacones a NEM Notas Ens Meda **. La correlacón es sgnfcatva al nvel, (blateral). a. N or lsta = 495 Prueba Prueba Attud Prueba Hstora y Attud Verbal Matemátca Geografía.56**.556**.485** **.783**.789** **.783**.7** **.789**.7**.... 5

6 . Examne los resduos ara verfcar los suuestos acerca del térmno del error. Los resduos deben ser una muestra aleatora de una oblacón normal con meda y desvacón estándar σ. Para verfcar normaldad grafque el hstograma de los resduos, este debería aarecer como normal sn valores extremos. Además debemos revsar los resduos ndvduales ara detectar valores extremos y/o nfluyentes. Por últmo debemos detectar s la dstrbucón de los resduos es al azar y no hay formas que muestren un roblema en el auste, o que la varanza no sea constante. 5 Hstograma de resduos Notas de Enseñanza Meda versus PAA. Gráfco P-P normal de regresón Resduo tfcado Varable deendente: NEM Notas Ens Meda Frecuenca Desv. tí. =. Meda =. N = 495. Prob acum eserada Regresón Resduo tfcado Prob acum observada 6

7 Número de caso Dagnóstcos or caso a NEM Notas Valor Resduo t. Ens Meda ronostcado Resduo bruto a. Varable deendente: NEM Notas Ens Meda 4 3 Gráfco de resduos versus redchos Re gr es ón Re sd uo - est ud en - tz ad -3 o Regresón Valor ronostcado Usando la salda de SPSS ara la regresón múltle sn la Prueba de Hstora y Geografía, analce como camba el R Resumen del modelo b R cuadrado Error tí. de la R R cuadrado corregda estmacón.575 a a. Varables redctoras: (Constante), Prueba Attud Matemátca, Prueba Attud Verbal b. Varable deendente: NEM Notas Ens Meda Colnealdad Aarte de los suuestos antes menconados, semre hay que verfcar la resenca de colnealdad. La colnealdad ocurre cuando dos o más varables exlcatvas se relaconan entre sí, hasta el unto de que comuncan esencalmente la msma nformacón sobre la varacón observada en y. Un síntoma de la exstenca de colnealdad es la nestabldad de los coefcentes calculados y sus errores estándares. En artcular los errores estándares a menudo se tornan muy grandes; esto mlca que hay un alto grado de varabldad de muestreo en los coefcentes calculados. Deteccón de multcolnealdad en el modelo de regresón Los sguentes son ndcadores de multcolnealdad:. Correlacones sgnfcatvas entre ares de varables ndeendentes en el modelo.. Pruebas t no sgnfcatvas ara los arámetros β ndvduales cuando la rueba F global del modelo es sgnfcatva. 3. Sgnos ouestos (a lo eserado) en los arámetros estmados. 7

8 Eemlo: La Comsón Federal de Comerco (Federal Trade Commsson) de Estados Undos clasfca anualmente las varedades de cgarrllos según su contendo de alqutrán, ncotna y monóxdo de carbono. Se sabe que estas tres sustancas son elgrosas ara la salud de los fumadores. Estudos anterores han revelado que los ncrementos en el contendo de alqutrán y ncotna de un cgarrllo van acomañados or un ncremento en el monóxdo de carbono emtdo en el humo de cgarrllo. La base de datos CO_multle.sav (en sto del curso) contene los datos sobre contendo de alqutrán (en mlgramos), ncotna (en mlgramos) y monóxdo de carbono (en mlgramos) y eso (en gramos) de una muestra de 5 marcas (con fltro) ensayadas en un año recente. Suonga que se desea modelar el contendo de monóxdo de carbono, y, en funcón del contendo de alqutrán, x, el contendo de ncotna, x, y el eso, x 3, utlzando el modelo: E( y) = β + β x + β x + β x El modelo se austó a los 5 untos de datos y se adunta las saldas de SPSS: 3 3 Resumen del modelo b R cuadrado Error tí. de la R R cuadrado corregda estmacón.958 a a. Varables redctoras: (Constante), Peso, Alqutrán, Ncotna b. Varable deendente: CO Regresón Resdual Total ANOVA b Suma de Meda cuadrados gl cuadrátca F Sg a a. Varables redctoras: (Constante), Peso, Alqutrán, Ncotna b. Varable deendente: CO (Constante) Alqutrán Ncotna Peso a. Varable deendente: CO Coefcentes no estandarzados Coefcentes a Coefcentes estandarzad os B Error tí. Beta t Sg

9 CO Correlacones a Alqutrán Ncotna CO Alqutrán Ncotna Peso Correlacón de Pearson Sg. (blateral) Correlacón de Pearson Sg. (blateral) Correlacón de Pearson Sg. (blateral) Correlacón de Pearson Sg. (blateral) CO Alqutrán Ncotna Peso.957**.96**.464* **.977**.49* **.977**.5* *.49*.5* Peso **. La correlacón es sgnfcatva al nvel, (blateral). *. La correlacón es sgnfcante al nvel,5 (blateral). a. N or lsta = 5 Seleccón de modelos Como regla general, normalmente es referble nclur en un modelo de regresón sólo las varables exlcatvas que ayudan a redecr o exlcar la varabldad observada en la resuesta y, a este modelo lo llamamos arsmonoso. En consecuenca, s tenemos dversas varables exlcatvas otencales, cómo decdr cuáles se deben retener en el modelo y cuáles dear afuera? Por lo general, la decsón se toma en base a una combnacón de consderacones estadístcas y no estadístcas. Es fundamental dentfcar o conocer cuáles varables odrían ser mortantes. Sn embargo, ara estudar cabalmente el efecto de cada una de estas varables exlcatvas, sería necesaro llevar a cabo análss or searado de cada osble combnacón de varables. Los modelos resultantes odrían evaluarse enseguda de acuerdo con algún crtero estadístco. Este es el método más comleto, ero tambén el que ocua más temo. S tenemos una gran cantdad de varables exlcatvas el rocedmento odría no ser factble. Exsten otros métodos aso a aso (stewse en nglés) que son útles, ero que hay que usarlos con cautela orque los resultados uderan ser deendentes de los datos (la muestra) más que basados en el conocmento del roblema que estamos estudando. Entonces la recomendacón es buscar un equlbro entre la tecnología, el conocmento que tenemos de las varables y los resultados de la muestra. Varables ndcadoras Las varables exlcatvas que hemos consderado hasta este momento se mderon sobre una escala cuanttatva. Sn embargo, el análss de regresón uede generalzarse ara nclur asmsmo, varables exlcatvas cualtatvas. Por eemlo, odríamos reguntarnos s las notas en la enseñanza meda ueden ser exlcadas además or la deendenca del establecmento. Para smlfcar suongamos que nos nteresa solamente dstngur entre colegos artculares y muncales o subvenconados, esta varable tendría dos categorías. Puesto que las varables exlcatvas en un análss de regresón deben tomar valores numércos, desgnamos a los colegos estatales (muncales y subvenconados) con y a los colegos artculares con. Estos números no reresentan medcones reales; sencllamente dentfcan las categorías de la varable aleatora nomnal. Debdo a que estos valores no tenen sgnfcado cuanttatvo, una varable exlcatva de esta clase se denomna varable ndcadora o varable muda (en nglés dummy varable). Resumen del modelo R cuadrado Error tí. de la R R cuadrado corregda estmacón.59 a a. Varables redctoras: (Constante), Estatales, Prueba Attud Matemátca, Prueba Hstora y Geografía, Prueba Attud Verbal 9

10 Regresón Resdual Total ANOVA b Suma de Meda cuadrados gl cuadrátca F Sg a a. Varables redctoras: (Constante), Estatales, Prueba Attud Matemátca, Prueba Hstora y Geografía, Prueba Attud Verbal b. Varable deendente: NEM Notas Ens Meda (Constante) Prueba Attud Verbal Prueba Attud Matemátca Prueba Hstora y Geografía Estatales Coefcentes a Coefcentes no estandarzados a. Varable deendente: NEM Notas Ens Meda Coefcentes estandarzad os B Error tí. Beta t Sg Pasos en el análss de regresón múltle:. Descrbr los datos: Descrcón numérca de las varables que se van a utlzar en el análss Eemlo de modelo que austa las notas de enseñanza meda versus las ruebas de attud en la regón del Maule el año Tabla del SPSS con descrcón de varables cuanttatvas: Estadístcos descrtvos NEM Notas Ens Meda Prueba Attud Verbal Prueba Attud Matemátca Prueba Hstora y Geografía Desvacón Meda tí. N Tabla con descrcón de varable cualtatva: Deendenca Frecuenca % Estatales ,8 Partcular 65, Total 495,

11 Descrcón gráfca: N = NEM Notas Ens Meda Prueba Attud Matem Prueba Attud Verba Prueba Hstora y Ge Nota: En este caso odemos hacer gráfcos de caa conuntos orque todas las varables están meddas en la msma escala.. Verfcar los suuestos: - lnealdad (y vs x) - no colnealdad (correlacón entre las x) Gráfcos de dsersón NEM Notas Ens Meda Prueba Attud Verba Prueba Attud Matem Prueba Hstora y Ge

12 NEM Notas Ens Meda Prueba Attud Verbal Prueba Attud Matemátca Prueba Hstora y Geografía Correlacón de Pearson Sg. (blateral) Correlacón de Pearson Sg. (blateral) Correlacón de Pearson Sg. (blateral) Correlacón de Pearson Sg. (blateral) Correlacones a NEM Notas Ens Meda **. La correlacón es sgnfcatva al nvel, (blateral). a. N or lsta = 495 Prueba Prueba Attud Prueba Hstora y Attud Verbal Matemátca Geografía.56**.556**.485** **.783**.789** **.783**.7** **.789**.7** Búsqueda del meor modelo (R y test de hótess de los coefcentes de regresón). s R Coefcente Intervalo de confanza PAV PAM PHG 33,4%,53,75,96 (,5-,9) (,45-,34) (,59-,33) PAV PAM 33,%,4,93 (,7-,36) (,65-,3) PAV PAM PHG Estatal 35,%,6,85,7 4,86 (,3-,97) (,56-,35) (,8-,54) (3,9-47,3) 4. Análss de suuestos de resduos: Normaldad y Homocedastcdad - Normaldad: Gráfcos de Normaldad y/o Test de Kolmogorov-Smrnov y Sharo-Wlks 5 Hstograma de resduos Notas de Enseñanza Meda versus PAA. Gráfco P-P normal de regresón Resduo tfcado Varable deendente: NEM Notas Ens Meda Frecuenca Desv. tí. =. Meda =. N = 495. Prob acum eserada Regresón Resduo tfcado Prob acum observada

13 - Homocedastcdad: Gráfco de resduos vs y estmada 4 Gráfco de resduos versus redchos 3 Re gr es ón Re sd uo est ud en tz ad o Regresón Valor ronostcado Nota: S no se obtene normaldad u homogenedad de varanza, se ueden trasformar los datos. 3