IV-1 UNIVERSIDAD DE JAÉN Materal del curso Análss de datos procedentes de nvestgacones medante programas nformátcos Manuel Mguel Ramos Álvarez Índce MAATTEERRIIAALL IIV EXXPPLLIICCAACCIIÓÓNN CCOONN REEGGRREESSIIÓÓNN 4. Acercamento con el fn explcatvo: análss nferencal orentado a Regresón.... 4.1. Análss de Regresón para nvestgacones correlaconales/covaraconales... 3 4.1.1. Introduccón a regresón... 3 4.1.. Análss global de la regresón lneal... 5 4.1.3. Resumen del Modelo... 6 4.. El análss de múltples varables predctoras cuanttatvas o perspectva de Regresón Múltple... 7 4..1. Resumen del Modelo... 8 4... La especfcacón de la nteraccón en el Modelo... 9 4..3. Análss detallado medante regresón. Las tendencas curvlíneas... 10 4..4. El caso general: análss de regresón de modelos complejos... 11 4.3. Alternatvas robustas y No paramétrcas de regresón... 1 4.4. Opcones de Regresón Lneal en los paquetes de Análss... 13 4.4.1. Opcones de Regresón Lneal en SPSS 1.0/15.0... 14 4.4.. Opcones de Regresón Lneal en Statstca... 15 4.5. Realzacón de los supuestos de práctcas... 17 4.5.1. Ejemplfcacón del análss de Regresón medante el Supuesto 1... 18 1
IV- 4. Acercamento con el fn explcatvo: análss nferencal orentado a Regresón. o o Aproxmacones: Basada en el contraste de Hpótess Estadístcas. Basada en la potenca estadístca y en los ntervalos confdencales. Tener presente el repaso sobre el contraste de Hpótess y en general el módulo ncal sobre Modelzacón.
IV-3 4.1. Análss de Regresón para nvestgacones correlaconales/covaraconales 4.1.1. Introduccón a regresón Interpretacón básca a partr del Dagrama de dspersón Fgura adaptada a partr de Ramos, M.M.; Catena, A. y Trujllo, H. (004). Manual de Métodos y Técncas de Investgacón en Cencas Del Comportamento. Madrd: Bbloteca Nueva. 3
IV-4 Bases de la estmacón lneal Todas las predccones del modelo, Y, descansan sobre la línea recta. Los errores de predccón ó resduales, e = Y Y, se defnen como la dstanca vertcal entre los puntos de datos y la recta. El parámetro de nterseccón B0 corresponde al valor de Y cuando X es cero ó punto de orgen de la recta. La pendente B1 cuantfca el cambo en Y por cada ncremento untaro en X. Postva, lo que expresa un crecmento en el crtero conforme aumenta el predctor negatva, expresando decrementos en el crtero correspondendo a ncrementos en el predctor. A partr de la Suma de Cuadrados Error, y tenendo en cuenta el modelo amplado ó completo en comparacón al restrngdo, podemos reconstrur el proceso de contrastacón de Hpótess tal y como vmos en el Modelo General. Proceso de análss general. Se ajustan los modelos correspondentes a los datos con objeto de estmar los parámetros correspondentes Se estma la medda de Reduccón Proporconal del Error (RPE) del modelo Amplado en referenca a un modelo Compacto Entonces, La medda RPE y su complementara, 1-RPE, se transforman en Medas Cuadrátcas dvdendo por los grados de lbertad correspondentes. El cocente entre ambas MMCC nos lleva a un estadístco F que nos proporcona nformacón sobre lo que ganamos con el modelo Amplado por parámetro añaddo. Fnalmente comparamos el valor de F con un valor crítco obtendo a partr del modelo de dstrbucón F según el nvel de sgnfcacón que mponemos. S el valor de F asocado a la magntud RPE supera el valor crítco, entonces nos nclnamos en contra de la Hpótess Nula, o lo que es equvalente, a favor del modelo Amplado frente al modelo Compacto y al contraro s el valor es nferor. 4
IV-5 4.1.. Análss global de la regresón lneal Tabla Resumen de la perspectva de Modelzacón en el contexto de Regresón. Cuadro 8.1 Adaptado a partr de de Ramos, M.M.; Catena, A. y Trujllo, H. (004). Manual de Métodos y Técncas de Investgacón en Cencas Del Comportamento. Madrd: Bbloteca Nueva. Fuente SC gl ( ν ) MC F k η p Regres. SCR= SCe(COM)- SCe(SAT) Err. o Resdual SCe(SAT) N- Total SCe(COM) N-1 SCR MCR = 1 1 SC( SAT ) MCε = N *p α MCR SCR MCε * SCE( COM ) p( F k ) Supuesto 1 Analzar Regresón lneal Dependente: FreqY; Independentes: X1; Estadístcos Estmacones Contnuar Aceptar Statstcs Multple Regresson Varables: Dependent: FreqY; Independent: X1 OK Aceptar Pestaña Advanced Summary ANOVA Pestaña Resduals Interpretacón: Análss de los parámetros S deseamos probar la sgnfcacón del parámetro B 0 entonces, según la perspectva de modelzacón tendríamos que comparar los modelos: AMP : Y = β0 + β1x + ε Η 0 : β0 = 0 COM1: Y = β1x + ε Η1: β0 0 Para probar la sgnfcacón del parámetro B 1 entonces compararíamos los modelos: AMP : Y = β0 + β1x + ε Η 0 : β1 = 0 COM : Y = β0 + ε Η1: β1 0 5
IV-6 4.1.3. Resumen del Modelo Los Intervalos Cofdencales: MC X ε MCε Interseccón. β0 ± α F1; n en escala drecta ó β 0 ± α F 1; n en SCX n n escala dferencal respecto a la meda del predctor. MCε Pendente. β1± α F1; n SC Donde SC = ( X X ) X X Para estmar la potenca estadístca nos basaremos en RPE como medda del efecto de tratamento, o mejor la medda ajustada, y a partr del msmo buscaremos en las curvas de potenca o medante un programa especalzado. Mejorar la nterpretacón de las predccones En ocasones nteresa cambar la escala de la ecuacón de regresón, báscamente refrendo todos los puntos con respecto al promedo de las varables. * Y = β ( ) 0 + β1 X X. Donde ( X, Y ). * β 0 = Y. En otras palabras, el parámetro de orgen recoge ahora la coordenada INTERVALOS CONFIDENCIALES Supuesto 1 Analzar Regresón lneal Dependente: FreqY; Independentes: X1; Estadístcos Estmacones, Intervalos de confanza Contnuar Aceptar Statstcs Advanced Lnear/NonLnear General Lnear Models General Lnear Models OK Varables: Dependent: FreqY; Contnuous pred: X1 OK Aceptar Pestaña Summary Coeffcents POTENCIA Supuesto 1 Statstcs Power Analyss Power Calculaton One Correlaton, t-test OK Rho: 0,44 (es R Adj ); N: 18 Alpha: 0,05 OK Calculate Power start N: 10; End N: 100 Power vs. N; Power vs. Rho; Power vs. Alpha Opcones del programa Statstca: Power Calculaton. Cálculo de la potenca y Funcones de Potenca para estmar la potenca a partr del tamaño del efecto, alfa y tamaño muestral. Sample Sze Calculaton. Cálculo del tamaño muestral a requerdo para lograr un determnado nvel de potenca y tambén en functon del resto de parámetros. Interval Estmaton. Estmacón por Intervalos a partr de varantes analítcas especalzadas que no suelen aparecer en los programas de análss convenconales. Probablty Dstrbutons. Modelos No centralzados que están mplcados en las estmacones de Potenca y del tamaño muestral. Interpretacón: Interpretacón: 6
IV-7 4.. El análss de múltples varables predctoras cuanttatvas o perspectva de Regresón Múltple Evaluar la sgnfcacón de cada uno de los predctores a través de su pendente asocada y se corresponde con la vertente condconal de modelzacón. AMP : Y = β0 + β1x1 + βx + + βp 1XP 1 + β pxp + ε Η 0 : βp = 0 COM1: Y = β0 + β1x1 + βx + + βp 1XP 1 + ε Η1 : βp 0 la correlacón que ntervene en la estmacón del parámetro es báscamente una correlacón semparcal en la que se controla el nflujo del resto de predctores secundaros. En defntva, para un modelo de regresón múltple con por ejemplo dos predctores, Extensón de la Tabla Resumen de la perspectva de Modelzacón a Regresón Múltple Cuadro 8.6 Adaptado a partr de Ramos, M.M.; Catena, A. y Trujllo, H. (004). Manual de Métodos y Técncas de Investgacón en Cencas Del Comportamento. Madrd: Bbloteca Nueva. Fuente SC gl ( ν ) MC F k η p Regres SCR= SCe(COM)- SCe(SAT) p MCR SCR MCε * SCE( COM ) p( F k ) X1 SCR1= SCe(COM1)- SCe(SAT) 1 MCR1 SCR1 MCε * SCE( COM 1) Xp SCRp= SCe(COMp)- SCe(SAT) 1 SC MC = gl MCRp SCRp MCε * SCE( COMp) p( F k ) p( F k ) Err. ó Resdual SCe(SAT) N-(p+1) Total SCe(COM) N-1 *p α RPE equvale drectamente al coefcente R Supuesto 1 Analzar Regresón lneal Dependente: Y; Independentes: X1, X, X3, X4; Estadístcos Estmacones Contnuar Aceptar Statstcs Multple Regresson Varables: Dependent: FreqY; Independent: X1-X4 OK Aceptar Pestaña Advanced Summary ANOVA Pestaña Resduals. Interpretacón: (evtar comparacones entre varables a partr de los parámetros B, mejor a partr de RPE). 7
IV-8 4..1. Resumen del Modelo La correlacón global ó múltple ahora expresa un índce general de relacón entre el conjunto de predctores y el crtero, que por ejemplo para dos predctores se puede calcular medante la fórmula: R Y 1 = r Y1 + r Y r 1 r Y1 1 r Y r 1 Nuevamente la regresón general llevará asocado un Error Típco de Estmacón, pero basado ahora en la correlacón múltple: SY X= SY 1 R La Correlacón parcal que controla el nflujo de una varable relevante sobre el predctor focal y sobre el crtero de manera smultánea: Smlar al anteror, la Correlacón Semparcal controla el nflujo de una varable relevante sobre el predctor objetvo de manera selectva. Estmacón de ntervalos confdencales, tambén son váldas las fórmulas de regresón smple pero ncluyendo una medda de redundanca. En general, para la pendente de cada predctor p, la ecuacón es la sguente: β ± p 1 1 F MC SC (1 R ) α 1; n ε Xp p.1... p 1 La correlacón R p.1... p 1 que abrevaremos en adelante como R p y es la medda RPE obtenda cuando se emplea a todos los predctores p-1 restantes en la predccón del predctor focal p, a modo de asocacón entre predctores. Una medda de redundanca A veces se expresa, su complementara: medda de toleranca, lo que es únco para Xp en la predccón. Incluso la nversa de la toleranca, exactamente lo que entra en el ntervalo, recbe un nombre: el factor de nflacón de la varanza (VIF: Varance Inflaton Factor). Respecto a la estmacón de la potenca, bastaría ntercambar las estmacones del efecto de tratamento propas de regresón múltple con las que aparecían dentro del planteamento de regresón smple Analzar Estadístcos Estmacones, Intervalos de confanza, Correlacones parcal y semparcal, Dagnóstcos Colnealdad Statstcs Pestaña Advanced Partal Correlatons & Redundancy & Current sweep matrx. Interpretacón: Para los Intervalos Confdencales y la Potenca segur las ndcacones de Regresón Smple 8
IV-9 4... La especfcacón de la nteraccón en el Modelo Supongamos una nvestgacón con dos predctores (X1 y X) de un crtero. Para evaluar el efecto prncpal/adtvo de la varable X1 de manera ndependente: SAT : Y = β0 + β1x1 + βx + β3x1x + ε COM : Y = β0 + βx + β3x1x + ε Para el efecto prncpal de la segunda varable predctora, X: SAT : Y = β0 + β1x1 + βx + β3x1x + ε COM : Y = β0 + β1x1 + β3x1x + ε Y fnalmente, para evaluar la nteraccón o efecto conjunto de los dos predctores: SAT : Y = β0 + β1x1 + βx + β3x1x + ε COM : Y = β0 + β1x1 + βx + ε Como consecuenca, volveríamos a replantear el análss de regresón de manera que el modelo fnal ncluyera exclusvamente los parámetros que son sgnfcatvos. Prmero Creamos nosotros la nteraccón: Transformar Calcular Interacc = X1 * X; Aceptar. Entonces Análss regresón: Analzar Regresón lneal Dependente: FreqY; Independentes: X1, X, Interacc,; Estadístcos Estmacones Contnuar Aceptar Analzar Estadístcos Estmacones, Intervalos de confanza, Correlacones parcal y semparcal, Dagnóstcos Colnealdad Statstcs Advanced Lnear/NonLnear General Lnear Models Factoral Regresson OK Varables: Dependent: FreqY; Predctor: X1, X OK Aceptar Pestaña Summary Coeffcents Pestaña Advanced Summary ANOVA Pestaña Resduals Pestaña Advanced Partal Correlatons & Redundancy & Current sweep matrx. Alternatvamente se puede hacer a través del módulo convenconal Multple Regresson s creamos nosotros la varable nteraccón (Añadr nueva varable Interacc y Pulsar sobre su Nombre e nclur la fórmula =X1*X en la ventana Functons). Interpretacón: Se gana en ajuste R al cambar a un modelo más complejo? 9
IV-10 4..3. Análss detallado medante regresón. Las tendencas curvlíneas Supongamos que nos nteresase evaluar una tendenca más compleja, como por ejemplo de orden-3 ó cúbca. El análss medante modelzacón mplcaría, entonces los sguentes pasos: 3 AMP : Y = β0 + β1x + βx + β3x Η 0 : R = 0 Perspectva global: COM : Y 0 1 : R 0 = β Perspectva Condconal: 3 AMP : Y = β0 + β1x + βx + β3x Η 0 : β1 = 0 Lneal u orden-1 3 COM : Y 0 3 1: 1 0 = β + β X + β X Η β 3 AMP : Y = β0 + β1x + β X + β3x Η 0 : β = 0 Cuadrátca u orden- 3 COM : Y 0 1 3 1 : 0 = β + β X + β X Η β 3 AMP : Y = β0 + β1x + βx + β3x Η 0 : β3 = 0 Cúbca u orden-3: COM : Y 0 1 1: 3 0 = β + β X + β X β Η Η Analzar Regresón Estmacón curvlínea Dependentes: Y; Independente: X1; Modelos: Lneal, Cuadrátco, Cúbco Aceptar. Statstcs Advanced Lnear/NonLnear General Lnear Models Polynomal Regresson Una vez defndas las varables, el Botón Between Effects permte amplar la complejdad del modelo polnómco. Interpretacón: Se gana en ajuste R al cambar a un modelo más complejo? Tener presentes ndcacones sobre especfcdad de la Hpótess (crear los modelos medante opcón de Datos, Calcular). Conclusón: Probar con los dferentes Modelos, omtendo predctores no sgnfcatvos o problemátcos hasta dejar un Modelo Fnal. Interpretacón: Especfque el modelo fnal: 10
IV-11 4..4. El caso general: análss de regresón de modelos complejos En concreto, se usa un método de regresón nteractvo regresón paso a paso (stepwse regresson) que va ncorporando ( forward ) o elmnando ( backward ) sucesvamente varables. El objetvo general es explcar un porcentaje de varanza del crtero smlar al explcado por el total de predctores. Se fja un nvel de sgnfcacón, lo que mpone un umbral de nclusón de varables. En el método ncremental, se calculan las correlacones de todos los predctores con el crtero y se seleccona la varable con mayor correlacón, sempre que supera el umbral de nclusón. A contnuacón se elge el sguente mejor predctor pero según la correlacón semparcal para controlar la nfluenca del predctor que ya estaba en el modelo y sempre que vuelva a superar el umbral. Así sgue el procedmento hasta que el ncremento en correlacón múltple deja de ser sgnfcatvo, es decr no sobrepasa el umbral. La otra varante opera a la nversa. El problema es que s los predctores son redundantes (recordar los conceptos asocados como toleranca o tasa de Inflacón), entonces el algortmo mplementado por algunos programas especalzados no lleva a modelos realmente óptmos. Además, la nterpretacón del modelo resultante puede ser dfícl. Sempre es preferble realzar un análss guado por hpótess de nvestgacón que doten de sentdo a los resultados del análss estadístco. S la nvestgacón ncluye muchos predctores estará claramente enfocada desde el punto de vsta correlaconal y será preferble realzar los análss dentro de la perspectva especalzada de análss causal, en la que se corrge el problema de colnealdad. Además de lo anteror, exste la posbldad de plantear modelos complejos con nteraccones y polnomos, lo que se analza medante Modelos de regresón de superfce (.e. Response Surface Regresson dentro del módulo GLM de Statstca). Supuesto 1 Analzar Regresón lneal Dependente: Y; Independentes: X1, X, X3, X4; Método: Haca adelante Aceptar Statstcs Multple Regresson Varables: Dependent: FreqY; Independent: X1-X4 Pestaña Advanced Marcar Advanced optons (stepwse ) OK Method: Forward stepwse OK. Probar con otras varantes buscando convergenca,.e. Haca atrás (backward). Interpretacón: Haca delante y haca atrás consderan las varables una a una. En los métodos ntroducr y borrar se consderan bloques de varables. Pasos sucesvos realza convergentemente la ntroduccón y la elmnacón. 11
IV-1 4.3. Alternatvas robustas y No paramétrcas de regresón Lnea resstente de Tukey y Reajuste de los parámetros medante un método teratvo de Emerson y Hoagln (1985) Fgura 4-1: Interpretacón gráfca del parámetro de tasa de cambo en regresón robusta Alternatva basada en los MM-Estmadores de regresson Alternatva No paramétrca basada en la prueba de Brown-Mood Ver para todas ellas el manual general recomendado y se lustrarán en la últma sesón. 1
IV-13 4.4. Opcones de Regresón Lneal en los paquetes de Análss Probablemente, paquetes como SPSS tenen ventajas en cuanto al análss de Modelos complejos a partr de la opcón de regresón por pasos. En cambo, paquetes como Statstca son preferbles desde el punto de vsta de la Modelzacón. Otros paquetes como S-Plus son la opcón para Regresón Robusta. 13
IV-14 4.4.1. Opcones de Regresón Lneal en SPSS 1.0/15.0 14
IV-15 4.4.. Opcones de Regresón Lneal en Statstca A) Aproxmacón clásca B) Aproxmacón Modelzacón 15
IV-16 A) Aproxmacón clásca (Regresón Múltple): B) Aproxmacón Modelzacón (Modelo Lneal General GLM-): 16
IV-17 4.5. Realzacón de los supuestos de práctcas Guía del análss en Regresón Análss exploratoro de los dagramas de dspersón Análss del modelo SATURADO de referenca Análss de los resduales (estandarzados) y de las dstancas de nfluenca ndebda para decdr sobre los posbles puntos extremos. Confrmar conclusones de sgnfcacón para cada predctor medante regresón por pasos. S gráfcos de resduales sugeren funcones curvlíneas entonces pasar al análss polnómco (regresón curvlínea). Inclur nteraccones s están justfcadas desde el punto de vsta teórco. 17
IV-18 4.5.1. Ejemplfcacón del análss de Regresón medante el Supuesto 1 [Gráfcos Dspersón ] o mejor [Gráfcos Interactvos Dspersón ] para ajustar la lnea de regresón lneal. Los dagramas de dspersón de cada predctor frente al crtero Análss del modelo SATURADO de referenca, es decr el que ncluye todos los predctores (X1 a X4) y de manera lneal. [Analzar Regresón lneal] Selecconamos las opcones de Estadístcos, Gráfcos y Guardar que aparecen en las ventanas precedentes Análss de los resduales Observar al menos los gráfcos de RRESID frente a ADJPRED, ncluyendo los gráfcos parcales y el de probabldad normal Confrmarlo a partr de las Dstancas de Cook. El caso 8 parece tener un error estandarzado muy elevado pero puesto que está justfcado, entonces no se omtría Confrmar las conclusones de los parámetros sgnfcatvos (úncamente la nversa de la varable predoctora X1) medante regresón por pasos, por ejemplo ntroducendo varables en pasos sucesvos. Probar Modelo polnómco [Analzar Regresón Estmacón curvlínea ] La pregunta clave es Se gana en ajuste R al cambar a un modelo más complejo que el lneal? Centrar el modelo sgnfcatvo y resumrlo adecuadamente. Volver Prncpo 18