1. Objetivos. Introducción 2. ANOVA. Tema 8: Relaciones entre variables Test de hipótesis para el ANOVA. M. Iniesta Universidad de Murcia

Transcripción

1 Tema 8: Relaciones entre variables 1. Objetivos Analizar relaciones entre variables, para un único factor en el caso del ANOVA y una sola variable independiente, en el caso de Regresión. Conocer el signicado y saber interpretar las salidas de ordenador. Introducción En este tema estudiamos cómo construir un modelo para representar y analizar la dependencia de una variable Y (variable aleatoria dependiente, de naturaleza continua) con una variable independientes X. Si la variable X es cualitativa (factor) el modelo de relación se llama de ANOVA y si es cuantitativa se llama de REGRESIÓN. 2. ANOVA La técnica de ANOVA para un solo factor es la generalización del análisis de 2 medias a partir de 2 muestras independientes al caso de k medias, cuando clasicamos cada uno de los datos de la variable dependiente Y según una de las k posibles modalidades, niveles o tratamientos de un factor X. La información muestral que vamos a disponer la presentamos a continuación en la siguiente tabla: x 1 x 2 x k y 1,1 y 1,2 y 1,k y 2,1 y 2,2 y 2,k y n1,1 y n2,2 y nk,k ȳ 1 ȳ 2 ȳ k ȳ Al igual que en el caso de dos muestras, supondremos la hipótesis de normalidad, es decir, si llamamos Y j la variable Y X = x j : Y j N (µ j, σ) además supondremos la llamada hipótesis de homocedasticidad, que supone varianzas iguales en las k poblaciones normales Test de hipótesis para el ANOVA Nuestro objetivo será desarrollar un test de hipótesis para contrastar la igualdad de las k medias, es decir, la independencia de Y con el factor X. En concreto resolveremos el siguiente test: Tema 8 Página: 1

2 H 0 : µ 1 = µ 2 = = µ k (Y no guarda relación con X) H 1 : i j / µ i µ j (Y sí guarda relación con X) Para ello se usa un estadístico denominado estadístico F, (porque sigue una distribución denominada F de Snedecor) a partir del desglose de la variación total del conjunto de los datos respecto a la media general en las siguientes componentes. SC T OT AL = n k j (y i,j ȳ) 2 = j=1 k n j (ȳ j ȳ) + j=1 } {{ } SC ENT RE n k j (y i,j ȳ j ) 2 j=1 } {{ } SC DENT RO SC ENT RE : indica la dispersión entre los grupos o de grupo a grupo, por lo que de haber relación entre las variables en juego sería natural que esta fuente de variación fuese relativamente importante frente a la total. También llamada SC EXP LICADA puesto que esta suma de cuadrados queda justicada por la posible relación de Y con el factor X.. SC DENT RO : Suma las varianzas que hay dentro de cada uno de los k grupos. También se llama SC RESIDUAL o injusticada por la relación de Y con X, puesto que todos los individuos del mismo grupo son en principio homogéneos y aun así se observa dispersión dentro del mismo grupo. Para calcular el estadístico F y resolver el test de hipótesis planteado, es usual construir la denominada Tabla ANOVA. Tabla ANOVA Siendo n = n n j + + n k y n k = (n 1) (k 1), construimos la tabla ANOVA Fuente SC CM Estadístico F Entre SC ENT RE CM ENT RE = SC ENT RE k 1 Dentro SC DENT RO CM DENT RO = SC DENT RO n k Total SC T OT AL CM T OT AL = SC T OT AL n 1 F = CM ENT RE CM DENT RO donde CM indica Cuadrados Medios y son estimaciones de la varianza según las distintas fuentes. El estadístico F computa la importancia relativa de la varianza explicada frente a la residual, de modo que el grado de relación entre las variables en juego está en función de la magnitud de F. El P-valor en esta prueba es el área que queda a la derecha del estadístico F de la distribución de Snedecor, de forma que cuanto mayor sea F menor será el P-valor (ver la siguiente gura) Tema 8 Página: 2

3 Fijado α (nivel de signicación), la regla de decisión va a ser la siguiente: Si P valor < α rechazamos H 0 Cuando se rechaza H 0 para aceptar que hay relación entre las variables en juego signica que al menos una pareja de medias son distintas y ese hecho es el causante de la relación. Para detectar cual o cuales parejas de medias son distintas se lleva a cabo pruebas para la diferencia por parejas mediante intervalos de conanza o contrastes. Ejemplo 2.1 Una piscifactoría cría tres especies de pescado comestible: A, B, C y se quiere analizar si los rendimientos netos semanales (en miles de euros) son o no signicativamente distintos en los tres criaderos. A continuación aparecen las salidas de ordenador del ANOVA para relacionar el rendimiento en función del tipo de criadero, es decir para aceptar una de las dos siguientes hipótesis: H 0 : µ A = µ B = µ C (El rendimiento no depende del criadero) H 1 : Alguna pareja de medias es distinta (El rendimiento si depende del criadero) Fuente SC CM Estadístico F P-valor Entre F = Dentro Total Como P valor < α (α = 0.05 o α = 0.01) rechazamos H 0 y concluimos que no podemos aceptar la hipótesis de no relación aceptando que hay relación entre el rendimiento y el tipo de criadero. Tiene que haber, por tanto, al menos una pareja de medias signicativamente distintas. Construimos los intervalos de las medias al nivel α = 0.05 s I = (x ± z n ) Criadero N Media Desviación Típica límite inferior límite superior A B C A la vista de los intervalos obtenidos concluimos que las medias de los rendimientos de los criaderos B y C no son signicativamente distintas, pero éstas SÍ son signicativamente mayores que la media del rendimiento del criadero A. 3. Regresión Lineal Simple Supongamos que (Y, X) es una pareja de variables continuas y que se dispone de una muestra de tamaño n de datos por parejas (y i, x i ), con i = 1,, n. que serán usados para ajustar al siguiente modelo: Tema 8 Página: 3

4 Y = ax + b + ε donde, jado el valor X = x Y N (µ x, σ x ), con µ x = ax + b y σ x = σ independiente del valor x. La variable ε N (0, σ) se denomina Término de Perturbación Aleatorio y recoge todos los factores que inuyen en Y además de la variable X ya considerada en el modelo. La expresión y = ax + b la denominamos Recta de Regresión y es una recta que relaciona las medias teóricas µ x de la variable Y con el valor x de la variable X Estimación de los parámetros de la recta de regresión El siguiente punto consiste en estimar los parámetros a y b, mediante los datos experimentales (x i, y i ),...,n. El procedimiento que se sigue se denomina de mínimos cuadrados y consiste en minimizar la expresión siguiente: Ψ(a, b) = (y i (ax i + b)) 2 = (e i ) 2 donde e i = y i (ax i + b) se llama residual y es la diferencia entre el valor observado y i y el valor pronosticado f(x i ) = ax i + b. Es decir, el procedimiento calcula cuáles han de ser los parámetros de la recta que hacen mínima la suma de todas las distancias verticales entre los puntos de la nube y las correspondientes ordenadas. Es, a modo intuitivo, la recta que pasa más cerca de la nube de puntos, tal y como se aprecia en la siguiente gura. Las soluciones a este problema son: a = xy ȳ x x 2 ( x) = Cov(X, Y ) 2 V ar(x), b = ȳ a x Evidentemente, los valores para a y b hallados por el procedimiento anterior son estimaciones de los verdaderos valores de a y b, ya que estos valores dependen de la Tema 8 Página: 4

5 muestra; sin embargo, para no introducir nueva notación, les seguiremos llamando a y b, de forma que la expresión hallada por el método de mínimos cuadrados y = ax + b se denomina recta de regresión muestral y puede ser usada para estimar valores medios de la variable Y cuando jamos el valor de la variable X Análisis de la bondad del ajuste Al igual que en los procedimientos de ANOVA, en la regresión también disociamos la varianza total en dos componentes, con el objetivo de analizar la bondad del ajuste realizado. SC T OT AL = (y i ȳ) 2 = (y i f(x i )+f(x i ) ȳ) 2 = (y i f(x i )) 2 + } {{ } SC RESIDUAL (f(x i ) ȳ) 2 } {{ } SC EXP LICADA donde f(x i ) es el valor esperado bajo la ecuación de regresión; es decir, f(x i ) = ax i +b SC EXP LICADA es la variación debida a la relación establecida entre las medias. Si ésta absorbe casi toda la SC T OT AL indicará que hay una relación lineal sugestiva entre Y y X. SC RESIDUAL es la suma de residuales al cuadrado, si ésta es cero indicará que la relación es funcional (muy improbable que ocurra nunca) y en la medida que se hace grande indicará falta de bondad de ajuste. Las dos guras siguientes indican dos situaciones muy distintas. La de la izquierda indica una situación en donde la SC EXP LICADA será mayor que cero puesto que f(x i ) varía con i y la SC RESIDUAL también será positiva puesto que hay puntos de la nube fuera de la recta de mínimos cuadrados, sin embargo la de la derecha plantea una situación en la que f(x i ) es constante, en cuyo caso dicha constante es igual a ȳ, por lo que SC EXP LICADA = n (f(x i) ȳ) 2 será cero y por lo tanto toda la suma de cuadrados será residual lo que indica ausencia total de relación. El otro caso extremo es el que todos los puntos de la nube caen encima de la recta de regresión de manera que la relación es funcional, es decir, SC RESIDUAL = 0. Salvando los dos casos extremos, poco o nada usuales en la práctica, los restantes casos se denominan de relación estadística que puede ser medida usando el Coeciente de Determinación. Una medida de la bondad del ajuste viene dada por el conocido Coeciente de Determinación R 2 que se dene por R 2 = SC EXP LICADA SC T OT AL ; R 2 [0, 1] que representa la proporción de varianza de Y explicada por la recta de regresión estimada y = ax + b. Es también corriente usar como medida de la bondad del ajuste lineal el Coeciente de Correlación de Pearson que puede ser calculado haciendo la raíz cuadrada del coeciente de determinación con el mismo signo que tenga la pendiente de la recta de Tema 8 Página: 5

6 Figura 1: Variables relacionadas (izqda) y no relacionadas(dcha) regresión muestral. Es decir, r = signo(a) y también puede ser calculado haciendo SCEXP LICADA r = a S x S y SC T OT AL donde a es la pendiente de la recta ajustada por mínimos cuadrados, S x es la desviación típica de la muestra de X y S y es la desviación típica de la muestra de Y Test de hipótesis para la regresión Se contrasta la hipótesis nula de que la variable Y no depende de la variable independiente X, frente a la alternativa de que si depende. H 0 : Y no depende linealmente de X H 1 : Y depende linealmente de X Para resolver este test se construye la siguiente tabla ANOVA para la regresión. Fuente SC g.l. CM Estadístico F P-valor Explicada SC EXP L 1 CM EXP L = SC EXP L F = CM EXP LICADA CM RESIDUAL Residual SC RESI n 2 CM RESI = SC RESI n 2 Total SC T OT AL n 1 P-valor donde P valor es el área que queda a la derecha del estadístico F en una distribución denominada de Snedecor y será obtenido mediante software estadístico. Cuanto mayor sea el valor del estadístico F mayor es la variación explicada frente a la residual y menor será el P valor La Regla de decisión es la siguiente: Si P valor < α rechazamos H 0 (La relación lineal entre Y y X es signicativa) Si P valor α aceptamos H 0 (La relación lineal entre Y y X no es signicativa) Tema 8 Página: 6

7 3.4. Intervalos y contrastes sobre los coecientes de la recta de regresión Los procedimientos de ajuste estiman los coecientes de la verdadera recta de regresión a partir de la muestra disponible. Estas estimaciones pueden ser usadas para construir intervalos de conanza para el verdadero valor de dichos coecientes. El intervalo, que nosotros no calculamos, podrá ser obtenido mediante software estadístico y básicamente observaremos en los mismos si el valor cero está o no contenido. Por ejemplo, si el intervalo para la pendiente de la recta de regresión contuviera al valor cero signicaría que el valor ajustado por el procedimiento de mínimos cuadrados no es signicativamente distinto de cero y que la relación lineal entre Y y X no es signicativa. También es posible llevar a cabo test de hipótesis sobre los coecientes de la recta de regresión. Concretamente se contrasta: El primer contraste es sobre la pendiente de la recta de regresión. H 0 : a = 0 (Y no depende linealmente de X) H 1 : a 0 (Y si depende linealmente de X) Cuando se acepta H 0 se dice que la pendiente estimada por los datos no es signi- cativamente distinta de cero por lo que la relación entre Y y X tampoco lo es. Por el contrario, cuando rechazamos H 0 (P valor < α) signica que dicho coeciente es distinto de cero y por lo tanto hablamos de relación entre Y y X signicativa. En este caso, este coeciente se interpreta como la variación media de la variable Y cuando la variable X varía en una unidad. También se realizan contrastes sobre el término constante de la recta de regresión: H 0 : b = 0 H 1 : b 0 Cuando se acepta H 0 se dice que la constante estimada por los datos no es signicativamente distinta de cero por lo que se acepta que la recta de regresión poblacional pasa por el origen de coordenadas. Cuando rechazamos H 0 (P valor < α) signica que dicho coeciente es distinto de cero signicativamente. En este caso, este coeciente se interpreta como el valor medio que toma la variable Y cuando la variable X toma el valor cero, aunque habrá muchas situaciones en las que el cero no será un valor posible para X o éste se halle fuera del rango de valores observados de X usados en el ajuste de mínimos cuadrados. En estos casos, este coeciente queda sin interpretar Análisis de residuales Los residuales en el ajuste que acabamos de realizar son los valores e i = y i f(x i ) = y i (ax i + b) que marcan las diferencias entre los valores observados y los valores pronosticados por la recta. Del estudio de estos valores podemos detectar posibles alteraciones de los supuestos de partida que pudieran debilitar nuestras conclusiones. Concretamente, mediante el gráco de los puntos (e i, f(x i )) es decir, el gráco de residuales frente a los valores Tema 8 Página: 7

8 ajustados o pronosticados, es posible chequear hipótesis o detectar situaciones anómalas. El siguiente gráco nos ayudará a entender distintas situaciones que pueden presentarse: De izquierda a derecha y de arriba a abajo, los grácos muestran las siguientes situaciones: 1. Es la situación que visualizamos cuando el ajuste es correcto. Nube de puntos sin estructura alguna porque ésta ha sido recogida en el ajuste realizado. Dispersión o varianza de los residuales constante a lo largo del eje X. Ausencia de valores anómalos o fuera de la nube. 2. El ajuste lineal no es adecuado porque los residuales marcan una estructura no lineal que debía haberse tenido en cuanta en el modelo de ajuste. Es decir, el modelo al cual debería haberse ajustado la nube de puntos es a uno de tipo cuadrático. 3. La forma de la relación es lineal pero no la que ha resultado del ajuste porque los residuales vuelven a mostrar dicha estructura. Es muy posible que la causa sea que unos pocos puntos muy inuyentes haya modicado sustancialmente el ajuste. 4. El ajuste adecuado es de tipo lineal porque los residuales no marcan ninguna estructura, sin embargo la dispersión de los puntos no es constante a lo largo del eje X, por lo que posiblemente se incumple la hipótesis de varianza constante y si fuera así nuestras conclusiones se debilitan. 5. El ajuste lineal no es adecuado porque los residuales marcan una estructura no lineal que debía haberse tenido en cuanta en el modelo de ajuste y además la varianza no es constante a lo largo del eje X. 6. El ajuste lineal es adecuado pero se detectan residuales anómalos o atípicos que no son inuyentes. Ejemplo 3.1 En el análisis de regresión que sigue tratamos de relacional el diámetro del pecho de osos adultos Y=Chest.G con el peso X=Weight. La muestra de datos bivariados (x i, y i ) se representa en el siguiente diagrama de dispersión, en el que aparece también la recta de regresión o de mínimos cuadrados. Tema 8 Página: 8

9 Chest.G Weight Cuya expresión es Chest.G = Weight Esta expresión nos permite pronosticar, en media, valores de la variable Y=Chest.G para valores jos de X=Weight. Por ejemplo, si el valor de X=Weight es Weight=300, el valor medio de Y=Chest.G se estima mediante Chest.G = = Es decir, el valor es una estimación de la media teórica de Chest.G cuando Weight=300 También sería posible, a partir de esta estimación puntual, construir un intervalo de conanza para la citada media teórica, cuestión que no abordamos en este curso. Para analizar la bondad del ajuste recurrimos al análisis de la tabla ANOVA: Tabla ANOVA Fuente SC g.l. CM Estadístico F P-valor Explicada (Weight) P-valor=2.2e-16 Residual Total n 1 El P V alor = 2.2e 16 es menor que los niveles de signicación usuales y permite rechazar H 0 en el test: H 0 : Chest.G no depende linealmente de Weight H 1 : Chest.G SI depende linealmente de Weight y dicha relación es altamente signicativa porque el P-valor es extremadamente pequeño. Tema 8 Página: 9

10 Coeciente de determinación R 2 = SC EXP LICADA SC T OT AL = = Es decir, más del 93 % de la varianza de la variable Chest.G queda explicada por la relación lineal descrita por la variable Weight. Intervalos y test para los coecientes La conclusión a la que hemos llegado mediante el P-valor asociado al estadístico F es posible también alcanzarla mediante un test de hipótesis acerca de la pendiente de la recta de regresión. H 0 : a = 0 (Y NO depende linealmente de X) H 1 : a 0 (Y SI depende linealmente de X) Dado que este caso, el P-valor asociado a esta prueba es menor que 2e 16 se sigue que rechazamos H 0 y el coeciente a = hallado mediante el ajuste realizado es signicativamente distinto de cero. Pasa igual en el caso de la constante b del modelo, aunque este coeciente es de menor interés que la pendiente del modelo. Los intervalos de conanza al 95 % de conanza para ambos coecientes son los siguientes: I.C.(a) = ( , ) e I.C.(b) = ( , ). Observar que ninguno de ellos contiene el valor cero, por lo que las estimaciones a partir de la muestra halladas para a y b son signicativamente distintas de cero. Análisis de residuales Una descripción básica de los residuales e i = Chest.G i ( W eight i ), que no son otra cosa más que las distancias verticales de los puntos de la nube a la recta ajustada por los puntos, aparece en la siguiente tabla: Mínimo C 25 Mediana C 50 Máximo fitted.regmodel.1 residuals.regmodel fitted.regmodel.1 Z.residuals.RegModel.1 Tema 8 Página: 10

11 La gráca anterior es el diagrama de dispersión de los residuales e i frente a los valores ajustados ( W eight i ). En ella se muestra la recta de mínimos cuadrados a la que ajusta esta nube, que no puede ser otra que la recta y = 0 si el ajuste original es correcto. Aún así, aparecen residuales que aparentemente son grandes y que empeoran la bondad del ajuste, aún sin ser inuyentes. La gráca de la derecha es la misma salvo que los residuales se han tipicado (dividiendo cada valor por la desviación típica, puesto que la media es cero) para valorar si dichos residuales caen en un intervalo de alta probabilidad según la escala normal. Puesto que la distribución normal tipicada recoge una probabilidad del 0.95 entre los valores ( 1.96, 1.96), es usual considerar un residual mayor de lo normal cuando en cae fuera de dicho intervalo, es decir, cuando es mayor que 2 en valor absoluto. 4. Bibliografía 1. Temas 8 y 9 del texto Estadística para Ciencias Agropecuarias. Autor: Di Riezo, J. A. 2. Tema 6 (sección 1) y Tema 7 del texto Probabilidad y Estadística para Ciencias e Ingenierías. Rosario Delgado de la Torre. Editorial Delta. 3. Capítulos 7 y 9 (sección 1) del texto Estadística para ingenieros y cientícos. William Navidi. Editorial McGraw-Hill. Tema 8 Página: 11