Análss de la varanza de un factor El test t de muestras se aplca cuando se queren comparar las medas de dos poblacones con dstrbucones normales con varanzas guales y se observan muestras ndependentes para cada poblacón. Ahora consderaremos una generalzacón para el caso en que se queren comparar las medas de tres o más poblacones. Ejemplo: En la tabla sguente se muestran los resultados obtendos en una nvestgacón acerca de la establdad de un reactvo fluorescente en dferentes condcones de almacenamento. Se conservaron tres muestras en cada una de 4 condcones. Supongamos porque a veces puede ocurrr) que para una de las condcones, la medcón no pudo realzarse o se detectó una falla y fue elmnada. Los datos observados son:
Condcones Recentemente preparada Una hora en la oscurdad Una hora con luz tenue Una hora con luz brllante Medcones observadas señales de fluorescenca) Meda Muestral 0 00 0 0 0 0 04 0 97 95 99 97 9 94 93 Mrando los promedos muestrales se ven dferencas y nos preguntamos s las condcones de almacenamento no nfluyeron sobre la fluorescenca de las muestras ésta será nuestra H 0 ), cuál es la probabldad de que por smple azar se observen dferencas de esta magntud entre las medas muestrales?
Para generalzar el problema e ntroducr notacón, podemos pensar que observamos k muestras en el ejemplo k=4). Suponemos el sguente modelo: Modelo de k muestras normales ndependentes con varanzas guales. Muestra :,,... n v. a...d Nµ, σ )... Muestra :... Muestra k:,..., n v. a...d Nµ, σ ),... k, k kn v. a...d Nµ k, σ ) k y asummos que las v. a. de una muestra son ndependentes de las v. a. de otra muestra. Llamaremos y S a la meda y la varanza muestrales de la muestra =,,...,k. Vamos a testear: H 0 : µ = µ =...= µ k vs. H : exsten y j para los cuales µ µ j
Parece natural proponer un estmador de σ basado en un promedo ponderado de las varanzas de cada muestra S, tal como se hacemos con el S P cuando comparamos dos muestras. Se puede demostrar que el mejor estmador nsesgado de σ bajo el modelo anteror es: S p n = ) * S +... + nk )* S n +... + n k k k = k = n ) * S n k SSW = n k ) En la últma expresón hemos llamado al número total de observacones. n = k = n Bajo la hpótess nula: H 0 : µ = µ =...= µ k todas las observacones tenen la msma dstrbucón.
Llamemos k n n j = j= = = = k n n a la meda general de todas las observacones. El estadístco para el test óptmo para este problema, tene al estmador de la varanza dado por ) en el denomnador y una medda de las dferencas smlar a la varanca) entre las medas de las dstntas muestras en el numerador. Esta medda es: k = n k ) = SSB k )
El estadístco del test se obtene dvdendo ) sobre ): k n SS k SS S k n F W B p k = = = / / ) / ) 3) S H0 fuera certa, el denomnador y el numerador serían parecdos, por lo tanto el cocente sería cercano a. S las medas poblaconales no son todas guales, como vmos en el gráfco, el numerador tende a ser mayor que el denomnador y por lo tanto, el cocente será mayor a.
Test F: er. paso: Cálculo el estadístco F = k = n ) S p / k ) = SS SS B W / k / n k Nota: S H 0 : µ = µ =...= µ k es certa, este estadístco tene dstrbucón F con k- grados de lbertad en el numerador y n-k grados de lbertad en el denomnador. De dónde surgen los grados de lbertad? Se puede demostrar, que s se satsfacen los supuestos del Análss de Varanza que hemos realzado, entonces: Bajo H 0 : SS SS W σ B ) ~ χ ) ~ n k χ k σ y además son ndependentes. do. paso: S F > F k-,n-k;α, rechazamos H 0.
Con frecuenca los resultados del Análss de Varanza se presentan una tabla como la que sgue: Análss de Varanza Fuente SS gl MS F Prob > F Between SSB k- MSB = SSB/k- Wthn SSW n-k MSW = SSW/n-k MSB/MSW Total SST n- MST = SST/n-
Veamos como quedaría en nuestro ejemplo: Fuente gl SS MS F P ------- ---- --------- --------- ------ ------ BETWEEN 3.8 40.773 5.84 0.007 WITHIN 7 8.000.5743 TOTAL 0 40.8 Notemos que el p-valor es 0.007, por lo tanto rechazamos a los nveles habtuales. En partcular, rechazamos la hpótess H0: µ = µ = µ3 = µ4 al nvel 0.0, es decr las medas de la fluorescenca dferen sgnfcatvamente a este nvel. O dcho de otro modo: conclumos que la meda de la fluorescenca depende de las condcones de almacenamento. La pregunta ahora es: cuáles son las que dferen?
Comentaros sobre la tabla del análss de la varanza. Se puede demostrar que vale la sguente gualdad: k n = j= j ) = k = n ) + k n = j= j ) En la expresón anteror aparecen tres sumas de cuadrados : suma de cuadrados entre grupos SS B : Between ) suma de cuadrados dentro de grupos SS W : Wthn) suma de cuadrados total SS T : Total)
Tabla de ANOVA fluo<-read.table"c:\\users\\ana\\estadstcaq\\0\\ejemplo_anova.txt",header=t) fluo attachfluo) luz.f<- factorluz) qúe quere decr esta nstruccón? salda<- aovfluor~luz.f) anovasalda) Analyss of Varance Table Response: FLUOR Df Sum Sq Mean Sq F value Pr>F) luz.f 3.8 40.77 5.838 0.00676 ** Resduals 7 8.00.57
Suposcones del modelo. Dagnóstco. El test F ha sdo deducdo bajo el supuesto de que las k muestras aleatoras tenen dstrbucón normal, con gual varanza y son ndependentes. Cuando el tamaño de la muestra de cada grupo es grande, el test F es váldo en forma aproxmada el valor p calculado es aproxmado) aunque la varable no tenga dstrbucón exactamente normal. En la práctca no es esperable que el modelo se cumpla exactamente, pero sí en forma aproxmada. Al gual que con el test t, hay que analzar los datos para detectar s el modelo es aproxmadamente certo o s en cambo es falso.
Boxplots Paralelos Cuando hay una cantdad sufcente de observacones se pueden realzar boxplots paralelos de las observacones orgnales por tratamento. En el presente ejemplo, hay solo 3 y hasta observacones por caslla, con lo cual no parece muy razonable este gráfco. En su lugar podemos realzar un boxplot de los resduos todos juntos. Para cada observacón, el resduos r j se calcula como: r j = j
El sguente gráfco muestra el boxplot correspondente a los resduos del ejemplo de fluorescenca: boxplotsalda$res) Los resduos parecen tener una dstrbucón smétrca y no se observan datos atípcos, por lo que no parece haber mportantes apartamentos de la normaldad.
QQ-plot y Test de Shapro-Wlk en nuestro ejemplo qqnormsalda$res) qqlnesalda$res)
shapro.testsalda$res) Shapro-Wlk normalty test data: salda$res W = 0.908, p-value = 0.35 En nuestro ejemplo el estadístco del test de Shapro-Wlk es 0.908 y el p-valor correspondente es de 0.35, con lo cual no rechazamos el supuesto de normaldad.
Tests para estudar s las varanzas son guales Para estudar la suposcón de gualdad de varanzas podemos grafcar y tambén se pueden realzar algunos tests. Respecto del gráfco podemos consderar un scatter-plot o dagrama de dspersón de los promedos muestrales versus los resduos. En el ejemplo de Fluorescenca resultaría: Se observan algunas dferencas en la dspersón de los resduos, pero no parece haber grandes apartamentos del supuesto de homoscedastcdad en este caso. Sn embargo, deberíamos aplcar un test para chequear este supuesto.
Respecto de tests exsten algunas alternatvas. Consderemos el modelo j Nµ,σ ) =,...,k; j=,...,n ) ndependentes y la hpótess que nos nteresa testear es H 0 : σ = σ = =... σ k Hay varos tests. El más antguo es el test de Bartlett. Se basa en un estadístco que tene dstrbucón aproxmadamente χ k- bajo H 0.
S hay k muestras con tamaño n y varanzas de las muestras S, como en nuestro problema, entonces estadístco de prueba de Bartlett, que se basa en una escala logarítmca, es: El numerador tende a dar valores grandes cuando las varanzas muestrales dferen mucho, por lo tanto se rechaza la hpótess nula de gualdad de varanzas cuando el estadístco es grande. La zona de rechazo es >
bartlett.testfluor,luz.f) Bartlett test of homogenety of varances data: FLUOR and luz.f Bartlett's K-squared = 0.755, df = 3, p-value = 0.86 En nuestro ejemplo el estadístco del test de Bartlett es 0.755 con un p-valor de 0.86, por lo tanto no rechazamos el supuesto de homogenedad de varanzas Sn embargo, este test tene una alta sensbldad a la falta de normaldad. Por esta razón, es necesaro dsponer de alguna alternatva más resstente a la falta de normaldad.
Un test que es poco sensble a la falta de normaldad es el test de Modfcado de Levene. Para aplcarlo, prmero se calculan ~ d = ~ j j donde denota la medana del tratamento. Luego se calcula el estadístco F del análss de un factor a los d j. S la hpótess H: σ = σ =... = σ k es certa y los n no son muy pequeños, el estadístco tene dstrbucón aproxmadamente F con k- y n-k grados de lbertad. Esto permte aplcar un test aproxmado de la hpótess de gualdad de varanzas. Rechazamos la gualdad de varanzas s el estadístco toma un valor muy grande. Se puede hacer a mano: medans<-tapplyfluor,luz.f,medan) abs.df<- absfluor-medans[luz.f]) summaryaovabs.df~luz.f)) Df Sum Sq Mean Sq F value Pr>F) luz.f 3 0.667 0. 0.67 0.96 Resduals 7 9.333.3333 Como el p-valor = 0.96, no rechazamos el supuesto de homoscedastcdad.
Tambén se puede hacer con lbrarylawstat) levene.testfluor,luz.f)
Comparacón de medas tomadas de a pares CONDICION Meda n s --------- ---------- ------ ---------- 0.00 3.0000 0.00 3.73 3 97.00 3.0000 4 93.00.44 TOTAL 98.73.6036 Supongamos que hemos aplcado el test F y hemos rechazado la H0.
Qué quere decr la alternatva? Que no todas la medas son guales pero, cuáles son dferentes? Cuando no se puede rechazar H 0 generalmente el análss termna ahí, pero cuando se rechaza generalmente el expermentador no se conforma con esa respuesta, sno que desea comparar las medas, frecuentemente de a pares, como para dentfcar cuáles son las que dferen. Para ello deberíamos usar un método de comparacones múltples.
Intervalo de confanza para la dferenca de dos medas. Queremos comparar las medas de los grupos y j. Empecemos por construr un IC para una sola El estmador puntual es j Cuál es su varanza? Cómo se estma? dferenca µ - µ j Puede demostrarse que [ j t n k, */ ;, */ ] + α sp + j t + n k α sp n n j n n j 4) es un Intervalo de Confanza con nvel -α*. S en vez de ntervalo queremos estudar la H 0 : µ = µ j tambén es fácl deducr un test blateral por la relacón entre ambos.
En nuestro ejemplo, el ntervalo de confanza de nvel 0.95 para µ - µ basado en la muestra sería [ t7,0.05 sp + ; + t7,0.05 sp + ] 3 3 3 3 Cómo lo calculamos efectvamente con el R? #percentl bajo la t con 7 grados de lbertad qt0.975,7) [].36464 #.57 es el valor de s p obtendo con esta muestra y corresponde al valor que se encuentra en Mean Sq para Resduals en la salda de ANOVA del R # semlongtud del ntervalo de confanza de nvel ndvdual 0.05.36464*sqrt.57)*sqrt/3) [] 3.095 # límte superor del ntervalo de confanza de nvel ndvdual 0.05 0-0+.36464*sqrt.57)*sqrt/3) [].09576 # límte nferor del ntervalo de confanza de nvel ndvdual 0.05 0-0-.36464*sqrt.57)*sqrt/3) [] -4.09576
Se pueden calcular muchos IC o aplcar muchos tests? Cuál es la crítca que se suele hacer a los IC usando la dstrbucón t de la forma 4) y a los tests deducdos de estos ntervalos? S, por ejemplo, tuvéramos 6 tratamentos y quséramos todas las comparacones de a pares, el número de ntervalos de confanza sería 5, s tuvéramos 4 tratamentos como en nuestro caso, sería 6 y s fueran 0, deberíamos realzar 45 comparacones!! Cuál será la probabldad de que alguno no contenga al verdadero valor del parámetro? Aunque no la podamos calcular exactamente, es evdente que esta probabldad es mucho > que 0.05. Por eso cuando uno planea de antemano hacer uno o muy pocos ntervalos o tests puede usar 4), pero en caso contraro convene utlzar un método de ntervalos de confanza smultáneos.
Veamos qué ocurre s tenemos dos parámetros: θ y θ y nos nteresa preservar el nvel global -α. En nuestro caso podrían ser, por ejemplo, θ =µ - µ y θ =µ 3 - µ 4 La probabldad de que los dos ntervalos sean correctos cuánto valdría s cada uno tene nvel -α*? Denotemos ojo! es una flecha arrba) a la muestra? ) ]) ), [ ) ] ), [ = b a b a P θ θ Calculemos la probabldad de su complemento: * ) ]) ), [ ) ]) ), [ )] ) ), [ ) ] ), [ ) α θ θ θ θ = + = b a P b a P b a b a P Error P * ) ]) ), [ ) ] ), [ α θ θ b a b a P Es decr, s α*=0.05, la cota nferor es -α*=0.90. Es decr que pasamos de ntervalos con un nvel ndvdual de 0.95 a ntervalos con nvel smultáneo más bajo, ya que solo podemos garantzar que el nvel global sea mayor o gual a 0.90.
S en lugar de tener parámetros tuvéramos m, la cota calculada sería más baja aún y estaría dada por P θ [ a ), b ) ]) mα * Por lo tanto, s m=6 la cota es -6*0.05=0.70, con lo cual el nvel global puede bajar mucho.
Intervalos de confanza smultáneos concepto general, no sólo para el análss de varanza de un factor) Cuál es la defncón de IC para un parámetro θ? Recordemos que s ={,,..., n } es la muestra observada, un ntervalo [ a ), b )] es un IC para θ con nvel -α s P θ [ a ), b )]) = P a ) θ b )) α Ahora deseamos calcular IC para cada uno de los parámetros θ j dgamos j=...,m). Se dce que el ntervalo [ a ), b )] es un IC para θ j calculado por un método smultáneo s j j m P θ a j ) j bj )) α 5) j = o sea que la probabldad de que todos los IC sean correctos contengan al verdadero valor del parámetro) es -α. La probabldad de que alguno sea ncorrecto es α.
Método de Bonferron. Un método muy general para cualquer modelo) para obtener ntervalos de confanza smultáneos es calcular cada uno de ellos con nvel -α/m, donde m es el número de IC que se desea calcular. Vmos que s tuvéramos m parámetros y para cada uno de ellos un ntervalo de nvel α*, tendríamos P θ [ a ), b )]) mα * 6) Luego, s quséramos, por ejemplo, que la cota nferor fuera 0.95 =-0.05), tendríamos que m α* = 0.95 mα* = 0.05 α* = 0.05 / m Es decr, que cada ntervalo debería tener nvel 0.05 α * = m para lograr que la cota nferor en 6) sea 0.95. En general, s deseamos una cota nferor gual a -α con este crtero, cada ntervalo debería tener nvel -α /m es decr α*=α /m). Esto da orgen al método de Bonferron.
Este método tene la ventaja de ser muy smple y muy general, pero sólo se usa en la práctca s m es pequeño, porque para valores moderados de m da IC de gran longtud. Para el caso partcular del análss de la varanza de un factor, basta usar 4), pero para que cada ntervalo ndvdual tenga nvel -α /m debemos reemplazar t n-k,α/ por t n-k,α/m, donde m es el número de IC que se desea calcular: ] ; [ /, /, + + + j p m k n j j p m k n j n n s t n n s t α α
En nuestro ejemplo, el ntervalo de confanza de nvel smultáneo 0.95 para µ - µ basado en la muestra sería [ t 0.05 sp + ; + t 0.05 sp + ] 7, 3 3 7, 3 3 Cómo lo calculamos efectvamente con el R? #percentl bajo la t con 7 grados de lbertad Cada ntervalo tene nvel ndvdual -0.05/6 qt-0.05/),7) [] 3.635807 #.57 es el valor de s p obtendo con esta muestra y corresponde al valor que se encuentra en Mean Sq para Resduals en la salda de ANOVA del R # semlongtud del ntervalo de confanza de nvel ndvdual -0.05/6=0.997 3.635807*sqrt.57)*sqrt/3) [] 4.75999 # límte superor del ntervalo de confanza de nvel ndvdual 0.05 0-0+.36464*sqrt.57)*sqrt/3) [] 3.75999 # límte nferor del ntervalo de confanza de nvel ndvdual 0.05 0-0-.36464*sqrt.57)*sqrt/3) [] -5.75999 Cómo es la longtud de este ntervalo respecto del que obtuvmos antes? Qué nvel ndvdual tene cada uno?
fluo<read.table"c:\\users\\ana\\estadstcaq\\0\\ejemplo_anova.txt",header=t) attachfluo) luz.f<- factorluz) fluo FLUOR LUZ 0 00 3 0 4 0 5 0 6 04 7 97 3 8 95 3 9 99 3 0 9 4 94 4
salda<- aovfluor~luz.f) anovasalda) Analyss of Varance Table Response: FLUOR Df Sum Sq Mean Sq F value Pr>F) luz.f 3.8 40.77 5.838 0.00676 ** Resduals 7 8.00.57 --- Sgnf. codes: 0 *** 0.00 ** 0.0 * 0.05. 0. bb<-parw.anovay = FLUOR, x = luz.f, method = "bonf") plotbb,type="") plotbb,type="")
lbraryasbo) bb<-parw.anovay = FLUOR, x = luz.f, method = "bonf") plotbb,type="") > bb 95% Bonferron confdence ntervals Dff Lower Upper Decson Adj. p-value mu-mu - -5.76039 3.76039 FTR H0 mu-mu3 4-0.76039 8.76039 FTR H0 0.0709 mu-mu3 5 0.396 9.76039 Reject H0 0.03934 mu-mu4 8.6777 3.38 Reject H0 0.005645 mu-mu4 9 3.6777 4.38 Reject H0 0.008 mu3-mu4 4 -.38 9.38 FTR H0 0.75393
95% Bonferron confdence - -3-3 -4-4 3-4 -5 0 5 0
),, j p k n k j n n S q + ± α ) ) max j p j j n n S Q + = µ µ Método de Tukey. Los ntervalos de Tukey son smlares a los dados, pero reemplazando t n-k,α/ por el valor q k, n-k,α /, resultando donde los valores "q" están tabulados y corresponden a la dstrbucón estudada por Tukey, llamada dstrbucón del "rango studentzado" de k varables normales ndependentes. El que aparece se debe smplemente a como se construyó la tabla. Se basa en la dstrbucón de
FLUOR.tuk<-TukeyHSDsalda,"luz.f",ordered=FALSE,conf.level=0.95) plotfluor.tuk)
Para el caso orgnalmente pensado por Tukey en el que los tamaños de muestras son guales n =n =...=n I ), este método hace que se cumpla el = en vez del en 5) cuando se realzan todas los comparacones de a pares. El método de Tukey es óptmo da IC de la menor longtud posble) cuando se desea calcular IC para todos los pares posbles y los n j s son guales. Para el caso en que los tamaños de muestras no son guales, se demostró que sgue valendo 5) pero con >. En este caso el método se conoce tambén como método de Tukey-Kramer. Tests smultáneos: son los dervados de IC smultáneos. Tenen la propedad de que la probabldad de cometer algún error tpo I es menor o gual que α.
Comparacón de los métodos consderados S se desea calcular un IC o aplcar un test para una sola dferenca de medas elegdas a pror, evdentemente el método de eleccón es el basado en la dstrbucón t. S son unos pocos, elegdos a pror convene usar Bonferron. S se hacen muchas comparacones de a pares o algunas elegdas a posteror, que es gual que hacer muchas ) convene usar Tukey pues da ntervalos de menor longtud que Bonferron. Para elegr entre Bonferron y Tukey, no es "trampa" elegr el método que da IC de menor longtud. No se necesta hacer las cuentas del IC para elegr el método: basta comparar quen es menor entre los valores de la tabla de "t" y de la tabla de "q", es decr entre t n-k,α/m y q k, n-k,α /.
Tabla de ANOVA fluo<-read.table"c:\\users\\ana\\estadstcaq\\0\\ejemplo_anova.txt",header=t) fluo attachfluo) luz.f<- factorluz) qúe quere decr esta nstruccón? salda<- aovfluor~luz.f) anovasalda) Analyss of Varance Table Response: FLUOR Df Sum Sq Mean Sq F value Pr>F) luz.f 3.8 40.77 5.838 0.00676 ** Resduals 7 8.00.57 --- Sgnf. codes: 0 *** 0.00 ** 0.0 * 0.05. 0.
namessalda) [] "coeffcents" "resduals" "effects" "rank" "ftted.values" [6] "assgn" "qr" "df.resdual" "contrasts" "xlevels" [] "call" "terms" "model"