Análisis de la varianza de un factor

Transcripción

1 Aálss de la varaza de u factor El test t de muestras se aplca cuado se quere comparar las medas de dos poblacoes co dstrbucoes ormales co varazas guales y se observa muestras depedetes para cada poblacó. Ahora cosderaremos ua geeralzacó para el caso e que se quere comparar tres o más medas. Ejemplo: E la tabla sguete se muestra los resultados obtedos e ua vestgacó acerca de la establdad de u reactvo fluorescete e dferetes codcoes de almaceameto. Se coservaro tres muestras e cada ua de 4 codcoes. Supogamos (porque a veces puede ocurrr) que para ua de las codcoes, la medcó o pudo realzarse o se detectó ua falla y fue elmada. Los datos observados so:

2 Codcoes Recetemete preparada Ua hora e la oscurdad Ua hora co luz teue Ua hora co luz brllate Medcoes observadas (señales de fluoresceca) Meda Muestral Mrado los promedos muestrales se ve dferecas y os pregutamos s las codcoes de almaceameto o fluyero sobre la fluoresceca de las muestras (ésta será uestra H 0 ), cuál es la probabldad de que por smple azar se observe dferecas etre las medas muestrales de esta magtud? Para geeralzar podemos pesar que observamos k muestras (e el ejemplo k=4). Supoemos el sguete modelo:

3 Modelo de k muestras ormales depedetes co varazas guales. Muestra :,,..., v. a...d N(, )... Muestra :,,..., v. a...d N(, )... Muestra k: k, k,..., k k v. a...d N( k, ) y asummos que las v. a. de ua muestra so depedetes de las v. a. de otra muestra. Llamaremos y s a la meda y la varaza muestrales de la muestra =,,...,k. Vamos a estudar la hpótess ula: H 0 : = =...= k

4

5

6 Parece atural propoer u estmador de basado e u promedo poderado de las varazas de cada muestra s, tal como se hacemos co el s P cuado comparamos dos muestras. Se puede demostrar que el mejor estmador sesgado de bajo el modelo ateror es: s p ( ) * s... ( k )* s... k k k k ( ) * s k SSW k () E la últma expresó hemos llamado al úmero total de observacoes. k Vamos a estudar la hpótess ula: H 0 : = =...= k La hpótess alteratva es H : o es certa H 0

7 Llamemos k j j k a la meda geeral de todas las observacoes El estadístco para el test óptmo para este problema, tee al estmador de la varaza (dado por ()) e el deomador y ua medda de las dferecas (smlar a la varaca) etre las medas de las dsttas muestras e el umerador. Esta medda es: ) ( k SS k B k ()

8 El estadístco del test se obtee dvdedo () sobre (): k SS k SS s k F W B p k / / ) ( / ) ( (3) S H 0 fuera certa, etoces el deomador y el umerador sería parecdos, por lo tato el cocete sería cercao a. S las medas poblacoales o so todas guales, el umerador tede a ser mayor que el deomador y por lo tato, el cocete será mayor a.

9 Test F: er. paso: Calculo el estadístco F dado por (3) Nota: S H 0 : = =...= k es certa, este estadístco tee dstrbucó F co k- grados de lbertad e el umerador y -k g.l. e el deomador. De dóde surge los grados de lbertad? Se puede demostrar, que s se satsface los supuestos del aálss de varaza que hemos vsto, etoces: Bajo H 0 : ) SS W B ~ ) SS ~ k k depedetes. do. paso: S F > F k-,-k; rechazamos H 0.

10 Usualmete los resultados del Aálss de Varaza se preseta ua tabla como la que sgue: Aálss de Varaza Fuete SS gl MS F Prob > F Betwee SSB k- MSB = SSB/k- Wth SSW -k MSW = SSW/-k MSB/MSW Total SST - MST = SST/-

11 Cometaros sobre la tabla del aálss de la varaza. Se puede demostrar que vale la sguete gualdad: k j j k k j j ) ( ) ( ) ( E la expresó ateror aparece tres sumas de cuadrados : suma de cuadrados etre grupos (SS B : Betwee ) suma de cuadrados detro de grupos (SS W : Wth) suma de cuadrados total (SS T : Total)

12 Veamos como quedaría e uestro ejemplo: Fuete gl SS MS F P BETWEEN WITHIN TOTAL Rechazamos la hpótess H 0 : = = 3 = 4 al vel 0.0, es decr las medas de la fluoresceca dfere sgfcatvamete a este ve. O dcho de otro modo: coclumos que la meda de la fluoresceca depede de las codcoes de almaceameto. La preguta ahora es: cuáles so las que dfere?

13 Comparacó de pares de medas CONDICION Meda s TOTAL Supogamos que hemos aplcado el test F y hemos rechazado la H 0. Qué quere decr la alteratva? Que o todas la medas so guales pero, cuáles so dferetes? Cuado o se puede rechazar H 0 geeralmete el aálss terma ahí, pero cuado se rechaza geeralmete el expermetador o se coforma co esa respuesta, so que desea comparar las medas, frecuetemete (o sempre) de a pares, como para detfcar cuáles so las que dfere. Para ello deberíamos usar u método de comparacoes múltples.

14 Itervalo de cofaza para la dfereca de dos medas. Queremos comparar las medas de los grupos y j. Empecemos por costrur u IC para - j El estmador putual es j Cuál es su varaza? Como se estma? Puede demostrarse que ] ; [ /, /, j p k j j p k j s t s t (4) es u Itervalo de Cofaza co vel -. S e vez de tervalo queremos estudar la H 0 : = j també es fácl deducr u test blateral por la relacó etre ambos.

15 Se puede calcular muchos IC o aplcar muchos tests? Cuál es la crítca que se suele hacer a los IC usado la dstrbucó t (de la forma (4)) y a los tests deducdos de estos tervalos? S hcéramos uos pocos tervalos elegdos a pror (ates de observar los datos) la probabldad de equvocaros será >5%, pero o sería ta alta... S por ejemplo tuvéramos 6 tratametos y quséramos todas las comparacoes de a pares, el úmero de tervalos de cofaza sería 5, s tuvéramos 4 tratametos como e uestro caso, sería 6 y s fuera 0, deberíamos realzar 45 comparacoes!! Cuál será la probabldad de que alguo o cotega al verdadero valor del parámetro? Auque o la podamos calcular exactamete, es evdete que esta probabldad es mucho > que Por eso cuado uo plaea de atemao hacer uo o muy pocos tervalos o tests puede usar (4), pero e caso cotraro covee utlzar u método de tervalos de cofaza smultáeos.

16 Itervalos de cofaza smultáeos (cocepto geeral, o sólo para el aálss de varaza de u factor) Cuál es la defcó de IC para u parámetro? Recordemos que s =(,,..., ) es la muestra observada, u tervalo [a(),b()] es u IC para co vel - s P( a() b() ) = - Ahora deseamos calcular IC para cada uo de los parámetros j (dgamos j=...,m). Se dce que el tervalo [a j (),b j (Y)] es u IC para j calculado por u método smultáeo s P m [ a j ( ) j b j ( )] (5) j o sea que la probabldad de que todos los IC sea correctos (cotega al verdadero valor del parámetro) es -. La probabldad de que alguo sea correcto es.

17 Método de Boferro. U método muy geeral (para cualquer modelo) para obteer tervalos de cofaza smultáeos es calcular cada uo de ellos co vel -/m, dode m es el úmero de IC que se desea calcular. Este método tee la vetaja de ser muy smple y muy geeral, pero sólo se usa e la práctca s m es pequeño, porque para valores moderados de m da IC de gra logtud. Para el caso partcular del aálss de la varaza de u factor, basta usar (4), pero reemplazado t -k,/ por t -k,/m dode m es el úmero de IC que se desea calcular: ] ; [ /, /, j p m k j j p m k j s t s t

18 ) (,, j p k k j S q ) ( ) ( max j p j j S Q Método de Tukey. Los tervalos de Tukey so smlares a los dados, pero reemplazado t -k,/ por el valor q k, -k, /, resultado dode los valores "q" está tabulados y correspode a la dstrbucó estudada por Tukey, llamada dstrbucó del "rago studetzado" de k varables ormales depedetes. El que aparece se debe smplemete a como se costruyó la tabla. Se basa e la dstrbucó de

19 FLUOR.tuk<-TukeyHSD(salda,"luz.f",ordered=FALSE,cof.level=0.95) plot(fluor.tuk)

20 Para el caso orgalmete pesado por Tukey e el que los tamaños de muestras so guales ( = =...= I ), este método hace que se cumpla el = e vez del e (5) cuado se realza todas los comparacoes de a pares. El método de Tukey es óptmo (da IC de la meor logtud posble) cuado se desea calcular IC para todos los pares posbles y los j s so guales. Para el caso e que los tamaños de muestras o so guales, se demostró que sgue valedo (5) pero co >. E este caso el método se cooce també como método de Tukey-Kramer. Tests smultáeos: so los dervados de IC smultáeos. Tee la propedad de que la probabldad de cometer algú error tpo I es meor o gual que.

21 Comparacó de los métodos cosderados S se desea calcular u IC o aplcar u test para ua sola dfereca de medas elegdas a pror, evdetemete el método de eleccó es el basado e la dstrbucó t. S so uos pocos, elegdos a pror covee usar Boferro. S se hace muchas comparacoes de a pares (o alguas elegdas a posteror, que es gual que hacer muchas ) covee usar Tukey pues da tervalos de meor logtud que Boferro. Para elegr etre Boferro y Tukey, o es "trampa" elegr el método que da IC de meor logtud. No se ecesta hacer las cuetas del IC para elegr el método: basta comparar que es meor etre los valores de la tabla de "t" y de la tabla de "q", es decr etre t -k,/m y q k, -k, /.

22 Tabla de ANOVA fluo<-read.table("c:\\users\\aa\\estadstcaq\\0\\ejemplo_aova.txt",header=t) fluo attach(fluo) luz.f<- factor(luz) qúe quere decr esta struccó? salda<- aov(fluor~luz.f) aova(salda) Aalyss of Varace Table Respose: FLUOR Df Sum Sq Mea Sq F value Pr(>F) luz.f ** Resduals Sgf. codes: 0 *** 0.00 ** 0.0 * ames(salda) [] "coeffcets" "resduals" "effects" "rak" "ftted.values" [6] "assg" "qr" "df.resdual" "cotrasts" "xlevels" [] "call" "terms" "model"

23 Suposcoes del modelo. Dagóstco. El test F ha sdo deducdo bajo el supuesto de que las k muestras so ormales, depedetes y co gual varaza. Cuado el tamaño de la muestra de cada grupo es grade, el test F es váldo e forma aproxmada (el valor p calculado es aproxmado) auque la varable o tega dstrbucó ormal. E la práctca o es esperable que el modelo se cumpla exactamete, pero sí e forma aproxmada. Al gual que co el test t, hay que aalzar los datos para detectar s el modelo es aproxmadamete certo o s e cambo es falso.

24 Boxplots Paralelos Cuado hay ua catdad sufcete de observacoes se puede realzar boxplots paralelos de las observacoes orgales por tratameto. E el presete ejemplo, hay solo 3 y hasta observacoes por caslla, co lo cual o parece muy razoable este gráfco. E su lugar podemos realzar u boxplot de los resduos todos jutos. Para cada observacó, el resduos r j se calcula como: r j j

25 El sguete gráfco muestra el boxplot correspodete a los resduos del ejemplo de fluoresceca: boxplot(salda$res) Los resduos parece teer ua dstrbucó smétrca y o se observa datos atípcos, por lo que o parece haber mportates apartametos de la ormaldad.

26 Tests para estudar s las varazas so guales Para estudar la suposcó de gualdad de varazas podemos grafcar y també se puede realzar alguos tests. Respecto del gráfco podemos cosderar u scatter-plot o dagrama de dspersó de los promedos muestrales versus los resduos. E el ejemplo de Fluoresceca resultaría: Se observa alguas dferecas e la dspersó de los resduos, pero o parece haber grades apartametos del supuesto de homocedastcdad e este caso. S embargo, deberíamos aplcar u test para chequear este supuesto. Respecto de tests exste alguas alteratvas.

27 Cosderemos el modelo j N(, ) (=,...,k; j=,..., ) depedetes y la hpótess a testear será H 0 :... k. Hay varos tests. El más atguo es el test de Bartlett. Se basa e u estadístco que tee dstrbucó aproxmadamete k- bajo H 0.

28

29 bartlett.test(fluor,luz.f) Bartlett test of homogeety of varaces data: FLUOR ad luz.f Bartlett's K-squared = 0.755, df = 3, p-value = 0.86 E uestro ejemplo el estadístco del test de Bartlett es co u p-valor de 0.86, por lo tato o rechazamos el supuesto de homogeedad de varazas S embargo, este test tee ua alta sesbldad a la falta de ormaldad. Por esta razó, es ecesaro dspoer de algua alteratva más resstete a la falta de ormaldad.

30 U test que es poco sesble a la falta de ormaldad es el test de Modfcado de Levee. Para aplcarlo, prmero se calcula d j ~ j dode ~ deota la medaa del tratameto. Luego se calcula el estadístco F del aálss de u factor a los d j. S la hpótess H:... k es certa y los o so muy pequeños, el estadístco tee dstrbucó aproxmadamete F co k- y -k grados de lbertad. Esto permte aplcar u test aproxmado de la hpótess de gualdad de varazas. Rechazamos la gualdad de varazas s el estadístco toma u valor muy grade. medas<-tapply(fluor,luz.f,meda) abs.df<- abs(fluor-medas[luz.f]) summary(aov(abs.df~luz.f)) Df Sum Sq Mea Sq F value Pr(>F) luz.f Resduals Como el p-valor = 0.96 > 0.0, o rechazamos el supuesto de homoscedastcdad.

31 Normaldad A meos que hubera ua gra catdad de datos para cada vel del factor, lo acosejable es estudar los resduos obtedos a partr de la predccó que obteemos predcedo la meda de cada vel por el promedo muestral e cada caslla. Bajo los supuestos del modelo, es esperable que estos resduos sea aproxmadamete ormales y podríamos realzar u boxplot o u hstograma para teer ua dea de cómo se dstrbuye. QQ-plot Asm etrca a zquerda Colas Lvaas Normal Colas Pesadas Asmetrca a derecha Rojo=Medaa, Negro=Meda

32 Test de Sahpro-Wlk Co el estadístco de test de Shapro-Wlk y su correspodete p-valor podemos chequear la hpótess de ormaldad y podemos rechazar el supuesto de ormaldad s el p-valor que os brda es muy pequeño. E geeral, covemos tomar como cota u p-valor superor a 0.0. Esecalmete, lo que hace este test es medr cuá cerca de ua recta esta la curva que descrbe los putos grafcados e el QQ-plot.

33 QQ-plot y Test de Shapso-Wlk e uestro ejemplo qqorm(salda$res) qqle(salda$res)

34 shapro.test(salda$res) Shapro-Wlk ormalty test data: salda$res W = 0.908, p-value = 0.35 E uestro ejemplo el estadístco del test de Shapro-Wlk es y el p-valor correspodete es de 0.35, co lo cual o rechazamos el supuesto de ormaldad.

35 Test o paramétrco para comparar 3 o más muestras: test de Kruskal-Walls. Este test es ua geeralzacó del test de Wlcoxo- Ma Whtey al caso de más de muestras. Igual que el test de Ma Whtey o requere que los datos sea ormales, y el estadístco de este test o se calcula co los datos orgales, so co los ragos de los datos. Los supuestos e que se basa el test so: Los datos so por lo meos ordales, es decr los datos puede ordearse e forma crecete. Además de la depedeca etre las observacoes de ua msma muestra, supoemos depedeca etre las observacoes de las dsttas muestras. De cada ua de las k poblacoes teemos ua muestra aleatora de tamaño, es decr:

36 Muestra de la poblacó Tamaño de muestra Y, Y,..., Y Y, Y,..., Y Y k, Y k,..., Y kk k Total de observacoes = k

37 La hpótess ula a testear es H o : todas las poblacoes tee la msma dstrbucó Bajo H o, todas las observacoes provee de poblacoes détcas. S hacemos u pool co todas las observacoes Y j y las ordeamos de meor a mayor, obtedremos los ragos R j S H o es certa, las observacoes Y j provee de ua msma dstrbucó y por lo tato, todas las asgacoes de los ragos a las k muestras tee la msma chace de ocurrr. S H o es falsa, alguas muestras tederá a tomar los ragos más pequeños, metras que otras tederá a tomar los ragos más grades. El estadístco G KW test de Kruskal-Walls mde la dscrepaca etre los promedos observados de los ragos para cada tratameto R y el valor que esperaríamos s Ho fuera certa. E este test rechazamos la hpótess ula de gualdad de medas s G KW es grade.

38 El estadístco puede calcularse como G KW SSB SST dode SSB y SST so, respectvamete, la suma de cuadrados betwee y la suma de cuadrados total para la tabla de aálss de la varaza correspodete a los ragos de las observacoes. R da el p-valor usado la aproxmacó por ua dstrbucó: Esta aproxmacó es válda cuado: k o be k=3 6 para las k muestras k>3 5 para las k muestras Para el caso e que k=3 y los 5 se debe usar la tabla co los percetles de la dstrbucó exacta. Veamos u uevo ejemplo.

39 Ejemplo: FEV FEV FEV FEV FEV FEV FEV FEV FEV3 N 3 6 MEAN SD MINIMUM MEDIAN MAIMUM MAD

40 Veamos los boxplots paralelos. fev<-read.table("c:\\users\\aa\\estadstcaq\\0\\fev_claseanova.txt",header=t) fev attach(fev) trat.f<- factor(trat) plot(trat.f,fev) E este caso, como teemos sufcetes observacoes por caslla, podemos grafcar boxplots paralelos para cada cetro. Observamos alguos valores atípcos.

41 Qué resultados obtedríamos s aplcásemos el test de F a estos datos? salda<- aov(fev~trat.f) aova(salda) Aalyss of Varace Table Respose: FEV Df Sum Sq Mea Sq F value Pr(>F) trat.f Dferecas o sgfcatvas al 5%! Resduals Sgf. codes: 0 *** 0.00 ** 0.0 * Aalzamos los resduos: plot(salda$ft,salda$res) able(h=0,col="red") qqorm(salda$res) qqle(salda$res)

42 Normal Q-Q Plot Theoretcal Quatles Sample Quatles

43 Tests para chequear Normaldad e Igualdad de Varazas bartlett.test(fev,trat.f) Bartlett test of homogeety of varaces data: FEV ad trat.f Bartlett's K-squared = 3.93, df =, p-value = 0.40 medas<-tapply(fev,trat.f,meda) abs.df<- abs(fev-medas[trat.f]) summary(aov(abs.df~trat.f)) Df Sum Sq Mea Sq F value Pr(>F) trat.f Resduals shapro.test(salda$res) Shapro-Wlk ormalty test data: salda$res W = 0.984, p-value =

44 Qué resultados obtedríamos s aplcásemos el test de Kruskal-Walls a estos datos? kruskal.test(fev,trat.f) Kruskal-Walls rak sum test data: FEV ad trat.f Kruskal-Walls ch-squared = , df =, p-value = Dferecas sgfcatvas al 5%!

45 Como vemos, a partr del test de Kruskal-Walls rechazaríamos la hpótess H 0 de gualdad de las dstrbucoes co u vel de sgfcacó de Como e el caso del test de F, s rechazamos la hpótess de gualdad seguramete vamos a desear detfcar cuáles so las poblacoes que tee dstrbucó dferete. S el úmero de comparacoes es moderado podemos utlzar el método de Boferro. S deseamos comparar m dstrbucoes podríamos calcular los tervalos de cofaza para los promedos de los ragos que está dados por

46 Volvedo al ejemplo de FEV obtedríamos: lbrary(pgrmess) kruskalmc(fev,trat.f,probs=0.05) Multple comparso test after Kruskal-Walls p.value: 0.05 Comparsos obs.df crtcal.df dfferece TRUE FALSE FALSE Qué sgfca esto? MEAN HOMOGENEOUS TRAT RANK GROUPS I I I I Cocluríamos que los valores de FEV e el cetro dfere de los del cetro al vel 5%.