Experimentos Simples

Transcripción

1 Experimentos Simples: Análisis de supuestos del ANOVA 1 Experimentos Simples Análisis de supuestos del ANOVA En cada ocasión que se realice un análisis de varianza (ANOVA), rutinariamente deben examinarse los datos para determinar si estos indican alguna desviación de los supuestos que rigen dicho análisis. Por lo tanto, es recomendable realizar un análisis de las suposiciones en las que se basa el ANOVA junto con el análisis mismo. Sólo después de hacer este análisis de suposiciones y que éstas se cumplan razonablemente, se puede expresar con cierta confianza la validez de los resultados estadísticos. Todo análisis de la varianza presupone la existencia de un modelo lineal, cuyas componentes varían en función de las fuentes de variación que se desea controlar. El no cumplimiento de los supuestos, por el modelo, puede afectar tanto el nivel de significancia como la potencia de la prueba. Por lo general el error Tipo I resulta mayor que el especificado, y, como, resultado se informa de demasiadas diferencias significativas entre los tratamientos. En general podemos decir que si los supuestos se verifican sólo aproximadamente, el modelo tendrá validez, aunque existen pruebas y métodos para asegurarnos de su cumplimiento. Las herramientas principales para el diagnóstico del cumplimiento de los supuestos están basadas en el Análisis de los Residuos. Los residuos se obtienen como la diferencia entre el valor observado y el valor estimado por el modelo asociado al diseño experimental. Asimismo y como veremos existen pruebas de hipótesis especificas para verificar el cumplimiento de los supuestos. En muchos casos la desviación de los supuestos puede rectificarse por transformación de los datos originales. Cuando estas transformaciones son incapaces de adecuar los datos a los supuestos pueden utilizarse técnicas analíticas No Paramétricas. Las técnicas No Paramétricas son de cálculo más rápido y de supuestos más sencillos que las técnicas paramétricas (no requieren el cumplimiento del supuesto de normalidad). No obstante, cuando se cumplen los requisitos del análisis de la varianza, estos métodos son menos eficientes que las técnicas paramétricas. Hoy en día el uso de software estadístico son de valiosa ayuda para realizar cálculos, gráficos, etc. los que años atrás nos demandaban dedicación, concentración y sobre todo mucho tiempo. Por ello este apunte tiene la finalidad de brindarle una guía de cómo realizar el análisis de residuos y de interpretar algunas de las pruebas disponibles en el paquete estadístico Infostat para comprobar el cumplimiento de los supuestos básicos para poder realizar un análisis de la varianza (ANOVA).

2 Experimentos Simples: Análisis de supuestos del ANOVA 2 Diseño Completamente Aleatorizado (DCA) Si recordamos que el modelo lineal para un experimento simple (un solo factor) para un diseño completamente aleatorizado (DCA) es el siguiente Y = µ + + ε ij t i ij Y i j = es la observación del tratamiento i repetición j. µ = es la media general del ensayo. t i = es el efecto del tratamiento i. ε i j = es el error experimental (factores no controlados). Los supuestos básicos que fundamentan el ANOVA para este modelo los podemos resumir como: 2 ε ~ N ( 0; σ ) ij Es decir que se supone que los errores son independientes y que se encuentran normalmente distribuidos con media cero y varianzas constantes (iguales). son: Resumiendo diremos que los supuestos que corresponden a este modelo - ADITIVIDAD: Para cada diseño experimental existe un modelo matemático, denominado modelo lineal aditivo. Para este caso, este modelo expresa que el valor de cualquier unidad experimental está compuesta por la media general, más el efecto de tratamiento y más el termino de error característico de cada dato. En este modelo los términos se suman, si esto no ocurre así, el ANOVA nos puede llevar a conclusiones y toma de decisiones incorrectas. - INDEPENDENCIA: Los errores (ε ij ) son independientes (no presentan correlación). - HOMOSCEDASTICIDAD: Los errores (ε ij ) tienen la misma varianza (varianza constante) σ 2. - NORMALIDAD: Los errores (ε ij ) tienen distribución Normal. En el caso de este diseño, y como el valor estimado para una observación dada es la media del tratamiento de esa observación, el residuo para la repetición j-ésima del tratamiento i-ésimo se calcula como: e = y ij ij yˆ ij = yij yi.

3 Experimentos Simples: Análisis de supuestos del ANOVA 3 Suposición de Aditividad Como lo expresáramos los factores que participan en todo modelo de ANOVA deben ser aditivos. La falta de aditividad entre los factores puede ocurrir por un mal diseño del experimento, por ejemplo se prueban diferentes dosis de fertilizante, pero cada dosis se prueba en una especie de planta diferente, resultando una interacción entre dosis de fertilizante y especie que rompe el modelo aditivo. Las causas principales de no aditividad, son: 1) Los efectos son multiplicativos 2) Pueden existir interacciones, pero los términos que representan tales efectos no estar representados en el modelo aditivo lineal. 3) Pueden haberse tomado observaciones equivocadas. La Prueba recomendada para investigar la falta de aditividad del modelo es la Prueba de aditividad de Tukey, que desafortunademente no está disponible en este sofware. Cuando los efectos son multiplicativos, la transformación logarítmica de los datos originales exhibe efectos aditivos. Suposición de Independencia Para verificar este supuesto graficar los residuos contra el orden del tiempo en el que se recopilaron los datos es útil para detectar alguna correlación entre ellos. Una tendencia a tener secuencias con residuos positivos y negativos indica la falta de independencia. (Ver gráfico 1) Dentro de los test que pueden usarse para determinar si una secuencia ordenada de observaciones es aleatoria (independiente) se dispone de los contrastes de rachas y autocorrelación. La asignación de los tratamientos al azar a las parcelas experimentales aseguraría la independencia de los errores, como la aleatorización en la toma de los datos. No hay ninguna adaptación ni transformación para superar la falta de independencia de los errores. Por lo tanto debe cambiarse el diseño del experimento o la forma en que se ha realizado. La validez de la prueba de F puede resultar gravemente perjudicada por el no cumplimiento de este supuesto. Suposición de Homogeneidad de varianzas (Homocedasticidad) En este caso graficar los residuos contra el orden del tiempo en el que se recopilaron los datos es también útil para detectar falta de homogeneidad de varianzas (Heteroscedasticidad). Una gráfica que presente una mayor dispersión en un extremo que el otro es un indicio de falta de homogeneidad de varianzas. (ver gráfico 1)

4 Experimentos Simples: Análisis de supuestos del ANOVA 4 44 Residual Plot for Variable residual row number Gráfico 1 Otra gráfica que permite analizar este supuesto consiste en gráficar los residuos contra los valores estimados ( ŷ ij ). En este caso está gráfica no debe revelar ningún patrón obvio. Si la gráfica muestra una forma de embudo que se ensancha indica la falta de homogeneidad de las varianzas. (Ver gráfico 2) Residual Plot for Variable residual predicted Variable Gráfico 2 Como las varianzas varían como funciones de las medias, una gráfica de las medias con las varianzas o con los desvíos estándar pueden ser útiles como un examen rápido para comprobar la homoscedasticidad. Estás gráficas no deben indicar ninguna correlación entre los estadísticos (media varianza o desvió estándar) caso contrario es probable que se este violando el supuesto de homogeneidad de varianzas. (ver gráfico 3) Plot of SIGMAS vs MEANS SIGMAS MEANS Gráfico 3

5 Experimentos Simples: Análisis de supuestos del ANOVA 5 También gráficar los residuos contra los niveles de los factores nos pueden ayudar a detectar heteroscedasticidad. En estás gráficas si los niveles de un factor presentan una dispersión que no es constante es un indicio de falta de homoscedasticidad. (ver gráfico 4) 44 Residual Plot for Variable residual Tratamiento Gráfico 4 Dentro de las pruebas empleadas para contrastar la Homogeneidad de Varianzas se encuentran el test de Bartlett, el test de Cochran, el test de Hartley, el test de Levene, entre otras, etc. La mayoría de estas pruebas son muy sensibles a la falta de normalidad salvo la prueba de Levene, que consiste en realizar un análisis de varianza usando como variable dependiente el valor absoluto de los residuos. La falta de homogeneidad se puede deber a una respuesta muy variable en una de las muestras, o que se haya obtenido bajo condiciones menos estandarizadas que las otras, o bien que la escala de medida de los datos no es la correcta. Si la suposición de homogeneidad no se cumple, la prueba de F es afectada solo ligeramente en los modelos balanceados (igual número de observaciones por tratamiento) de efectos fijos. Sin embargo, el problema es más serio si el diseño está desbalanceado o si una varianza es mucho mayor que las otras. En un modelo de efectos aleatorios, la desigualdad en las varianzas del error puede perturbar significativamente las inferencias sobre los componentes de varianza, aunque se use un diseño balanceado. La adaptación usual para tratar con varianzas heterogéneas consiste en aplicar una transformación a los datos para igualar varianzas y volver a aplicar el análisis de la varianza a los datos transformados. En este caso las conclusiones obtenidas se aplican a los datos transformados y no a los datos originales. Sin embargo, las medias, deben presentarse en los informes y publicaciones en las unidades originales. Las transformaciones aplicadas para igualar varianzas en la mayoría de los casos también acercan los datos a una distribución normal.

6 Experimentos Simples: Análisis de supuestos del ANOVA 6 Suposición de Normalidad Una forma para comprobar la suposición de normalidad consiste en hacer un histograma de los residuos. Si los errores son N ~ (0, σ 2 ), está gráfica debe ser semejante a la de una muestra extraída de una distribución normal centrada en cero (ver gráfico 5). Cuando trabajamos con muestras pequeñas suelen aparecer fluctuaciones considerables, por lo que una desviación moderada aparente de la normalidad no necesariamente implica una violación del supuesto de normalidad. 8 Histogram for RESIDUALS frequency RESIDUALS Gráfico 5 Otro procedimiento útil consiste en construir una gráfica de probabilidad normal acumulada de los residuos. Si los errores tienen distribución normal está gráfica parecerá una línea recta (ver gráfico 6), desviaciones hacia abajo o hacia arriba de la recta tanto del lado izquierdo como del derecho del cero indicará desviaciones de la normal. Por Ej.: una tendencia hacia abajo del lado izquierdo implicará que el extremo izquierdo de la distribución del error es más reducido que lo esperado en una distribución normal; en otras palabras, que los residuos negativos no son tan grandes (en valor absoluto) como se esperaba. Normal Probability Plot for RESIDUALS percentage RESIDUALS Gráfico 6

7 Experimentos Simples: Análisis de supuestos del ANOVA 7 Gráfico de similar interpretación a este último es el Quantile Quantile Plot Normal (Q-Q plot normal), que gráfica los cuantiles muestrales versus los cuantiles teóricos tomando los residuales como datos. Si la distribución de los residuos son normales y no hay otros violaciones a los supuestos, estos se alinean sobre una recta a 45º. (ver gráfico 7) Quantile-Quantile Plot 44 RESIDUALS Normal distribution Gráfico 7 También existen una serie de pruebas para contrastar la Normalidad de los datos. El Test de Chi-Cuadrado, test W de Shapiro-Wilks, Kolmogorov-Smirnov, son algunas de las pruebas de las que se dispone para verificar el cumplimiento de este supuesto. Las consecuencias de la no normalidad de los errores no son demasiado graves. Solamente una distribución muy sesgada tendría un marcado efecto sobre las pruebas de significancia. Las pruebas de significancia aplicadas (t o F) no experimentan cambios significativos en su validez si el supuesto de normalidad se verifica parcialmente para el caso de efectos fijos, no así, si estamos trabajando con efectos aleatorios los que si se ven más afectados por la falta de normalidad. Cuando la distribución de los errores se aparta de la Normalidad, podemos superar este inconveniente realizando una transformación de la variable. Si las transformaciones no pueden hacer frente a la no Normalidad de los datos, puede ser necesario recurrir a los métodos no paramétricos.

8 Experimentos Simples: Análisis de supuestos del ANOVA 8 Diseño en Bloques Completos al Azar (DBCA) En este diseño además de los supuestos mencionados para un diseño completamente aleatorizado se debe verificar el cumplimiento que: Los efectos de los tratamientos y los bloques sean aditivos (Supuesto de Aditividad), es decir, la no interacción entre ellos, y Que la variabilidad de los errores además de ser la misma para todos los tratamientos lo sea también para todos los bloques. Todos los procedimientos de verificación de los supuestos vistos para el diseño completamente aleatorizado son totalmente aplicables a estos diseños, solo debemos contemplar que los residuos en el caso de un diseño en bloques completos al azar se calculan como: e ˆ ij = yij yij = yij yi. y. j + y.. Suposición de Aditividad bloque-tratamiento Este supuesto plantea la aditividad bloque-tratamiento, es decir, los bloques tienen un efecto aditivo sobre todos los tratamientos y no interactúan con estos. Esto significa que las diferencias entre las medias de los tratamientos se mantienen constantes en todos los bloques. Por ejemplo, si en un ensayo sobre bovinos donde se comparan varias dietas (A, B, C), se pretende usar la raza como factor de bloqueo, no debiera haber una raza donde la dieta A produce mayor engorde promedio que las restantes, y, otra raza donde la dieta B sea la que proporcione el mayor engorde. Si éste es el caso, la raza no debe emplearse como factor de bloqueo, sino como otro factor, por ejemplo, en un arreglo factorial de los tratamientos. A modo de ejemplo, supongamos un diseño con 2 bloques y 2 tratamientos (A y B), donde se presentan los siguientes casos: Caso I II Bloque Tratamiento A Tratamiento B El Caso I es aditivo, pues la diferencia entre el tratamiento A y B (30) se mantiene igual en ambos bloques; en cambio no sucede lo mismo en el Caso II, la diferencia se incrementa de 20 a 40 al pasar del bloque 1 al bloque 2. Si graficamos los casos vistos anteriormente tendríamos:

9 Experimentos Simples: Análisis de supuestos del ANOVA 9 Caso I - Modelo aditivo Caso II - Modelo no aditivo Bloque 1 Bloque 2 Trat. 1 Trat Bloque 1 Bloque 2 Trat. 1 Trat. 2 La existencia de cruzamientos o falta de paralelismo de los perfiles graficados sugiere falta de aditividad o presencia de interacción bloque-tratamiento. Como vemos el modelo aditivo muestra paralelismo, en cambio el modelo no aditivo muestra falta de paralelismo. Una falta de paralelismo ligera no es indicadora de falta de aditividad. También se puede acudir a la prueba de hipótesis de falta de aditividad de Tukey, que plantea un modelo multiplicativo lineal para la interacción bloque por tratamiento. Residuos atípicos La presencia de residuos atípicos o también llamados inusitados pueden distorsionar seriamente el análisis de la varianza como el cumplimiento de los supuestos, por lo que cuando se detecta algún residuo de esta clase, debe realizarse una cuidadosa investigación. La presencia de un residuo de este tipo no debe descartarse o eliminarse sino todo lo contrario debe ser analizado en profundidad para detectar el por que de su presencia, ya que su presencia puede ser un valor particular deseable por lo que este dato puede proporcionar más información que el resto de los datos. Solo se podrá evaluar su eliminación si existe una base no estadística razonable para hacerlo. Una manera informal para detectar residuos atípicos es analizar los residuos estandarizados: dij = eij CME Si los errores son N ~ (0, σ 2 ), los residuos estandarizados deben ser aproximadamente normales con media cero y varianza igual a uno. Por lo tanto, aproximadamente el 99% de los residuos estandarizados deben encontrarse entre los limites ± 3. Un residuo a una distancia mayor que 3 o 4 desviaciones estándar del origen es potencialmente un residuo atípico o distanciado.

10 Experimentos Simples: Análisis de supuestos del ANOVA 10 Transformaciones Las transformaciones más usadas son: la logarítmica, raíz cuadrada, arco seno (conocida también como angular), etc. Un punto importante de la selección de la transformación apropiada, es el conocimiento que el experimentador tiene sobre la distribución teórica de las observaciones, de forma tal de usar esa información para elegir la transformación. Transformación logarítmica: Se aplicará siempre que la media este correlacionada positivamente con la varianza. Las distribuciones de frecuencias asimétrica hacia la izquierda se hacen a veces más simétricas por esta transformación. Transformación raíz cuadrada ( y ) : Si las observaciones se aproximan a una distribución de Poisson y si recordamos que en esta distribución la varianza es igual a la media, por consiguiente la media y la varianza no pueden ser independientes, pero su transformación en raíz cuadrada aproximara su distribución a una normal y las varianzas se harán generalmente independientes de las medias. Por ejemplo: cuando los datos son recuentos, como de insectos o de células son casos típicos que requieren una transformación raíz cuadrada. Cuando los recuentos incluyen valores ceros o cercanos, es conveniente utilizar la transformación y + 0, 5 o y + 1 Transformación arco seno : Esta transformación es apropiada si las variables son en porcentaje o proporciones (Distribución Binomial). Usando la transformación: Z ij = arc sen (%) podemos aproximar la variable a la normalidad y evitar que la varianzas estén en función de la media. Si los porcentajes en los datos originales caen entre 30% y 70% generalmente no es necesario aplicar la transformación arco seno.

11 Experimentos Simples: Análisis de supuestos del ANOVA 11 Ejercicios: 1) Una empresa fabrica 7 tipos de alambre de acero con distinta composición. Para conocer si hay diferencias en la resistencia media de la tensión se han realizado pruebas sobre 5 rollos, seleccionados al azar, de cada tipo de alambre. Los datos en kilos necesarios para la rotura se dan a continuación: Empresas A B C D E F G Responder: a) Cual es el diseño utilizado en el experimento? Cuantos tratamientos y repeticiones tiene?. b) Explicitar el modelo lineal del experimento indicando el significado de cada término. c) Verificar a través del análisis de residuos y de las pruebas respectivas el supuesto de homoscedasticidad de los errores. d) Realizar el análisis de la varianza. Expresar la hipótesis a probar y, si corresponde, utilizar alguna técnica de comparaciones múltiples. e) Conclusiones. 2) Se realizó un ensayo para probar la efectividad de 5 herbicidas en el control de plantas de amapola en un cultivo de Avena. El campo donde se monto el ensayo presentaba una pendiente N - S considerable. La variable respuesta o medida fue el número de plantas de amapola por parcela. HERBICIDAS REPETICION A B C D E I II III IV Responder: a) Que diseño fue utilizado en el experimento?. Por que? b) Explicitar el modelo lineal del experimento indicando el significado de cada termino. c) Verificar a través del análisis de residuos el supuesto de homoscedasticidad de los errores. d) Analizar gráficamente y a través de las pruebas respectivas el supuesto de Normalidad de los errores. e) Considera necesaria una transformación de los datos?. Por que? f) Realizar el análisis de la varianza. Expresar la hipótesis a probar y, si corresponde, utilizar alguna técnica de comparaciones múltiples. g) Conclusiones. 3) El porcentaje de humedad relativa (HR) es determinante para el ataque de hongos en semillas o granos. Para evaluar la susceptibilidad de los granos de trigo al ataque de hongos se realizó un ensayo en cámaras de cría con cinco porcentajes de HR, registrándose el número de granos atacados en grupos de 100 granos.

12 Experimentos Simples: Análisis de supuestos del ANOVA 12 Porcentajes de HR Número de granos atacados Responder: a) Cual es el diseño utilizado en el experimento? Cuantos tratamientos y repeticiones tiene? b) Analizar gráficamente y a través de las pruebas respectivas el supuesto de Normalidad de los errores. c) Considera necesaria una transformación de los datos?. Por que?. d) Realizar el análisis de la varianza con los datos originales y con los datos transformados. Expresar la hipótesis a probar y, si corresponde, utilizar alguna técnica de comparaciones múltiples. e) Comparar los resultados del ANOVA con los datos sin transformar y transformados. 4) Los datos corresponden a porcentajes de mazorcas de maíz no comercializables, siendo los tratamientos un testigo (T) y tres métodos (A, B y C) mecánicos para proteger contra daños de larvas. El diseño utilizado es un diseño en Bloques Completos Aleatorizados. Bloques Tratamientos I II III IV V VI T A B C Responder: a) Verificar a través del análisis de residuos el supuesto de homoscedasticidad de los errores. b) Analizar gráficamente y a través de las pruebas respectivas el supuesto de Normalidad de los errores. c) Considera necesaria una transformación de los datos?. Por que?. d) Realizar el análisis de la varianza con los datos originales y con los datos transformados. Expresar la hipótesis a probar y, si corresponde, utilizar alguna técnica de comparaciones múltiples. e) Comparar los resultados del ANOVA con los datos sin transformar y transformados. 5) En base a los datos del ejercicio 1, si consideramos que los 7 alambres corresponden a una muestra seleccionada al azar de un gran número de alambres de acero que produce la empresa. Responder: a) En que se diferencia el factor alambre con respecto al ejercicio1?. Justifique su respuesta. b) Escribir el modelo de componentes de varianza. Identificar cada término. c) Plantear las hipótesis que se ponen a prueba en el ANOVA. d) A que componente le atribuye la mayor variabilidad?.

13 Experimentos Simples: Análisis de supuestos del ANOVA 13 Uso de Infostat ANOVA: Experimentos Simples Como primera medida debemos grabar los residuos y los valores estimados (predichos) por el modelo en la hoja de entrada de datos. Para ello cuando se realiza el ANOVA, en la ventana análisis de la varianza en el sector inferior derecho aparece la opción de guardar, para ello tildamos residuos, predichos y Abs(residuos). Luego de aceptar automáticamente se añade al archivo de datos, las nuevas columnas conteniendo las opciones tildadas. En este caso: RDUO_ nombre de la variable, RABS_ nombre de la variable y PRED_ nombre de la variable. HOMOCESDASTICIDAD - Procedimientos gráficos para analizar la homocedasticidad de los errores a) Residuos versus niveles del factor b) Residuos versus valores predichos Para obtener estos gráficos debemos seleccionar del menú GRAFICOS la opción diagrama de dispersión. En la ventana abierta se ingresa como variable del eje y a los residuos y como variable del eje x a los tratamientos para obtener el primer grafico. Para el segundo diagrama en variable del eje x se ingresa a los valores predichos. - Prueba para contrastar la homoscedasticidad de los errores Prueba de Levene Si bien el test no esta disponible como tal en este sofware, se contruye realizando un análisis de la varianza, en el que la variable respuesta será el valor absoluto de los residuos. NORMALIDAD - Procedimientos gráficos para analizar la normalidad de los errores a) Histograma b) Q-Q plot Para obtener ambos gráficos se debe seleccionar del menú GRAFICOS de la barra de herramientas las opciones: Histograma y Q-Q plot usando como variable a los residuos.

14 Experimentos Simples: Análisis de supuestos del ANOVA 14 - Pruebas para contrastar la normalidad de los errores a) Test W de Shapiro-Wilks Para realizar esta prueba, seleccionar del menú ESTADISTICAS, inferencia basada en una muestra, luego prueba de normalidad (Shapiro-Wilks modificado). Se abre una ventana denominada Shapiro-Wilks, se ingresa el residuo como variable, luego aceptar. INDEPENDENCIA - Procedimientos gráficos para analizar la independencia de los errores a) Residuos versus orden de las observaciones Para realizar este grafico seleccionar del menú GRAFICOS, diagrama de dispersión. Introducir en variable del eje y los residuos y en variable del eje x caso. ADITIVIDAD BLOQUE-TRATAMIENTO - Procedimiento gráfico Para explorar este supuesto puede ser de utilidad realizar un gráfico de puntos colocando los valores de la variable (o los residuos) en el eje Y y los Bloques en el eje X y particionar por tratamiento. Utilizar conectores entre los puntos del gráfico que provengan de un mismo tratamiento a fin de mejorar la interpretación. - Transformaciones con Infostat Para realizar transformaciones de datos con Infostat debemos seleccionar transformar en el menú que se despliega al hacer clic con el botón derecho del mouse en la planilla de datos. Se abrirá una ventana llamada transformaciones. En variables a transformar ingresamos la variable que deseamos transformar. Aparece una nueva ventana en la que seleccionamos la transformación que le aplicaremos a nuestra variable. Cualquiera sea la transformación elegida InfoStat generará nuevas columnas conteniendo las variables transformadas, a las que nombrará automáticamente con el nombre de la transformación y después de un subguión el nombre de la variable original.