Pero qué hacemos cuando no se cumple la normalidad o tenemos muy pocos datos?

Transcripción

1 Capítulo : Métodos no paramétricos Los métodos presentados en los capítulos anteriores, se basaban en el conocimiento de las distribuciones muestrales de las diferencias de porcentajes o promedios, cuando las muestras provenían de una misma población. Se aceptaba entonces usar la aproximación normal, la distribución de t de Student o la distribución F de Fisher en el análisis de varianza, bajo el supuesto de que la hipótesis nula es cierta. Dado que en esos métodos se estiman los parámetros de las poblaciones de origen, esas técnicas estadísticas reciben el nombre de paramétricas. ay situaciones en que, por el escaso número de observaciones, o por el nivel de medición de las variables, no es correcto o no es posible hacer supuestos sobre las distribuciones muestrales subyacentes. En tales casos se usan los métodos no paramétricos o de distribución libre. Aquí presentaremos algunos ejemplos de pruebas no paramétricas para el caso de dos muestras independientes, para el caso de dos muestras dependientes o pareadas y para la comparación de más de dos grupos en que no son aplicables los métodos paramétricos. Las pruebas paramétricas, asumen como distribución muestral la distribución Normal, este supuesto no siempre se cumple, sin embargo recurrimos a que estos métodos paramétricos son robustos. Además estos métodos son preferidos porque tienen mayor potencia. Pero qué hacemos cuando no se cumple la normalidad o tenemos muy pocos datos? Opciones:. Si hay valores extremos y el tamaño muestral es pequeño cualquier método de inferencia es dudoso.. A veces podemos transformar los datos (log es la transformación más usada) Ejemplo: Se tienen datos sobre la emisión de monóxido de Carbono de 6 vehículos del mismo tipo (Monoxido.sav). EN C CO NOX A los investigadores les interesa calcular un intervalo de confianza para la media del monóxido de Carbono.Si analizamos el histograma adjunto, vemos que la distribución del monóxido de Carbono es sesgada a la derecha, por lo que la media no será un buen estimador del centro de la distribución y por lo tanto la estimación por intervalo de confianza tampoco será adecuada. Como solución podemos transformar la variable usando el logaritmo natural y calculamos el promedio de la nueva variable. Pero al investigador le interesa conocer el intervalo de confianza en las unidades originales de la variable, para eso convertimos a la unidad original de CO con exponencial,76,69 l = 5,57 l = 7, ). ( 98

2 Desv. típ. = 5.6 Media = 8. N = Desv. típ. =.6 Media =.89 N = Monóxido de Carbono Log(CO) Intervalo de confianza 95% para la media de CO (6,98-9,5) Intervalo de confianza 95% para la media del log CO (,76 -,69) Qué pasa con el supuesto de Normalidad? Monóxido de Carbono Log(CO) Pruebas de normalidad Kolmogorov-Smirnov a Shapiro-Wilk Estadístico gl Sig. Estadístico gl Sig * *. Este es un límite inferior de la significación verdadera. a. Corrección de la significación de Lilliefors Gráfico Q-Q normal de Monóxido de Carbono Gráfico Q-Q normal de Log(CO) Normal esperado Normal esperado Valor observado Valor observado. También existen métodos paramétricos que asumen otras distribuciones, por ejemplo para el tiempo que demora en fallar un producto se usa una distribución de Weibull (ver diagrama adjunto).

3

4 . Finalmente, existen los métodos que no asumen una distribución, también llamados de distribución libre o no paramétricos. Los métodos no paramétricos son la manera más directa de solucionar el problema de falta de normalidad. Estos métodos son muy simples de usar y están disponibles en SPSS. Pero tienen dos desventajas. Primero que tienen menos poder que las equivalentes soluciones paramétricas. También es importante distinguir que las pruebas de hipótesis no paramétricas NO contestan a la misma pregunta que las pruebas paramétricas. Por ejemplo si queremos hacer un test para docimar sobre el centro de la distribución, el test no paramétrico establece la hipótesis en términos de la mediana y el test paramétrico usa la media. Tipo Test Paramétrico Test no paramétrico Una muestra Test t simple Test del signo de rangos de Wilcoxon Muestras pareadas Test t simple Test del signo de rangos de Wilcoxon Dos muestras independientes Test t para muestras independientes Test de suma de rangos de Wilcoxon Más de dos muestras independientes ANOVA de un factor Test de Kruskal-Wallis Diseño en bloques aleatorios ANOVA con bloques Ji cuadrado de Friedman Existen dos grandes tipos de test no paramétricos, los que usan cuentas o números y los que usan rangos. En este capítulo revisaremos del test de suma de rangos de Wilcoxon y el Test de Kruskal-Wallis. Ejemplo: Se tienen dos parcelas experimentales. En una de las parcelas se sacó completamente la maleza y en la otra se dejó hasta malezas por metro cuadrado. Dañará la presencia de maleza la producción de maíz? Malezas por metro cuadrado Producción de maíz 66,7 7, 65, 76,9 58,6 76, 5, 56, ipótesis En este problema la hipótesis nula es que la maleza no afecta la producción de maíz. La hipótesis alternativa es que la producción es menor cuando hay maleza. Si estamos dispuestos a asumir que la producción de maíz es Normal, o si tenemos un tamaño muestral razonablemente grande, usamos el test t para medias independientes. Las hipótesis son: : µ = µ : µ > µ Cuando la distribución no es Normal, podemos re-escribir las hipótesis en términos de medianas: : mediana : mediana = mediana > mediana Qué tipo de test (paramétrico o no paramétrico) será el adecuado en este caso? Se define poder o potencia del test como la capacidad del test para detectar hipótesis nulas falsas. Potencia = -β

5 acemos la prueba de normalidad: YIELD WEEDS Pruebas de normalidad Kolmogorov-Smirnov a Shapiro-Wilk Estadístico gl Sig. Estadístico gl Sig a. Corrección de la significación de Lilliefors Gráfico Q-Q normal de YIELD Para WEEDS=. Gráfico Q-Q normal de YIELD Para WEEDS= Normal esperado Normal esperado Valor observado Valor observado Tenemos muy pocos datos por lo tanto será adecuado hacer un test no paramétrico. Test de suma de rangos de Wilcoxon Este es un test de rangos. El primer paso será calcular los rangos de las observaciones. Transformación a rangos Ordenamos los datos de menor a mayor: Producción 5, 56, 58,6 65, 66,7 7, 76, 76,9 Rango Pasar de los datos a sus rangos, es equivalente a transformar los datos. Los rangos retienen solamente el orden de las observaciones y no el valor numérico. Si la presencia de maleza afecta la producción de maíz esperamos que los rangos más pequeños sean de ese grupo. Podemos comparar la suma de los rangos de los dos tratamientos: Tratamiento Suma de rangos Sin maleza Con maleza n( n+ ) 8 9 = Por definición la suma de rangos de a 8 es: = 6, donde n es el número total de observaciones. Por lo tanto podemos calcular la suma en uno de los grupos y el otro tiene que ser la diferencia (6- =) Si no hay diferencia entre los tratamientos esperamos que los rangos sean la mitad en cada grupo, es decir 8. Este test fue creado por el químico Frank Wilcoxon (89-965) en 95. 5

6 Test de suma de rangos de Wilcoxon Se tiene una m.a.s de tamaño n de una población, y una segunda m.a.s de tamaño n de otra población. ay n observaciones en total, donde n = n + n. Se calcula el rango de las n observaciones. El test estadístico será la suma W de los rangos del grupo con menor suma de rangos, este será el estadístico de suma de rangos de Wilcoxon. Si las dos poblaciones tienen la misma distribución continua, entonces W tiene media: n ( n+ ) = µ W y desviación estándar: Donde n será el tamaño muestral del grupo con menor suma de rangos. σ W = n n( n + ) El test de suma de rangos de Wilcoxon rechaza la hipótesis nula de que las dos poblaciones tienen la misma distribución cuando la suma de rangos W está lejos de su media. En el ejemplo del maíz queremos docimar: : no hay diferencias en la distribución de la producción de maíz en los dos grupos versus : la producción es mayor en el tratamiento sin malezas Nuestro test estadístico W= Bajo o W tiene media: W = = 8 Valor p = ( W ) (8+ ) (8+ ) µ y desviación estándar: σ W = =, 6 P Necesitamos conocer la distribución muestral de W bajo la hipótesis nula. Existen tablas que dependen de n + n. Veamos la salida qué nos da SPSS: Estadísticos de contraste b U de Mann-Whitney W de Wilcoxon Z Sig. asintót. (bilateral) Sig. exacta [*(Sig. unilateral)] Sig. exacta (bilateral) Sig. exacta (unilateral) Probabilidad en el punto YIELD a... a. No corregidos para los empates. b. Variable de agrupación: WEEDS 6

7 La salida de SPSS nos da el valor p exacto para la distribución muestral de W. El valor p para la hipótesis unilateral es, (valor p exacto según SPSS). Si comparamos con el equivalente test paramétrico t = -,55, valor p=,7/=,855, llegamos a la conclusión similar (recuerde que las hipótesis son distintas). Prueba de muestras independientes YIELD Se han asumido varianzas iguales No se han asumido varianzas iguales Prueba de Levene para la igualdad de varianzas F Sig. t gl Sig. (bilateral) Prueba T para la igualdad de medias Diferencia de medias 95% Intervalo de confianza para la Error típ. de diferencia la diferencia Inferior Superior La aproximación Normal El estadístico de suma de rangos W se aproxima a la distribución Normal cuando n es grande. Entonces podemos formar un test z para estandarizar a W: El valor de z en el ejemplo del maíz nos da: W µ W z= σ W z 8 = =,,6 Esperamos rechazar para valores grandes de W si la hipótesis alternativa es verdadera, por lo que el valor p aproximado es: Valor p= P( Z,) =,95=,79 SPSS da el valor p exacto para W y el asintótico o aproximado que utiliza la aproximación a la Normal. Además SPSS nos entrega el estadístico U de Mann-Whitney, este es equivalente al test de suma de rangos de Wilcoxon. Empates La distribución exacta de test de Wilcoxon para suma de rangos se obtiene asumiendo que todas las observaciones tienen diferentes valores y por lo tanto su rango. En la práctica ocurre que muchas veces tenemos valores iguales. Lo que hacemos es asignar el valor promedio del rango que ocupan. Ejemplo: Observación Rango,5,5 5 6 La distribución exacta del test de Wilcoxon se aplica a datos sin empates, por lo que deberemos ajustar la desviación estándar en la presencia de empates. 7

8 Ejemplo: La comida que se vende en eventos al aire libre puede ser menos segura que la de restoranes porque se prepara en lugares no acondicionados y a menudo por voluntarios. Qué pensará la gente acerca de la seguridad de la comida en ferias? Un estudio preguntó a asistentes a este tipo de eventos: Qué tan a menudo piensa usted que se enferma la gente que consume comida en eventos al aire libre? Las respuestas posibles eran: = raramente = de vez en cuando = a menudo = muy frecuentemente 5 = siempre En total personas respondieron a la pregunta. De estos 96 eran mujeres y 7 hombres. Existe evidencia que hombres y mujeres difieren en su percepción acerca de la seguridad en la comida de ferias al aire libre? Tabla de contingencia Sexo * Respuesta Recuento Sexo F M Total Respuesta 5 Total Comparamos los porcentajes por filas: Tabla de contingencia Sexo * Respuesta % de Sexo Sexo F M Total Respuesta 5 Total 6.6% 55.% 5.5%.7%.%.%.6% 5.%.6%.7%.9%.%.6% 5.5%.8% 9.%.%.% Es la diferencia entre sexos significativa? : hombres y mujeres no difieren en sus respuestas : uno de los dos sexos da sistemáticamente mayores respuestas que el otro La hipótesis alternativa es de dos colas. Como las respuestas posibles son sólo 5 hay muchos empates. Veamos la salida de SPSS: 8

9 Respuesta Sexo F M Total Rangos Rango Suma de N promedio rangos Estadísticos de contraste a Respuesta U de Mann-Whitney 88.5 W de Wilcoxon 59.5 Z -. Sig. asintót. (bilateral). Sig. exacta (bilateral). Sig. exacta (unilateral). Probabilidad en el punto. a. Variable de agrupación: Sexo Tenemos suficiente evidencia para concluir que existen diferencias significativas entre la percepción acerca de la seguridad de la comida al aire libre entre hombres y mujeres. Como el tamaño de la muestra es grande podríamos haber usado el test paramétrico: Prueba de muestras independientes Prueba de Levene para la igualdad de varianzas Prueba T para la igualdad de medias Respuesta Se han asumido varianzas iguales No se han asumido varianzas iguales F Sig. t gl Sig. (bilateral) Diferencia de medias Error típ. de la diferencia Pero en este caso, tenemos argumentos a favor del test no paramétrico. El test paramétrico asume que las respuestas tienen valor numérico y en realidad en una escala cualitativa. Usar rangos es más apropiado en este caso. 9

10 Test de Kruskal-Wallis El test de suma de rangos de Wilcoxon sirve para comparar dos tratamientos. Ahora veremos una alternativa no paramétrica al ANOVA de un factor es decir para comparar más de dos tratamientos, que corresponde al test de Kruskal-Wallis. Ejercicio: Veamos una nueva versión del problema de las malezas. El investigador en realidad probó tipos de malezas,, y 9 por metro cuadrado. Descripción de la Producción bajo distintas condiciones de maleza: Maleza n Media Desviación típica Gráfico Q-Q normal de YIELD Para WEEDS=. Gráfico Q-Q normal de YIELD Para WEEDS= Normal esperado Normal esperado Valor observado Valor observado. Gráfico Q-Q normal de YIELD Para WEEDS=. Gráfico Q-Q normal de YIELD Para WEEDS= Normal esperado Normal esperado Valor observado Valor observado Ya analizamos que en este caso es difícil probar normalidad con tan pocos datos, por lo tanto será conveniente usar un método no paramétrico.

11 ipótesis y supuestos El test F de ANOVA responde a la hipótesis: : µ = µ =... = µ k : al menosdos mediasno son iguales. Los datos deben provenir de k poblaciones independientes, con distribución normal y con la misma desviación estándar. El test de Kruskal_Wallis es un test de rangos que reemplaza al test F de ANOVA. El supuesto acerca de la independencia de las poblaciones sigue siendo importante, pero ya no necesitamos normalidad. Asumiremos que la respuesta tiene una distribución continua en cada población. : las k distribuciones son iguales : una de ellas tiene valores sistemáticamente mayores Si todas las distribuciones tienen la misma distribución, esta hipótesis la podemos simplificar. : las k poblaciones tienen la misma mediana : no todas las medianas son iguales Recordemos la idea del ANOVA: tenemos una variación total observada de la respuesta como la suma de dos partes, una que mide la variación entre los grupos o tratamientos (suma de cuadrados entre tratamientos, SCE) y la otra que mide la variación entre las mediciones de un mismo tratamiento (suma de cuadrados dentro de los tratamientos, SCD). El test F de ANOVA rechaza la hipótesis nula de que las medias son iguales si la SCE es grande relativa a la SCD. La idea del test de Kruskal-Wallis es calcular los rangos de todas las respuestas y luego aplicar el ANOVA a los rangos en vez de las observaciones originales. Test de Kruskal-Wallis Se tienen k muestras aleatorias de tamaños n, n,...,n k. ay n observaciones en total, donde n es la suma de los n i. Se calcula el rango de las n observaciones y sea R i la suma de los rangos en el i-esima muestra o grupo. El estadístico de Kruskal-Wallis es: = k Ri n( n+ ) n i= i ( n+ ) Cuando los tamaños n i son grandes y las k poblaciones tienen la misma distribución, tiene aproximadamente una distribución de Ji-cuadrado con (k-) grados de libertad. El test de Kruskal-Wallis rechaza la hipótesis nula de que todas las poblaciones tienen la misma distribución cuando es grande. Vemos que así como el test de suma de rangos de Wilcoxon, el test de Kruskal-Wallis está basado en suma de rangos, mientras mayor sea la diferencia entre los rangos de los grupos mayor evidencia de que las respuestas son diferentes. La distribución exacta del estadístico de Kruskal-Wallis bajo la hipótesis nula depende de los tamaños muestrales n, n,...,n k, por lo tanto las tablas son terribles. El cálculo de la distribución exacta es tan complicado que los softwares generalmente usan la aproximación de χ para obtener el valor p. Veamos lo rangos para el problema de las malezas. Como antes, también tenemos que corregir cuando existen empates.

12 Revisemos los datos de las malezas: Malezas por metro Producción 66,7 7, 65, 76,9 66, 57, 66,7 6, 58,6 76, 5, 56, 9 6,8, 6,7 6, Tenemos que calcular los rangos de todos los datos ordenados. Luego calcular. En SPSS podemos calcular los rangos con: Transformar, Asignar rangos a casos Grupos Suma de Rangos R i 5,5 756,5,5,5 5, 65, 9 5, 65, Total 6 = 6(7) 756,5,5 65, 65, (7) = 7 ( 8,5) 5= 5, 56 YIELD WEEDS 9 Total Rangos N Rango promedio Estadísticos de contraste a,b YIELD Chi-cuadrado 5.57 gl Sig. asintót.. a. Prueba de Kruskal-Wallis b. Variable de agrupación: WEEDS La diferencia con el cálculo de SPSS se debe a la corrección por empates. Esta corrección hace que la aproximación de Ji cuadrado sea más precisa. Es importante hacerla si hay muchos empates. Podemos comparar este test no paramétrico con su equivalente paramétrico:

13 YIELD N = 9 WEEDS ANOVA YIELD Inter-grupos Intra-grupos Total Suma de Media cuadrados gl cuadrática F Sig Vemos que llegamos a la misma conclusión, es decir que las malezas no afectan significativamente la producción de maíz. Ustedes qué creen? Ejercicio: Se tienen datos del contenido en calorías y sodio de tipos de vienesas: cerdo, mixtas, y de ave. 8 6 CALORIAS 8 6 N = carne 7 mixto 7 ave TIPOS

14 CALORIAS carne mixto ave Total N Descriptivos Intervalo de confianza para la media al 95% Desviación Límite Media típica Error típico Límite inferior superior Mínimo Máximo Prueba de homogeneidad de varianzas CALORIAS Estadístico de Levene gl gl Sig ANOVA CALORIAS Inter-grupos Intra-grupos Total Suma de Media cuadrados gl cuadrática F Sig SD de Tukey a,b TIPOS ave carne mixto Sig. CALORIAS Subconjunto para alfa =.5 N Se muestran las medias para los grupos en los subconjuntos homogéneos. a. Usa el tamaño muestral de la media armónica = b. Los tamaños de los grupos no son iguales. Se utilizará la media armónica de los tamaños de los grupos. Los niveles de error de tipo I no están garantizados. Cómo hacemos el análisis no paramétrico?

15 CALORIAS TIPOS carne mixto ave Total Rangos N Rango promedio Estadísticos de contraste a,b CALORIAS Chi-cuadrado 5.79 gl Sig. asintót.. a. Prueba de Kruskal-Wallis b. Variable de agrupación: TIPOS Qué informamos a los consumidores de vienesas? SD de Tukey a,b TIPOS ave carne mixto Sig. RANK of CALORIAS Subconjunto para alfa =.5 N Se muestran las medias para los grupos en los subconjuntos homogéneos. a. Usa el tamaño muestral de la media armónica = b. Los tamaños de los grupos no son iguales. Se utilizará la media armónica de los tamaños de los grupos. Los niveles de error de tipo I no están garantizados. Lo que hicimos fue calcular los rangos de la variable respuesta (calorías) y luego analizamos paramétricamente la nueva variable. Esta propuesta no es absolutamente convencional y fue publicada por: Conover, W. Iman, R. (98) Rank transformation as a bridge between parametric and non parametric studies. The American Statistican, 5: -. Fisher, L. Van Belle, G. En Biostatistics, Wiley (99 ) proponen rutinariamente hacer tanto el análisis paramétrico como su equivalente no paramétrico (cuando existe) y si las conclusiones son divergentes investigar el motivo. 5

16 Correlación por rangos de Spearman * asta ahora hemos analizado la correlación mediante el coeficiente de correlación lineal r de Pearson, sin embargo existen otros coeficientes de correlación útiles, particularmente el coeficiente de correlación por rangos de Spearman (r s ). El uso de este coeficiente es apropiado cuando la escala de medida de las variables de interés no es cuantitativa sino que es ordinal. La r de Spearman es en realidad el coeficiente de correlación lineal r de Pearson, aplicado a los datos que satisfacen los requisitos de una escala ordinal. La ecuación más sencilla para el cálculo de r s cuando no existen empates, o existen pocos, con respecto al número de pares de datos (x, y) es: r s 6 = ( R( X ) R( Y )) n i n i Donde: R X ) es el rango del i-ésimo dato X y R Y ) es el rango del i-ésimo dato Y. ( i ( i Se puede mostrar que si los datos no tienen empates, la r de Pearson se reduce algebraicamente a la ecuación anterior. Ejemplo: Suponga que una gran corporación está interesada en calificar a un grupo de aspirantes a gerentes según su capacidad de liderazgo. Se contrata a dos psicólogos para realizar el trabajo. Como resultado de sus exámenes y entrevistas, cada uno de los psicólogos, de manera independiente, han clasificado a los aspirantes según su capacidad de liderazgo. Los rangos van de a, donde representa el nivel máximo de liderazgo. Los datos aparecen en la tabla. Cuál es la correlación entre las clasificaciones de los dos psicólogos? Orden de Orden de R X ) Sujeto Psicólogo i ( ( R( Y )) Psicólogo Diferencias i r s 6 5 = =,8=,88 Comparemos con la salida de SPSS: * Spearman, C. (9) "The proof and measurement of association between two things", American Journal of Psychology, 5: 7-. 6

17 Rho de Spearman PSI PSI Correlaciones Coeficiente de correlación Sig. (bilateral) N Coeficiente de correlación Sig. (bilateral) N PSI **. La correlación es significativa al nivel, (bilateral). PSI..88**...88**... PSI PSI Correlaciones Correlación de Pearson Sig. (bilateral) N Correlación de Pearson Sig. (bilateral) N **. La correlación es significativa al nivel, PSI PSI.88**...88** PSI 6 8 PSI En este caso los dos coeficientes de correlación son iguales, pero tenemos argumentos a favor de usar un método no paramétrico. 7