Conceptos básicos de inferencia estadística (III): Inferencia no paramétrica: Contrastes de bondad de ajuste.

Transcripción

1 Conceptos básicos de inferencia estadística (III): Inferencia no paramétrica: Contrastes de bondad de ajuste. Tema 1 (III) Estadística 2 Curso 08/09 Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 1 / 33

2 Inferencia no paramétrica Inferencia no paramétrica Objetivos En inferencia estadística es habitual partir de una hipótesis de la forma: Suponemos X 1,..., X n m.a.s. de X Hipótesis estructurales (X i i.i.d. (X )): Independencia (aleatoriedad) Homogeneidad (misma distribución) Adicionalmente, en inferencia estadística paramétrica, se supone un modelo paramétrico: La distribución de X es de la forma F θ (x) (siendo θ un parámetro desconocido) Distribución paramétrica (la distribución se ajusta a un modelo paramétrico) Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 2 / 33

3 Inferencia no paramétrica Inferencia no paramétrica Objetivos Objetivos Desarrollar herramientas que permitan veri car el grado de cumplimiento de las hipótesis anteriores: Métodos descriptivos (grá cos) Contrastes de bondad de ajuste Contrastes de aleatoriedad Desarrollar procedimientos alternativos válidos cuando estas hipótesis no se veri can (métodos de distribución libre). Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 3 / 33

4 de bondad de ajuste Contrastes de bondad de ajuste Introducción A partir de X 1,..., X n m.a.s. de X con función de distribución F, interesa realizar un contraste de la forma: H0 : F = F 0 Por ejemplo: H 1 : F 6= F 0 H0 : F = N(0, 1) H 1 : F 6= N(0, 1) H 0 simple H 0 especi ca por completo la distribución de X H0 : F es normal N(µ, σ 2 ) H 1 : F no es normal H 0 compuesta H 0 sólo especi ca el tipo de distribución Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 4 / 33

5 de bondad de ajuste Introducción Métodos Grá cos Histograma Diagrama de cajas Función de distribución empírica Grá cos P-P y Q-Q Grá co de tallo y hojas Densidad suavizada... Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 5 / 33

6 de bondad de ajuste Contrastes de hipótesis Introducción Generales: H0 : F = F 0 Chi-cuadrado de Pearson Kolmogorov-Smirnov H 1 : F 6= F 0 Especí cos de normalidad: H0 : F = N(µ, σ 2 ) H 1 : F 6= N(µ, σ 2 ) Kolmogorov-Smirnov-Lilliefors Shapiro-Wilks Asimetría y apuntamiento... Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 6 / 33

7 Métodos Grá cos Histograma Métodos Grá cos Histograma Se agrupan los datos en intervalos I k = [L k 1, L k ). A cada intervalo se le asocia un valor (altura) proporcional a la frecuencia de dicho intervalo: ˆf n (x) = f i L k L k 1 = n i n (L k L k 1 ) Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 7 / 33

8 Métodos Grá cos Grá co de cajas Grá co de cajas (Box-plot) Útiles para resumir un conjunto de datos (variables cuantitativas con un amplio rango de valores), permiten visualizar la distribución y la dispersión de los datos y también detectar valores extraños (outliers). Son muy utilizados en el análisis exploratorio de datos y especialmente útiles para comparar distribuciones. NOTA: Normalidad ) simetría Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 8 / 33

9 Métodos Grá cos Ejemplos Ejemplos Distribución normal Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 9 / 33

10 Métodos Grá cos Ejemplos Ejemplos Distribución asimétrica Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 10 / 33

11 Métodos Grá cos Función de distribución empírica Función de distribución empírica La función de distribución empírica F n asigna a cada número real x la frecuencia relativa de observaciones menores o iguales que x. Se ordena la muestra X (1) X (2) X (n) y: 8 < 0 si x < X (1) i F n (x) = : n si X (i) x < X (i+1) 1 si X (n) x Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 11 / 33

12 Grá co P-P Métodos Grá cos Grá cos P-P y Q-Q Gra co de dispersión: f(f n (x i ), F 0 (x i )) : i = 1,, ng siendo F n la FD empírica y F 0 la FD bajo H 0. Si H 0 es cierta, la nube de puntos estará en torno a la recta y = x (probabilidades observadas próximas a las esperadas bajo H 0 ). NOTA: Si H 0 : F = N(µ, σ 2 ), F 0 FD de N( ˆµ, ˆσ 2 ). Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 12 / 33

13 Grá co Q-Q Métodos Grá cos Grá cos P-P y Q-Q Equivalente al anterior pero en la escala de la variable (cuantiles): o nx (i), q i : i = 1,, n siendo x (i) los cuantiles observados y q i = F 1 0 (p i ) los esperados bajo H 0. NOTA: Típicamente n o (i 0.5) p i = n : i = 1,, n Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 13 / 33

14 Contraste chi-cuadrado de Pearson Contraste chi-cuadrado de Pearson Contraste de bondad de ajuste: H0 : F = F 0 H 1 : F 6= F 0 Agrupamos los datos en k clases: C 1,, C k Bajo H 0 cada clase tendrá asociada una probabilidad p i = P (X 2 C i ) Clases Probabilidades General Discreta Continua H 0 simple H 0 compuesta C 1 x 1 [L 0, L 1 ) p 1 ˆp C k x k [L k 1, L k ) p k ˆp k i p i = 1 i ˆp i = 1 H0 : Las probabilidades son correctas Contraste a realizar: H 1 : Las probabilidades no son correctas Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 14 / 33

15 Contraste chi-cuadrado de Pearson Si H 0 es cierta entonces f i p i (f i frecuencia relativa de la clase C i ), o equivalentemente las frecuencias observadas: n i = n f i deberían ser próximas a las esperadas bajo H 0 : e i = n p i Sugiriendo el estadístico del contraste: siendo: χ 2 = k (n i e i ) 2 i=1 e i aprox. χ 2 k r 1, si H 0 cierta k = número de clases r = número de parámetros estimados (para obtener las p i ). Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 15 / 33

16 Contraste chi-cuadrado de Pearson (n Clases n i observadas p i bajo H 0 e i bajo H i e i ) 2 0 e i (n C 1 n 1 p 1 e 1 e 1 ) (n C k n k p k e k e k ) 2 k Total i n i = n i p i = 1 i e i = n χ 2 = k i=1 e 1 e k (n i e i ) 2 e i Cuando H 0 es cierta el estadístico tiende a tomar valores pequeños y grandes cuando es falsa. Rechazamos H 0, para un nivel de signi cación α, si: k (n i e i ) 2 χ 2 k r 1,1 α i=1 e i Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 16 / 33

17 Contraste chi-cuadrado de Pearson Distribución bajo H 0 2 k r 1 2 k r 1;1 Æ Si realizamos el contraste a partir del p-valor o nivel crítico:! p = P χ 2 k k r 1 (n i e i ) 2 i=1 e i rechazaremos H 0 si p α (y cuanto menor sea con mayor seguridad la rechazaremos) y aceptaremos H 0 si p > α (con mayor seguridad cuanto mayor sea). Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 17 / 33

18 Condiciones necesarias para la validez del test Condiciones necesarias para la validez del test Para que la aproximación χ 2 de la distribución del estadístico del contraste sea válida: El tamaño muestral debe ser su cientemente grande (p.e. n > 30). La muestra debe ser una muestra aleatoria simple. En caso de que haya que estimar parámetros, los parámetros deben estimarse por el procedimiento de máxima verosimilitud. Las frecuencias esperadas e i = n p i deberían ser todas 5. Si la frecuencia esperada de alguna clase es < 5, se agrupa con otra clase (o con varias si no fuese su ciente con una) para obtener una frecuencia esperada 5. Cuando la variable es nominal (no hay una ordenación lógica) se suele agrupar con la(s) que tiene(n) menor valor de e i. Si la variable es ordinal (o contínua) debe juntarse la que causó el problema con una de las adyacentes. Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 18 / 33

19 Condiciones necesarias para la validez del test Si la variable de interés es continua, una forma de garantizar que e i 5 consiste en tomar un número de intervalos igual al mayor valor: y de forma que sean equiprobables: k n/5 p i = 1/k Por ejemplo en el caso de una normal estandar consideraríamos los puntos críticos z i /k Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 19 / 33

20 Ejemplo test chi-cuadrado Ejemplo La siguiente tabla muestra los fallos de tres servidores web durante un año: Servidor Total N o de fallos A partir de estos datos, con un nivel de signi cación α = 0.05, podemos a rmar que los tres servidores tienen la misma probabilidad de fallar? Hipótesis del contraste: H0 : p 1 = p 2 = p 3 = 1 3 H 1 : p i 6= p j para algún i, j Estadístico del contraste: χ 2 = k (n i e i ) 2 i=1 e i k = número de clases = 3 r = número de parámetros estimados = 0 aprox. χ 2 k r 1, si H 0 cierta Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 20 / 33

21 Ejemplo test chi-cuadrado Regla de decisión: rechazamos H 0 si: Realización del contraste: χ 2 χ 2 2,0.95 = 5.99 (n Categoría n i observadas p i bajo H 0 e i bajo H i e i ) 2 0 e i 1 8 1/ / / Total χ 2 = Como < 5.99 ) aceptamos que los tres servidores tienen la misma probabilidad de fallo. Cálculo del p-valor: p = P χ = > 0.1 (tablas) como p α aceptamos claramente H 0. Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 21 / 33

22 Contraste de Kolmogorov-Smirnov Contraste de Kolmogorov-Smirnov Contraste de bondad de ajuste de distribuciones continuas. Se basa en comparar la FD bajo H 0 (F 0 ) con la FD empírica (F n ): D n = sup jf n (x) = max i=1,,n F 0 (x)j, x n jf n (X (i) ) F 0 (X (i) )j, jf n (X (i 1) ) F 0 (X (i) )j o NOTA: F n X (i) = i n Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 22 / 33

23 Contraste de Kolmogorov-Smirnov i D n = max F 0 (X 1in n (i) ), F 0 (X (i) ) = max D + 1in n,i, D n,i i 1 n Si H 0 es simple y F 0 es continua, la distribución del estadístico D n bajo H 0 no depende F 0. Esta distribución está tabulada (para tamaños muestrales grandes se utiliza la aproximación asintótica). Se rechaza H 0 si: D n D KS n,1 α Si H 0 es compuesta, los parámetros desconocidos se estiman por máxima verosimilitud y se trabaja con ˆF 0, aunque los cuantiles de la distribución de D n pueden ser demasiado conservativos (puede ser preferible aproximarlos por simulación). Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 23 / 33

24 Ejemplo test KS Ejemplo (problema 2.4) X = "tiempo de funcionamiento (en cientos de horas) de cierto tipo de impresoras antes de la primera avería" Se ha observado una muestra de diez impresoras: Contrastar si la distribución de X es exponencial: f (x) = λe λx si x > 0 F (x) = P (X x) = 1 e λx si x > 0 Se estima el parámetro λ = 1 E (X ), ˆλ = 1 x = = Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 24 / 33

25 Ejemplo test KS Se calcula la tabla del contraste K-S: ˆF 0 x (i) F n x (i x (i) 1) F n x (i) D n,i ˆD n = y p = P (D n 0.201) = 0.81 > 0.2 (tablas) ) Se acepta la hipótesis de que las observaciones siguen una distribución exponencial. Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 25 / 33

26 Contraste de Kolmogorov-Smirnov-Lilliefors Contraste de Kolmogorov-Smirnov-Lilliefors Contraste de normalidad, H 0 : F = N(µ, σ 2 ), empleando el estadístico D n anterior. Los parámetros se estiman por máxima verosimilitud y ˆF 0 = Φ ((x x)/s) siendo Φ (z) la FD de una N(0, 1). El estadístico del contraste es: D n = sup jf n (x) x x Φ s x j Esta distribución está también tabulada. Se rechaza H 0 si: D n D KSL n,1 α Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 26 / 33

27 Ejemplo test KSL Ejemplo (problema 2.4) X = "tiempo de funcionamiento (en cientos de horas) de cierto tipo de impresoras antes de la primera avería" Se ha observado una muestra de diez impresoras: Contrastar si la distribución de X es normal: H0 : X N(µ, σ 2 ) H 1 : X N(µ, σ 2 ) Se estiman los parámetros µ y σ: ˆµ = x = ˆσ = s = Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 27 / 33

28 Ejemplo test KSL Se calcula la tabla del contraste K-S-L: x (i) z (i) ˆF 0 x (i) F n x (i z (i) = x (i) x s = Φ = i 1 n 1) F n x (i) = i n D n,i ˆD n = y p = P D KSL n = ' 0.2 (tablas, 0.217) ) Se acepta la hipótesis de que las observaciones siguen una distribución normal. Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 28 / 33

29 Contraste de simetría Contrastes Contraste de simetría Coe ciente de asimetría: Bajo la hipótesis de normalidad CA CA = n i=1(x i x) 3 ns 3 aprox. N(0, 6 n ) Coe ciente de asimetría estandarizado: r n CAS = 6 CA N(0, 1). aprox. Se rechaza la hipótesis de simetría si: jcasj Z 1 α 2 Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 29 / 33

30 Ejemplo (problema 2.4) Contrastes Ejemplo test simetría X = "tiempo de funcionamiento (en cientos de horas) de cierto tipo de impresoras antes de la primera avería" Se ha observado una muestra de diez impresoras: CA = n i=1 (x i x ) 3 = ns q 3 6 ˆσ (CA) = 10 = CAS = ˆσ(CA) CA = = R.A. = ( 1.96, 1.96) p = 2 P (Z j0.828j) ' = Como p α aceptamos (claramente) la hipótesis nula de que la distribución de los datos es simétrica Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 30 / 33

31 Contraste de apuntamiento Contraste de apuntamiento Coe ciente de apuntamiento o curtosis: Bajo la hipótesis de normalidad CAp CAp = n i=1(x i x) 4 ns 4 3 N(0, 24 aprox. n ) Coe ciente de apuntamiento estandarizado: r n CApS = 24 CAp N(0, 1) aprox. Se rechaza la hipótesis de curtosis nula si: jcapsj Z 1 α 2 Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 31 / 33

32 Ejemplo (problema 2.4) Contrastes Ejemplo test apuntamiento X = "tiempo de funcionamiento (en cientos de horas) de cierto tipo de impresoras antes de la primera avería" Se ha observado una muestra de diez impresoras: CAp = q 24 ˆσ (CAp) = 10 = CApS = CAp ˆσ(CAp) = = R.A. = ( 1.96, 1.96) p = 2 P (Z j 0.902j) ' = Como p > α = 0.05 aceptamos (claramente) la hipótesis nula de que la distribución de los datos tiene curtosis nula. Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 32 / 33

33 Transformaciones para corregir la falta de normalidad Transformaciones para corregir la falta de normalidad Si hay falta de normalidad, la solución a tomar depende del tipo de distribución que muestran los datos y de los objetivos de la inferencia. Si la distribución es unimodal y asimétrica, se puede pensar en transformar los datos para aproximarlos a la normalidad. X p X ln(x) En otros casos se puede pensar en utilizar métodos alternativos no paramétricos. Tema 1 (III) (Estadística 2) Contrastes de bondad de ajuste Curso 08/09 33 / 33