Test de Kolmogorov-Smirnov

Transcripción

1 Test de Kolmogorov-Smirnov Georgina Flesia FaMAF 2 de junio, 2011

2 Test de Kolmogorov-Smirnov El test chi-cuadrado en el caso continuo H 0 : Las v.a. Y 1, Y 2,..., Y n tienen distribución continua F. Particionar el rango de Y = Y j en k intervalos distintos: [y 0, y 1 ), [y 1, y 2 ),..., [y k 1, y k ), Considerar las n v.a. discretizadas Y d 1, Y d 2,..., Y d n dadas por Y d j = i si Y i [y j 1, y j ). La hipótesis nula es entonces H 0 ) P(Y d j = i) = F(y i ) F (y i 1 ), i = 1,..., k. Proceder ahora como en el caso discreto.

3 Test de Kolmogorov Smirnov Inconveniente: No es sencillo construir los intervalos a partir de las probabilidades. Se pierde información al agrupar los datos en intervalos. Aconsejable: Utilizar el test de Kolmogorov-Smirnov. Test de Kolmogorov Smirnov Compara las funciones de distribución empírica de la muestra y la que se desea contrastar. Es aplicable a distribuciones continuas. Para distribuciones discretas, los valores críticos no están tabulados. Para distribuciones continuas, los valores críticos están tabulados para: distribuciones con parámetros especificados, algunas distribuciones con parámetros no especificados (normal, Weibull, gamma, exponencial).

4 Aplicación del test K-S Observar Y 1, Y 2,..., Y n y considerar la distribución empírica F e (x) = #{i Y i x}. n F e (x): proporción de valores observados menores o iguales a x. Hipótesis nula: F e (x) es cercana a F(x). Estadístico de Kolmogorov-Smirnov D max F e (x) F (x), < x <. x

5 Implementación Ordenar los datos observados Y 1 = y 1, Y 2 = y 2,..., Y n = y n en orden creciente: y (j) = j ésimo valor más pequeño y (1) < y (2) < < y (n). Por ejemplo: y 1 = 3, y 2 = 5, y 3 = 1 y n = 3, entonces y (1) = 1, y (2) = 3, y (3) = 5. 0 x < y (1) 1 n y (1) x < y (2) Distribución empírica F e (x) = y (j) x < y (j+1). j n. 1 y (n) x

6 Gráficamente 1 F(x) y (1) y (2) y (3) y (4) y (5)

7 Estadístico de Kolmogorov-Smirnov D sup F e (x) F(x) <x< Podemos considerar las diferencias F e (x) F(x) y F (x) F e (x) y analizar sus valores máximos (supremos). D + = sup {F e (x) F(x)}, D = sup {F(x) F e (x)}. <x< <x< F e (y (n) ) = 1. Por lo tanto, D + 0. F e (x) = 0 si x < y (1), por lo que D 0. D = max{d +, D }

8 El estadístico D F (y (4) ) F e (y (3) ) 1 D F e (y (2) ) D + F (y (2) ) y (1) y (2) y (3) y (4)

9 Cálculo de D Notemos que: D + se alcanza en el límite inferior de algún intervalo, ya que F(x) es creciente y F e (x) es constante en [y (j 1), y (j) ): {( ) D + { ( ) ( )} j = max Fe y(j) F y(j) = max F ( ) } y (j) 1 j n 1 j n n D es el límite por izquierda calculado en el extremo derecho de algún intervalo, ya que F e (x) es discontinua en tal punto: ( ) j F e y(j) = n = F ( e y(j) ɛ ) + 1 n, ɛ pequeño. { D { ( ) ( )} = max F y(j) Fe y(j 1) = max F ( } ) j 1 y (j) 1 j n 1 j n n

10 Estadístico de Kolmogorov-Smirnov { j D = max 1 j n n F(y (j)), F (y (j) ) j 1 } n Estadístico de K-S Elegir un grado de significación (nivel de rechazo) α. Tomar la muestra y ordenar los datos observados. Calcular el estadístico D en los datos observados. Valor observado: D = d. Calcular el valor p = P F (D d). valor p < α: se rechaza H0. valor p > α: no se rechaza H0. Cómo calcular el valor p? Cuál es la distribución del estadístico D?

11 Estimación del valor p P F (D d) no depende de la distribución F. El estadístico D depende de las n observaciones Y 1, Y 2,..., Y n : D = sup x F e (x) F(x) = sup x Si Y tiene distribución F entonces F(Y ) U(0, 1). #{i Y i x} n Como F es una función creciente, entonces Y i x implica F (Y i ) F (x). F(x)

12 Estimación del valor p D = sup x #{i F (Y i ) F(x)} n Equivalentemente, se puede reemplazar F(x) F(Y i ) por U i, v.a. uniformemente distribuida en (0, 1), y F(x) por y [0, 1]. D = sup 0 y 1 #{i U i y} n y

13 Estimación del valor p D = sup 0 y 1 #{i U i y} n y Esta expresión no depende de la distribución F. valor p = P F (D d) = P U (D d), U U(0, 1). Puede estimarse mediante simulación: Generar n números aleatorios Ui, 1 i n, Evaluar D y comparar con el valor observado d de la muestra original. sup #{i U i y} y n d 0 y 1 Repetir el procedimiento r veces. Se estima el valor p como la proporción de veces que se cumple la desigualdad D d.

14 Estimación del valor p sup 0 y 1 #{i U i y} n y d Para calcular este supremo, procedemos como para el cálculo de d. D D + Ordenar u (1),..., u (n). Calcular max 1 j n { j n u (j), u (j) j 1 } n u (1) u (2) u (n)

15 Ejemplo Si n = 3 y U 1 = 0.7, U 2 = 0.6, U 3 = 0.4, entonces U (1) = 0.4, U (2) = 0.6, U (3) = 0.7, y el valor D para este conjunto de datos es { 1 D = max 3 0.4, , 1 0.7, 0.4, , } = /3 y = F (y) 1/

16 Ejemplo Se quiere probar la hipótesis que una determinada distribución es exponencial con media 100 F(x) = 1 e x/100. Los valores ordenados para una muestra de tamaño 10 para esta distribución son: 66, 72, 81, 94, 112, 116, 124, 140, 145, 155, qué conclusión puede obtenerse?

17 Ejemplo j j valores F (y j ) n F (y j 1 j) n F (y j) ,48-0,38 0, ,51-0,31 0, ,56-0,26 0, ,61-0,21 0, ,67-0,17 0, ,69-0,09 0, ,71-0,01 0, ,75 0,05 0, ,77 0,13-0, ,79 0,21-0,11 d = 0, Calcular el valor p mediante simulaciones. Si el p valor es 0.012, se rechaza la hipótesis nula.

18 Pruebas de bondad de ajuste si hay parámetros no especificados Caso discreto: test chi-cuadrado Dadas n observaciones, Y 1,..., Y n, éstas se agrupan en k intervalos distintos. La hipótesis nula está dada por H 0 ) P(Y i = j) = p j, para 1 j k, i = 1... n.. En algunos casos se tiene alguna hipótesis sobre la forma de la distribución pero no sobre los parámetros de la misma: media, desviación estándar, varianza, etc. Esto puede implicar que se desconozca p j : P(Y = j) = e λ λ j j! λ desconocido? En este caso, se estiman el o los parámetros desconocidos a partir de la muestra.

19 El caso discreto A partir de estas estimaciones, se obtienen las probabilidades estimadas: ˆp j. El estadístico es el siguiente: T = k (N j nˆp j ) 2 j=1 nˆp j Nj : cantidad de observaciones en el j-ésimo intervalo. ˆp j : probabilidad estimada, según H 0, que Y j caiga en la región j. Si el valor observado del estadístico es t, y se han debido estimar m parámetros: valor p = P(T t) P(χ 2 k 1 m t).

20 Ejemplo En un período de 30 días se registraron 6 días sin accidentes, 2 con un accidente, 1 con dos accidentes, 9 con 3 accidentes, 7 con 4 accidentes, 4 con 5 accidentes y 1 con 8 accidentes. Realizar una prueba de hipótesis para determinar si el número de accidentes sigue una distribución de Poisson. Estimamos la media λ de la distribución: número de accidentes = = 87. ˆλ = número de accidentes total de días = = (2.9)j ˆp j+1 = P(Y = j) = e, j = 0, 1, 2,... j!

21 Ejemplo Se establecen los k intervalos. Elegimos k = 6: I 1 = {0} I 2 = {1} I 3 = {2} I 4 = {3} I 5= {4} I 6 = {5, 6, 7,... } ˆp 1 = ˆp 4 = ˆp 2 = ˆp 5 = ˆp 3 = ˆp 6 = Frecuencias observadas: N 1 = 6, N 2 = 2, N 3 = 1, N 4 = 9, N 5 = 7, N 6 = 5. Frecuencias esperadas: 30 ˆp j, 1 j 6. Estadístico: T = 6 (N j 30 ˆp j ) 2 = ˆp j j=1

22 Valor p El valor observado del estadístico es t = Como se estimó 1 parámetro, y se consideraron 6 intervalos, se estima el valor p utilizando una distribución χ 2 con = 4 grados de libertad: valor p P(χ 2 4 > ) = Conclusión: se rechaza la hipótesis nula. Simulación para determinar el valor p La hipótesis nula no especifica completamente la distribución. El procedimiento es similar al caso anterior, pero los parámetros deben estimarse nuevamente en cada simulación.

23 Valor p con parámetros estimados - El modelo H 0 ) Los datos de la muestra Y 1, Y 2,..., Y n provienen de una distribución determinada, salvo por un conjunto de parámetros desconocidos θ 1,..., θ m. Primer paso ˆθj : estimación de θ j a partir de la muestra, j = 1, 2,..., m. ˆp j : si la distribución tiene parámetros ˆθ 1,..., ˆθ m. Estadístico T : T = k (N j nˆp j ) 2 j=1 nˆp j t valor observado del estadístico T.

24 Valor p con parámetros estimados Simulación Objetivo: estimar el valor p. ˆF: distribución propuesta en H0, con los parámetros estimados según la muestra. El procedimiento consiste en repetir r veces los siguientes pasos: 1. Generar Y 1,..., Y n ˆF. 2. Calcular N j = #{i Y i I j }, j = 1,..., k. 3. ˆθ1,sim,..., ˆθ m,sim : estimaciones de los parámetros a partir de los valores Y i generados. 4. p j (sim), probabilidades si la distribución tiene parámetros ˆθ 1,sim,..., ˆθ m,sim. 5. Calcular T : T = k (N j n p j ) 2 j=1 n p j

25 Valor p con parámetros estimados Luego de r pasos se han obtenido r valores para T : Ejemplo Parámetro estimado: ˆλ = 2.9. T 1, T 2,..., T r. valor p #{j T j t} r Valor del estadístico según la muestra: t = Simulación: 1. Generar 30 v.a. Poisson con media ˆλsim : estimación de λ según esta muestra. 3. pi : Probabilidad de tomar el valor i según una Poisson de parámetro ˆλ sim. 4. Calcular T. 5. valor p: proporción de valores de T mayores a

26 Test de Kolmogorov-Smirnov si hay parámetros no especificados Caso continuo H 0 ): Las v. a. Y 1,..., Y n provienen de una distribución F con parámetros desconocidos θ 1,..., θ m. Tomar una muestra Y 1,..., Y n. Estimar los parámetros a partir de la muestra: ˆΘ = (ˆθ 1,..., ˆθ m ). Calcular el estadístico a partir de la distribución con parámetros estimados: D = sup Fe (x) F ˆΘ(x). x d valor de D observado. valor p P F ˆΘ (D d) = P U(D d). Este valor sobreestima el valor de p.

27 Simulación del valor p Si p < α, se rechaza la hipótesis nula. Si está próximo o es mayor que α, se optimiza la estimación del valor p. Optimización: Luego de calcular d, a partir de la muestra: 1. Generar Y 1,..., Y n según la distribución F ˆΘ. 2. ˆΘ sim = (ˆθ 1,sim,..., ˆθ m,sim ): estimación de los parámetros según los datos simulados. 3. F e,sim : distribución empírica de los datos simulados. 4. Calcular el estadístico D :. D = sup x F e,sim (x) F ˆΘ sim (x) Repetir el procedimiento r veces, para obtener D 1,..., D r : valor p #{j D d r