Test de Kolmogorov Smirnov Patricia Kisbye El test chi-cuadrado en el caso continuo

Transcripción

1 Test de Kolmogorov Smirov Técicas de validació estadística Bodad de auste Kolmogorov-Smirov Patricia Kisbye FaMAF 29 de mayo, 2008 Icoveiete: No es secillo costruir los itervalos a partir de las probabilidades. Se pierde iformació al agrupar los datos e itervalos. Acoseable: Utilizar el test de Kolmogorov-Smirov. Test de Kolmogorov Smirov Compara las fucioes de distribució empírica de la muestra y la que se desea cotrastar. Es aplicable a distribucioes cotiuas. Para distribucioes discretas, los valores críticos o está tabulados. Para distribucioes cotiuas, los valores críticos está tabulados para: distribucioes co parámetros especificados, alguas distribucioes co parámetros o especificados (ormal, Weibull, gamma, epoecial). Test de Kolmogorov-Smirov Aplicació del test K-S El test chi-cuadrado e el caso cotiuo H 0 : Las v.a. Y 1, Y 2,...,Y tiee distribució cotiua F. Particioar el rago de Y = Y e k itervalos distitos: [y 0, y 1 ),[y 1, y 2 ),...,[y k 1, y k ), Cosiderar las v.a. discretizadas Y d 1, Y d 2,...,Y d dadas por Y d = i si Y i [y 1, y ). La hipótesis ula es etoces H 0 ) P(Y d = i) = F(y i ) F(y i 1 ), i = 1,...,k. Proceder ahora como e el caso discreto. Observar Y 1, Y 2,...,Y y cosiderar la distribució empírica F e () = #{i Y i }. F e (): proporció de valores observados meores o iguales a. Hipótesis ula: F e () es cercaa a F(). Estadístico de Kolmogorov-Smirov D ma F e () F(), < <.

2 Implemetació Ordear los datos observados Y 1 = y 1, Y 2 = y 2,...,Y = y e orde creciete: y () = ésimo valor más pequeño y (1) < y (2) < < y (). Por eemplo: y 1 = 3, y 2 = 5, y 3 = 1 y = 3, etoces y (1) = 1, y (2) = 3, y (3) = 5. 0 < y (1) 1 y (1) < y (2). Distribució empírica F e () = y () < y (+1). 1 y () Estadístico de Kolmogorov-Smirov D sup F e () F() << Podemos cosiderar las diferecias F e () F() y F() F e () y aalizar sus valores máimos (supremos). D + = sup {F e () F()}, D = sup {F() F e ()}. << << F e (y () ) = 1. Por lo tato, D + 0. F e () = 0 si < y (1), por lo que D 0. D = ma{d +, D } Gráficamete El estadístico D 1 F() F(y (4) ) F e (y (3) ) 1 D F e (y (2) ) D + F(y (2) ) y (1) y (2) y (3) y (4) y (1) y (2) y (3) y (4) y (5)

3 Cálculo de D Estadístico de K-S Notemos que: D + se alcaza e el límite iferior de algú itervalo, ya que F() es creciete y F e () es costate e [y ( 1), y () ): {( ) D + { ( ) ( )} = ma Fe y() F y() = ma F ( ) } y () 1 1 D se alcaza usto ates del límite superior de algú itervalo, ya que F e () es discotiua e tal puto: ( ) F e y() = = F ( e y() ǫ ) + 1, ǫ pequeño. { D { ( ) ( )} = ma F y() Fe y( 1) = ma F ( } ) 1 y () 1 1 E resume: H 0 ) Los datos proviee de ua v.a. co distribució cotiua F. Elegir u grado de sigificació (ivel de rechazo) α. Tomar la muestra y ordear los datos observados. Calcular el estadístico D e los datos observados. Valor observado: D = d. Calcular el valor p = P F (D d). valor p < α: se rechaza H0. valor p > α: o se rechaza H0. Cómo calcular el valor p? Cuál es la distribució del estadístico D? Ateció Estimació del valor p P F (D d) o depede de la distribució F. E alguos casos: ( F y () 1 ) > F ( y () ) icorrecto correcto El estadístico D depede de las observacioes Y 1, Y 2,...,Y : D = sup F e () F() = sup #{i Y i } F() D = ma 1 F(y ()) INCORRECTO { D = ma 1 F(y ()), F(y () ) 1 } Estadístico de K-S Si U (0, 1), etoces X = F 1 (U) tiee distribució F. (Recordar trasformada iversa). Recíprocamete, si Y tiee distribució F etoces F(Y) U(0, 1). Como F es ua fució creciete, etoces Y i implica F(Y i ) F().

4 Estimació del valor p Estimació del valor p D = sup #{i F(Y i ) F()} F() Podemos reemplazar F(Y i ) por U i, v.a. uiformemete distribuida e (0, 1). D = sup #{i U i F()} F() La variable real toma valores e (, ) La variable real y = F() toma valores e [0, 1]. sup 0 y 1 #{i U i y} y d Para calcular este supremo, procedemos como para el cálculo de d. D D + Ordear u (1),...,u (). Calcular ma 1 { u (), u () 1 } u (1) u (2) u () Estimació del valor p D = sup 0 y 1 #{i U i y} y Esta epresió o depede de la distribució F. valor p = P F (D d) = P U (D d), U U(0, 1). Eemplo Si = 3 y U 1 = 0.7, U 2 = 0.6, U 3 = 0.4, etoces U (1) = 0.4, U (2) = 0.6, U (3) = 0.7, y el valor D para este couto de datos es { 1 D = ma 3 0.4, , 1 0.7, 0.4, , } = Puede estimarse mediate simulació: Geerar úmeros aleatorios Ui, 1 i, Evaluar D y comparar co el valor observado d de la muestra origial. sup #{i U i y} y d 0 y 1 Repetir el procedimieto r veces. Se estima el valor p como la proporció de veces que se cumple la desigualdad D d. 1 2/3 1/ y = F(y)

5 Eemplo Test de Kolmogorov Smirov Se quiere probar la hipótesis que ua determiada distribució es epoecial co media 100 F() = 1 e /100. Los valores ordeados para ua muestra de tamaño 10 para esta distribució so: 66, 72, 81, 94, 112, 116, 124, 140, 145, 155, qué coclusió puede obteerse? Cuál es la distribució del estadístico D? Si los parámetros de la distribució so coocidos, eiste tablas co valores críticos d,α. Stephes (1974) diseña ua aproimació que o depede de : ( ) D > c 1 α. Los valores c 1 α está tabulados para los casos e que: se cooce todos los parámetros de la distribució, la distribució es ormal, epoecial, gamma, Weibull, y se debe estimar parámetros. Ver Law & Kelto, Cap. 6. Eemplo valores F(/) ( ) F 1 F ( ,48-0,38 0, ,51-0,31 0, ,56-0,26 0, ,61-0,21 0, ,67-0,17 0, ,69-0,09 0, ,71-0,01 0, ,75 0,05 0, ,77 0,13-0, ,79 0,21-0,11 d = 0, Calcular el valor p mediate simulacioes. Si el p valor es 0.012, se rechaza la hipótesis ula. ) Pruebas de bodad de auste si hay parámetros o especificados Caso discreto: test chi-cuadrado Dadas observacioes, Y 1,...,Y, éstas se agrupa e k itervalos distitos. La hipótesis ula está dada por H 0 ) P(Y i = ) = p, para 1 k, i = E alguos casos se tiee algua hipótesis sobre la forma de la distribució pero o sobre los parámetros de la misma: media, desviació estádar, variaza, etc. Esto puede implicar que se descoozca p : P(Y = ) = e λ λ! λ descoocido? E este caso, se estima el o los parámetros descoocidos a partir de la muestra.

6 El caso discreto Eemplo A partir de estas estimacioes, se obtiee las probabilidades estimadas: ˆp. El estadístico es el siguiete: Se establece los k itervalos. Elegimos k = 6: I 1 = {0} I 2 = {1} I 3 = {2} I 4 = {3} I 5= {4} I 6 = {5, 6, 7,... } T = k (N ˆp ) 2 =1 ˆp ˆp 1 = ˆp 4 = ˆp 2 = ˆp 5 = ˆp 3 = ˆp 6 = N : catidad de observacioes e el -ésimo itervalo. ˆp : probabilidad estimada, segú H 0, que Y caiga e la regió. Si el valor observado del estadístico es t, y se ha debido estimar m parámetros: valor p = P(T t) P(χ 2 k 1 m t). Frecuecias observadas: N 1 = 6, N 2 = 2, N 3 = 1, N 4 = 9, N 5 = 7, N 6 = 5. Frecuecias esperadas: 30 ˆp, 1 6. Estadístico: T = 6 (N 30 ˆp ) 2 = ˆp =1 Eemplo E u período de 30 días se registraro 6 días si accidetes, 2 co u accidete, 1 co dos accidetes, 9 co 3 accidetes, 7 co 4 accidetes, 4 co 5 accidetes y 1 co 8 accidetes. Realizar ua prueba de hipótesis para determiar si el úmero de accidetes sigue ua distribució de Poisso. Estimamos la media λ de la distribució: úmero de accidetes = = 87. ˆλ = úmero de accidetes total de días = = (2.9) ˆp +1 = P(Y = ) = e, = 0, 1, 2,...! Valor p El valor observado del estadístico es t = Como se estimó 1 parámetro, y se cosideraro 6 itervalos, se estima el valor p utilizado ua distribució χ 2 co = 4 grados de libertad: valor p P(χ 2 4 > ) = Coclusió: se rechaza la hipótesis ula. Simulació para determiar el valor p La hipótesis ula o especifica completamete la distribució. El procedimieto es similar al caso aterior, pero los parámetros debe estimarse uevamete e cada simulació.

7 Valor p co parámetros estimados - El modelo H 0 ) Los datos de la muestra Y 1, Y 2,...,Y proviee de ua distribució determiada, salvo u couto de parámetros descoocidos θ 1,...,θ m. Bao la hipótesis H 0, Y i toma los valores 1, 2,...,k. - Primer paso ˆθ : estimació de θ a partir de la muestra, = 1, 2,...,m. ˆp : P(Y = ) si la distribució tiee parámetros ˆθ 1,..., ˆθ m. Estadístico T : T = k (N ˆp ) 2 =1 ˆp t valor observado del estadístico T. Valor p co parámetros estimados Luego de r pasos se ha obteido r valores para T : Eemplo Parámetro estimado: ˆλ = 2.9. T 1, T 2,...,T r. valor p #{ T t} r Valor del estadístico segú la muestra: t = Simulació: 1. Geerar 30 v.a. Poisso co media ˆλsim : estimació de λ segú esta muestra. 3. pi : Probabilidad de tomar el valor i segú ua Poisso de parámetro ˆλ sim. 4. Calcular T. 5. valor p: proporció de valores de T mayores a Valor p co parámetros estimados - Simulació Obetivo: estimar el valor p. ˆF: distribució propuesta e H0, co los parámetros estimados segú la muestra. El procedimieto cosiste e repetir r veces los siguietes pasos: 1. Geerar Y 1,...,Y ˆF. 2. Calcular N i = #{ Y = i}, i = 1,...,k. 3. ˆθ1,sim,..., ˆθ m,sim : estimacioes de los parámetros a partir de los valores Y i geerados. 4. p i = P(Y = i) si la distribució tiee parámetros ˆθ 1,sim,..., ˆθ m,sim. 5. Calcular T : T = k (N p ) 2 =1 p Test de Kolmogorov-Smirov si hay parámetros o especificados Caso cotiuo H 0 ): Las v. a. Y 1,...,Y proviee de ua distribució F co parámetros descoocidos θ 1,...,θ m. Tomar ua muestra Y 1,...,Y. Estimar los parámetros a partir de la muestra: ˆΘ = (ˆθ 1,..., ˆθ m ). Calcular el estadístico a partir de la distribució co parámetros estimados: D = sup Fe () FˆΘ(). d valor de D observado. valor p P FˆΘ (D d) = P U(D d). Este valor sobreestima el valor de p.

8 Simulació del valor p Si p < α, se rechaza la hipótesis ula. Si está próimo o es mayor que α, se optimiza la estimació del valor p. Optimizació: Luego de calcular d, a partir de la muestra: 1. Geerar Y 1,..., Y segú la distribució FˆΘ. 2. ˆΘ sim = (ˆθ 1,sim,..., ˆθ m,sim ): estimació de los parámetros segú los datos simulados. 3. F e,sim : distribució empírica de los datos simulados. 4. Calcular el estadístico D :. D = sup F e,sim () FˆΘ sim () Repetir el procedimieto r veces, para obteer D 1,...,D r : valor p #{ D d r