14. Contrastes no paramétricos

Transcripción

1 14. Contrastes no paramétrcos 1

2 Contrastes no paramétrcos En la leccón anteror nos hemos ocupado de contrastes paramétrcos. Determnábamos la plausbldad de certas hpótess sobre los valores de parámetros poblaconales. Los contrastes no paramétrcos hacen referenca a la dstrbucón poblaconal en su conjunto: (1) Cómo podemos decdr a partr de una muestra s la poblacón sgue ( ajusta ) a una determnada dstrbucón dada (problema de bondad de ajuste). () Estas muestras provenen de poblacones con la msma dstrbucón? (problema de la homogenedad). (3) Son ndependentes o dependentes varas característcas poblaconales?

3 Prueba de bondad de ajuste χ Supongamos una muestra aleatora smple de tamaño n. Desconocemos que la dstrbucón de probabldad f de la poblacón. Contrastaremos la hpótess: H 0 : f f 0 y H 1 : f f 0 Es decr: queremos contrastar s la dstrbucón desconocda f de la poblacón es f 0, que conocemos completamente (por ejemplo, una dstrbucón de Posson determnada). Usaremos la dstrbucón ch-cuadrado para determnar la bondad de ajuste entre las frecuencas observadas de los datos de la muestra, frecuencas muestrales, y las frecuencas esperadas (teórcas) según la dstrbucón que sospechamos es la de la poblacón. 3

4 Procedmento: (1) Dvdmos el domno completo de la dstrbucón teórca f 0 en k clases o ntervalos dsjuntos. Calculamos el número de datos esperados, según la dstrbucón teórca a contrastar f 0, que deberían haber caído en cada clase. Para ello basta multplcar la probabldad que asgna f 0 a cada clase por n, el tamaño muestral. Hemos de construr las clases de modo que cada una contenga al menos 5 datos muestrales. Tenemos pues: A 1, A,...,A k clases con n 1 esp, n esp,...,n k esp datos muestrales en cada clase, donde todos valores tenen que ser mayores o guales a 5. 4

5 Ejemplo: Durante 00 días se han recogdo el número de accdentes de tráfco daros: Número de accdentes Número de días (1) Creemos que el número de accdentes se dstrbuye como una Posson de meda (hpótess nula). Núm. de accdentes N. esperado de días 7,06 54,14 54,14 36,08 18,04 10,54 P( x Calculamos los valores esperados a través de la Posson. 6) e 6 6! 0.01; Aquí la probabldad será de 5 a nfnto..41 5

6 Procedmento: () Ahora construmos las msmas k clases o ntervalos dsjuntos para los datos muestrales. Tendremos tambén: A 1, A,...,A k clases con n 1, n,...,n k datos muestrales en cada clase. Estos son los datos orgnales: Número de accdentes Número de días Ajustamos al número de clases que nos determnó la dstrbucón a contrastar. Número de accdentes Número de días

7 Realzaremos el test de constraste utlzando el estadístco ch-cuadrado sguente: Frecuencas muestrales χ k 1 ( ) n Eˆ que sgue una dstrbucón ch-cuadrado con k-1 grados de lbertad. En nuestro ejemplo tenemos k 6 clases. Luego: Eˆ Frecuencas esperadas χ 6 1 ( n Eˆ Eˆ ) ( 7.06) ( )

8 Nuestro estmador ch-cuadrado vale: χ.307 El estmador se dstrbuye como: χ k 1 χ6 1 χ5 Supongamos que queremos: 0.05 α 0.05 En las tablas encontramos: χ 5, χ 5, χ.307 < No podemos rechazar H 0 8

9

10

11

12

13 Hpótess compuesta Prmero estmaremos por el método de máxma verosmltud el valor del parámetro θ: n ( ) 1 1 x L(x,...,x, θ) f x, θ e θ 1 n θ n 1 Ln L(x 1,...,x n, θ) nlnθ 1 θ n 1 x 13

14 0 ˆ ˆ ˆ ) 1 ˆ 0 1 ) 3 ˆ 1 3 ˆ < + θ θ θ θ θ θ θ θ θ θ θ θ n n x n θ, θ,...,x Ln L(x x n x n θ, θ,...,x Ln L(x n n n n n 14

15 Duracón # bombllas n x El valor estmado de θ será: n x θˆ 0.67 n 15

16 Ahora calculamos las probabldades esperadas: b 1 / ˆ / ˆ / ˆ ˆ ( < < ) x θ a θ b θ p P a x b e dx e e a ˆ θ Por ejemplo : pˆ e 1 P(0 < x 0/ 0.67 e < 00) 00/ e x / 0.67 Duracón # bombllas n x dx Aquí la probabldad será de 500 a nfnto. pˆ

17 Y a partr de ellas podemos calcular los valores esperados de las muestras: Eˆ npˆ Por ejemplo Eˆ npˆ ( ) : Duracón # bombllas n x pˆ Eˆ nˆ p

18 Como la penúltma categoría da un valor menor que 5, unmos las dos últmas: 1 Duracón # bombllas n x pˆ Eˆ nˆ p χ 4 1 ( n Eˆ Eˆ ) ( ) (1 7.30)

19 Nuestro estmador ch-cuadrado vale: χ 5.08 El estmador se dstrbuye como: χ ν k 1 χ4 1 1 χ χ, χ, Esta es la dferenca fundamental con el caso anteror. Al número de clases k hay que restarle 1 y el número de parámetros que prevamente hemos estmado. En este caso: ν 1. χ 5.08 < 5.99 No podemos rechazar H 0 19

20 0

21 1

22 Intelgenca colectva Los Borg en Star Trek

23 El públco presente corre los 100 metros lsos. Habrá una mejor marca. Ahora, el promedo, estará por encma o por debajo?

24 La nota meda, el salaro medo, la altura meda,... parece, que en general, promedo es gual a medocrdad. Sn embargo, en la toma de decsones o en las estmacones, a veces, el promedo colectvo puede ser excelente.

25 Veamos un ejemplo: Quén quere ser mllonaro? Opcón de llamada Opcón del públco Acertan el 65% de las veces. Acertan el 90% de las veces.

26 Un expermento clásco de ntelgenca de grupo Cuántos caramelos hay en el tarro? En el tarro había 153 caramelos. Grupo de 53 estudantes. La meda fue de 143, un error de un 6 por cento.

27 Estmar el peso y la edad de tres de nuestros colaboradores solamente por su voz en antena Neves Concostrna 45 años meda: 50. Pancraco Celdrán 65 años meda: 58. Jose Manuel Sánchez 56 años meda: 5. Neves 69 klos estmaron 66 klos Pancraco 69 klos estmaron 75 klos Jose Manuel 83 klos estmaron 8 klos. Hubo nueve personas que hceron mejor estmacón, en valor absoluto que la meda del grupo.

28 Estmar el peso y la edad de tres de nuestros colaboradores solamente por su voz en antena S sumamos los pesos de Neves, Pancraco y el comsaro, tenemos 1 klos y la meda es 3: sólo klos de más! Y s sumamos las edades, el resultado es de 166, cuando el grupo estmó 160: 6 años de menos. Tomando así las cosas, nade en partcular se acercó más que la meda. Y s nos nventamos los klo-años, el total sería de 387 klo-años y el grupo djo 383: solo 4 klo-años menos!

29 En certo modo, cada membro del colectvo contrbuye con nformacón fetén + error, y en el promedo, los errores se compensan. De modo que, dadas las crcunstancas adecuadas, los grupos manfestan una ntelgenca notable, con frecuenca superando a sus membros más ntelgentes o nformados.

30 Se está usando este conocmento para mejorar los resultados en alguna actvdad? Todos conocemos los sondeos de ntencón de voto a pe de urna. A partr de esa muestra se hace una predccón del resultado de las eleccones. Exste una alternatva que utlza la sabduría colectva: consste en preguntar a un conjunto de personas, no qué van a votar, sno que predgan qué votará el conjunto del país. En Internet pueden encontrar los resultados de algunos expermentos. Tenen que buscar por IEM, Iowa Electronc Markets. Y comprobarán que sorprendentemente las predccones del colectvo son mejores que las cláscas encuestas.

31 Exstrá algo así como creatvdad artístca colectva? Karaoke

32 Exstrá algo así como creatvdad artístca colectva? Karaoke Experto en cocna marítma de los No me pses que llevo chanclas.

33 Ana Sergo Pablo Grupo

34 ... con Kevn McCourt (1) Cuadros colectvos () Relatos colectvos A C B

35 Prueba de homogenedad Supongamos que dsponemos de los datos de m muestras aleatoras y deseamos saber s podemos decdr s provenen de la msma dstrbucón poblaconal. Tamaño total de todas las muestras. n n + n n m Tamaño de la muestra m. Nuevamente hemos de dvdr el conjunto de observacones en k clases: A 1, A,...,A k clases determnadas por los valores esperados (en cada clase, todos valores mayores o guales a 5). Pero ahora lo haremos m veces. 35

36 El estadístco de contraste será ahora: Frecuenca muestral de la clase j de la muestra χ m k 1 j 1 n j Suma de las frecuencas muestrales de todas las clases número Eˆ Eˆ Eˆ Eˆ n n total total Número total de elementos de la muestra El estadístco segurá una dstrbucón ch-cuadrado de (m-1)(k-1) grados de lbertad. 36

37 37

38 Prueba de ndependenca Supongamos que de n elementos de una poblacón se han observado dos característcas X e Y. Es decr: dsponemos de los datos de una muestra aleatora smple bdmensonal: ( x, y ),(, 1 x y ),...,( x, n y 1 n ) Deseamos contrastar s las característcas poblaconales X e Y son ndependentes o no. Nuevamente hemos de dvdr el conjunto de observacones en k clases: A 1, A,...,A k clases determnadas por los valores esperados de X y en r clases: B 1, B,...,b r para Y. (De nuevo en cada clase, todos valores mayores o guales a 5) 38

39 El estadístco de contraste será ahora: Frecuenca muestral de la clase (, j) (X,Y). χ k r 1 j 1 n j Eˆ Número total de elementos de la clase de X con el resto de clases de Y Eˆ total total Eˆ n Eˆ n total j Número total de elementos de la clase j de Y con el resto de clases de X total j El estadístco segurá una dstrbucón ch-cuadrado de (k-1)(r-1) grados de lbertad. 39

40 40

41 Contraste de Kolmogorov-Smrnov El contraste K-S de bondad de ajuste es váldo solo para dstrbucones contnuas. (1) Se ordenan los n valores muestrales: x n x x... 1 () Se calcula la dstrbucón empírca de la muestra: + < n r r n x x x x x n r x x x F 1 1 / 0 ) ( 1 41

42 Se calcula la dscrepanca máxma, que será el estmador que usaremos, entre la funcón de dstrbucón empírca que acabamos de calcular y la dstrbucón teórca F 0 que estamos contrastando: n máx F ( x) F ( x) 0 n cuya dstrbucón es conocda y tenemos tabulada según los valores de n. 4

43

44

45

46

47

48

49

50 50

51 51

52 5

53 53

54 54

55 55