CONTRASTES NO PARAMÉTRICOS: ALEATORIEDAD Y LOCALIZACIÓN

Transcripción

1 CONTRASTES NO PARAMÉTRICOS: ALEATORIEDAD Y LOCALIZACIÓN Antonio Morillas A. Morillas: C. no paramétricos (II) 1

2 1. Contrastes de aleatoriedad. Contraste de rachas. 2. Contrastes de localización 2.1 Contraste del signo CONTRASTES NO PARAMÉTRICOS: ALEATORIEDAD Y LOCALIZACIÓN Localización de una población (mediana) Diferencia de medianas para parejas de datos relacionados 2.2 Contraste del rango signado (Wilcoxon) Localización de una población (mediana) Diferencia de medianas para parejas de datos relacionados 2.3 Contraste de Wilcoxon/Mann-Whitney (dos muestras independientes) 2.4 Contraste de Kruskal-Wallis (más de dos muestras independientes) A. Morillas: C. no paramétricos (II) 2

3 CONTRASTES DE ALEATORIEDAD Aleatoriedad: Principio básico de la inferencia estadística Muestra no aleatoria Observaciones no independientes Expresiones varianzas de los estimadores erróneas Intervalos de confianza Contraste de hipótesis NO FIABLES A. Morillas: C. no paramétricos (II) 3

4 CONTRASTE DE RACHAS Aplicable a variables con escala de orden Definición de RACHA: sucesión de valores situados por encima (racha positiva) o por debajo de la mediana (racha negativa) LONGITUD de una racha: Número de observaciones de esa sucesión A. Morillas: C. no paramétricos (II) 4

5 EJEMPLO CÁLCULO DE RACHAS n = 9 23, 32, 43, 45, 21, 35, 33, 54, Obtención de la mediana: Muestra ordenada: 21, 22, 23, 32, 33, 35, 43, 45, Obtención de las rachas: Los valores iguales a la mediana no intervienen Se observa, en la muestra original, los valores que están por encima (+) y por debajo de la mediana (-) : 5 rachas A. Morillas: C. no paramétricos (II) 5

6 ESTADÍSTICO DE PRUEBA Número de rachas ( r ) tabulado bajo hipótesis aleatoriedad, en función del número de signos positivos ( k ): Si no hay valores repetidos de la mediana: k = n/2, para n par k = (n-1)/2, para n impar Pocas rachas indicios de correlación positiva Función de n, en definitiva Muchas rachas indicios de correlación negativa Valores intermedios (dos colas): r mín r r máx aleatoriedad 2 kk ( 1) Para n > 100 : r N µ = k+ 1 ; σ = dos colas 2k 1 A. Morillas: C. no paramétricos (II) 6

7 CONTRASTES DE LOCALIZACIÓN Objeto: Localizar la tendencia central de la población Alternativa a contrastes sobre la media para: Muestras pequeñas y no normalidad Distribución media? Estadísticas de rangos (no cuantitativas) Mediana! Casos de asimetría o existencia de outliers f 1 (x) 1/2 1/2 f 2 (x) M 1 M 2 x x 2 1 A. Morillas: C. no paramétricos (II) 7 X

8 CONTRASTE DEL SIGNO (Fisher) UNA POBLACIÓN: MEDIANA Objeto: Localizar la posición de una distribución de forma desconocida Se basa en la mediana, que, para cualquier distribución, tiene la propiedad (supondremos que X es continua): Hipótesis nula: H 0 : M = M 0 P(X M) = P(X M) = 1/2 Hipótesis alternativas: H 1 : M > M 0 H 1 : M < M 0 H 1 : M M 0 A. Morillas: C. no paramétricos (II) 8

9 CONTRASTE DEL SIGNO ESTADÍSTICO DE PRUEBA Si H 0 es cierta, para una muestra de tamaño n, se cumple que: P(x i M 0 ) = P(x i M 0 0) = 1/2 ; i = 1, 2,..., n Se construye una variable auxiliar, W, en la siguiente forma: W i = 1, si (x i M 0 ) 0 signo positivo (+) W i = 0, en caso contrario signo negativo (-) Por tanto, W i es un experimento de Bernouilli, con p=1/2 Si las observaciones son independientes (muestra aleatoria): W i = U ~ B(n, p=1/2) con E(U) =np=n/2 ; Var(U)=npq=n/4 A. Morillas: C. no paramétricos (II) 9

10 CONTRASTE DEL SIGNO REGIÓN CRÍTICA Si H 0 es cierta, el valor de U ( W i ), debiera ser próximo a n/2. Discrepancias grandes, llevarían a rechazar dicha hipótesis nula. Por tanto: Si H 1 : M > M 0 RC a la derecha: Se calcula P(U U obs ) = α 0 (p-nivel del test) Si α > α 0 rechazar la hipótesis nula (U obs cae en la RC) Si H 1 : M < M 0 RC a la izquierda: Se calcula P(U U obs ) = α 0 Si α > α 0 rechazar la hipótesis nula (U obs cae en la RC) Si H 1 : M M 0 RC bilateral: Se observa si U obs es mayor o menor que n/2 Si U obs > n/2 P(U U obs ) = α 0 α/2 > α 0, rechazaremos H 0 Si U obs < n/2 P(U U obs ) = α 0 α/2 > α 0, rechazaremos H 0 A. Morillas: C. no paramétricos (II) 10

11 CONTRASTE DEL SIGNO APROXIMACIÓN NORMAL Al tratarse de una distribución discreta (binomial) no siempre es posible encontrar la región crítica del tamaño predeterminado. Al ser p=1/2, la aproximación normal es buena para n 10. Por aproximación de variable discreta a continua, suele utilizarse U+1/2, para RC izquierda, y U-1/2, para RC derecha. n ( U ± 1/2) - U N( n/ 2, n/ 4 ) 2 N(0,1) n /4 α U obs 0 n/2 U 1- + n α α 0 = A. Morillas: C. no paramétricos (II) 11 U

12 CONTRASTE DEL SIGNO DOS POBLACIONES: DATOS RELACIONADOS Ampliación natural del caso anterior, para la población de diferencias, cuya forma es desconocida. Sean f 1 (x) y f 2 (x) las funciones de densidad, continuas y con la misma forma. Sean (x 1, y 1 ), (x 2, y 2 ),..., (x n, y n ) las n parejas de valores muestrales observadas en ambas poblaciones. Si H o : M 1 = M 2 es cierta, (x i, y i ) es una muestra de tamaño 2 de la misma población y, por tanto, P(x i > y i ) = P(x i < y i ) = P [(x i y i )> 0] = 1/2 A. Morillas: C. no paramétricos (II) 12

13 CONTRASTE DEL SIGNO DATOS RELACIONADOS - ESTADÍSTICO Se construye una variable auxiliar, W, en la siguiente forma: W i =1, si (x i y i ) > 0 signo positivo (+) W i =0, en caso contrario signo negativo (-) Σ W i, variable U, será la misma binomial anterior: U B(n, p= 1/2 ), E(U) = np = n/2 ; Var(U) = npq = n/4 Comentarios: Si la población no es conocida, este test es más potente que la t. Pero, si se conoce su distribución ocurre lo contrario. Siempre válido, aunque f 1 (x) y f 2 (x), idénticas para ambas muestras, cambien de un par muestral a otro U Binomial A. Morillas: C. no paramétricos (II) 13

14 CONTRASTE DEL SIGNO DATOS RELACIONADOS REGIÓN CRÍTICA La región crítica depende de H 1 (similar al caso anterior): H 1 : M 1 >M 2 f 1 (x) está desplazada a la derecha de f 2 (x). Se espera U obs > n/2 RC derecha. H 1 : M 1 <M 2 f 1 (x) está desplazada a la izquierda de f 2 (x). Se espera U obs < n/2 RC izquierda. H 1 : M 1 M 2, es decir, las poblaciones son distintas y no se sabe el sentido del deslizamiento. Ver valor de U obs y elegir región apropiada, como en el caso anterior. La aproximación normal, como en el caso anterior. A. Morillas: C. no paramétricos (II) 14

15 CONTRASTE DEL RANGO SIGNADO (Wilcoxon) UNA POBLACIÓN - MEDIANA Incorpora, sobre el anterior, la distancia a la mediana: El contraste será más potente La población ha de asumirse continua y simétrica Procedimiento : 1. Obtener x i M 0 = d i, para i=1, 2,..., n 2. Ordenar d i y asignar un rango, al que se incorpora el signo de d i (rango signado) a. A un grupo de diferencias iguales, se les asigna la media de sus rangos b. Si la diferencia es cero, se omite y se ajusta el tamaño de la muestra 3. Se obtienen las sumas de los rangos con signos + (T + ) y con signos (T - ) A. Morillas: C. no paramétricos (II) 15

16 CONTRASTE RANGO SIGNADO MEDIANA - ESTADÍSTICO MUESTRAL Hipótesis nula: M = M 0 si es cierta, cualquier secuencia de signos y rangos es equiprobable (suma de rangos + y han de ser similares). Estadístico muestral: distribución muestral de la menor de las dos sumas: T, que está tabulada por Wilcoxon. Si la suma es T + + T - = n(n+1) / 2 (progresión aritmética de orden n), el valor esperado será la mitad: E(T) = n(n+1) / 4 Cuanto menor sea una suma respecto a la otra, más evidencia para rechazar H 0. Por el contrario, si H 0 es cierta, ambas sumas deben de estar próximas al valor esperado. A. Morillas: C. no paramétricos (II) 16

17 CONTRASTE RANGO SIGNADO MEDIANA - REGIÓN CRÍTICA Si H 1 : M > M 0, normalmente ocurrirá que T - es menor que T +, y rechazaremos la hipótesis nula si T - T 0 (T 0 es el valor crítico de la tabla). Si H 1 : M < M 0, normalmente ocurrirá que T + es menor que T -, y rechazaremos la hipótesis nula si T + T 0 Si H 1 : M M 0, no se sabe, en principio, cuál de las dos será la menor (la llamaremos T ). Rechazaremos la hipótesis nula si T T 0 dos colas nn ( + 1) T + 4 Si n es grande (n 15) Z = N(0,1) nn ( + 1)(2n+ 1) 24 A. Morillas: C. no paramétricos (II) 17

18 CONTRASTE RANGO SIGNADO DOS POBLACIONES - DATOS RELACIONADOS Igual que el anterior, pero con la población de diferencias (x i y i = d i ), y con H 0 : M 1 = M 2. Región crítica: Si H 1 : M 1 > M 2, normalmente ocurrirá que T - es menor que T +, y rechazaremos la hipótesis nula si T - T 0 (T 0 es el valor crítico de la tabla). Si H 1 : M 1 < M 2, normalmente ocurrirá que T + es menor que T -, y rechazaremos la hipótesis nula si T + T 0 Si H 1 : M 1 M 2, no se sabe, en principio, cuál de las dos será la menor (la llamaremos T ). Rechazaremos la hipótesis nula si T T 0 dos colas Si n es grande (n 15) Normal A. Morillas: C. no paramétricos (II) 18

19 CONTRASTE DE LA SUMA DE RANGOS DOS POBLACIONES - INDEPENDIENTES (Wilcoxon) Test original de Wilcoxon. Posteriormente, Mann y Whitney proponen otro y demuestran que es equivalente (U de Mann- Whitney). No se refiere necesariamente a la mediana. Se suponen dos variables continuas, misma forma (solo difieren en su localización) y muestras independientes. Aplicable a datos ordinales (se basa en rangos). Si H 0 es cierta (las dos poblaciones son iguales), ambas muestras proceden, en realidad, de la misma población. Por tanto, pueden considerarse como una única muestra de tamaño (n 1 + n 2 ): (x, x,..., x, y, y,..., y ) 1 2 n 1 2 n 1 2 A. Morillas: C. no paramétricos (II) 19

20 CONTRASTE DE LA SUMA DE RANGOS DOS POBLACIONES - ESTADÍSTICO MUESTRAL Si asignamos rango a los elementos de la muestra conjunta, debería ocurrir que la suma de rangos en la muestra n 1 (T 1 ) fuese similar a la suma de rangos (T 2 ) en la muestra n 2 (n 1 y n 2 pueden ser distintos; n 1 la menor). La suma de ambos será: T 1 + T 2 = n(n+1) / 2, con n= n 1 + n 2 Si hay mucha diferencia entre ambas sumas (una pequeña, la otra grande), será indicio de que la hipótesis nula no es cierta. Bajo H 0, T 1 (suma de rangos en la muestra más pequeña) es un estadístico que depende solo de n 1 y n 2. Los valores críticos inferior (T L ) y superior (T U ) que debe tomar T 1 de ser cierta H 0 están tabulados. A. Morillas: C. no paramétricos (II) 20

21 CONTRASTE DE LA SUMA DE RANGOS DOS POBLACIONES - REGIÓN CRÍTICA 1. HSi 1 : HF 11 :(x)> M 1 F< 2 M(x) 2, rechazaremos la hipótesis nula siempre que T 1 T L, ya que T 1 sería la menor de las dos sumas. 2. HSi 1 : HF 11 :(x)< M 1 F> 2 M(x) 2, rechazaremos la hipótesis nula siempre que T 1 T U, puesto que, en este caso, T 1 sería la mayor de las dos sumas. 3. HSi 1 : HF 11 :(x) M 1 F 2 M(x) 2, no se sabe si T 1 es la mayor o la menor. Rechazaremos la hipótesis siempre que T 1 T L o T 1 T U, obteniendo los puntos críticos de la tabla para un contraste de dos colas. No deben repetirse muchas observaciones para que sea válido. T 1 ~ N[E(T 1 )=n 1 (n 1 + n 2 +1)/2; Var(T 1 )=n 1 n 2 (n 1 +n 2 +1)/12], para muestras grandes (n 1, n 2 >10). A. Morillas: C. no paramétricos (II) 21

22 ESPECIFICACIÓN ALTERNATIVA DE LAS HIPÓTESIS H 1 : M 1 < M 2 H 1 : F 1 (x) > F 2 (x) El test no se limita a M f 1 (x) F 1 (x i ) F 2 (x i ) f 2 (x) M 1 M 2 X x i A. Morillas: C. no paramétricos (II) 22

23 CONTRASTE DE MANN-WHITNEY DOS POBLACIONES - INDEPENDIENTES Se parte del mismo planteamiento inicial de Wilcoxon Para cada posible combinación de valores se crea la variable: 1 si x < y i j W = para i = 1,2,...,n y j = 1,2,...,n ij 0 si x > y 1 2 i j (en caso de no ser iguales, supondremos n 1 < n 2 ) 1 2 El estadístico U W dará el número total de veces que 1 i= 1 j= 1 las observaciones procedentes de X son inferiores a las de Y, en la muestra combinada y ordenada. n n = ij A. Morillas: C. no paramétricos (II) 23

24 CONTRASTE DE MANN-WHITNEY DOS POBLACIONES INDEPENDIENTES Se hace lo mismo respecto a los valores de X superiores a los de Y: 0 si x < y n1 n2 * i j = * W ij Estadístico: 1 si x > y U 2 = W ij i j i= 1 j= 1 (en caso de que x i =y j, se asigna 1/2 tanto en W ij como en W * ij ) El más pequeño está tabulado y se llama U de Mann-Whitney Para comprobar los cálculos: n1 n2 n1 n2 * 1+ 2 = ( ij + W ij) = 1= 1 2 i= 1 j= 1 i= 1 j= 1 U U W nn U 1 = n 1 n 2 U 2 U 2 = n 1 n 2 U 1 A. Morillas: C. no paramétricos (II) 24

25 CONTRASTE DE MANN-WHITNEY DOS POBLACIONES - REGIÓN CRÍTICA La aplicación del contraste, para las distintas hipótesis alternativas, se hará como sigue: a) Si H 1 : M 1 >M 2 [H 1 : F 1 (x) < F 2 (x)] ocurriría que, en general, x i > y i (U 1 < U 2 ), contradiciendo la hipótesis nula. Así, pues, rechazaremos la hipótesis nula si U 1 es demasiado pequeña y, por tanto, U 2 es demasiado grande. Para un α dado, se rechazará H 0 siempre que: α 0 = P(U U obs. ) α U obs : valor muestral de U 1 (menor) A. Morillas: C. no paramétricos (II) 25

26 b) Si H 1 : M 1 < M 2 [H 1 : F 1 (x) > F 2 (x)]; es decir, la hipótesis alternativa es que f 1 (x) está localizada a la izquierda de f 2 (x). Esto significaría que, en general, x i < y i (U 1 > U 2 ). Por tanto, rechazaremos la hipótesis nula si U 1 es demasiado grande y U 2 es pequeña. Para un α dado, se rechazará H 0 siempre que: CONTRASTE DE MANN-WHITNEY DOS POBLACIONES - REGIÓN CRÍTICA α 0 = P(U U obs. ) α U obs : valor muestral de U 2 (menor) A. Morillas: C. no paramétricos (II) 26

27 CONTRASTE DE MANN-WHITNEY DOS POLACIONES - REGIÓN CRÍTICA c) Si H 1 : M 1 M 2 [H 1 : F 1 (x) F 2 (x)]; rechazaremos la hipótesis nula tanto si U 1 es grande como pequeño. De ser así, habría evidencia en la muestra de que los valores de Y son, generalmente, superiores a los de X, o, por el contrario, de que las observaciones de X superan a las de Y, contradiciendo la hipótesis de igualdad propuesta como nula. Para un α dado, la región crítica sería de dos colas, y podremos rechazar H 0 si: α 0 = P(U U obs. ) α/2 U obs : la menor de U 1 y U 2 A. Morillas: C. no paramétricos (II) 27

28 MANN-WHITNEY: RELACIÓN CON WILCOXON Y APROXIMACIÓN NORMAL Entre estos estadísticos y los propuestos por Wilcoxon, existen las siguientes relaciones: n(n ) U1 = n1n2 + T 1 0 U1 n1n2 2 n(n ) U = n n + T 0 U n n Para n 1, n 2 > 10, se puede aproximar una normal con U 2 : U N [E(U 2 2 )= n 1 n 2 /2, Var(U 2 )= n 1 n 2 (n 1 +n 2 +1)/ 12] A. Morillas: C. no paramétricos (II) 28

29 CONTRASTE DE KRUSKAL-WALLIS MÁS DE DOS POBLACIONES Coincide con Wilcoxon-Mann-Whitney para k=2 Es un ANOVA (análisis de la varianza) no paramétrico. La hipótesis a contrastar es: H 0 : Todas las poblaciones tienen idéntica distribución de probabilidad H 1 : Al menos dos de las k poblaciones difieren en su localización (mediana) A. Morillas: C. no paramétricos (II) 29

30 CONTRASTE DE KRUSKAL-WALLIS PROCEDIMIENTO Los pasos a seguir son: 1. Se ordenan en una muestra única el conjunto de las observaciones del experimento, de menor a mayor 2. Se asigna un rango a cada observación ( empates!) 3. Se calcula para cada muestra la suma de los rangos (R. j ) 4. El estadístico muestral es (aproximación χ 2 con n j > 5): R. H = n(r R ) = 3(n+ 1) χ n(n + 1) n(n + 1) n k k 2 2 j j.j.. j= 1 j= 1 j 2 k 1 V A. Morillas: C. no paramétricos (II) 30

31 CONTRASTE DE KRUSKAL-WALLIS ORGANIZACIÓN DE LOS DATOS Rangos en muestra única k 1 Muestras 2 y 11 (r 11 ) y 12 (r 12 ).. y 1k (r 1k ) y 21 (r 21 ) y 22 (r 22 ).. y 2k (r 2k ) y n 1 1 (r ) y n 2 2 (r n 2 ).. y nk )...j ij j= 1 i= 1 j= 1 R.1 R.2 R.k n j n1 1 Suma rangos R.1 R.2.. R.k Media rangos.. k R = R = r = n = n(n + 1) 2 2 A. Morillas: C. no paramétricos (II) 31.. k k (r nk k