CONTRASTE DE HIPÓTESIS

Transcripción

1 CONTRASTE DE HIPÓTESIS Antonio Morillas A. Morillas: Contraste de hipótesis 1

2 CONTRASTE DE HIPÓTESIS 1. Introducción 2. Conceptos básicos 3. Región crítica óptima i. Teorema de Neyman-Pearson ii. Región uniformemente más potente iii. Test de la razón de verosimilitudes A. Morillas: Contraste de hipótesis 2

3 De dónde venimos? A dónde vamos? Est. Aplicada: DATOS (generalmente, muestra) DESCRIPCIÓN (Estadística Descriptiva) PROPONER MODELO DE PROBABILIDAD ESTIMACIÓN DE SUS PARÁMETROS (Por puntos o por intervalos + contraste de hipótesis) CHEQUEO DEL MODELO Y DE LAS HIPÓTESIS (Contrastes no paramétricos) A. Morillas: Contraste de hipótesis 3

4 INTRODUCCIÓN - Primer gran bloque de la inferencia clásica: - TEORÍA DE LA ESTIMACIÓN - Segundo gran bloque: - CONTRASTE DE HIPÓTESIS -Hipótesis: En el mundo real juicio u opinión sobre alguna cosa o acontecimiento. En Estadística, lo mismo, pero sobre alguna característica de una v. a. (algún parámetro - paramétrica - o sobre la propia forma de su distribución - no paramétrica) A. Morillas: Contraste de hipótesis 4

5 DIFERENCIAS ENTRE ESTIMACIÓN Y CONTRASTE DE HIPÓTEIS Estimación valor numérico (punto o intervalo) Contraste de hipótesis elección entre dos teorías (hipótesis) en conflicto DECISIÓN La verificación o contraste de hipótesis usa la teoría de la probabilidad (riesgo) en este proceso de decisión, ligado a experimentos con resultados dicotómicos. A. Morillas: Contraste de hipótesis 5

6 LAS DOS HIPÓTESIS Cada una de las dos posibles alternativas del experimento se llama HIPÓTESIS: La que se considera correcta, hasta que no se demuestre lo contrario, se llama HIPÓTESIS NULA (H 0 ). La que está en competencia con ella se llama HIPÓTESIS ALTERNATIVA (H 1 ). A. Morillas: Contraste de hipótesis 6

7 EJEMPLO-1 PROBLEMA: Decisión acerca de ampliar una centralita de teléfonos en una empresa - está bien dimensionada o no? ENTORNO DE LA DECISIÓN: Capacidad actual de recepción: 3 llamadas por minuto Confrontación de hipótesis: H 0 : Recibe media de 3 llamadas por minuto (µ=3) HIPÓTESIS NULA H 1 : Media de más de 3 llamadas por minuto (µ>3) HIPÓTESIS ALTERNATIVA A. Morillas: Contraste de hipótesis 7

8 EJEMPLO-1 Información para la toma de la decisión: muestra representativa (n) Aplicar algún criterio de decisión, en función de la discrepancia entre lo observado y lo propuesto como hipótesis nula (p. ej. x > 4,5 Rechazar H 0 ) SOLUCIÓN: Elegir entre H 0 y H 1, en un ambiente de incertidumbre:» Probabilidad Riesgo Coste A. Morillas: Contraste de hipótesis 8

9 RESUMEN En un contraste de hipótesis hay 4 cuestiones importantes: Dos, de procedimiento (se dan por asumidas): Formulación correcta de las hipótesis Muestra representativa y de tamaño adecuado Otras dos, cruciales, que hay que desarrollar teóricamente: Definir la regla o criterio de decisión Estudiar cuando un test es mejor que otro (test óptimo) y encontrar el procedimiento para llevarlo a cabo. A. Morillas: Contraste de hipótesis 9

10 CONCEPTOS BÁSICOS-1 Hipótesis estadística: enunciado sobre alguna característica de una variable aleatoria ( X ): Paramétrica: sobre algún parámetro de X. Se conoce la forma de f(x) Ejemplo: la media de una distribución exponencial es 3 No paramétrica: sobre supuestos teóricos o sobre el modelo de f(x) Ejemplo: la muestra obtenida es aleatoria y/o procede de una normal A. Morillas: Contraste de hipótesis 10

11 CONCEPTOS BÁSICOS-2 Tipos de hipótesis: Simple: H 0 : θ = θ 0 (valor singular) f(x;θ) queda especificada. Compuesta: H 0 : θ > θ 0 (unilateral derecha) f(x) no especificada H 0 : θ < θ 0 (unilateral izquierda) f(x) no especificada H 0 : θ θ 0 (bilateral) f(x) no especificada A. Morillas: Contraste de hipótesis 11

12 fx () ILUSTRACIÓN CONTRASTE DE HIPÓTESIS H 0 : µ=3 H 0 : µ>3 H 0 : µ<3 µ<3 3 µ>3 σ x N(, µ ) n En general: H 0 : θ ω 0 ω 0 ω 1 H 1 : θ ω 1 ω 0 ω 1 = ω espacio paramétrico = una de las dos es cierta A. Morillas: Contraste de hipótesis 12

13 CONCEPTOS BÁSICOS-4 Test, contraste o verificación: Es la regla o criterio de decisión: Nos permite decir cuál de las dos hipótesis es más acertada. Se basa en dos cuestiones: El valor que toma un estadístico muestral ( para estimar µ, por ejemplo) La definición de una región crítica ( x > k, p. e.) x A. Morillas: Contraste de hipótesis 13

14 CONCEPTOS BÁSICOS-5 Región crítica: Subconjunto ( C ) de valores muestrales posibles del estadístico utilizado, tal que si el observado en la muestra pertenece a C, entonces H 0 es falsa: (x 1, x 2,..., x n ) C H 0 falsa Región de aceptación: la complementaria de C A. Morillas: Contraste de hipótesis 14

15 CONCEPTOS BÁSICOS-6 Ejemplo centralita: Distribución teórica de valores muestrales,, y región crítica x Discrepancia razonable H 0 es falsa (SIGNIFICATIVA) x obs x H 0 : µ=3 Reg. Aceptación Región crítica (C) x > 4,5 A. Morillas: Contraste de hipótesis 15

16 CONCEPTOS BÁSICOS-7 Tipos de error: decisión cierta o errónea Tabla de decisión H 0 CIERTA H 0 FALSA RECHAZAR H 0 Error Tipo I Decisión correcta ACEPTAR H 0 Decisión correcta Error Tipo II A. Morillas: Contraste de hipótesis 16

17 CONCEPTOS BÁSICOS-8 Tamaño del error: riesgo asumido, valorado en términos de probabilidad Probabilidades asociadas a Tipos de error H 0 CIERTA H 0 FALSA RECHAZAR H 0 α 1-β ACEPTAR H 0 1-α β A. Morillas: Contraste de hipótesis 17

18 CONCEPTOS BÁSICOS-9 Probabilidad del error de Tipo I y de Tipo II: a) H 0 : θ = θ 0 H 1 : θ = θ 1 Contraste de hipótesis simples α = P(rechazar H 0 /H 0 ) nivel significación (tamaño Tip. I) β = P(aceptar H 0 /H 1 ) tamaño error Tipo II Probabilidades complementarias: 1-α = P(aceptar H 0 /H 0 ) nivel de confianza 1-β = P(rechazar H 0 /H 1 ) potencia del contraste A. Morillas: Contraste de hipótesis 18

19 f() x H 0 : µ = 3 H 1 : µ = 5 α y β α = P(Rechazar H 0 / H 0 ) β = P(Aceptar H H 0 / H 1 ) 0 H 1 f() x β α 3 d c =1,5 4,5 5 H 0 H 1 x Tamaños región crítica α β 3 3,5 5 A. Morillas: Contraste de hipótesis 19 x

20 f() x f() x σ σ H 0 : µ = 3 H 1 : µ = 5 n x = σ H 0 : µ = 3 H 1 : µ = 5 n 2 > n x = σ / / n n 1 2 α, β y n H 0 H 1 β x c 5 A. Morillas: Contraste de hipótesis 20 α H 0 H 1 β x c α α = P(Rechazar H 0 / H 0 ) β = P(Aceptar H 0 / H 1 ) α < α β < β x x

21 CONCEPTOS BÁSICOS-10 Función de potencia y función característica: b) H 0 : θ ω 0 H 1 : θ ω Contraste hipótesis compuestas 1 α =max P(rechazar H 0 /H 0 )= maxα(θ) tamaño error Tipo I θ ω 0 β =max P(aceptar H 0 /H 1 )=max β (θ) tamaño error Tipo II θ ω 1 θ ω 1 θ ω 0 π(θ)=1-β(θ)= P(rechazar H 0 / H 1 ) función de potencia: Si θ ω 0 π(θ) = α(θ) Si θ ω 1 π(θ) = 1-β(θ) β(θ)= P(aceptar H 0 / H 1 ) función característica A. Morillas: Contraste de hipótesis 21

22 CÓMO CONTRASTAR UNA HIPÓTESIS f(d) Distribución de d cuando H 0 es cierta 1. Se fija α α 0 2. Se obtiene d c según α 0 Aceptación (d d c ) Rechazo (d > d c ) R.C. α = α 0 = P(d> d c / H 0 ) H 0 ˆd 3 d c Evidencia muestras ˆd 1 ˆd 2 d Medida de discrepancia (estadístico) Discrepancia grande Probabilidad pequeña de salir (α =0,05 ; α =0,01) A. Morillas: Contraste de hipótesis 22

23 CRÍTICAS A LA FIJACIÓN DEL NIVEL DE SIGNIFICACIÓN (α) El resultado del test depende de α (arbitrario) Rechazar, sin más, no permite diferenciar distintos grados de evidencia con que se rechaza una hipótesis (muestras 1 y 2 en figura anterior) Cuando se rechaza el valor de un parámetro, hay que distinguir entre significación estadística y práctica con n grande se puede rechazar una hipótesis con una discrepancia muy pequeña dar intervalo estimación (función de n). A. Morillas: Contraste de hipótesis 24

24 fx () SIGNIFICACIÓN ESTADÍSTICA Y SIGNIFICACIÓN PRÁCTICA n = 75 n = 25 α α µ 0 Diferencia práctica o real (nivel α) x N( µ, σ/ n) 0 Diferencia estadísticamente significativa (nivel α) A. Morillas: Contraste de hipótesis 25

25 SOLUCIÓN A ESTAS CRÍTICAS (DOS PRIMERAS) Dar el nivel crítico del test (p-level o p-value): p = P( d > dˆ / H cierta) A menor p, menor credibilidad de H 0 Rechazarla 0 p=0,35 p=0,001 p=0,10 ˆd Aceptar Ejercicio α=0,25 µ=3 x 0 =4 s=2 n=10 Rechazar ˆd α= 0,01 α= 0,25. Opinión. Consecuencias. Evidencia A. Morillas: Contraste de hipótesis 26? ˆd α= 0,01

26 REGIÓN CRÍTICA ÓPTIMA Vamos a ver: Su definición: lema de Neyman-Pearson Procedimientos para obtenerla: H 0 y H 1 simples Neyman-Pearson H 0 simple y H 1 unilateral Tests uniformemente más potentes (Neyman-Pearson) Caso general Test de la razón de verosimilitudes A. Morillas: Contraste de hipótesis 27

27 LEMA DE NEYMAN-PEARSON H 0 y H 1 simples: H 0 : θ = θ 0 H 1 : θ = θ 1 Diremos que C es una REGIÓN CRÍTICA ÓPTIMA de tamaño α, si para cualquier otro subconjunto A del espacio muestral de igual tamaño, P[(X1, X2,...,Xn) A /H 0 ] = α, 1. P[(X 1, X 2,...,X n ) C /H 0 ] = α 2. P[(X 1, X 2,...,X n ) C /H 1 ] P[(X 1, X 2,...,X n ) A /H 1 ] Es decir, para dos RC con igual α, será óptima la que haga que el test tenga mayor potencia (menor β): π C π A β C β A A. Morillas: Contraste de hipótesis 28

28 fx () NEYMAN-PEARSON (H 0 < H 1 ) H 0 : µ = 3 H 1 : µ = 5 α = P(Rechazar H 0 / H 0 ) β = P(Aceptar H 0 / H 1 ) H 0 H 1 α(a) β(c) β(a) α(c) 1,5 3 4,5 5 β A β C (π C π A ) Se prefiere C a A x A. Morillas: Contraste de hipótesis 29

29 fx () NEYMAN-PEARSON (H 0 > H 1 ) H 0 : µ = 5 H 1 : µ = 3 α = P(Rechazar H 0 / H 0 ) β = P(Aceptar H 0 / H 1 ) H 1 H 0 β(a) β(c) α(c) α(a) 3 5 β A β (π C C π A ) Se prefiere C a A x A. Morillas: Contraste de hipótesis 30

30 PROCEDIMIENTO DE NEYMAN-PEARSON H 0 y H 1, simples. Sean: 1. C un subconjunto del espacio muestral 2. k una constante positiva 3. L 0 y L 1 las funciones de verosimilitud de una muestra de tamaño n, bajo la hipótesis nula y alternativa respectivamente. C será la mejor región crítica de tamaño α, si se cumple que: 1. L 0 /L 1 k, para valores muestrales pertenecientes a C 2. L 0 /L 1 k, para valores muestrales NO pertenecientes a C 3. P[(X 1, X 2,...,X n ) C /H 0 ] = α A. Morillas: Contraste de hipótesis 31

31 CÁLCULOS EN NEYMAN-PEARSON 1. Se obtiene el cociente de verosimilitudes bajo H 0 y H 1 : (L 0 /L 1 ) = [L(X 1, X 2,...,X n ; θ 0 ) / L(X 1, X 2,...,X n ; θ 1 ) 2. Al cociente obtenido se le impone la primera condición y se busca el estadístico muestral resultante y su distribución, pasando todas las constantes a la derecha de la desigualdad: (L 0 /L 1 ) = ϕ 1 (X 1, X 2,...,X n ; θ 0, θ 1 ) k 1 3. La función ϕ 1 es el estadístico de prueba. El punto crítico del test (k 1 ), lo da el tamaño de la región crítica (α): P[ϕ 1 (X 1, X 2,...,X n ; θ 0, θ 1 ) k 1 /H 0 ] = α, RC a izquierda P[ϕ 1 (X 1, X 2,...,X n ; θ 0, θ 1 ) k 1 /H 0 ] = α, RC a derecha A. Morillas: Contraste de hipótesis 32

32 REGIÓN UNIFORMEMENTE MÁS POTENTE-2 H 0 simple, H 1 compuesta unilateral: Hemos visto en el ejemplo anterior como se podía generalizar la solución para cualquier valor singular en H 1 y como existía una RCO para los casos en que el contraste se conciba con las hipótesis unilaterales H 1 : θ > θ 0 (θ = θ 1, θ 1 > θ 0 )o H 1 : θ < θ 0 (θ = θ 1, θ 1 < θ 0 ), pero que no estaba definida para contrastes bilaterales del tipo H 0 : θ θ 0. El procedimiento de Neyman-Pearson está concebido para hipótesis simples. Pero, para hipótesis compuestas unilaterales, podemos considerar que contrastamos H 0 contra todas y cada una de las hipótesis simples contenidas en H 1. A. Morillas: Contraste de hipótesis 36

33 REGIÓN UNIFORMEMENTE MÁS POTENTE-3 Como se ha visto en el ejemplo, para θ > θ 0 la RCO estaría formada por la cola derecha y si θ < θ 0, por la de la izquierda. Esta región se llama REGIÓN CRÍTICA UNIFORMEMENTE MÁS POTENTE, porque es la región crítica óptima para contrastar H 0 frente a todas y cada una de las hipótesis simples contenidas en H 1. Al contraste asociado se le llama TEST UNIFORMEMENTE MÁS POTENTE. A. Morillas: Contraste de hipótesis 37

34 TEST DE LA RAZÓN DE VEROSIMILITUDES H 0 y H 1 compuestas (generalmente, H 0 simple y H 1 bilateral) 1. Es un procedimiento general 2. Coincide con Neyman-Pearson en el caso de hipótesis simples 3. No garantiza la obtención de tests óptimos 4. Tiene buenas propiedades en muestras grandes 5. Se basa en el cociente entre dos razones de verosimilitud: 1. L(ω 0 ), correspondiente a la hipótesis nula 2. L (ω), correspondiente a todo el espacio paramétrico A. Morillas: Contraste de hipótesis 39

35 fx () LA LÓGICA DEL TEST DE LA R.V. H 0 : µ 3 H 1 : µ>3 n = 5 ω 0 3 ω 1 x L(ω 0 )/L (ω) 1, cuanto más creíble sea H 0 L(ω 0 )/L (ω) 0, cuanto menos creíble sea H 0 Pero los parámetros no están especificados ni en H 0 ni en H 1, como en N-P, por lo que no es posible obtener un estadístico a partir de este cociente, ni calcular probabilidades. A. Morillas: Contraste de hipótesis 40

36 EL ESTADÍSTICO DEL TEST DE LA R.V. Para construir un estadístico sustituiremos los parámetros desconocidos por sus estimadores máximo verosímiles: max L( ω ) L( ˆ ω ) θ ω 0 λ(x,x,...,x ) = λ = 0 = n L( ˆ ω) max L( ω) θ ω La probabilidad del numerador siempre será menor o igual que la del denominador, por lo que: 0 λ 1 La distribución de λ puede utilizarse para contrastar la hipótesis, aunque no sea simple. A. Morillas: Contraste de hipótesis 41

37 REGIÓN CRÍTICA DEL TEST DE LA R.V. Región crítica del test de la razón de verosimilitudes: - λ próxima a uno H 0 es muy verosímil. - λ próxima a cero H 0 es poco verosímil - Por tanto, la RC de tamaño α, estará en la cola izquierda de la distribución de λ: λ λ 0 P(λ λ 0 /H 0 ) = α? λ 0 λ λ observado Rechazar H 0 A. Morillas: Contraste de hipótesis 42

38 DISTRIBUCIÓN DEL ESTADÍSTICO Fijado α, es preciso conocer la distribución del estadístico λ, cosa que no es siempre fácil. Bajo ciertas condiciones, en el límite, se tiene que: -2 ln λ 2 χ r siendo r el número de parámetros considerados en H 0. En este caso, la RC estará en la cola de la derecha de la Jicuadrado, pues: λ 0 : -2 ln λ y λ 1 : -2 ln λ 0 A. Morillas: Contraste de hipótesis 43

39 QUÉ HEMOS APRENDIDO EN LA LECCIÓN 1ª? Contraste de hipótesis Decisión entre dos propuestas alternativas (H 0 y H 1 ) basada en una regla de decisión o test y en la información suministrada por una muestra A. Morillas: Contraste de hipótesis 45

40 CÓMO HEMOS DE PROCEDER, EN RESUMEN? 1. Establecer H 0 y H 1 2. Construir la regla de decisión: Obtener la medida de discrepancia (ESTADÍSTICO DE PRUEBA) y su distribución de probabilidad Localizar la REGIÓN CRÍTICA ÓPTIMA: H 0 simple H 1 > H 0 cola de la derecha H 1 < H 0 cola de la izquierda Neyman-Pearson Caso general: H 1 H 0 dos colas (Test de la RV) Fijar el NIVEL DE SIGNIFICACIÓN (α) y obtener la discrepancia máxima permitida (significativa) entre H 0 y el valor observado en la muestra (PUNTO CRÍTICO DEL TEST) 3. Decidir basándonos en la MUESTRA (valor observado del estadístico) A. Morillas: Contraste de hipótesis 46