Inferencia Estadística. Estimación y Contrastes

Transcripción

1 y y M Dolores Redondas dolores.redondas@upm.es E.U. Arquitectura Técnica U.P.M. Curso

2 Introducción Identicación del comportamiento de una variable El reconocimiento del comportamiento de una variable aleatoria se puede realizar: Por métodos deductivos. (Cálculo de probabilidades). Ejemplos: Si z 1,..., z n son N(0, 1) independientes, la variable: z z 2 n = χ 2 n. y Si z es una N(0, 1) independiente de una χ 2 n, resulta que: z 1 n χ2 n = t n.

3 Introducción y Con la información empírica de una muestra {x 1,..., x n } de la variable. Se supondrá en general que la muestra ha sido obtenida por m.a.s: Todos los individuos de la población tienen la misma probabilidad de pertenecer a la muestra. Los elementos muestrales son independientes. (Supone reemplazamiento de los individuos muestrales en poblaciones nitas.)

4 4 Muestreo y Llamamos población a un conjunto homogéneo de elementos en los que se estudia una característica dada. ¾Por qué no estudiamos a todos los individuos? Ensayos destructivos Las muestras sólo existen conceptualmente. Es muy caro. Requiere mucho tiempo (y puede cambiar la característica de interés.

5 Muestreo y Muestreo Aleatorio Simple m.a.s. Está caracterizado por Cada elemento tiene la misma probabilidad de salir. Es con reemplazamiento (la población es siempre la misma).

6 Muestreo Muestreo Estraticado Se utiliza cuando se sospecha que la característica a estudiar no es homogénea en la muestra (por ejemplo en los sondeos de opinión respecto al sexo o la edad). En estos casos la muestra se toma proporcional a cada uno de los estratos en la pobalción. Muestreo por Conglomerados Se utiliza cuando no se puede realizar un m.a.s. o por estratos porque no se dispone de una lista de la pobalción aunque si se sabe que existe una caracterización por estratos como regiones / provincias / municipios / barrios / etc... y Muestreo Sistemático Se utiliza cuando los elementos de la población están ordenados por lista. Si el orden de la lista es al azar, este procedimiento es equivalente al m.a.s. aunque es más fácil no cometer errores.

7 7 Introducción y Obtenida la muestra {x 1,..., x n } de la variable aleatoria, X, ajustar un modelo que explique su comportamiento supone: 1. Identicar su forma: Normal, exponencial, binomial, Estimar los parámetros de la distribución, que dependen del modelo. (En el caso normal, µ y σ).

8 Introducción y Para conjeturar la forma del modelo que explica el comportaniento de una variable aleatoria continua, se compara la forma de su histograma con la función de densidad del modelo teórico. Obsérvese que estos dos objetos son comparables. Ejemplo: Empleando las utilidades del programa Statgraphics, discuta si el comportamiento del tamaño de los élitros de los machos y de las hembras contenidos en el archivo Coleop, se puede atribuir a distribuciones normales.

9 de los parámetros Una vez identicada la forma genérica de un modelo, que explica el comportamiento de la variable en estudio, es necesario concretar el valor de sus parámetros. Esta concreción (estimación) siempre será aproximada puesto que: 1. Los elementos muestrales son variables aleatorias, con la misma distribución que la variable base. y 2. Conjuntamente, la muestra es una variable aleatoria de dimensión n. 3. Los estadísticos extraídos de una muestra son variables aleatorias.

10 0 de los parámetros y Existen diversos métodos para la estimación de los parámetros del modelo, a partir de los datos muestrales. El método de los momentos consiste en igualar los momentos de la muestra con los poblacionales: x = µ, s 2 = σ 2,... Este método no emplea la información relativa a la forma de la distribución.

11 de los parámetros y El método de máxima verosimilitud otorga a los parámetros los valores que maximizan la función de densidad conjunta: f (x 1,..., x n ; λ), siendo λ el vector de parámetros del modelo. Este método sí emplea la información relativa a la forma de la distribución. Ejemplo.

12 12 de los parámetros Sea X una v.a. Poisson con λ = 2. Calcular la probabilidad de obtener la muestra Entonces X = (x 1 = 3, x 2 = 1, x 3 = 0, x 4 = 2, x 5 = 0) P(x) = e 2 2 x 2! y P(X ) = e e e e e ! 1! 0! 2! 0! y en general P(X ) = e 2 2 x 1 e 2 2 x 2 e 2 2 x 3 e 2 2 x 4 e 2 2 x 5 x 1! x 2! x 3! x 4! x 5!

13 de los parámetros y Lo podemos simplicar como y en general P(X ) = e ! 2! 0! 2! 0! P(X ) = e nλ x i 1 xi! A lo que llamamos función de densidad conjunta. En general máxima varosimilitud encuentra el λ para el que la muestra máximiza su función de densidad conjunta.

14 de los parámetros y Propiedades de los estimadores Diremos que un estimador θ de θ es centrado o insesgado para θ si para cualquier tamaño muestra ) E ( θ = θ Se dene el sesgo como ) sesgo ( θ = E( θ) θ

15 15 de los parámetros y Por ejemplo (x 1,..., x n ) m.a.s. con E (x i ) = µ y Var (x i ) = σ 2 T (x 1,..., x n ) = x es un estimador centrado de µ porque E (x) = µ

16 6 de los parámetros y Por ejemplo (x 1,..., x n ) m.a.s. con E (x i ) = µ y Var (x i ) = σ 2 T (x 1,..., x n ) = s 2 x = 1 n (x i x) 2 no es un estimador centrado de σ 2 porque ( ) E sx 2 n 1 = n σ2 σ 2

17 17 de los parámetros Propiedades de los estimadores Llamaremos eciencia o precisión de un estimador a la inversa de la varianza ) 1 presición ( θ = ) Var ( θ θ 2 es más preciso que θ 1 si ) ) Var ( θ2 Var ( θ1 y o lo que es lo mismo ) ) presici ón ( θ2 presición ( θ1

18 18 de los parámetros y Una buena medida de los bueno que es un estimador, que además tiene en cuenta el sesgo y la presisión es el Error Cuadrático Medio ) ( θ) 2 ) ECM ( θ = sesgo + var ( θ Diremos que un estimador es consistente si ) E ( θn θ n ) Var ( θn 0 n

19 de los parámetros y Propiedades de los estimadores de Máxima Verosimilitud Son asintóticamente centrados. Tienen distribución asintóticamente normal. Tienen asintóticamente mínima varianza. Son invariantes: Si θ MV es el estimador M.V. de θ, y g es una función cualquiera, entonces g( θ MV ) es estimador M.V. de g(θ)

20 de los parámetros y Distribución en el de una proporción Observamos la presencia o no de un determinado atributo. Estimamos p como el número de elemento r que hemos observado con el atributo de una muestra de tamaño n. p = r n X Bi (n, p)

21 21 de los parámetros y P ( p = r ) ( n = P (X = r) = n r ) p r q n r ( r ) E ( p) = E = 1 n n E (r) = 1 n np = p ( r ) Var ( p) = Var n = 1 n 2 Var (r) = 1 pq npq = n2 n

22 22 de los parámetros y de los parámetros de una normal En el caso de normalidad los métodos de los momentos y de máxima verosimilitud arrojan los mismos resultados. Si una muestra {x 1,..., x n } permite conjeturar que una variable aleatoria X se distribuye como una N(µ, σ), los métodos de los momentos y de máxima verosimilitud toman como estimadores de µ y σ, respectivamente: µ = x y σ 2 = s 2.

23 3 de los parámetros Observaciones: Tanto x como s 2 son variables aleatorias. σ x N(µ, n ). Consecuentemente: E( x) = µ y La desviación típica de x disminuye con el tamaño muestral ns2 σ 2 χ 2 n 1 E(s 2 ) σ 2 lo que justica que, con frecuencia, se utilice ŝ 2 como estimador de σ 2.

24 Precisión en la estimación y Una estimación de un parámetro es un valor aproximado del mismo, por lo que es necesario acotar el error, para lo que se construyen los intervalos de. Un intervalo de para un parámetro es un intervalo numérico, en el que se encuentra el valor verdadero del parámetro con un nivel de seguridad () conocido.

25 5 confianza y Construcción de intervalos de para la media de una normal con σ conocida Sea X N(µ, σ), con σ conocida, y x la media muestral de una muestra cualquiera de X de tamaño n. Como x N ( ) σ µ,, n resulta que x µ σ/ N(0, 1). n

26 6 confianza y Sea z α/2 el valor que en una N(0, 1), Z, verica que: Entonces, P ( P( z α/2 Z z α/2 ) = 1 α. z α/2 x µ ) σ/ n z α/2 = 1 α.

27 27 confianza y De donde: P ( x z α/2 n σ µ x z α/2 n σ ) = 1 α, y el intervalo ( x z α/2 n σ, x z α/2 n σ ) es un intervalo de al (1 α) 100 % para µ.

28 28 confianza y Construcción de intervalos de para la media de una normal con σ desconocida Si σ no es conocida no se puede emplear el hecho de que x µ σ/ N(0, 1). n Sin embargo, se puede demostrar que x µ ŝ/ n t n 1.

29 confianza y De donde, si t α/2 es el valor que en una t n 1 : P( t α/2 t n 1 t α/2 ) = 1 α, operando como en el caso anterior se tiene que: ( ) x t α/2 ŝ, x + t α/2 ŝ n n es un intervalo de al (1 α) 100 % para µ.

30 30 confianza y Construcción de intervalos de para una proporción Utilizando la misma idea y sabiendo que la proporción se aproxima a una normal, podemos obtener el intervalo de para una proporción: p q p q p z α/2 n p p + z α/2 n

31 confianza y Construcción de intervalos de para la varianza de proporciones normales Para construir el intervalo de de la varianza de una normal, tenemos en cuenta que: ns 2 σ 2 (n 1) ŝ2 = σ 2 X 2 n 1 Por lo que buscamos valores a y b que veriquen P (X 2n 1,a ns2 σ 2 ) X 2 n 1,b = 1 α

32 confianza y Construcción de intervalos de para la varianza de proporciones normales O lo que es lo mismo ( ) 1 P σ2 ns 1 = 2 Xn 1,a 2 1 α X 2 n 1,b de donde podemos obtener el intervalo ( ) ns 2 ns 2, X 2 n 1,b X 2 n 1,a

33 Ejemplo V y Empleando las utilidades del programa Statgraphics genere una muestra aleatoria de tamaño 100 procedente de una N(5, 2). Emplee esta muestra para analizar el efecto del cambio del nivel de sobre la longitud del intervalo. Discuta qué relación existe entre la precisión de la estimación y el nivel de. Suponiendo normalidad, calcule intervalos de para la media y la varianza del tamaño de los élitros de los machos y las hembras contenidos en el archivo coleop.

34 hipótesis y Realizar un contraste con respecto a un parámetro, λ, consiste en analizar si existe evidencia empírica suciente para admitir que este parámetro pueda cumplir alguna condición conocida. habituales tienen por objeto asegurarse de si θ = θ0 θ > θ0 θ < θ0

35 hipótesis y En general, la realización de un contraste requiere determinar con precisión: Lo que se quiere contrastar, hipótesis nula, representada por H 0. Aquello que se aceptaría si se rechaza la hipótesis nula hipótesis alternativa, representada por H 1. Un estadístico de distribución conocida, que relacione el parámetro con los datos muestrales. Alguna medida de precisión del contraste.

36 6 hipótesis y El contraste de la t para la media de una normal Sea X una variable aleatoria N(µ, σ), con σ desconocida. Supóngase que se desea realizar el contraste: H 0 : µ = µ 0, frente a H 1 : µ µ 0, Elegida una muestra {x 1,..., x n } se sabe que: x µ ŝ/ n t n 1

37 hipótesis y De donde, si H 0 es cierta: x µ 0 ŝ/ n t n 1. Por lo tanto, si t α/2 es el valor que en una t n 1 : P( t α/2 t n 1 t α/2 ) = 1 α. Es decir: ( P t α/2 x µ ) 0 ŝ/ n t α/2 = 1 α

38 38 hipótesis y Una vez realizado el cálculo del estadístico Cuando ocurra que t = x µ 0 ŝ/ n, t α/2 t t α/2, no hay evidencia de la falsedad de H 0, por lo que no se rechaza dicha hipótesis al (1 α) 100 % de.

39 39 hipótesis y Si por el contrario t / ( t α/2, t α/2 ) habrá evidencia de que la hipótesis nula es falsa y se rechazará al (1 α) 100 % de. Al intervalo ( t α/2, t α/2 ) se le denomina región de aceptación del contraste, mientras que R ( t α/2, t α/2 ) es la región de rechazo.

40 hipótesis y Todo contraste se resuelve creando, a través de un estadístico apropiado, estadístico pivote, una zona de aceptación y otra de rechazo. Todo contraste lleva asociada una decisión, que puede ser errónea. Error de tipo I : Rechazar H 0 cuando es cierta. Error de tipo II : Aceptar H 0 cuando es falsa. La metodología habitual construye contrastes en los que se persigue no cometer error de tipo I.

41 hipótesis y Todo contraste lleva asociado un p-valor, que es una medida de la abilidad de la decisión tomada. Si el estadístico pivote, d, es una medida de discrepancia entre la hipótesis nula y la muestra observada, se dene el p-valor del contraste como P(d > ˆd H 0 ), siendo ˆd el valor del estadístico pivote en la muestra.

42 hipótesis y Valores altos de p sugieren en la decisión de aceptación de la hipótesis. Valores bajos de p sugieren en la decisión de rechazo de la hipótetsis. Cuando se realiza un contraste al (1 α) 100 %: p < α implica rechazar la hipótesis nula. p > α supone aceptar la hipótesis nula.

43 Ejemplo VI Con la muestra generada en el ejemplo V, Analice el efecto del cambio del nivel de en la realización del contraste: H 0 : µ = 5, frente a H 1 : µ 5. Modique la hipótesis nula y discuta qué relación existe entre la discrepancia entre la hipótesis nula con la muestra, y el p-valor obtenido en los distintos contrastes. y Suponiendo normalidad, realice contrastes de hipótesis para la media y la varianza del tamaño de los élitros de los machos y las hembras contenidos en el archivo coleop.

44 ajuste y En ocasiones la hipótesis que se desea contrastar se reere a si una muestra conrma el comportamiento de una variable, según un modelo de probabilidad determinado: Normal, Poisson, exponencial,... De estos contrastes (de ajuste), el más común es el test de la Chi cuadrado, que analiza la concordancia entre el histograma de los datos y la función de densidad (o de probabilidad) del modelo.

45 45 El test de la Chi cuadrado I y El test de la chi cuadrado contrasta la hipótesis de que la variable sigue un modelo de probabilidad concreto. El estadístico empleado es una medida de la discrepancia entre los datos, el histograma, y el modelo, su función de densidad

46 El test de la Chi cuadrado II Cuando la hipótesis nula es cierta, la variable sigue el modelo previsto, el estadístico: donde: d = k (O i E i ) 2 i=1 E i χ 2 k r 1, k es el número de clases en que se divide a los datos. y O i es la frecuencia observada en cada clase. E i es la frecuencia esperada en cada clase. r es el número de parámetros estimados con la muestra. El análisis del valor de d permite discutir el contraste.

47 Otros y Contraste de Kolmogorov-Smirnov D n = F n (x) F (x) Sólo es válido para funciones continuas, pero funciona bien con muestras pequeñas. Contraste de Saro-Wilks Dibuja los datos en papel probabilístico normal. La bondad de ajuste la da lo bien que se aproximan los datos a la recta. Sólo funciona bien para normalidad, pero lo hace con muestras muy pequeñas.

48 8 Ejemplo VII y Con la muestra generada en el ejemplo V, Analice la normalidad de la población a la que representa la muestra. Estudie la normalidad del tamaño de los élitros de los machos y las hembras contenidos en el archivo coleop. Discuta si la realización de transformaciones mejora los resultados obtenidos.