Part VII. Estadística I. Mario Francisco. Introducción a la inferencia. Estimación puntual. Propiedades deseables de los estimadores

Transcripción

1 Part VII

2 La inferencia puede definirse como el conjunto de métodos mediante cuales podemos extraer información sobre distintas características de interés de cierta distribución de probabilidad de la cual se ha observado serie de datos. La inferencia comprende las fases de recogida y depuración de datos, estimación, contrastes de simplificación, diagnosis y validación del modelo. Según el objeto de estudio, la inferencia se clasifica en inferencia paramétrica y no paramétrica.

3 La inferencia paramétrica se ocupa de aquel casos en que la distribución de probabilidad de la población objeto de estudio se supone conocida salvo valores que toman ciertos coeficientes, llamados parámetros. El objetivo es estimar, dar interva de confianza o contrastar hipótesis sobre dichos parámetros La inferencia no paramétrica trata problemas similares cuando se tiene distribución poblacional totalmente desconocida, sobre la cual tan sólo se realizan suposiciones muy generales (como, por ejemplo, que es distribución continua, que tiene única moda, etc.).

4 El enfoque clásico trata parámetros poblacionales desconocidos como valores fijos o constantes. El enfoque bayesiano considera que parámetros desconocidos del modelo son variables aleatorias, s cuales debe fijarse distribución inicial, llamada distribución a priori. Utilizando la información muestral junto con la mencionada distribución a priori, métodos bayesianos hacen uso de la regla de Bayes para ofrecer distribución a posteriori sobre parámetros.

5 Conceptos generales Se denomina población a un conjunto homogéneo de individuos sobre que se estudian o varias características que son, de alg forma, observables. Una muestra es un subconjunto de la población. El tamaño muestral es el número de elementos de la muestra. Un método de muestreo no es más que el procedimiento empleado obtención de la muestra. Un parámetro es cualquier característica medible (normalmente numérica) de la población.

6 Muestreo en poblaciones finitas Muestreo aleatorio simple: Cada muestra posible tiene la misma probabilidad de ser elegida. Muestreo sistemático: Se usa muy frecuentemente cuando individuos de la población están ordenados en listas. Muestreo estratificado: Si somos capaces de dividir la población en estratos, se actua dentro de cada estrato según un muestreo aleatorio simple. Muestreo por conglomerados: Si la población puede dividirse en conglomerados, que son homogéneos entre sí, se eligen aleatoriamente algunos conglomerados y, en cada uno de el, muestra representativa. Muestreo polietápico: Utilizar distintos tipos de muestreo en sucesivas etapas.

7 Matemáticamente, podemos pensar que estamos interesados en el estudio de variable aleatoria X, cuya distribución, F, es en mayor o menor grado desconocida. Supondremos que la familia F de distribuciones a la que pertence F es de la forma: F = {F θ θ Θ}, siendo Θ R k. Para tratar de disminuir el desconocimiento de la distribución teórica F de la variable aleatoria X en estudio, tomamos muestra.

8 Muestra aleatoria simple Una muestra aleatoria simple, de tamaño n, de variable aleatoria X, con distribución teórica F, son n variables aleatorias, X 1, X 2,..., X n, independientes e igualmente distribuidas, con distribución común F. Una realización de la muestra son valores particulares, x 1, x 2,..., x n, observados s variables X 1, X 2,..., X n. Como consecuencia, la función de distribución conjunta de X 1, X 2,..., X n es: F (x 1, x 2,..., x n ) = F (x 1 ) F (x 2 ) F (x n )

9 Otros conceptos Llamaremos espacio muestral al conjunto de muestras posibles, de tamaño determinado, que pueden obtenerse al seleccionar muestra aleatoria de. Llamaremos estadístico a cualquier función T de la muestra. Un estadístico T (X 1, X 2,..., X n ), como función de variables aleatorias, es también variable aleatoria. Tiene, por tanto, distribución de probabilidad, llamada distribución en el muestreo de T. Los estadísticos independientes del parámetro (que son función únicamente de la muestra) se denominan ( θ = T (X 1, X 2,..., X n )).

10 Ejemp de estadísticos T (X 1, X 2,..., X n ) = 1 n T (X 1, X 2,..., X n ) = 1 n n X i. i=1 n ( Xi X ) 2. i=1 T (X 1, X 2,..., X n ) = 1 n 1 n ( Xi X ) 2. i=1 T (X 1, X 2,..., X n ) = min (X 1, X 2,..., X n ). T (X 1, X 2,..., X n ) = max (X 1, X 2,..., X n ).

11 Insesgadez Se denomina sesgo del estimador θ como estimador de θ a ) ) Sesgo ( θ = E ( θ θ ) Si E ( θ = θ, para cada θ Θ, el estimador θ se dice centrado o insesgado para θ. Pueden existir muchos centrados para un parámetro. Por ejemplo, para estimar la media µ de distribución cualquiera, todos del tipo µ = a 1 X 1 + a 2 X a n X n con n i=1 a i = 1 son centrados.

12 Insesgadez asintótica Un estimador, θ n, se dice asintóticamente insesgado para θ si: ) lim ( θn E = θ, para cada θ Θ n

13 Error cuadrático medio Se define el error cuadrático medio de un estimador θ de un parámetro θ como el número ) [ ( ECM ( θ θ) ] 2 = E θ De la definición anterior, se deduce fácilmente que ) [ ( θ)] 2 ) ECM ( θ = Sesgo + Var ( θ

14 Eficiencia Llamaremos precisión o eficiencia de θ, como estimador de θ, al inverso de su error cuadrático medio: ) 1 efic ( θ = ) ECM ( θ Diremos que θ 2 es más eficaz o más preciso que θ 1 si para cualquier tamaño muestral: ( ) ( ) efic θ2 efic θ1 ( ) Es decir, si ECM θ2 ECM ( θ1 ).

15 Eficiencia relativa Llamaremos eficiencia relativa de θ 2 respecto a θ 1 al cociente entre sus eficiencias: ) ( ) ) efic ( θ2 ECM θ1 ER ( θ2 / θ 1 = ) = ( ) efic ( θ1 ECM θ2 Si θ es centrado, su error cuadrático medio coincide con su varianza, por lo que entre insesgados, en términos de eficiencia, es preferible el que tenga menor varianza.

16 Consistencia Un estimador θ n se dice consistente en media cuadrática para estimar un parámetro θ si ) lim ( θn ECM = 0 n En adelante, cuando hablemos de consistencia de un estimador nos referiremos a la consistencia en media cuadrática. Una condición necesaria y suficiente para que θ n sea consistente es que ) sea asintóticamente insesgado y que lim n Var ( θn = 0.

17 Media muestral Sea X 1, X 2,..., X n muestra aleatoria simple de variable aleatoria X con E (X ) = µ y Var (X ) = σ 2. Un estimador razonable del parámetro µ es la media muestral. X = X 1 + X X n n Es un estimador insesgado de µ. E ( X ) ( ) 1 n = E X i = 1 n E (X i ) = 1 n n n i=1 i=1 n µ = µ i=1

18 Media muestral Es un estimador consistente de µ. Sólo hay que probar que su varianza tiende a cero. Var ( X ) = Var ( 1 n ) n X i = 1 n n 2 Var (X i ) = σ2 n i=1 i=1 La distribución exacta de X depende de la distribución ( de σ la población. Si X N(µ, σ), entonces X N µ, ). n Por el TCL, para n grande ((n 30), la distribución de X σ puede aproximarse por N µ, ). n

19 Varianza muestral Sea X 1, X 2,..., X n muestra aleatoria simple de variable aleatoria X con E (X ) = µ y Var (X ) = σ 2. Se define la varianza muestral como: S 2 = 1 n n ( Xi X ) 2 i=1

20 Varianza muestral Es un estimador asintóticamente insesgado de σ 2. Teniendo en cuenta que n (X i µ) 2 = i=1 obtenemos que y, por tanto, n ( Xi X ) 2 ( ) 2 + n µ X i=1 E ( S 2) = σ 2 σ2 n = n 1 σ2 n lim E ( S 2) = σ 2 n

21 Varianza muestral La varianza de S 2 puede calcularse también, pero es bastante complicada (depende de coeficientes de asimetría y de curtosis de la población). Es un estimador consistente de σ 2. La distribución de S 2 es, en general, asimétrica y su forma depende del tamaño muestral y de la población base. Usando el TCL, puede aproximarse la distribución de S 2 por la distribución normal, pero la aproximación es muy lenta y sólo se manifiesta en tamaños muestrales muy grandes.

22 Varianza muestral Si X N(µ, σ), se puede probar que ns2 χ 2 σ 2 n 1. Dado que E ( ( ) χ 2 ) ns 2 n = n, se tiene que E = n 1 y, por tanto, E ( S 2) = n 1 n σ2 Como Var ( ( ) χ 2 ) ns 2 n = 2n, se tiene que Var = 2(n 1) y, por tanto, Var ( S 2) = 2(n 1) n 2 σ 4 σ 2 σ 2

23 Varianza muestral corregida o cuasivarianza Con el objeto de corregir el sesgo de la varianza muestral, se define la varianza muestral corregida o cuasivarianza como Ŝ 2 = 1 n 1 n i=1 Es un estimador insesgado de σ 2. Es un estimador consistente de σ 2. ( Xi X ) 2 = n n 1 S 2 Si X N(µ, σ), las variables aleatorias X y Ŝ 2 son (n 1)Ŝ 2 independientes y σ 2 χ 2 n 1 ) ). Entonces E (Ŝ 2 = σ 2 y Var (Ŝ 2 = 2 n 1 σ4.

24 Comentarios Si se conoce la media poblacional, µ, utilizaremos el estimador que resulta de reemplazar X por µ en la expresión de S 2. El estimador resultante es insesgado y tiene menor varianza que S 2 y Ŝ 2. En programas informáticos de suele utilizarse la cuasivarianza muestral, debido a su carácter insesgado.

25 Proporción muestral Se desea estimar la, p, de individuos de población que poseen determinada característica. Tomamos m.a.s. de n elementos anotando un 1 si el individuo elegido posee la característica y un 0 si carece de ella. Un estimador razonable de p es: p = X 1 + X X n n p es la media muestral de n variables i.i.d. B(p). p(1 p) E ( p) = p, Var ( p) = y su distribución en el n ( muestreo, para (n > 30) es aprox. N p, ) (p(1 p))/n.

26 de Método de momentos Se tiene m.a.s X 1, X 2,..., X n de de X, que se caracteriza por k parámetros θ 1, θ 2,..., θ k que deseamos estimar. El método de momentos consiste en igualar primeros momentos poblacionales, que no sean constantes, a correspondientes momentos muestrales y resolver las ecuaciones A j = g j (θ 1, θ 2,..., θ k ), j = 1, 2,..., k, donde E(X j ) = g j (θ 1, θ 2,..., θ k ) y A j = 1 n j = 1, 2,..., k. n i=1 X j i,

27 de Método de máxima verosimilitud La idea de la estimación máximo-verosímil de parámetros θ 1, θ 2,..., θ k que caracterizan variable aleatoria, X, es elegir valores de parámetros que hacen que la muestra observada, x 1, x 2,..., x n, sea la más verosímil. Si en bolsa hay 6 carame de fresa y menta, no todos del mismo sabor, pero se desconoce cuántos hay de cada uno, la de carame de fresa puede ser p = 1 6, 2 6, 3 6, 4 6 o 5 6. Si se extraen dos carame, con reemplazamiento, y se obtiene uno de cada sabor, el valor de p que otorga mayor probabilidad al suceso observado es p = 1/2. En este caso la estimación de máxima verosimilitud para p es p = 1/2.

28 de Método de máxima verosimilitud Sea X 1, X 2,..., X n m.a.s. de cuya distribución depende de un parámetro, θ. En el caso discreto, se denomina función de verosimilitud a l(θ) = P θ (X 1 = x 1,... X n = x n ) = P θ (X = x 1 ) P θ (X = x n ) Si la población es continua la verosimilitud se define por l(θ) = f θ (x 1, x 2,..., x n ) = f θ (x 1 ) f θ (x 2 ) f θ (x n ) donde f θ es la función de densidad de X.

29 de Método de máxima verosimilitud El estimador de máxima verosimilitud de θ es aquel que hace máxima la función de verosimilitud. Si l es diferenciable, condición necesaria es l(θ) θ = 0 Si la distribución de X depende de varios parámetros, θ 1, θ 2,..., θ k, y l es derivable, l(θ 1, θ 2,..., θ k ) θ j = 0, j = 1, 2,..., k En muchos casos será más conveniente trabajar con L = ln l, llamada función soporte.

30 de Método de máxima verosimilitud. Para distribuciones cuyo rango de valores posibles es conocido a priori y no depende de ningún parámetro: Asintóticamente insesgados. Con distribución asintóticamente normal. Asintóticamente de varianza mínima. Si θ es el estimador de máxima ) verosimilitud de θ y g es función biyectiva, g ( θ es el estimador de máxima verosimilitud de g (θ).