Estadística Diplomado

Transcripción

1 Diplomado HRB UNAM 1 / 25

2 1 Estimación Puntual Momentos Máxima Verosimiltud Propiedades 2 / 25

3 1 Estimación Puntual Momentos Máxima Verosimiltud Propiedades 2 Estimación por Intervalos Cantidades Pivotales 2 / 25

4 1 Estimación Puntual Momentos Máxima Verosimiltud Propiedades 2 Estimación por Intervalos Cantidades Pivotales 3 Pruebas de Hipótesis Cociente de Verosimilitudes 2 / 25

5 1 Estimación Puntual Momentos Máxima Verosimiltud Propiedades 2 Estimación por Intervalos Cantidades Pivotales 3 Pruebas de Hipótesis Cociente de Verosimilitudes 4 Regresión Lineal Regresión Lineal Simple Regresión Múltiple 2 / 25

6 Estimación Puntual θ Θ determina aspectos interesantes de una población. Describimos una población con f.d.p f (x; θ) a través de una muestra aleatoria. {X i } n i=1 es una muestra aleatoria si son n Variables Aleatorias Independientes Idénticamente Distribuídas con f.d.p. f (x; θ). Hacemos inferencia a través de funciones T (X 1,..., X n ) llamadas s. Si las usamos para estimar las llamamos Estimadores. 3 / 25

7 Cómo hacemos estimación? Por Momentos. Por Máxima Verosimilitud Por Mínimos Cuadrados. 4 / 25

8 Estimación por Momentos Sea M j = n i=1 X j i el j-ésimo momento muestral. Sea m j = E{X j } el j-ésimo momento poblacional. Construimos un sistema de ecuaciones: m 1 = M 1 m 2 = M 2. m j = M j Despejamos θ para dejarlo en términos de alguna T (X 1,..., X n ). 5 / 25

9 Función de Verosimilitud Dada {X i } n i=1 m.a. de tamaño n, a L(θ X ) = n f (X i ; θ) i=1 se le conoce como Función de Verosimilitud y contiene toda la información de la muestra. 6 / 25

10 Máxima Verosimilitud Buscamos el valor más verosímil de la muestra sobre θ. El procedimiento es: L(θ X ). log L(θ X ) = l(θ X ). l(θ X ) θ = 0. Verificar que es máximo. El valor encontrado será el Estimador Máximo Verosímil de θ y se denota ˆθ. 7 / 25

11 Estimación por Máxima Verosimlitud logverosmilitud Log verosimiltud Máximo λ 8 / 25

12 El Estimador Máximo Verosímil es Invariante: Supongamos que τ(θ) es una función de θ que nos interesa. Para estimarla hacemos lo siguiente: τ(θ) = τ(ˆθ) Donde ˆθ es el E.M.V. de θ. Para evaluar un estimador T (X 1,..., X n ) podemos considerar: Sesgo Error Cuadrático Medio S θ (T ) = E(T ) θ ECM θ (T ) = E( T θ 2 ) = Var(T ) + S θ (T ) 9 / 25

13 Un estimador por intervalo de θ es un par de funciones L(X 1,..., X n ), U(X 1,..., X n ) tales que L(X ) U(X ). Buscamos L(X ) θ U(X ). Los intervalos los queremos de forma que, para α dada. P(θ Intevalo) = 1 α 10 / 25

14 Una cantidad Q(X ; θ) es pivotal si su distribución es independiente de θ. Usar Q lleva a un intervalo de la forma C(X ) = {θ a Q(X ; θ) b}. 11 / 25

15 Pruebas de Hipótesis Si se tiene una idea sobre θ entonces de debe poner a prueba. Al hacerlo tenemos los siguientes escenarios: Una Prueba de Hipótesis es una regla que especifica: 1 Para cuáles valores de la muestra se decide tomar H 0 como verdadera. 2 Para cuáles valores de la muestra se decide rechazar H 0 y tomar H 1 como verdadera. El conjunto de valores para los cuáles rechazamos H 0 se llama Región de Rechazo 12 / 25

16 Cociente de Verosimilitudes Para probar H 0 : θ Θ 0 vs H 1 : θ Θ c 0, θ Θ usamos: λ(x ) = sup Θ 0 L(θ X ) sup Θ L(θ X ) La región de rechazo es {X λ(x ) c}, c [0, 1] Si el cociente es pequeño significa que hay poca evidencia de que H 0 sea verdadera. 13 / 25

17 Regresión Lineal Simple Tenemos información que pude dividirse en Variable de Respuesta y en un subconjunto Covariables o Variables Explicativas. y i = β 0 + β 1 x i + ɛ i Suponemos: 1 E(ɛ i ) = 0. 2 Var(ɛ i ) = σ 2 constante. 3 Cov(ɛ i, ɛ j ) = 0 i j. Podemos agregar supuestos como ɛ i N(0, σ 2 ) i.i.d. 14 / 25

18 Definimos una cantidad útil: Suma de Cuadrados de Residuales RSS = n i=1 (y i (β 0 + β 1 x i )) 2 Queremos minimizarla para tener un ajuste bueno. β 0, β 1 y σ 2 son desconocidas y hay que estimarlas. Podemos hacerlo con Mínimos cuadrados o con Máxima Verosimilitud si tenemos el supuesto distribucional de ɛ i entonces Ambos son iguales. β 1 = n i=1 (x i x)(y i ȳ) n i=1 (x i x) 2 β 0 = ȳ ˆβ 1 x 15 / 25

19 La recta ajustada es ŷ = ˆβ 0 + ˆβ 1 x. Los residuales se estiman así: ˆɛ i = y i ŷ i RSS = n i=1 ˆɛ i 2 El estimador de σ 2. ˆσ 2 = RSS n 2 16 / 25

20 y Estimación Puntual Estimación por Intervalos Pruebas de Hipótesis Regresión Lineal Modelo Ajustado: x R 2 = x 17 / 25

21 Características de los estimadores: Asintóticamente son : E( ˆβ 0 ) = β 0 E( ˆβ 1 ) = β 1 E( ˆσ 2 ) = σ 2 Var( ˆβ 1 ) = σ2 ns 2 x ˆσ 2 σ2 χ 2 n 2 n 2 ˆβ 0 N(β 0, Var(β0 )) ˆβ 1 N(β 1, Var(β1 )) 18 / 25

22 Características de los estimadores E( ˆβ 0 ) = β 0 E( ˆβ 1 ) = β 1 E( ˆσ 2 ) = σ 2 Var( ˆβ 1 ) = σ2 ns 2 x ˆσ 2 σ2 χ 2 n 2 n 2 19 / 25

23 Propiedades Asintóticas ˆβ 0 N(β 0, Var(β0 )) ˆβ 1 N(β 1, Var(β1 )) 20 / 25

24 Intervalos y Pruebas de Hipótesis Cuando no hay supuestos distribucionales: ˆβ 1 ± Z α ( Var( ˆβ 2 1 )) 1 2 Cuando hay supuestos distribucionales: ˆβ 1 ± t n 1 ( Var( ˆβ 1 )) 1 2 α 2 Dada una observación nueva X, el intervalo para la nueva observación y ( ( yˆ ± Z α ˆσ n + (x x) 2 )) 1 2 xi x 21 / 25

25 Para probar β 1 = 0 vs β 1 0 usamos Z = ˆβ 1 0 ( Var( ˆβ 1 )) / 25

26 Regresión Múltiple El modelo tiene la forma. Y = X β + ɛ Donde X es una matriz de n p + 1 con la primera columna de 1 s y el resto las variables dependientes, n es el número de observaciones, Y es el vector de variables independientes, β es el vector de parámetros y ɛ es el vector de errores con las mismas propiedades que en la Regresión Lineal Simple. RSS = (Y X β) (Y X β) 23 / 25

27 Los estimadores por mínimos cuadrados se encuentran resolviendo: (X X ) 1 X Y = ˆβ Los residuales: ˆɛ = Y Ŷ RSS = ɛ El estimador de σ 2 es: ˆσ 2 = RSS n p 1 24 / 25

28 Características de los estimadores Propiedades: Intervalo para β j : E( ˆβ) = β Var( ˆβ) = σ 2 (X X ) 1 ˆβ N p (β, σ 2 (X X ) 1 ) ˆβ j ± Z α ( Var( ˆβ 2 j )) 1 2 El intervalo para la recta ajustada: ( )) yˆ ± t n p 1 α ˆσ2 (x p (X 1 X ) 1 2 x p 2 El intervalo de predicción es para una observación x p es: ( )) yˆ ± t n p 1 α ˆσ2 (1 + x p (X 1 X ) 1 2 x p 2 25 / 25