Notas de clase 3 Estimació de parámetros. Willie Heradez 05-I E este capítulo se obtedrá relacioes etre la teoría y la realidad observable. Se buscará coclusioes que se puede obteer acerca de ua poblacióa partir de ua muestra dada, y se estudiará qué ta cerca so esas coclusioes. E estos métodos teemos que usar muestras. Hasta aquí ha sido suficiete saber que ua muestra de ua població es ua selecció tomada de esta, pero ahora es ecesario formular uestro cocepto e forma precisa. Se supoe que las muestras da iformació acerca de la població a la cual correspode, ya que por lo geeral es demasiado costoso, requiere demasiado tiempo, o es imposible observar o medir todos los objetos perteecietes a la població. Isumo: Cuado hablamos de la estadística, estamos hablado de datos. Siempre, el pricipal supuesto que debemos hacer es que cada uo de los datos viee de ua distribució e particular. Ejemplo. Si os da los siguietes datos, Día # Clietes Lues 3 Martes Miércoles 6 Jueves 5 Vieres 86 Sabemos que el úmero de clietes e u día e particular y e u establecimieto e particular, correspode a la teoría de colas, lo cual os lleva a pesar que cada ua de esas 5 variables se distribuye Poisso. Más aú, como correspode al mismo lugar de vetas, podemos afirmar que tiee la misma distribució.
Ejemplo. Si teemos los siguietes datos, Estudiate Adrea Adrés Fabiá Willie Alex Pasó el parcial? Sí Sí No Sí No Nos damos cueta que la variable Pasó el parcial? puede teer dos valores (Sí, No), y el experimeto solo se repite ua vez; por tato, podríamos afirmar que cada ua de estas 5 variables se distribuye Beroulli; además, como los 5 perteece al mismo saló se puede afirmar que tiee la misma fució de distribució. Idepedecia Ua codició ecesaria para los 3 métodos que se eseñará será la codició de idepedecia. E otras palabras, es ecesario que las ejecucioes del experimeto aleatorio co el que obteemos valores de la muestra sea idepedietes, esto es, que el resultado de ua ejecució o debe ifluir e las otras ejecucioes. Esto equivale a decir que la probabilidd de que cualquier miembro de la població aparezca e ua muestra, o depede de la aparició o o aparició de los otros miembros de la població de la muestra. Ejemplo. Mi població es el saló de clases y para mi muestra seleccioo las persoas co u dado de 50 caras. Esta es ua muestra idepediete? Ejemplo. Mi població es uevamete mi saló de clases. Para seleccioar la muestra utilizo el criterio de escoger todas las persoas co cabello de color castaño. Es esta ua muestra idepediete? Problema, Cuál es? Cuado osotros estudiábamos los problemas de probabilidad que teía que ver co variables aleatorias, osotros asumíamos que sabíamos todos los parámetros, es decir, si teíamos u problema co Poisso osotros coocíamos (λ), si teíamos u problema co ua hipergeométrica osotros coocíamos (,N,R); pero, quié os da esto e la vida real?
Problema: Cómo calculamos los parámetros? Qué requerimos? Método de mometos Todas las variables del problema debe teer ua fució de distribució coocida. Todas las variables debe teer la misma fució de distribució de probabilidad co los mismos parámetros (mismos parámetros pero descoocidos). La muestra debe ser idepediete. Procedimieto: Usar la siguiete fórmula y despejar los parámetros: X j i = E [ X j] Ejemplo : Si os da los siguietes datos que correspode al úmero de clietes de ua tieda apple, se obtiee: Día # Clietes Lues X = 3 Martes X = Miércoles X 3 = 6 Jueves X = 5 Vieres X 5 = 86 Nosotros sabemos que X i, i =,..., 5 correspode a ua fució de distribució Poisso, como los días lues, martes,..., vieres so separados podemos asumir que es ua variable idepediete. Además, como los datos proviee de la misma tieda se puede afirmar que tiee el mismo (λ), descoocido pero el mismo. Por tato, el procedimieto para ecotrar el lambda es el siguiete: Para la fórmula del método de mometos Reemplazado valores, E [X i ] = λ ; i X i = E[X] = λ 3 + + 6 + 5 + 86 5 3 = λ
Luego, Co este lambda, ya se puede respoder, Lo cual es muy útil para la teoría de colas. ˆλ MM = 5, P (X 3) =? Ejemplo : Se dice que las otas del parcial de probabilidad de Willie sigue ua fució de distribució uiforme cotíua co parámetros (a, b). Teiedo los siguietes datos, determie (a, b) por el método de mometos: Solució: Estudiate Nota Adrea X =,6 Adrés X = 3, Fabiá X 3 =,6 Lia X =,0 Alex X 5 = 3,9. Asumimos que la muestra es idepediete.. Todos tiee la misma distribució porque las codicioes para presetar el parcial so homogéeas para todos. 3. Todos comparte los mismos parámetros (a, b) descoocidos. Se sabe, Etoces, E[X j ] = a + b j (b a) V ar[x j ] = j E[X ] = V ar[x] + E[X] = = (b a) + (a + b) (b a) + = b ab + a + a + ab + b (a + b) = [b ab + a ] + [a + ab + b ] = 3b + 3a ab
Por el método de mometos, se sabe E[X] = E[X ] = = X i Xi =,6 + 3, +,6 +,0 + 3,9 5 = 3,6 =,6 + 3, +,6 +,0 + 3,9 5,6 +,96 + 6,76 + +,96 5 =,656 Fialmete solo os quedaría depejar, E[X ] = 3b + 3a ab E[X] = a + b = 3,6 =,656 Tarea: Ecotrar (a, b). Dos ecuacioes, dos icógitas. Ejercicio. Los siguietes datos correspode al úmero de itetos que se requiere para capturar (3 raas doradas), este método de captura es ciego, es decir, se captura todo lo que parezca raa y solo e el laboratorio se sabe que efectivamete es la raa deseada. Se tiee los siguietes datos. Por el método de mometos, halle la probabili- Expedició # Itetos U Nacioal 8 U Ades U Javeriaa 6 dad de ecotrar la raa deseada e cada uo de los itetos. Nota: No se le olvide mecioar los supuestos ecesarios. Argumete si so o o plausibles. Ejercicio. Sea X,..., X variables aleatorias idepedietes e idéticamete distribuidas hipergeométrica (, N, R) co = 5 y N = 0. Halle ua fórmula para ecotrar R, haciedo uso del método de mometos. 5
Método de máxima verosimilitud El método de máxima verosimilitud es ua de las geialidades de la estadística del siglo XX. Qué requerimos? La fució de distribució debe ser coocida para todas las variables. La muestra debe ser idepediete. Procedimieto. Teemos las siguietes variables aleatorias que toma ciertos valores detro de los reales. (X, X, X 3,..., X ) = (X, X,..., X ) Dode X i es el valor que toma cada X i e la muestra obteida. La probabilidad cojuta de que las variables aleatorias tome el valor que está tomado es L(θ; X) = P (X = X, X = X,..., X = X ) 3. Como ua es idepediete de la otra, L(θ; X) = P (X = X)P (X = X)... P (X = X) L(θ; X) = P (X i = Xi ). Como osotros coocemos la fució de desidad (masa) de probabilidad. L(θ; X) = f Xi (Xi θ) 5. Adicioalmete, osotros sabemos que las f Xi ( ) depede de los parámetros que osotros deseamos ecotrar θ = (λ, µ, σ,, N, R). Por lo tato, maximizamos la fució L(θ; X) co respecto a θ. L(θ; X) θ = 0 6. Verificamos seguda derivada, para cumplir la codició de suficiecia de u máximo L(θ; X) θ > 0 6
Ituició: Se desea ecotrar el vector de parámetros que maximice la probabilidad de que efectivamete mis variables aleatorias haya tomado los valores que tomará gracias a la muestra. Ejemplo. Si os da los siguietes datos que correspode uevamete al úmero de clietes e ua tieda Apple, se obtiee Día # Clietes Lues X = 3 Martes X = Miércoles X 3 = 6 Jueves X = 5 Vieres X 5 = 86 Halle el estimador de máxima verosimilitud X i P (λ) ; i L(θ; X) = P (X = 3, X =, X 3 = 6, X = 5, X 5 = 86) = P (X = 3) P (X = ) P (X 3 = 6) P (X = 5) P (X 5 = 86) (Por Idepedecia) λ λ3 λ λ6 λ5 λ86 = e e λ e λ e λ e λ 3!! 6! 5! 86! (Distribució Poisso coocida) Como es muy mamó, maximizar ua multiplicació, la volveremos ua sumatoria haciedo uso de la fució logarítmica. ll(θ; X) = λ + 3l(λ) l(3!) +... λ + 86l(λ) l(86!) ( ) = 5λ + l(λ) X i l X i! ll(θ; X) λ = 5 + X i λ = 5 X ; X :=Promedio simple λ ˆλ MV = X Luego ˆθ = X es u cadidato para ser EMV. Para verificarlo se toma la seguda derivada co respecto a θ y se evalúa e ˆθ MV = X l (L(θ; X)) θ Estimador de máxima verosimilitud. = 5X θ = 5X X = 5 X (Fució cócava) 7
Por lo tato, ˆθ MV = X es u máximo. Ejemplo. Sea X,..., X variables aleatorias e idéticamete distribuídas N(θ, σ ) co θ y σ descoocidos. Halle uas fórmulas que le permita hallar θ y σ por el método de máxima verosimilitud e fució de X,..., X. L(θ, σ, X) = Derivo co respecto a θ = (πσ ) (πσ ) { exp } σ (X i θ) exp { σ } (X i θ) ll(θ, σ, X) = log(π) log(σ ) σ l(l( )) θ Derivo co respecto a σ = σ ( ) ˆθ MV = X l(l( )) σ = + σ (X i θ) = σ ( (X i θ) X i θ ) = 0 (X i θ) ; reemplazo θ por ˆθ MV = X ˆσ MV = (X i X) Para verificar que esta solució es u método global, primero se calcula las segudas derivadas parciales y se evalúa ˆθ MV = X y ˆσ MV = (X i X) l (L( )) = θ (X i X) = (X i X) < 0 l (L( )) (σ) = σ σ = (X i θ) ( ( Xi X ) ) < 0 ( (Xi X) ) (Xi θ) ( (Xi ) 3 X) 8
Como es u problema de optimizació multivariado, se debe verificar adicioalmete que el jacobiao tiee determiate positivo f(θ, σ ) f(θ, σ ) θ σ θ J = f(θ, σ ) f(θ, σ ) Es ecesario calcular l(l( )) θ σ θ σ (σ ) σ ( ) l(l( )) = θ (σ ) (X θ) (X X) = 0 (Xi X) ṋ 0 σ J = 0 (ˆσ ) ( σ ˆ (Xi ˆθ) = ṋ 0 σ 0 ) 3 J = (X i X) (ˆσ ) (σ ) 3 > 0 Por lo tato, ˆθ MV = X y ˆσ = so estimadores de máxima verosimilitud que cumple las codicioes ecesarias y suficietes del pricipio de optimizació. Ejercicios Ejercicio. Deducir el EMV del parámetro θ para la siguiete distribució: f(x; θ) = θx (+ θ) ; x > 0, θ > 0 Ejercicio. Hallar el EMV y del método de mometos de la variable aleatoria X, defiida por la siguiete fució de desidad f(x) = θ 6 x3 e θx ; x > 0, θ > 0 Ejercicio 3. La resistecia a compresió de muestras viguetas de hormigó e kgms/cm es ua v.a. que se distribuye co la siguiete fució de desidad. f(x) = x α e x α ; x > 0 a. Ecuetre el estimador del método por mometos b. Ecuetre el EMV 9
Ejercicio. (Dificultad alta) Admítase que la duració de vida, expresada e uidades de tiempo coveietemete elegida, de cierto tipo de material está expresada por ua variable aleatoria que sigue la distribució a. Determie el EMV de θ, a y c. f(x) = c θ (x a)c e (x a)c θ b. Determie el estimador por el método de mometos de θ, a, c. Ejercicio 5. (Dificultad media) El tiempo de realizació e miutos de ua determiada tarea detro de u proceso idustrial es ua variable aleatoria co fució de desidad: f(x) = x θ e x θ si x > 0 a. Calcule el estimador de máxima verosimilitud para θ. b. Calcule el estimador por el método de mometos para θ. c. Mediate u muestreo aleatorio simple se ha recogido los siguietes datos de la realizació de la tarea: 5,56,3 0,58,37 0,,98, Ecuetre ˆθ MM y ˆθ MV 0