Estimador de Máxima Verosimilitud

Tamaño: px
Comenzar la demostración a partir de la página:

Download "Estimador de Máxima Verosimilitud"

Transcripción

1 Estimador de Máxima Verosimilitud Tratamiento Estadístico de Señales Pablo Musé, Ernesto López, Luis Di Martino Departamento de Procesamiento de Señales Instituto de Ingeniería Eléctrica Facultad de Ingeniería Curso 205

2 Introducción Estimador de Máxima Verosimilitud En el problema de estimación de parámetros, una alternativa al estimador MVU es el Estimador de Máxima Verosimilitud (MLE, Maximum Likelihood Estimator) [Kay, 993]. Es la herramienta más popular para obtener estimadores prácticos y puede ser usado en problemas de estimación complejos, o en problemas donde el MVU no existe o no puede encontrarse. Tiene características deseables si el conjunto de datos es suficientemente grande es asintóticamente eficiente es consistente es invariante ante re-parametrizaciones En muchos casos no puede encontrarse una fórmula cerrada del estimador MLE y debe buscarse empleando métodos númericos.

3 Descripción intuitiva Se observa un conjunto de datos {x[0], x[],... x[n ]} que dependen de cierto parámetro desconocido θ que se quiere estimar. Especificación del modelo: los datos son generados por un proceso aleatorio caracterizado con cierta PDF, p(x; θ), que depende del parámetro desconocido. Al variar el parámetro desconocido, se cambia la PDF que modela la generación los datos. El modelo es definido como una familia de PDFs indexada por el parámetro desconocido. Para estimar el parámetro desconocido, la idea es encontrar la PDF de la familia que es mas probable de haber generado los datos observados.

4 Descripción intuitiva Ejemplo Se quiere estimar el nivel de DC (parámetro A) en WGN cuando se observa una sola muestra, x[0] = A + w[0], donde w[0] N (0, σ 2 ) En este caso, la PDF de los datos es x[0] N (A, σ 2 ), [ p(x[0]; A) = exp ] (x[0] A)2 2πσ 2 2σ2 p(x[0];a=) p(x[0];a=2) Familia de PDFs indexada por el parámetro desconocido x[0] p(x[0];a=3) x[0] p(x[0];a=4) x[0] x[0]

5 Descripción intuitiva Dado un valor del parámetro, la correspondiente PDF indica que algunos datos son mas probables de ser observados que otros. En particular, dado A = A 0, la probabilidad de observar un valor de x[0] en un intervalo de tamaño centrado en x 0 es ( [ Pr x[0] x 0 2, x 0 + ]) x0+ 2 = p(x; A = A 0 )dx 2 x 0 2 p(x[0] = x 0 ; A = A 0 ) Por ejemplo, si A = (con σ 2 = /4), ( Pr x[0] Pr ( x[0] [ 2, + ]) [ 2 2, 2 + ]) p(x[0];a=) 0 2 x[0]

6 Descripción intuitiva En realidad, los datos fueron observados, así que el problema a resolver es el inverso: dados los datos y el modelo definido por la familia de PDFs, hay que encontrar la PDF mas probable de haber producido los datos. La función de verosimilitud es la PDF del parámetro fijando el valor de los datos. Conceptualmente, indica la probabilidad del parámetro desconocido luego de observados los datos. Por ejemplo, la probabilidad de observar x[0] cercano a 2 para cada valor de A es aprox. p(x[0] = 2; A) p(x[0]=2;a) A Si la observación fue efectivamente x[0] = 2, inferir A = 3 no sería razonable, ya que la probabilidad de haber observado x[0] = 2 es pequeña. Es mas probable que A = 2 sea el parámetro verdadero, ya que conduce a una probabilidad alta de haber observado x[0] = 2.

7 Descripción intuitiva Por lo tanto, si se observó x[0] = x 0, se elige como estimador  el valor que maximiza p(x[0] = x 0 ; A), la función de verosimilitud fijando los datos en x = x 0, sobre todo el dominio válido de A. Estimador de Máxima Verosimilitud Si la PDF de los datos es x p(x; θ), el estimador de máxima verosimilitud (MLE) es ˆθ MLE = arg max θ D θ ln p(x; θ) El estimador MLE se define como el valor de θ que maximiza el logaritmo de p(x; θ) fijando x, es decir, el valor que maximiza de función de verosimilitud logarítmica.

8 Ejemplo I Nivel de DC en WGN - Variante Los datos observados son x[n] = A + w[n] con n = 0,,..., N y w[n] N (0, A) n, donde A es desconocido. El parámetro desconocido se refleja en la media y en la varianza. Se quiere encontrar el estimador MVU. Determinación de la CRLB Para encontrar el MVU, una alternativa es determinar la CRLB y ver si existe algún estimador cuya varianza la alcance. La PDF de los datos es, p(x; A) = [ exp 2πA 2A [ = exp (2πA) N 2 2A (x[n] A)2 ] ] (x[n] A) 2. ()

9 Ejemplo I Determinación de la CRLB Tomando el logaritmo queda, ln p(x; A) = N 2 ln 2π N 2 ln A (x[n] A) 2. 2A Se aplica la derivada primera a la función de verosimiltud, ln p(x; A) A = N 2A + (x[n] A) + A 2A 2 (x[n] A) 2 (2)? = I (A)(g(x) A) La derivada de la función de verosimilitud parece no poder factorizarse de la forma requerida. No existe o no es posible encontrar un estimador eficiente.

10 Ejemplo I Determinación de la CRLB De todas formas es posible determinar la CRLB. Derivando nuevamente se obtiene [ejercicio], 2 ln p(x; A) A 2 = N 2A 2 N A 2 A 2 (x[n] A) A 3 (x[n] A) 2 Tomando la esperanza se llega a, [ 2 ] ln p(x; A) E A 2 = N 2A 2 N A A 3 NA ) = N ( A + 2 A 2 Por lo tanto, la CRLB para este problema es var(â) A 2 N ( ). A + (3) 2

11 Ejemplo I Búsqueda del MVU mediante estadísticos suficientes Se busca un estadístico suficiente de A en base a la factorización de Neyman-Fisher, p(x; A) = g(t (x), A)h(x). Observando que (x[n] A) 2 = A A x 2 [n] 2N x + NA, la PDF de los datos (ecuación ) se puede expresar como, [ p(x; A) = exp (2πA) N 2 2 ( A )] x 2 [n] + NA exp(n x) }{{} h(x) } {{ } g(t (x),a) Se concluye que un estadístico suficiente de A es T (x) = x 2 [n].

12 Ejemplo I Búsqueda del MVU mediante estadísticos suficientes Luego hay que verificar si el estadístico suficiente es completo. Para eso hay que buscar una función g que lo haga insesgado, [ ( )] E g x 2 [n] = A Como E [ ] x 2 [n] = NE ( x 2 [n] ) = N [ var(x[n]) + E 2 (x[n]) ] = N(A + A 2 ), no existe una forma obvia de elegir g. Esto agota las posibilidades de obtener un estimador óptimo.

13 Cálculo del MLE El MLE se define como Ejemplo I Â MLE = arg max A>0 ln p(x; A) De (), la PDF de los datos es, [ ] p(x; A) = exp (x[n] A) 2. (2πA) N 2 2A Considerando la PDF como función de A, se convierte en la función de verosimilitud. Para maximizar la función de verosimilitud logarítmica se diferencia y se iguala a 0. De (2), la derivada es ln p(x; A) A = N 2A + (x[n] A) + A 2A 2 (x[n] A) 2

14 Ejemplo I Cálculo del MLE Igualando a 0 y despejando se llega a que: Resolviendo el polinomio de segundo grado en  se obtienen las dos soluciones: Se elige la solución que produce estimadores positivos, en acuerdo con el rango posible de A, A > 0. Hay que verificar que la solución corresponde al máximo y no al mínimo [ejercicio]  2 + x 2 [n] = 0. N  = 2 ± x N 2 [n] + 4  = 2 + x N 2 [n] + 4 (4) 2 ln p(x; A) A 2 < 0 A= Â

15 Ejemplo I Análisis del estimador MLE: sesgo E(Â) = E 2 + x N 2 [n] + 4 ( ) 2 + E x N 2 [n] + 4 = 2 + A + A ) 2 ( = 2 + A + 2 = A El estimador no es insesgado

16 Ejemplo I Análisis del estimador MLE: comportamiento asintótico Definiendo u = x 2 [n]. N el estimador MLE encontrado es una transformación g(u) no lineal de u, Â = g(u) = 2 + u + g 2 (u) = 4 u + 4 Cuando N es grande, la PDF de u está muy concentrada alrededor de su media u 0, con ( ) u 0 = E(u) = E x 2 [n] = A + A 2. N Los valores probables de u se encuentran en un intervalo pequeño en torno a su media u 0 si N es grande.

17 Ejemplo I Análisis del estimador MLE: comportamiento asintótico En un intervalo pequeño en torno a u 0 la función g(u) es aproximadamente lineal: linealidad estadística de transformaciones. Linealizando g(u) en torno a u 0 se tiene que, g(u) g(u 0 ) + dg(u) du (u u 0 ) (5) u=u0 Teniendo en cuenta que u 0 = A + A 2, g(a 2 + A) = dg(u) 2 + A 2 + A + 2 du = u=a 4 2 +A u + 4 = A y sustituyendo en (5), se llega a que para N grande 2 Â A + A + 2 [ N 2 = A + 2 ] x 2 [n] (A + A 2 ) u=a 2 +A (6)

18 Ejemplo I Análisis del estimador MLE: comportamiento asintótico De (6), la media asintótica es [ ( ) E(Â) = A + 2 A + E x 2 [n] N 2 concluyendo que  es asintóticamente insesgado. La varianza asintótica es, (A + A 2 ) ] = A, Si ξ N (µ, σ 2 ), entonces, var(â) = ( 2 A ) 2 var ( N ) x 2 [n] = N ( ) A + 2 var(x 2 [n]) 2 (7) var(ξ 2 ) = E(ξ 4 ) E 2 (ξ 2 ) = 4µ 2 σ 2 + 2σ 4 Como x[n] N (A, A) var(x 2 [n]) = 4A 3 + 2A 2 ( = 4A 2 A + ) 2 (8)

19 Ejemplo I Análisis del estimador MLE: comportamiento asintótico Sustituyendo la ecuación (8) en la (7), la varianza asintótica queda, ( var(â) = 4 N ( ) A + 2 4A 2 A + ) 2 2 A 2 = N ( ) A + 2 = CRLB(A) concluyendo que  alcanza la CRLB asintóticamente. La CRLB(A) fue calculada antes, indicada en la ecuación (3). Como el estimador es asintóticamente insesgado y alcanza asintóticamente la CRLB, es asintóticamente eficiente. El estimador es además consistente. Esto significa que se cumple que { } lim Pr  A > ɛ = 0 ɛ > 0 N

20 Ejemplo I Análisis del estimador MLE: comportamiento asintótico PDF gaussiana: por el Teorema Central del Límite, la variable aleatoria u = N x 2 [n] es gaussiana con N, y como  es lineal en u si N es grande (ecuación 6), también tiene PDF gaussiana. Como el MLE es asintóticamente insesgado, alcanza asintóticamente la CRLB y tiene PDF gaussiana, la PDF del MLE es  a N (A, I (A)) a : asintóticamente distribuido como Este resultado es general y es la justificación de la optimalidad del MLE. N pequeño: si bien el estimador es asintóticamente óptimo, no puede afirmarse nada sobre su desempeño si el conjunto de datos es pequeño. Es posible que existan mejores estimadores. En ocasiones, el estimador MLE conduce al estimador eficiente para un conjunto de datos finito.

21 Ejemplo II MLE de nivel de DC en WGN Se observan N muestras del nivel de continua en WGN, x[n] = A + w[n] con n = 0,,..., N y w[n] N (0, σ 2 ) n El parámetro a estimar es A. La varianza σ 2 del ruido es conocida. La PDF de los datos es La función de verosimilitud logarítmica es Para encontrar el máximo, se deriva y se iguala a cero, [ ] p(x; A) = exp (2πσ 2 ) N 2 2σ 2 (x[n] A) 2 [ ] ln p(x; A) = ln (2πσ 2 ) N 2 2σ 2 (x[n] A) 2 ln p(x; A) A = σ 2 (x[n] A) = 0

22 Ejemplo II MLE de nivel de DC en WGN El MLE queda, Â = x[n] = x. N Como la media muestral es el estimador eficiente de A, el MLE es eficiente en este caso. Este resultado es general y se formaliza en el siguiente teorema.

23 Eficiencia del MLE Teorema Si existe un estimador eficiente, el método de máxima verosimilitud permite encontrarlo. Demostración: Por el teorema de Cramer-Rao, si existe un estimador eficiente, existen las funciones g(x) y I (θ) tal que ln p(x; θ) θ = I (θ)(g(x) θ). (9) El estimador eficiente es ˆθ ef = g(x) con varianza I (θ). Como el MLE es el valor de θ que maximiza la función de verosimilitud logarítmica se tiene que ln p(x; θ) θ = I (ˆθ MLE )(g(x) ˆθ MLE ) = 0 θ=ˆθmle y por lo tanto ˆθ MLE = g(x) = ˆθ ef.

24 Eficiencia asintótica Teorema: Propiedades asintóticas del MLE Si la PDF p(x, θ) de los datos satisface ciertas condiciones de regularidad, el MLE del parámetro desconocido θ es asintóticamente distribuido como, ˆθ a N (θ, I (θ)) I (θ) es la información de Fisher evaluada en el valor verdadero del parámetro desconocido. Las condiciones de regularidad son: Existencia de las derivadas primera y segunda de la función de verosimilitud Condición de regularidad de la CRLB. El MLE es asintóticamente eficiente y por lo tanto asintóticamente óptimo. Observaciones La expresión anaĺıtica de la PDF verdadera (no asintótica) del MLE es en general imposible de derivar (ver el ejemplo I). En la práctica, no se sabe cuan grande debe ser N para que se cumplan las propiedades asintóticas. Se suelen usar simulaciones en computadora para estudiar el desempeño.

25 Ejemplo I (continuación) Nivel de DC en WGN - Variante Se quiere determinar el tamaño necesario de los datos para que se cumplan los resultados asintóticos. Previamente se encontró que Estimador MLE CRLB PDF asintótica  = ( ) 2 + x N 2 [n] + A 2 var(â) 4 N(A + 2 )  a A 2 N A, N(A + 2 ) Una estrategia podría ser encontrar la PDF exacta de  y establecer para que valor de N está cerca de la PDF asintótica. En principio es posible encontrar la PDF verdadera en este ejemplo, pero sería extremadamente tedioso. Es posible estimar experimentalmente la media y la varianza del estimador como E(Â) = M  i var( Â) = M ) 2 ( i M M Ê(Â) i= i=

26 Ejemplo I (continuación) Nivel de DC en WGN - Variante Se generan N muestras de x[n] usando un valor de A = y se calcula  usando la ecuación 4. Se repite el experimento M = 0000 y se calcula la media y la varianza muestral Ê(Â) y var(â) para distintos valores de N. Media muestral de al variar N en M = 0000 experimentos. Media muestral Valor asintotico Varianza muestral de (x N) al variar N. Los valores asintóticos son  = Nvar(Â) = 2 3 Con N > 20 se ve que E(Â) > N

27 Ejemplo I (continuación) Nivel de DC en WGN - Variante Para comparar la PDF verdadera con la PDF asintótica, se repiten M = experimentos con N = 5 y N = 200 y se grafican los estimadores en histogramas. Histograma con N = 5 en M = experimentos Histograma con N = 200 en M = experimentos. PDF asintotica La PDF asintótica es ( Â a N, 2/3 ) N Con N = 5 Se observa el sesgo en el estimador. La PDF verdadera no tiene forma de gaussiana. Con N = 200 se cumplen bien las propiedades asintóticas.

28 Ejemplo III MLE de la fase de una sinusoide Se quiere estimar la fase φ de una sinusoide contaminada con WGN, x[n] = A cos(2πf 0 n + φ) + w[n] con n = 0,,..., N, donde w[n] N (0, σ 2 ) para todo n y A y f 0 conocidos Un estimador eficiente no puede encontrarse mediante la teoría la teoría de Cramer-Rao o estadísticos suficientes. La CRLB para el problema es: var( ˆφ) 2σ2 NA 2 Para encontrar el MLE hay que maximizar p(x; φ), con [ ] p(x; φ) = exp (2πσ 2 ) N 2 2σ 2 (x[n] A cos(2πf 0 n + φ)) 2. que es equivalente a minimizar J(φ) = (x[n] A cos(2πf 0 n + φ)) 2 (0)

29 Ejemplo III MLE de la fase de una sinusoide Diferenciando respecto a φ se tiene que J(φ) φ = 2A (x[n] A cos(2πf 0 n + φ)) sen(2πf 0 n + φ) y al igualar a 0 se llega a que el MLE cumple que x[n] sen(2πf 0 n + ˆφ) = A cos(2πf 0 n + ˆφ) sen(2πf 0 n + ˆφ) El lado derecho de la igualdad es aproximadamente 0 si f 0 no es cercano a 0 o a /2, por lo que el MLE cumple aproximadamente que x[n] sen(2πf 0 n + ˆφ) = 0

30 Ejemplo III MLE de la fase de una sinusoide Expandiendo términos se llega a que x[n] sen(2πf 0 n) cos( ˆφ) = x[n] cos(2πf 0 n) sen( ˆφ) y despejando se obtiene que el MLE es aproximadamente ˆφ = arctan x[n] sen(2πf 0 n). () x[n] cos(2πf 0 n) En este ejemplo, la varianza asintótica del estimador MLE es var( ˆφ) = N A2 2σ 2 = Nη donde η = A 2 2 es la SNR. σ2 La PDF asintótica es ˆφ a N (φ, /Nη)

31 Ejemplo III MLE de la fase de una sinusoide Para determinar la cantidad de datos para que se cumplan las propiedades asintóticas se realiza una simulación en computadora A =, f 0 = 0.08, φ = π/4, σ 2 = 0.05 ( SNR = 0 = 0 db) Media muestral N x varianza muestral Media muestral del estimador al variar N en M = 0000 experimentos Media muestral Valor asintotico Varianza muestral del estimador (x N) al variar N N Los valores asintóticos son ˆφ = π 4 Nvar(Â) = 0 Se necesita N > 00 para alcanzar los valores asintóticos. Hay valores de N preferenciales para el sesgo.

32 Ejemplo III MLE de la fase de una sinusoide Para comparar la PDF verdadera con la PDF asintótica, se repiten M = experimentos con N = 20 y N = Histograma con N = 20 en M = experimentos Histograma con N = 200 en M = experimentos. PDF asintotica Estimador La PDF asintótica es ( ) Â a π N 4, 0N Con N = 20 el sesgo es considerable. Con N = 200 se cumplen bien las propiedades asintóticas. El estimador MLE es malo si el conjunto de datos es chico.

33 Ejemplo III MLE de la fase de una sinusoide Se quiere analizar el desempeño del estimador al variar la SNR. Para eso se repite el experimento fijando N en 00 y se calcula la media y la varianza cambiando la SNR. Media muestral del estimador al variar la SNR en M = 0000 experimentos. 0.8 Media muestral N x varianza muestral (db) Media muestral Valor asintotico Varianza muestral del estimador (x N) al variar la SNR SNR (db) Con SNRs pequeñas, la varianza supera la CRLB considerablemente. Solo con SNRs altas se alcanza la cota. Las condiciones asintóticas no solo dependen de N, si no también de la SNR.

34 Ejemplo III Resumen La PDF asintótica del estimador MLE es válida solo si el conjunto de datos es suficientemente grande. En problemas de estimación de parámetros de señales en ruido, las condiciones asintóticas también dependen la SNR. Para establecer la cantidad de datos necesaria para que se cumplan las propiedades asintóticas en un problema en particular, se deben realizar simulaciones en computadora. En algunos casos, el estimador no alcanza la distribución asintótica aunque la cantidad de datos y/o la SNR sean arbitrariamente grandes. En este ejemplo, el estimador MLE encontrado anaĺıticamente es aproximado. Para encontrar el MLE exacto, es posible encontrar el mínimo de la ecuación (0) numéricamente empleando técnicas de optimización.

35 MLE de parámetros transformados En ocasiones, es necesario estimar una función del parámetro θ. Por ejemplo, en el problema de estimación del nivel de DC A en WGN, podría interesar calcular la potencia A 2 de la señal. El MLE de una función del parámetro θ se obtiene fácilmente a partir del MLE de θ. Ejemplo I: Nivel de DC transformado en WGN Se consideran los datos x[n] = A + w[n] con n = 0,,..., N y w[n] N (0, σ 2 ) n, donde σ 2 es desconocido y se quiere estimar el MLE de α = exp(a). La PDF de los datos es [ ] p(x; A) = exp (2πσ 2 ) N 2 2σ 2 (x[n] A) 2, < A <

36 MLE de parámetros transformados Ejemplo I: Nivel de DC transformado en WGN Como α es una transformación uno a uno de A (la función exponencial es biyectiva), es posible re-parametrizar la PDF en función de α, [ ] p T (x; α) = exp (2πσ 2 ) N 2 2σ 2 (x[n] ln α) 2, α > 0. El subíndice T refleja que la PDF es parametrizada respecto al parámetro transformado. (2) Para encontrar el MLE de α, hay que maximizar (2) en α, llegando a (x[n] ln ˆα) = 0 ˆα = exp( x) ˆα x es el MLE de A, entonces: ˆα = exp(â) Propiedad de invarianza: El MLE del parámetro transformado es la transformación del MLE del parámetro original.

37 MLE de parámetros transformados Ejemplo II: Nivel de DC transformado en WGN Se considera ahora la transformación α = A 2 para el conjunto de datos del ejemplo anterior. Al intentar re-parametrizar la PDF de A respecto a α se observa que A = ± α, ya que en este caso la transformación no es uno a uno. Para caracterizar todas las posibles PDFs se requiere dos conjuntos de PDFs, [ p T (x; α) = exp (2πσ 2 ) N 2 2σ 2 (x[n] ] α) 2, α 0 [ p T2 (x; α) = exp (2πσ 2 ) N 2 2σ 2 (x[n] + ] α) 2, α > 0 El MLE de α se obtiene como ˆα = arg max {p T (x; α), p T2 (x; α)} α

38 MLE de parámetros transformados Ejemplo II: Nivel de DC transformado en WGN Equivalentemente, el MLE puede encontrarse como el valor de α que maximiza la función de verosimilitud modificada, construida como p T (x, α) = max α {p T (x; α), p T2 (x; α)}, para cada α 0 En este ejemplo, el MLE ˆα es ˆα = arg max {p T (x; α), p T2 (x; α)} = [ α 0 arg max α 0 { pt (x; α), p T2 (x; α) } [ = arg max <A< p(x; A) = Â 2 = x 2 ] 2 ] 2 La propiedad de invarianza se cumple aunque la transformación no sea biyectiva.

39 MLE de parámetros transformados Teorema: propiedad de invarianza del MLE El MLE del parámetro α = g(θ), donde la PDF p(x, θ) está parametrizada por θ, está dado por donde ˆθ es el MLE de θ. ˆα = g(ˆθ), El MLE de θ se obtiene maximizando p(x, θ). Si g no es una función uno a uno, ˆα maximiza la función de verosimilitud modificada p T (x, α), definida como p T (x, α) = max p(x, θ). {θ:α=g(θ)}

40 Extensión a vector de parámetros Análogamente al caso escalar, el MLE para un vector de parámetros θ es el valor que maximiza la función de verosimilitud p(x; θ) sobre todo el rango válido de θ. Asumiendo que la función de verosimilitud es diferenciable, el MLE se encuentra como ln p(x; θ) = 0. θ En caso de existir múltiples soluciones, el MLE es aquella que maximiza la función de verosimilitud, es decir, la que produce el máximo global.

41 Extensión a vector de parámetros Nivel de DC en WGN Se consideran las observaciones del nivel de continua en WGN, x[n] = A + w[n] con n = 0,,..., N y w[n] N (0, σ 2 ) n donde A y σ 2 son desconocidos. En este caso, el vector de parámetros es θ = [ A σ 2] T. La función de verosimilitud logarítmica queda ln p(x; θ) = N 2 ln 2π N 2 ln σ2 2σ 2 (x[n] A) 2. y las derivadas son (ejercicio) ln p(x; θ) A ln p(x; θ) σ 2 = σ 2 (x[n] A) = N 2σ 2 + 2σ 4 (x[n] A) 2

42 Nivel de DC en WGN Extensión a vector de parámetros Resolviendo para A en la primer ecuación se tiene que (x[n] Â) = 0  = x ˆσ 2 Resolviendo para σ 2 en la segunda ecuación y usando que  = x N 2 ˆσ ˆσ 22 (x[n] Â)2 = 0 ˆσ 2 = (x[n] x) 2 N El MLE resulta en ˆθ = N x (x[n] x) 2.

43 Extensión a vector de parámetros Teorema: Propiedades asintóticas del MLE Si la PDF p(x, θ) de los datos x satisface ciertas condiciones de regularidad, el MLE del parámetro desconocido θ es asintóticamente distribuido como, ˆθ a N (θ, I (θ)) I(θ) es la matriz de información de Fisher evaluada en el valor verdadero del parámetro desconocido. Las condiciones de regularidad son: Existencia de las derivadas de primer y segundo orden de la función de verosimilitud. Además, [ ] ln p(x; θ) E = 0 θ θ

44 Referencias I Kay, S. M. (993). Fundamentals of Statistical Signal Processing, Volume I: Estimation Theory, chapter 7. Prentice Hall, st edition.

Estimador de máxima verosimilitud (MLE)

Estimador de máxima verosimilitud (MLE) Estimador de máxima verosimilitud (MLE) Alvaro Gómez & Pablo Musé {agomez, pmuse}@fing.edu.uy Departamento de Procesamiento de Señales Instituto de Ingeniería Eléctrica Facultad de Ingeniería Marzo de

Más detalles

Estimadores insesgados lineales óptimos (BLUE)

Estimadores insesgados lineales óptimos (BLUE) Estimadores insesgados lineales óptimos (BLUE) Alvaro Gómez & Pablo Musé {agomez, pmuse}@fing.edu.uy Departamento de Procesamiento de Señales Instituto de Ingeniería Eléctrica Facultad de Ingeniería Marzo

Más detalles

Cota Inferior de Cramer Rao

Cota Inferior de Cramer Rao Cota Inferior de Cramer Rao Tratamiento Estadístico de Señales Pablo Musé, Ernesto López & Luís Di Martino {pmuse,elopez}@fing.edu.uy Departamento de Procesamiento de Señales Instituto de Ingeniería Eléctrica

Más detalles

Estimación insesgada de mínima varianza

Estimación insesgada de mínima varianza Estimación insesgada de mínima varianza Tratamiento Estadístico de Señales Pablo Musé, Ernesto López & Luís Di Martino {pmuse, elopez, dimartino}@fing.edu.uy Departamento de Procesamiento de Señales Instituto

Más detalles

ECONOMETRÍA II Prof.: Begoña Álvarez TEMA 1 INTRODUCCIÓN. Estimación por máxima verosimilitud y conceptos de teoría asintótica

ECONOMETRÍA II Prof.: Begoña Álvarez TEMA 1 INTRODUCCIÓN. Estimación por máxima verosimilitud y conceptos de teoría asintótica ECONOMETRÍA II Prof.: Begoña Álvarez 2007-2008 TEMA 1 INTRODUCCIÓN Estimación por máxima verosimilitud y conceptos de teoría asintótica 1. ESTIMACIÓN POR MÁXIMA VEROSIMILITUD (MAXIMUM LIKELIHOOD) La estimación

Más detalles

ESTIMACIÓN Estas transparencias contienen material adaptado del curso de PATTERN RECOGNITION AND MACHINE LEARNING de Heikki Huttunen y del libro Duda.

ESTIMACIÓN Estas transparencias contienen material adaptado del curso de PATTERN RECOGNITION AND MACHINE LEARNING de Heikki Huttunen y del libro Duda. ESTIMACIÓN Estas transparencias contienen material adaptado del curso de PATTERN RECOGNITION AND MACHINE LEARNING de Heikki Huttunen y del libro Duda. APRENDIZAJE AUTOMÁTICO, ESTIMACIÓN Y DETECCIÓN Introducción

Más detalles

EXÁMEN INFERENCIA ESTADÍSTICA I Diplomado en Estadística Convocatoria de Febrero 2006

EXÁMEN INFERENCIA ESTADÍSTICA I Diplomado en Estadística Convocatoria de Febrero 2006 EXÁMEN INFERENCIA ESTADÍSTICA I Diplomado en Estadística Convocatoria de Febrero 6 Problema ( ptos) Considera un experimento aleatorio con espacio muestral Ω. a) Definir una σ-álgebra A sobre Ω. b) Dar

Más detalles

Curso Inferencia. Miguel Ángel Chong R. 1 de octubre del 2012

Curso Inferencia. Miguel Ángel Chong R. 1 de octubre del 2012 Curso Estadística Miguel Ángel Chong R. miguel@sigma.iimas.unam.mx 1 de octubre del 2012 Definición Estadístico suficiente Un estadístico es suficiente respecto al parámetro si la distribución de probabilidad

Más detalles

Estimación Bayesiana y Máximo a Posteriori

Estimación Bayesiana y Máximo a Posteriori Estimación Bayesiana y Máximo a Posteriori Alvaro Gómez & Pablo Musé {agomez, pmuse}@fing.edu.uy Departamento de Procesamiento de Señales Instituto de Ingeniería Eléctrica Facultad de Ingeniería Marzo

Más detalles

Tema 4 - Introducción

Tema 4 - Introducción Tema 4 - Introducción 1 Tema 3. Estimación puntual Criterios de comparación de estimadores: Insesgadez. Estimadores de mínima varianza. Error cuadrático medio. Consistencia. Cómo obtener estimadores? Tema

Más detalles

Resumen. Recordemos que una cópula es una función C : I 2 I tal que: C(u 2, v 2 ) C(u 2, v 1 ) C(u 1, v 2 ) + C(u 1, v 1 ) 0. (2)

Resumen. Recordemos que una cópula es una función C : I 2 I tal que: C(u 2, v 2 ) C(u 2, v 1 ) C(u 1, v 2 ) + C(u 1, v 1 ) 0. (2) Contenido 1 2 3 Cópula Empírica Cópula Kernel Resumen Recordemos que una cópula es una función C : I 2 I tal que: 1 Para cualesquiera u, v en I := [0, 1] C(u, 0) = 0 = C(0, v), C(u, 1) = u, C(1, v) = v.

Más detalles

Selección de distribuciones de probabilidad

Selección de distribuciones de probabilidad Selección de distribuciones de probabilidad Patricia Kisbye FaMAF 6 de mayo, 2010 Análisis estadístico de datos simulados Los sistemas reales tienen fuentes de aleatoriedad: Tipo de sistema Fabricación

Más detalles

3 ESTIMACION. 3.1 Introducción

3 ESTIMACION. 3.1 Introducción 3 ESTIMACION 3.1 Introducción En un problema estadístico, si los datos fueron generados a partir de una distribución de probabilidad F(x) desconocida, la Inferencia Estadística permite decir algo respecto

Más detalles

Probabilidades y Estadística

Probabilidades y Estadística Probabilidades y Estadística Profesor: Fernando Lema Auxiliares: Víctor Carmi - Abelino Jiménez Universidad de Chile Indice General 1 Indice General 1 Advertencias y Recomendaciones Tener presente siempre

Más detalles

Estimación Máxima Verosimilitud

Estimación Máxima Verosimilitud Estimación Máxima Verosimilitud Microeconomía Cuantitativa R. Mora Departmento of Economía Universidad Carlos III de Madrid Outline Motivación 1 Motivación 2 3 4 5 Estrategias generales de estimación Hay

Más detalles

Práctico 2 Análisis de proceso autorregresivo de orden 2 Proceso WSS filtrado

Práctico 2 Análisis de proceso autorregresivo de orden 2 Proceso WSS filtrado Práctico Análisis de proceso autorregresivo de orden Proceso WSS filtrado Tratamiento Estadístico de Señales Pablo Musé, Ernesto López & Luís Di Martino {pmuse, elopez, dimartino}@fing.edu.uy Departamento

Más detalles

ESTADÍSTICA I Tema 3: Estimación puntual paramétrica

ESTADÍSTICA I Tema 3: Estimación puntual paramétrica ESTADÍSTICA I Tema 3: Estimación puntual paramétrica Planteamiento del problema Estimadores. Concepto, error cuadrático medio y propiedades deseables Construcción de estimadores: el método de máxima verosimilitud

Más detalles

Conceptos básicos de inferencia estadística (I): Inferencia estadística (repaso)

Conceptos básicos de inferencia estadística (I): Inferencia estadística (repaso) Conceptos básicos de inferencia estadística (I): Inferencia estadística (repaso) Tema 1 (I) Estadística 2 Curso 08/09 Tema 1 (I) (Estadística 2) Inferencia estadística Curso 08/09 1 / 24 Inferencia estadística

Más detalles

Estadística y sus aplicaciones en Ciencias Sociales 5. Estimación. Facultad de Ciencias Sociales, UdelaR

Estadística y sus aplicaciones en Ciencias Sociales 5. Estimación. Facultad de Ciencias Sociales, UdelaR Estadística y sus aplicaciones en Ciencias Sociales 5. Estimación Facultad de Ciencias Sociales, UdelaR Índice 1. Repaso: estimadores y estimaciones. Propiedades de los estimadores. 2. Estimación puntual.

Más detalles

Tema 2: Introducción a la Inferencia Estadística

Tema 2: Introducción a la Inferencia Estadística Tema 2: Introducción a la Inferencia Estadística 1.- En m.a.s. el estadístico varianza muestral es: a) Un estimador insesgado de la varianza poblacional. b) Un estimador insesgado de la media poblacional.

Más detalles

Técnicas Cuantitativas II Estimación puntual de Parámetros. TC II Estimación puntual de parámetros 1 / 34

Técnicas Cuantitativas II Estimación puntual de Parámetros. TC II Estimación puntual de parámetros 1 / 34 Técnicas Cuantitativas II 2012-2013 Estimación puntual de Parámetros TC II Estimación puntual de parámetros 1 / 34 TC II Estimación puntual de parámetros 2 / 34 : concepto de estimador de un parámetro

Más detalles

Part VII. Estadística I. Mario Francisco. Introducción a la inferencia. Estimación puntual. Propiedades deseables de los estimadores

Part VII. Estadística I. Mario Francisco. Introducción a la inferencia. Estimación puntual. Propiedades deseables de los estimadores Part VII La inferencia puede definirse como el conjunto de métodos mediante cuales podemos extraer información sobre distintas características de interés de cierta distribución de probabilidad de la cual

Más detalles

Auxiliar 9. MNL y MLE. Daniel Olcay. 21 de octubre de 2014 IN4402. Daniel Olcay (IN4402) Auxiliar 9 21 de octubre de / 13

Auxiliar 9. MNL y MLE. Daniel Olcay. 21 de octubre de 2014 IN4402. Daniel Olcay (IN4402) Auxiliar 9 21 de octubre de / 13 Auxiliar 9 MNL y MLE Daniel Olcay IN4402 21 de octubre de 2014 Daniel Olcay (IN4402) Auxiliar 9 21 de octubre de 2014 1 / 13 Índice Modelos no lineales Probabilidad lineal Probit Logit Máxima verosimilitud

Más detalles

Tema 6. Estimación puntual

Tema 6. Estimación puntual 1 Tema 6. Estimación puntual En este tema: Planteamiento del problema. Criterios de comparación de estimadores: Insesgadez. Estimadores de mínima varianza. Error cuadrático medio. Consistencia. Métodos

Más detalles

EL PRINCIPIO DE MÁXIMA VEROSIMILITUD (LIKELIHOOD)

EL PRINCIPIO DE MÁXIMA VEROSIMILITUD (LIKELIHOOD) EL PRINCIPIO DE MÁXIMA VEROSIMILITUD (LIKELIHOOD) Fortino Vela Peón fvela@correo.xoc.uam.mx FVela-0 Objetivo Introducir las ideas básicas del principio de máxima verosimilitud. Problema Considere el experimento

Más detalles

ESTADÍSTICA I Tema 3: Estimación puntual paramétrica

ESTADÍSTICA I Tema 3: Estimación puntual paramétrica ESTADÍSTICA I Tema 3: Estimación puntual paramétrica Planteamiento del problema Estimadores. Concepto, error cuadrático medio y propiedades deseables Construcción de estimadores: el método de máxima verosimilitud

Más detalles

INFERENCIA ESTADÍSTICA Notas de clase. Profesores: A. Leonardo Bañuelos S. Nayelli Manzanarez Gómez

INFERENCIA ESTADÍSTICA Notas de clase. Profesores: A. Leonardo Bañuelos S. Nayelli Manzanarez Gómez INFERENCIA ESTADÍSTICA Notas de clase Profesores: A. Leonardo Bañuelos S. Naelli Manzanarez Gómez TEMA II ESTIMACIÓN PUNTUAL DE PARÁMETROS POBLACIONALES La estimación puntual de un parámetro relativo a

Más detalles

Least Squared Methods for System Identification. 1. Modelamiento de datos - Least Squared Estimator

Least Squared Methods for System Identification. 1. Modelamiento de datos - Least Squared Estimator 16/4/2011 UNIVERSIDAD TECNICA FEDERICO SANTA MARIA DEPARTAMENTO DE ELECTRONICA ELO325 SoftComputing y Aplicaciones Least Squared Methods for System Identification Tomás Arredondo Vidal - 1. Modelamiento

Más detalles

METODOS ESTADÍSTICOS

METODOS ESTADÍSTICOS METODOS ESTADÍSTICOS Introducción. Uno de los objetivos de la asignatura de Hidrología, es mostrar a los alumnos, las herramientas de cálculo utilizadas en Hidrología Aplicada para diseño de Obras Hidráulicas.

Más detalles

Suficiencia y Completitud. Estimadores IMVU.

Suficiencia y Completitud. Estimadores IMVU. 1 Suficiencia y Completitud. Estimadores IMVU. Graciela Boente 1 1 Universidad de Buenos Aires and CONICET, Argentina 2 Definición X P θ con θ Θ. Se dice que T = t(x) es suficiente para θ si: la distribución

Más detalles

BLOQUE III: INFERENCIA ESTADISTICA. X, variable aleatoria de interés sobre una determinada población

BLOQUE III: INFERENCIA ESTADISTICA. X, variable aleatoria de interés sobre una determinada población BLOQUE III: INFERENCIA ESTADISTICA TEMA 8. MUESTREO Y DISTRIBUCIONES DE MUESTREO 1. Introducción a la Inferencia Estadística X, variable aleatoria de interés sobre una determinada población Observar el

Más detalles

Curso Inferencia. Miguel Ángel Chong R. 10 de septiembre del 2013

Curso Inferencia. Miguel Ángel Chong R. 10 de septiembre del 2013 Curso Estadística Miguel Ángel Chong R. miguel@sigma.iimas.unam.mx 10 de septiembre del 013 Distribución de la diferencia de medias muestrales cuando se conoce la varianza poblacional. En muchas situaciones

Más detalles

Bootstrap. Patricia Kisbye. 13 de mayo, FaMAF

Bootstrap. Patricia Kisbye. 13 de mayo, FaMAF Bootstrap Patricia Kisbye FaMAF 13 de mayo, 2010 Técnica de bootstrap La técnica de Bootstrap fue introducida por B. Efron, 1982. Consiste en aproximar la precisión de un estimador a partir de una muestra

Más detalles

Estimación de Máxima Verosimilitud Utilizando la Función optim en R

Estimación de Máxima Verosimilitud Utilizando la Función optim en R Estimación de Máxima Verosimilitud Utilizando la Función optim en R Juan F. Olivares-Pacheco * 15 de diciembre de 2006 Resumen En este trabajo se muestra el método de verosimilitud para la estimación de

Más detalles

Tema 6. Estimación puntual

Tema 6. Estimación puntual Tema 6. Estimación puntual Contenidos Planteamiento del problema Criterios de comparación de estimadores: Insesgadez Estimadores de mínima varianza Error cuadrático medio Consistencia Métodos para obtener

Más detalles

Econometría II. Hoja de Problemas 1

Econometría II. Hoja de Problemas 1 Econometría II. Hoja de Problemas 1 Nota: En todos los contrastes tome como nivel de significación 0.05. 1. SeanZ 1,...,Z T variables aleatorias independientes, cada una de ellas con distribución de Bernouilli

Más detalles

Estimación de Parámetros

Estimación de Parámetros Estimación de Parámetros Jhon Jairo Padilla A., PhD. Inferencia Estadística La inferencia estadística puede dividirse en dos áreas principales: p Estimación de Parámetros Prueba de Hipótesis Estimación

Más detalles

Curso Inferencia. Miguel Ángel Chong R. 17 de septiembre del 2013

Curso Inferencia. Miguel Ángel Chong R. 17 de septiembre del 2013 Curso Estadística Miguel Ángel Chong R. miguel@sigma.iimas.unam.mx 17 de septiembre del 2013 Estimador insesgado de minima varianza Definición Estimador insesgado uniformemente de mínima varianza. Diremos

Más detalles

Apuntes de Series Temporales

Apuntes de Series Temporales Apuntes de Series Temporales David Rodríguez 7 de Noviembre de 2009. Modelos de Series Temporales Modelo AR() El modelo AutoRegresivo AR() es un proceso aleatorio de la forma X t = ϕx t + σϵ t, ϵ t N (0,

Más detalles

Principios de reducción de la data

Principios de reducción de la data Capítulo 6 Principios de reducción de la data 6.1. Introducción Un experimentador usa la información en una muestra X 1,, X n para realizar el proceso de inferencia sobre algun parámetro desconocido θ.

Más detalles

Tema 3 - Introducción. Tema 2. Distribuciones en el muestreo Estadísticos y distribución muestral. Ejemplos: X y S 2.

Tema 3 - Introducción. Tema 2. Distribuciones en el muestreo Estadísticos y distribución muestral. Ejemplos: X y S 2. Tema 3 - Introducción 1 Tema 2. Distribuciones en el muestreo Estadísticos y distribución muestral. Ejemplos: X y S 2. Tema 3. Estimación puntual Criterios de comparación de estimadores: Insesgadez. Estimadores

Más detalles

Intervalos de Confianza

Intervalos de Confianza Intervalos de Confianza Álvaro José Flórez 1 Escuela de Ingeniería Industrial y Estadística Facultad de Ingenierías Febrero - Junio 2012 Intervalo de Confianza Se puede hacer una estimación puntual de

Más detalles

Suficiencia y Completitud. Estimadores IMVU.

Suficiencia y Completitud. Estimadores IMVU. 1 Suficiencia y Completitud. Estimadores IMVU. Graciela Boente 1 1 Universidad de Buenos Aires and CONICET, Argentina 2 Definición X P θ con θ Θ. Se dice que T = t(x) es suficiente para θ si: la distribución

Más detalles

Introducción a la Inferencia Estadística

Introducción a la Inferencia Estadística MÁSTER EN ESTADÍSTICA PÚBLICA Experto Universitario: Estadística Aplicada y Técnicas de Encuestación 1 Introducción a la Inferencia Estadística Estimación puntual paramétrica M a Teresa Gómez Departamento

Más detalles

Conceptos Básicos de Inferencia

Conceptos Básicos de Inferencia Conceptos Básicos de Inferencia Álvaro José Flórez 1 Escuela de Ingeniería Industrial y Estadística Facultad de Ingenierías Febrero - Junio 2012 Inferencia Estadística Cuando obtenemos una muestra, conocemos

Más detalles

Funciones de una variable

Funciones de una variable Funciones de una variable Dpto. Matemática Aplicada Universidad de Málaga Motivación Conceptos matemáticos Funciones Mundo real Continuidad Derivada Integral Definición de función R A: Dominio R B: Imagen

Más detalles

Estimación por intervalos

Estimación por intervalos Capítulo 9 Estimación por intervalos 9.1. Introducción En este capítulo se desarrolla la estimación por intervalos donde el proceso de inferencia se realiza de la forma θ C, donde C = Cx) es un conjunto

Más detalles

Estadística Bayesiana

Estadística Bayesiana Universidad Nacional Agraria La Molina 2017-1 Teoría de la decisión Riesgo de Bayes La teoría de decisión es un área de suma importancia en estadística ya que muchos problemas del mundo real pueden tomar

Más detalles

Tema 3: Estimación estadística de modelos probabilistas. (primera parte)

Tema 3: Estimación estadística de modelos probabilistas. (primera parte) Tema 3: Estimación estadística de modelos probabilistas. (primera parte) Estructura de este tema: 1. 2 Estimación por intervalos de confianza. 3 Contrastes de hipótesis. Planteamiento del problema Inconveniente:

Más detalles

CUESTIONES TEÓRICAS ESTADÍSTICA

CUESTIONES TEÓRICAS ESTADÍSTICA Gestión Aeronáutica: Estadística Teórica Facultad Ciencias Económicas y Empresariales Departamento de Economía Aplicada Profesor: Santiago de la Fuente Fernández CUESTIONES TEÓRICAS ESTADÍSTICA Gestión

Más detalles

Estimación de Parámetros. Jhon Jairo Padilla A., PhD.

Estimación de Parámetros. Jhon Jairo Padilla A., PhD. Estimación de Parámetros Jhon Jairo Padilla A., PhD. Inferencia Estadística La inferencia estadística puede dividirse en dos áreas principales: Estimación de Parámetros Prueba de Hipótesis Estimación de

Más detalles

Estimación de Parámetros. Jhon Jairo Padilla A., PhD.

Estimación de Parámetros. Jhon Jairo Padilla A., PhD. Estimación de Parámetros Jhon Jairo Padilla A., PhD. Inferencia Estadística La inferencia estadística puede dividirse en dos áreas principales: Estimación de Parámetros Prueba de Hipótesis Estimación de

Más detalles

Curso: Métodos de Monte Carlo Unidad 2, Sesión 5: Cálculo de intervalos de confianza

Curso: Métodos de Monte Carlo Unidad 2, Sesión 5: Cálculo de intervalos de confianza Curso: Métodos de Monte Carlo Unidad 2, Sesión 5: Cálculo de intervalos de confianza Departamento de Investigación Operativa Instituto de Computación, Facultad de Ingeniería Universidad de la República,

Más detalles

Definición Una hipótesis es una afirmación acerca de un parámetro.

Definición Una hipótesis es una afirmación acerca de un parámetro. Capítulo 8 Prueba de hipótesis Existen dos áreas de interés en el proceso de inferencia estadística: la estimación puntual y las pruebas de hipótesis. En este capítulo se presentan algunos métodos para

Más detalles

Introducción a la Teoría de la Información

Introducción a la Teoría de la Información Introducción a la Teoría de la Información Tasa de Entropía de un Proceso Estocástico. Facultad de Ingeniería, UdelaR (Facultad de Ingeniería, UdelaR) Teoría de la Información 1 / 13 Agenda 1 Procesos

Más detalles

Distribuciones Fundamentales de Muestreo. UCR ECCI CI-0115 Probabilidad y Estadística Prof. Kryscia Daviana Ramírez Benavides

Distribuciones Fundamentales de Muestreo. UCR ECCI CI-0115 Probabilidad y Estadística Prof. Kryscia Daviana Ramírez Benavides Distribuciones Fundamentales de Muestreo UCR ECCI CI-0115 Probabilidad y Estadística Prof. Kryscia Daviana Ramírez Benavides Distribuciones Muestrales La distribución de probabilidad de un estadístico

Más detalles

Técnicas de Muestreo Métodos

Técnicas de Muestreo Métodos Muestreo aleatorio: Técnicas de Muestreo Métodos a) unidad muestral elemental: a.1) muestreo aleatorio simple a.2) muestreo (seudo)aleatorio sistemático a.3) muestreo aleatorio estratificado b) unidad

Más detalles

Inferencia Estadística. Estimación y Contrastes

Inferencia Estadística. Estimación y Contrastes y y M Dolores Redondas dolores.redondas@upm.es E.U. Arquitectura Técnica U.P.M. Curso 2009-2010 Introducción Identicación del comportamiento de una variable El reconocimiento del comportamiento de una

Más detalles

Experimentos de Monte Carlo. Walter Sosa-Escudero

Experimentos de Monte Carlo. Walter Sosa-Escudero Introduccion Test de Breusch-Pagan de heterocedasticidad: LM = 1 2 SCE g,z χ 2 (p 1) g = residuos al cuadrado, z, variables explicativas de la heterocedasticidad. Esta es una aseveracion asintotica. Que

Más detalles

TEORÍA DE LA COMUNICACIÓN TEMA 2 RUIDO EN LOS SISTEMA DE COMUNICACIONES. Variable aleatoria (Real)

TEORÍA DE LA COMUNICACIÓN TEMA 2 RUIDO EN LOS SISTEMA DE COMUNICACIONES. Variable aleatoria (Real) TEORÍA DE LA COMUNICACIÓN TEMA 2 RUIDO EN LOS SISTEMA DE COMUNICACIONES Grado Ing Telemática (UC3M) Teoría de la Comunicación Variable Aleatoria / 26 Variable aleatoria (Real) Función que asigna un valor

Más detalles

Optimización bajo Incertidumbre. 0. Revisión. Depto. Investigación Operativa. Instituto de Computación. Facultad de Ingeniería, UdelaR

Optimización bajo Incertidumbre. 0. Revisión. Depto. Investigación Operativa. Instituto de Computación. Facultad de Ingeniería, UdelaR Optimización bajo Incertidumbre 0. Revisión Carlos Testuri Germán Ferrari Depto. Investigación Operativa. Instituto de Computación. Facultad de Ingeniería, UdelaR 2003-17 Contenido 1 Revisión Probabilidad

Más detalles

Distribución Empírica

Distribución Empírica 1 Distribución Empírica X 1,...,X n i.i.d. X i F, X i P I A (X j (ω)) = { 1 Xj (ω) A 0 X j (ω) / A F n (x,ω) = 1 n P n (A,ω) = 1 n n i=1 n i=1 I (,x] (X j (ω)) = #{X j(ω) x} n I A (X j (ω)) = #{X j(ω)

Más detalles

Estadística I Tema 5: Introducción a la inferencia estadística

Estadística I Tema 5: Introducción a la inferencia estadística Estadística I Tema 5: Introducción a la inferencia estadística Tema 5. Introducción a la inferencia estadística Contenidos Objetivos. Estimación puntual. Bondad de ajuste a una distribución. Distribución

Más detalles

Comportamiento asintótico de estimadores

Comportamiento asintótico de estimadores Comportamiento asintótico de estimadores Seguimos con variable X con función de densidad/masa f (x; θ). Queremos estimar θ. Dada una muestra aleatoria, definimos un estimador T = h(x 1,..., X n ) Esperamos/deseamos

Más detalles

ESTADÍSTICA I Tema 2: Algunas ideas básicas sobre inferencia estadística. Muestreo aleatorio

ESTADÍSTICA I Tema 2: Algunas ideas básicas sobre inferencia estadística. Muestreo aleatorio ESTADÍSTICA I Tema 2: Algunas ideas básicas sobre inferencia estadística. Muestreo aleatorio Muestra aleatoria Conceptos probabiĺısticos básicos El problema de inferencia Estadísticos. Media y varianza

Más detalles

Diseños D-óptimos bayesianos para modelos lineales heteroscedásticos

Diseños D-óptimos bayesianos para modelos lineales heteroscedásticos XXVI Simposio Internacional de Estadística 2016 Sincelejo, Sucre, Colombia, 8 al 12 de Agosto de 2016 Diseños D-óptimos bayesianos para modelos lineales heteroscedásticos Catalina Patiño Bustamante 1,a,

Más detalles

MÉTODOS AVANZADOS EN APRENDIZAJE ARTIFICIAL: TEORÍA Y APLICACIONES A PROBLEMAS DE PREDICCIÓN

MÉTODOS AVANZADOS EN APRENDIZAJE ARTIFICIAL: TEORÍA Y APLICACIONES A PROBLEMAS DE PREDICCIÓN MÉTODOS AVANZADOS EN APRENDIZAJE ARTIFICIAL: TEORÍA Y APLICACIONES A PROBLEMAS DE PREDICCIÓN Manuel Sánchez-Montañés Luis Lago Ana González Escuela Politécnica Superior Universidad Autónoma de Madrid Teoría

Más detalles

Inferencia Estadística

Inferencia Estadística Inferencia Estadística 2do C. 2018 Mg. Stella Figueroa Clase Nº10 Población y Muestra- Parámetro y Estimación puntual Población: Es el conjunto de todos los elementos o unidades elementales con características

Más detalles

Universidad Técnica de Babahoyo INTRODUCCIÓN A LA INFERENCIA ESTADÍSTICA

Universidad Técnica de Babahoyo INTRODUCCIÓN A LA INFERENCIA ESTADÍSTICA Universidad Técnica de Babahoyo INTRODUCCIÓN A LA INFERENCIA ESTADÍSTICA Ateneo Ruperto P. Bonet Chaple UTB-Julio 2016 OBJETIVO Aplicar las técnicas de Muestreo e Inferencia Estadística Determinar el tamaño

Más detalles

EXAMEN DE ESTADÍSTICA Junio 2011

EXAMEN DE ESTADÍSTICA Junio 2011 EXAMEN DE ESTADÍSTICA Junio 2011 Apellidos: Nombre: DNI: GRUPO: 1. Sea X una variable aleatoria discreta. Determine el valor de k para que la función p(x) { k/x x 1, 2, 3, 4 0 en otro caso sea una función

Más detalles

Análisis Multivariante de Datos

Análisis Multivariante de Datos Análisis Multivariante de Datos Curso 2016-2017 Por qué es importante realizar inferencia sobre los parámetros de la normal? La estimación máximo-verosímil (MV) de la distribución Normal son la media y

Más detalles

El Movimiento Browniano en la modelización del par EUR/USD

El Movimiento Browniano en la modelización del par EUR/USD MÁSTER UNIVERSITARIO EN DIRECCIÓN FINANCIERA Y FISCAL TESINA FIN DE MÁSTER El Movimiento Browniano en la modelización del par EUR/USD Autor: José Vicente González Cervera Directores: Dr. Juan Carlos Cortés

Más detalles

Práctico 3 Filtro de Wiener

Práctico 3 Filtro de Wiener Práctico 3 Filtro de Wiener Tratamiento Estadístico de Señales Pablo Musé, Ernesto López & Luís Di Martino {pmuse, elopez, dimartino}@fingeduuy Departamento de Procesamiento de Señales Instituto de Ingeniería

Más detalles

T2. El modelo lineal simple

T2. El modelo lineal simple T2. El modelo lineal simple Ana J. López y Rigoberto Pérez Dpto Economía Aplicada. Universidad de Oviedo Curso 2010-2011 Curso 2010-2011 1 / 40 Índice 1 Planteamiento e hipótesis básicas 2 Estimación de

Más detalles

Teorema Central del Límite (1)

Teorema Central del Límite (1) Teorema Central del Límite (1) Definición. Cualquier cantidad calculada a partir de las observaciones de una muestra se llama estadístico. La distribución de los valores que puede tomar un estadístico

Más detalles

Tema 6: Introducción a la Inferencia Bayesiana

Tema 6: Introducción a la Inferencia Bayesiana Tema 6: Introducción a la Inferencia Bayesiana Conchi Ausín Departamento de Estadística Universidad Carlos III de Madrid concepcion.ausin@uc3m.es CESGA, Noviembre 2012 Contenidos 1. Elementos básicos de

Más detalles

j = 1,..., q donde i rs = {I 1 } rs Z j = N p i π i (θ 0 ) θ j

j = 1,..., q donde i rs = {I 1 } rs Z j = N p i π i (θ 0 ) θ j MLG Ana M. Bianco FCEyN 2008 75 Comenzaremos por probar el siguiente resultado auxiliar. Lema: Supongamos que θ 0, valor verdadero del parámetro, es un punto interior del espacio paramétrico, π i (θ 0

Más detalles

Variables aleatorias continuas y Teorema Central del Limite

Variables aleatorias continuas y Teorema Central del Limite Variables aleatorias continuas y Teorema Central del Limite FaMAF 17 de marzo, 2015 Variables aleatorias continuas Definición Una variable aleatoria X se dice (absolutamente continua) si existe f : R R

Más detalles

Estadística Diplomado

Estadística Diplomado Diplomado HRB UNAM 1 / 25 1 Estimación Puntual Momentos Máxima Verosimiltud Propiedades 2 / 25 1 Estimación Puntual Momentos Máxima Verosimiltud Propiedades 2 Estimación por Intervalos Cantidades Pivotales

Más detalles

Diferenciación SEGUNDA PARTE

Diferenciación SEGUNDA PARTE ANÁLISIS I MATEMÁTICA 1 ANÁLISIS II (Computación) Práctica 4 - Primer Cuatrimestre 009 Diferenciación SEGUNDA PARTE Regla de la Cadena 1 Sean f(u, v, w) = u + v 3 + wu y g(x, y) = x sen(y) Además, tenemos

Más detalles

IDENTIFICACIÓN DE SISTEMAS ESTIMACIÓN ESTOCÁSTICA

IDENTIFICACIÓN DE SISTEMAS ESTIMACIÓN ESTOCÁSTICA IDENTIFICACIÓN DE SISTEMAS ESTIMACIÓN ESTOCÁSTICA Ing. Fredy Ruiz Ph.D. ruizf@javeriana.edu.co Maestría en Ingeniería Electrónica Pontificia Universidad Javeriana 2013 Problema de la estima θ(t): magnitud

Más detalles

Modelos Lineales Generalizados

Modelos Lineales Generalizados Modelos Lineales Generalizados 1 DefinicióndeunMLG Y1,Y2,...,Yn,conmediasµ1,µ2,...,µn,Yi, i=1,...,n,tienefdpmiembrodela familia exponencial a un parámetro, con las siguientes propiedades: 1.LadistribucióndecadaunodelosYi,paratodoi,estáenlaformacanónica,i.e.:

Más detalles

INFERENCIA ESTADISTICA. Proferora: Lic. Gladis Mazza

INFERENCIA ESTADISTICA. Proferora: Lic. Gladis Mazza INFERENCIA ESTADISTICA Proferora: Lic. Gladis Mazza INFERENCIA ESTADISTICA Por este proceso es posible utilizar estadísticos calculados a partir de muestras para estimar los valores de los parámetros de

Más detalles

EST Propiedades de los estimadores

EST Propiedades de los estimadores EST-712 - Propiedades de los estimadores Felipe Osorio www.ies.ucv.cl/fosorio Instituto de Estadística, PUCV Mayo 20, 2016 1 / 32 Propiedades: MSE y Sesgo Definición (MSE) Sea P = {P θ : θ Θ} un modelo

Más detalles

x (0) si f (x) = 2s 1, s > 1 d) f 3. Analizar la existencia de derivadas laterales y de derivada en a = 0, para las siguientes funciones:

x (0) si f (x) = 2s 1, s > 1 d) f 3. Analizar la existencia de derivadas laterales y de derivada en a = 0, para las siguientes funciones: FACULTAD DE CIENCIAS EXACTAS Y NATURALES UNIVERSIDAD DE BUENOS AIRES COMPLEMENTOS DE ANÁLISIS MAESTRíA EN ESTADíSTICA MATEMÁTICA SEGUNDO CUATRIMESTRE 2007 PRÁCTICA 7 1. Usando sólo la definición de derivada,

Más detalles

PLAN DE TRABAJO 9 Período 3/09/07 al 28/09/07

PLAN DE TRABAJO 9 Período 3/09/07 al 28/09/07 PLAN DE TRABAJO 9 Período 3/09/07 al 28/09/07 TEMAS A ESTUDIAR En esta guía nos dedicaremos a estudiar el tema de Estimación por intervalo y comenzaremos a estudiar las pruebas de hipótesis paramétricas.

Más detalles

Repaso de Estadística

Repaso de Estadística Teoría de la Comunicación I.T.T. Sonido e Imagen 25 de febrero de 2008 Indice Teoría de la probabilidad 1 Teoría de la probabilidad 2 3 4 Espacio de probabilidad: (Ω, B, P) Espacio muestral (Ω) Espacio

Más detalles

Conceptos Básicos de Inferencia

Conceptos Básicos de Inferencia Conceptos Básicos de Inferencia Intervalos de confianza Álvaro José Flórez 1 Escuela de Estadística Facultad de Ingenierías Febrero - Junio 2012 Inferencia Estadística Cuando obtenemos una muestra, conocemos

Más detalles

Curso: Métodos de Monte Carlo. Unidad 1, Sesión 2: Conceptos básicos

Curso: Métodos de Monte Carlo. Unidad 1, Sesión 2: Conceptos básicos Curso: Métodos de Monte Carlo. Unidad 1, Sesión 2: Conceptos básicos Departamento de Investigación Operativa Instituto de Computación, Facultad de Ingeniería Universidad de la República, Montevideo, Uruguay

Más detalles

Asignatura : INFERENCIA ESTADÍSTICA I Titulación : DIPLOMADO EN ESTADÍSTICA Profesor : ISABEL MOLINA PERALTA Capítulo 5 : INTERVALOS DE CONFIANZA

Asignatura : INFERENCIA ESTADÍSTICA I Titulación : DIPLOMADO EN ESTADÍSTICA Profesor : ISABEL MOLINA PERALTA Capítulo 5 : INTERVALOS DE CONFIANZA Asignatura : INFERENCIA ESTADÍSTICA I Titulación : DIPLOMADO EN ESTADÍSTICA Profesor : ISABEL MOLINA PERALTA Capítulo 5 : INTERVALOS DE CONFIANZA Typeset by FoilTEX 5.1 MÉTODO DE LA CANTIDAD PIVOTAL X

Más detalles

Ejercicio 1. Ejercicio 2

Ejercicio 1. Ejercicio 2 Guía de Ejercicios Ejercicio. Calcular los momentos de primer y segundo orden (media y varianza) de una variable aleatoria continua con distribución uniforme entre los límites a y b.. Sabiendo que la función

Más detalles

Análisis de Datos. Clasificación Bayesiana para distribuciones normales. Profesor: Dr. Wilfrido Gómez Flores

Análisis de Datos. Clasificación Bayesiana para distribuciones normales. Profesor: Dr. Wilfrido Gómez Flores Análisis de Datos Clasificación Bayesiana para distribuciones normales Profesor: Dr. Wilfrido Gómez Flores 1 Funciones discriminantes Una forma útil de representar clasificadores de patrones es a través

Más detalles

Muestreo de variables aleatorias

Muestreo de variables aleatorias Estadística II Universidad de Salamanca Curso 2011/2012 Outline 1 Introducción 2 Distribución de la muestra 3 4 5 Distribuciones de la media y la varianza en poblaciones normales Introducción Tiene como

Más detalles

Estadistica II Tema 0. Repaso de conceptos básicos. Curso 2009/10

Estadistica II Tema 0. Repaso de conceptos básicos. Curso 2009/10 Estadistica II Tema 0. Repaso de conceptos básicos Curso 2009/10 Tema 0. Repaso de conceptos básicos Contenidos Variables aleatorias y distribuciones de probabilidad La distribución normal Muestras aleatorias,

Más detalles

Relación de Problemas. Tema 5

Relación de Problemas. Tema 5 Relación de Problemas. Tema 5. Supongamos que tenemos una muestra aleatoria simple de tamaño n de una v.a. X que sigue una distribución geométrica con función de probabilidad P (X = k) = p( p) k Calcular

Más detalles