IDENTIFICACIÓN DE SISTEMAS ESTIMACIÓN ESTOCÁSTICA

Transcripción

1 IDENTIFICACIÓN DE SISTEMAS ESTIMACIÓN ESTOCÁSTICA Ing. Fredy Ruiz Ph.D. Maestría en Ingeniería Electrónica Pontificia Universidad Javeriana 2013

2 Problema de la estima θ(t): magnitud real a estimar, escalar o vectorial, constante o variable con el tiempo. d(t): datos disponibles, capturados en el instante de tiempo t. d = {d(t 1 ), d(t 2 ),..., d(t N )}: conjunto de medidas. Los instantes de observación {t 1, t 2,...,t N } pueden ser periódicos o no periódicos.

3 Problema de la estima Un ESTIMADOR o Algoritmo de Estima es una función f( ) que asocia a los datos un valor de la magnitud a estimar: θ= f (d ) Por Estima se entiende el valor específico que entrega el estimador ante un conjunto de medidas particular.

4 MÍNIMOS CUADRADOS Dada una estima X' de X (variable aleatoria), se define: Error de estimación X =X-X' Error cuadrático medio J = E [ X T X ]= E[ (X-X') T (X-X')] MSE: Criterio de estimación del error cuadrático medio Seleccionar una estima X' que minimice J usando toda la información disponible.

5 MÍNIMOS CUADRADOS CASO 1: La única información disponible es: f X (x), FDP de X Cuál es la estima de mínimos cuadrados (MSE) de X? J = E [ X T X ]= E[ (X-X') T (X-X')]

6 MÍNIMOS CUADRADOS CASO 1: La única información disponible es: f X (x), FDP de X Cuál es la estima de mínimos cuadrados (MSE) de X? J = E [ X T X ]= E[ (X-X') T (X-X')] Respuesta: X'=E[X] Cuál es la varianza de la estima?

7 MÍNIMOS CUADRADOS CASO 2: Se conoce una realización de otra variable aleatoria y la FDP conjunta. f XZ (x,z), FDP conjunta de X y Z Cuál es la estima de mínimos cuadrados (MSE) de X? J = E [ X T X ]= E[ (X-X') T (X-X')]

8 MÍNIMOS CUADRADOS CASO 2: Se conoce una realización de otra variable aleatoria y la FDP conjunta. f XZ (x,z), FDP conjunta de X y Z Cuál es la estima de mínimos cuadrados (MSE) de X? J = E [ X T X ]= E[ (X-X') T (X-X')] Respuesta: X'=E[X/Z] Cuál es la varianza de la estima?

9 MÍNIMOS CUADRADOS X'=E[X/Z] se puede reescribir como: E[X/Z] = x f Z/X (z/x)f X (x)dx f Z/X (z/x)f X (x)dx Porqué es útil esta expresión?

10 MÍNIMOS CUADRADOS EJEMPLO: X se distribuye uniforme entre 0 y 1 Z= ln(1/x) + V V es ruido con distribución exponencial, independiente de X. Determinar E[X/Z] usando el criterio MSE.

11 MÍNIMOS CUADRADOS Caso Gausiano: Sean X y Z dos VA conjuntamente Gausianas Determinar E[X/Z] usando el criterio MSE.

12 MÍNIMOS CUADRADOS Caso Gausiano: Sean X y Z dos VA conjuntamente Gausianas E[X/Z] usando el criterio MSE. E[X/Z]=E[X] + P XZ P Z -1 ( Z-E[Z] ) P X/Z = P X - P XZ P Z -1 P ZX

13 ESTIMA PARAMÉTRICA POR MÍMIMOS CUADRADOS

14 Estima por mínimos cuadrados Consideremos el problema de regresión lineal: Dadas N medidas de las n+1 variables reales Determinar los valores de los n parámetros reales

15 Estima por mínimos cuadrados Definiendo los vectores: Se cumple:

16 Estima por mínimos cuadrados En realidad la relación no es valida. Existe un error (de medida o de modelo): Se define la función de costo: Y la estima MSE se obtiene encontrando:

17 Para determinar el mínimo de la función de costo se debe cumplir

18 La relación Constituye un sistema de n ecuaciones con n incógnitas y viene llamado sistema de ecuaciones normales. Si la matriz es invertible, se dice que cumple la condición de identificabilidad El sistema admite como única solución la estima de mínimos cuadrados:

19 Si La matriz es singular, El sistema tiene infinitas soluciones. Si la matriz es definida positiva La estima es un mínimo global de J(θ).

20 Los resultados obtenidos se pueden reescribir en forma matricial compacta de la siguiente manera: Las ecuaciones normales se pueden reescribir como Y la estima de mínimos cuadrados es:

21 Si Características probabilisticas del estimador de mínimos cuadrados Vale la condición de identificabilidad: La fuente de datos aleatorios tiene la estructura con v(t) ruido aleatorio con valor medio cero. Entonces - Existe un valor verdadero θ o de la magnitud desconocida. - En forma matricial los datos se relacionan como:

22 Bajo estas hipótesis, el estimador de mínimos cuadrados es: Y tiene las siguientes propiedades: Es no polarizado: Si v es producido como ruido blanco el estimador presenta una varianza:

23 Usualmente la varianza de v no se conoce, bajo las mismas hipótesis hechas anteriormente, una buena estima de esta varianza se puede obtener directamente de los datos como: Esta estima es no polarizada: Y en este caso la varianza de la estima resulta ser:

24 Método de mínimos cuadrados pesados Es posible asignar pesos diferentes a los errores cuando se construye la función de costo, por ejemplo a partir de información a priori sobre las medidas: en este caso q(t) son los coeficientes de ponderación

25 La estima que minimiza la función de costo J WLS (θ) viene llamada estima de mínimos cuadrados pesados: Si el disturbio v es generado como ruido blanco, el estimador tiene las siguientes propiedades: Es no polarizado: Su varianza es: y por lo tanto depende de la varianza del disturbio.

26 Es posible demostrar que la matriz de pesos Q que minimiza la varianza de la estima es: y en este caso el estimador recibe el nombre de estimador de Gauss-Markov Con varianza:

27 Estima de máxima verosimilitud Como se vio al inicio, los datos son una variable aleatoria Z => f Z (z;θ o ) con distribución parametrizada por el valor del vector de parámetros θ o. PERO f Z (s;θ o ) puede verse como una función determinística de θ para una realización s de la variable aleatoria Z.

28 Estima de máxima verosimilitud Se define la función de verosimilitud como: L(θ)=f Z (z;θ) Z=s Es decir, fijada una realización del proceso estocástico (Z=s), L(θ) es la verosimilitud de que ocurra s, para un determinado valor del parámetro θ. La estima de máxima verosimilitud se define como:

29 Ejemplo Caso de una distribución gausiana con θ que define el valor medio. Al variar θ, la gausiana se desplaza => cambia L(θ)=f Z (z;θ) Z=s

30 Como se calcula la estima M.V.? Caso gausiano Asumiendo un modelo con ruido aditivo de distribución gausiana: de forma matricial: Ψ(θ o ) es una función genérica no lineal de θ o v es una realización de la VA q con valor medio cero y varianza Σ v FDP de q:

31 Teniendo en cuenta que v = y Ψ(θ o )=> la FDP de los datos, considerando un θ genérico en lugar de θ o viene dada por: por lo tanto la función de verosimilitud es: Notando que L(θ) es una función exponencial en θ =>

32 PROBLEMA Se requiere encontrar el mínimo global de R(θ) al variar de θ, que puede presentar mínimos locales si R(θ) es una función genérica no lineal de los parámetros Las técnicas de optimización no lineal no garantizan encontrar el mínimo global.

33 CASO PARTICULAR: Dependencia lineal de los parámetros. Para un modelo de la forma: R(θ) es cuadrática en θ: por lo tanto existe un solo mínimo de R(θ): que corresponde a la estima de Gauss-Markov (estima de mínimos cuadrados pesados por la varianza del error). Si ademas, (el error es i.i.d.) la estima optima es la estima de mínimos cuadrados.

34 Desigualdad de Cramer-Rao La precisión de una estima tiene limites intrínsecos, causados por la presencia de una fuente aleatoria de datos. La varianza de un estimador no puede reducirse por debajo de un cierto valor. En el caso escalar, la desigualdad de Cramer- Rao dice que para un estimador correcto: donde m es la cantidad de información de Ficher:

35 Desigualdad de Cramer-Rao En el caso vectorial, la desigualdad de Cramer- Rao dice que para un estimador correcto: donde M es la matriz de información de Ficher: Un estimador no polarizado es eficiente si es a mínima varianza, es decir que su varianza alcanza el mínimo valor teórico establecido por la desigualdad de Cramer-Rao.

36 Propiedades de la estima de máxima verosimilitud es una estima: Asintoticamente no polarizada: Asintoticamente eficiente: Consistente: Asintoticamente gausiana (para N )