Economía Matemática - Teoría de Control Óptimo

Transcripción

1 Martín Brun - Facultad de Ciencias Económicas y de Administración - UdelaR Agosto - Diciembre, 217

2 Índice 1 Introducción 2 Teoría del Control Óptimo 3 El Principio del máximo 4 El Hamiltoniano de valor corriente

3 Introducción Optimización dinámica busca responder la pregunta, ¾cuál es el valor óptimo para cada período de tiempo de una variable de elección? Por tanto, debemos encontrar un valor para CADA momento en el intervalo de tiempo relevante para el problema (el que eventualmente puede ser innito) Lo que queremos encontrar ahora es una función, y no solo un único valor (como en la optimización estática). La idea es que cada función nos estará dando valores distintos del funcional que estemos maximizando. Tenemos que elegir entonces la función que nos de el mayor valor (si es un problema de maximización). En esta clase plantearemos el problema en tiempo continuo.

4 Introducción Supongamos que tenemos los siguientes caminos para transportar una carga desde el punto inicial A hasta el terminal Z. El costo del transporte depende del largo del camino y de la topografía del mismo (por tanto, no necesariamente la línea recta es la más conveniente). En este ejemplo estado=latitud y stage=longitud (en general en los problemas que veremos el stage estará dado por la variable tiempo). Buscamos minimizar costos, eligiendo el camino óptimo.

5 Introducción El funcional: V [y(t)]. Mapea funciones en valores (en el ejemplo anterior podía ser el costo del transporte entre A y Z). Al maximizarlo (o minimizarlo) nos permite elegir la función óptima.

6 Introducción Distintos puntos terminales del problema: (a) t = T (problema con linea vertical terminal) (consumo a lo largo de T años); (b) y = Z (problema con linea horizontal terminal) (meta inación) y (c) Z = φ(t ) (curva terminal) (calidad vs rapidez)

7 Teoría del control óptimo En los problemas de control óptimo tenemos 3 variables relevantes en vez de las 2 que veníamos viendo. Ahora además de V (funcional) y de y (variable de estado) tenemos u (variable de control). La variable u es la que le da nombre a esta teoría y que pasará a ocupar el escenario central del problema (relegando a y a un rol secundario). Esto será así siempre y cuando a través de u logremos afectar el camino que sigue y. Por tanto en nuestro problema ahora deberemos tener una ecuación que vincule a ambas variables: dy dt = y(t) = f [t, y(t), u(t)] (1) Esta ecuación se llama ecuación de movimiento del problema.

8 Teoría del control óptimo El problema que pretendemos resolver tiene la siguiente forma: Max. V [u] = T F [t, y(t), u(t)] dt s.a. y(t) = f [t, y(t), u(t)] y() = y y(t ) = y T El propósito de la teoría de control optimo será encontrar la trayectoria temporal óptima para la variable de estado y y la variable de control u. Esta teoría centrará su atención en una o más variables de control que sirven como instrumentos de optimización. El desarrollo más importante en la teoría del control óptimo es el llamado principio del máximo, el que permite revolver el problema.

9 Ejemplo Supongamos una economía con un stock nito de petroleo (P(t)), siendo P () = P. A medida que el petroleo es extraído, la reserva se irá reduciendo en: P(t) t = E (t). Siendo E (t) la tasa de extracción de petroleo en t. E(t) cualica como variable de control dado que posee las siguientes 2 propiedades: 1. Está sujeta a nuestra elección discrecional. 2. El valor de E(t) afecta a la trayectoria de P(t) (variable de estado). La variable E(t) nos permite conducir la variable de estado P(t) a la posición que deseamos, en cualquier momento del tiempo, a través de la ecuación diferencial: P(t) t = E (t).

10 Ejemplo Direccionando acertadamente la variable de control, podemos proponernos optimizar algún criterio de performance expresado en una función objetivo. Podríamos plantearnos por ejemplo la maximización del valor presente de la utilidad (o ganancia) derivada del uso del petroleo extraído durante un período de tiempo [, T ]. El problema podría plantearse como: s.a. T Max U(E)e ρt dt (2) P (t) t = E (t), P () = P, P (T ) libre, P, T dados

11 Control óptimo: algunas características La teoría del control óptimo permite resolver casos donde el camino de la variable de control no es continuo (ej. botón de prendido de la computadora, u=1 prendida, o u= apagada). Solo necesitamos que sea continuo de a intervalos. La variable de estado debe ser continua, pero no hay problema si solo es diferenciable en intervalos.

12 Teoría del control óptimo El problema que pretendemos resolver tiene la siguiente forma: MaxV = T s.a. y(t) = f [t, y(t), u(t)] y() = y F [t, y(t), u(t)] dt (3) El desarrollo más importante en la teoría del control ó ptimo es el llamado principio del máximo, que permite revolver problemas como este.

13 Principio del máximo 1 Primer paso En el primer paso del desarrollo del principio del máximo incorporaremos la ecuación de movimiento en la función a optimizar y luego la expresaremos en términos del Hamiltoniano (el que será denido más abajo). Tenemos que la ecuación de movimiento es: f (t, y, u) y =, t [, T ] (4) Con lo cual la suma de estos valores entre el período y el T también tiene que ser cero: T [ λ(t) f (t, y, u) y ] dt = (5)

14 Principio del máximo Sumando esta última expresión a V tenemos: T J = V + = = T T [ λ(t) f (t, y, u) y ] dt F (t, y, u)dt + T { F (t, y, u) + λ(t) [ λ(t) f (t, y, u) y ] dt = (6) [ f (t, y, u) y ] } dt Esta función objetivo tendrá igual solución que V, ya que J toma iguales valores que V a lo largo de la ecuación de movimiento.

15 Principio del máximo Denamos la función Hamiltoniana (o el Hamiltoniano) como: H(t, y, u, λ) F (t, y, u) + λ(t)f (t, y, u) (7) La sustitución del Hamiltoniano simplica la ecuación (7) en: T [ J = H(t, y, u, λ) λ(t) y ] T T dt = H(t, y, u)dt λ(t) ydt (8)

16 Principio del máximo Integrando por partes (recordar que T u vdt = u(t)v(t) T T uvdt) la última integral de la ecuación anterior será igual a: T λ(t) ydt T = λ(t)y(t) T + λy(t)dt = (9) = λ(t )y T + λ()y + T y(t) λdt

17 Principio del máximo Sustituyendo esta expresión en (9): J = = T T T H(t, y, u, λ)dt + [ H(t, y, u, λ) + y(t) λ y(t) λdt λ(t )y T + λ()y = ] dt λ(t )y T + λ()y (1)

18 Principio del máximo 2. Segundo paso La introducción de λ(t) no debe afectar el valor que tome J siempre y cuando: f (t, y, u) y =, t [, T ] (11) Notar que esa condición es igual a la siguiente (esta será una de las 3 condiciones para el máximo): y = H λ Para mostrarlo, basta con tener en cuenta que (12) H(t, y, u, λ) F (t, y, u) + λ(t)f (t, y, u) (13) Entonces: H λ = f (t, y, u) y por tanto: y = H λ y = f (t, y, u).

19 Principio del máximo 3. Tercer paso Ahora nos ocuparemos de u(t) y de su efecto sobre y(t) Introduciremos perturbaciones en estas curvas de forma de generar una familia de curvas, y luego derivaremos condiciones que solo cumplirán las funciones óptimas. u(t) = u (t) + εp(t) (14) y(t) = y (t) + εq(t) (15) T = T + ε T = T = T ε (16) y T = y T + ε y T = y T ε = y T (17)

20 Principio del máximo Expresaremos J en función de ε, lo que nos permitir á tomar a J como una función en una única variable, de donde la condición de primer orden será: J ε ε= = (18) Ya que por denición y (t) y u (t) es la solución óptima, tenemos: J(ε) = T (ε) { } H [t, y + εq(t), u + εp(t), λ] + λ [y + εq(t)] dt λ(t )y T + λ()y (19)

21 Principio del máximo 4. Paso cuatro Ahora aplicamos la condición: J ε ε= =. Llegamos a (notar que si tenemos J(x) = b (x)f (t, x)dt dj(x) dx = b (x)f x(t, x)dt + F [b(x), x] b (x)): T (ε) {[ ] } [ ] H H q(t) + y u p(t) + λq(t) dt + H + λy T (ε) t=t (ε) ε λ(t ) y T y T λ(t ) T (2) (la derivada del segundo término de (19) (derivada de un producto)): λ(t ) y T ε y T λ(t ) T con respecto a ε es T ε = λ(t ) y T y T λ(t ) T ) El término λ()y desaparece cuando lo derivamos con respecto a epsilon.

22 Principio del máximo Podemos reescribir uno de los componentes de (2) como: [ ] T λy t=t ε = λ(t. )y T T (21) De este modo, cuando (2) es igualada a cero, la condición de primer orden es: J T [ ε = ( H y + λ)q(t) + H ] u p(t) dt+[h] t=t T λ(t ) y T = (22) Los tres componentes tienen diferentes cosas arbitrarias: la integral contiene curvas de perturbación p(t) y q(t), mientras que los otros dos involucran T y y T ; de este modo, se deben igualar cada uno de los términos que multiplican a estas cosas arbitrarias a, para asegurarnos que sean siempre.

23 Principio del máximo Igualando el término dentro de la integral a cero, podemos deducir 2 nuevas condiciones: H y = λ (23) H u = (24) La primera nos da la ecuación de movimiento de la variable de coestado, y la segunda representa la max. de H. Ya que el problema más simple tiene la T ja, y libre el estado (y T ), el término T =, pero no así y T ; y por tanto para hacer desaparecer el término λ(t ) y T, debemos imponer la restricción: λ(t ) =. (25) Esta ultima condición es llamada condición de transversalidad (para el caso de línea Mijail terminal Yapor Economía vertical). Matemática - Teoría de Control Óptimo

24 Principio del máximo. Condiciones terminales alternativas. Cuando las condiciones terminales son distintas lo que cambia es la condición de transversalidad, las demás condiciones para un óptimo se mantienen. Línea terminal horizontal. En este caso y T esta jo y por tanto y T =, pero el momento del tiempo en que termina el problema no tiene por que serlo. Entonces si tenemos en cuenta J T [ ε = ( H y + λ)q(t) + H ] u p(t) dt+[h] t=t T λ(t ) y T = (26) vemos que: [H] t=t = (27)

25 Principio del máximo. Condiciones terminales alternativas. Curva terminal. En este caso y T = φ(t ). Entonces y T = φ (T ) T, entonces si tenemos en cuenta J T [ ε = ( H y + λ)q(t) + H ] u p(t) dt+[h] t=t T λ(t )φ (T ) T = (28) vemos que (para un valor arbitrario de T ) la condición ahora es: ( H λφ ) = (29)

26 El Hamiltoniano de valor corriente En algunas aplicaciones económicas de la teoría de control óptimo, se suele introducir un factor de descuento e ρt en el integrando de la función objetivo: F (t, y, u) = G(t, y, u).e ρt (3) Con esta modicación, el problema de control óptimo será: Max. V = T G(t, y, u).e ρt dt (31) s.a. y = f (t, y, u) y cond. de frontera El Hamiltoniano toma la forma: H = G(t, y, u).e ρt + λf (t, y, u) (32)

27 El valor corriente del Hamiltoniano Como el factor de descuento agrega complejidad a las derivadas de H, en algunos casos será deseable denir una nueva función hamiltoniana que esté libre de ese factor. Llamaremos H C, valor corriente del hamiltoniano, a una transformación algebraica de H: H C H.e ρt = G(t, y, u) + m.f (t, y, u) (33) Y a m(t) como el multiplicador de valor corriente m: Tenemos entonces la siguiente igualdad: m(t) = λe ρt (34) H H c.e ρt (35)

28 El Principio del Máximo Revisado Trabajar con Hc en vez de H implica cambios en la formulación del problema a maximizar. La primera condición de este problema es maximizar H con respecto a u para cada momento del tiempo. Esta condición no se modica, excepto por sustituir H por Hc, dado que el término e ρt es constante para cualquier t. La condición revisada se simplica: Máx. H c t ɛ [, T ] (36) u La ecuación de movimiento para la variable de estado debe reformularse teniendo en cuenta que: y = H λ = f (t, y, u) = H c m (37)

29 El Principio del Máximo Revisado La ecuación de movimiento para la variable de coestado,. λ = H dy, debe modicarse transformando cada lado de esta ecuación en una expresión que involucre al multiplicador lagrangeano m y luego igualando esos resultados. Para el lado izq. tenemos: λ = me ρt ρme ρt. Para el lado derecho: H y = Hc y e ρt. Igualando tenemos la ecuación de movimiento para m: m = H c dy + ρm (38) Por último, la condición de transversalidad revisada, para el caso de una línea vertical terminal sería: λ(t ) = = m(t ).e ρt = m(t ) = (39) y para una línea terminal horizontal quedaría: [H] t=t = = [H c ] t=t.e ρt = [H c ] t=t =