Hamilton Galindo. Junio - Agosto 2015

Transcripción

1 Clase 2: Programación dinámica Matemática avanzada para macroeconomía Hamilton Galindo Junio - Agosto 2015

2 Contenido 1 Problema de optimización dinámica 2 Programación dinámica: panorama Función valor Ecuación de Bellman Problema funcional Del PS al PF 3 Principio de optimalidad Método para solucionar el PF Método de cálculo diferencial para solucionar el PF

3 Problema de optimización dinámica 1 Problema de optimización dinámica 2 Programación dinámica: panorama Función valor Ecuación de Bellman Problema funcional Del PS al PF 3 Principio de optimalidad Método para solucionar el PF Método de cálculo diferencial para solucionar el PF

4 Problema de optimización dinámica Qué tipo de problema queremos resolver? I Queremos resolver un problema de optimización dinámica, al cual llamaremos Problema Secuencial (PS): Problema secuencial (PS) Donde: s.a : sup {u t} β t r(x t, u t ) (1) x t+1 = g(x t, u t ) u t Γ(x t ), t = 0, 1, 2,... x 0 X dado 1 r(x t, u t ) : función de retorno (instantáneo) r(x t, u t ) : XxR m R

5 Problema de optimización dinámica Qué tipo de problema queremos resolver? II 2 β : factor de descuento, β [0, ) 3 x t : vector de variables de estado (x t R n ) 4 u t : vector de variables de control (u t R m ) 5 g(x t, u t ) : función que describe la evolución de la variables de estado (función de transición o ley de movimiento): g(x t, u t ) : XxR m X 6 Γ(x t ) : es una correspondencia que describe las posibilidades de la variable de control cuando la economía se encuentra en el estado x t. Γ : X R m 7 X : es el espacio de los valores que puede tomar la variable de estado (X R n ) 8 x 0 : el valor inicial de la variable de estado (estado inicial)

6 Problema de optimización dinámica Ejemplo: crecimiento óptimo (Brock y Mirman, 1972) I El modelo básico de crecimiento está descrito por el siguiente problema (en términos generales): s.a: Max {c t,k t+1} β t lnc t k t+1 = (1 δ)k t + i t c t + i t = f (k t ) c t, k t 0 t A este problema lo llamamos problema secuencial (PS). Considerando las siguientes forma funcionales ( ) ( u(c t )lnc t, f (k t ) = kt α, y supuestos α (0, 1), δ = 1 y k 0 dado ) se tiene:

7 Problema de optimización dinámica Ejemplo: crecimiento óptimo (Brock y Mirman, 1972) II Problema secuencial: Brock y Mirman (1972) s.a: Max {c t,k t+1} β t lnc t k t+1 = k α t c t c t, k t 0

8 Problema de optimización dinámica Formas de resolver un problema de optimización dinámica Tres formas de resolver este tipo de problemas: 1 Método de apróximaciones sucesivas 2 Programación dinámica Es el estudio de problemas de optimización dinámica a través del análisis de ecuaciones funcionales. 3 Método de Lagrange

9 Programación dinámica: panorama 1 Problema de optimización dinámica 2 Programación dinámica: panorama Función valor Ecuación de Bellman Problema funcional Del PS al PF 3 Principio de optimalidad Método para solucionar el PF Método de cálculo diferencial para solucionar el PF

10 Programación dinámica: panorama Función valor Función valor Bellman (1974) indica que el PS tiene una propiedad recursiva. Esto permite transformar el PS en un Problema Funcional (PF). Función valor 1 Se define una función valor V (x 0 ) que indica el valor máximo de la función objetivo para cada x Por ejemplo: en t = 1 se tiene x 1 { } V (x 0 ) = max β t r(x t, u t ) {u t} (2) { } V (x 1 ) = max β t 1 r(x t, u t ) {u t} t=1 (3)

11 Programación dinámica: panorama Ecuación de Bellman Ecuación de Bellman I Ecuación de Bellman Bellman (1974) transformó la función objetivo del PS en una ecuación funcional: { } V (x 0 ) = max β t r(x t, u t ) {u t} { } = max {u t} { r(x 0, u 0 ) + βr(x 1, u 1 ) + β 2 r(x 2, u 2 )... = max {u t} r(x 0, u 0 ) + β [ r(x 1, u 1 ) + β 2 r(x 2, u 2 )... }{{} { } V (x 0 ) = max r(x 0, u 0 ) + βv (x 1 ) {u t} V (x 1) ] }

12 Programación dinámica: panorama Ecuación de Bellman Ecuación de Bellman II A esta última ecuación se le conoce como ecuación de Bellman. Esta ecuación es una ecuación funcional; es decir, es una ecuación cuya solución es una función (función valor).

13 Programación dinámica: panorama Problema funcional Problema funcional I Al reemplazar la ecuación de Bellman en el PS se obtiene el PF (para t): Problema funcional { } V (x t ) = max r(x 0, u 0 ) + βv (g(x t, u t )) {u t} (4) s.a : u t Γ(x t ), t = 0, 1, 2,... x 0 X dado 1 El problema de infinitos periodos (PS) se ha convertido en un problema de dos periodos. 2 Se está utilizando (explotando) la recursividad del PS. 3 Ahora el problema consiste en encontrar la función que resuelve el PF; es decir, la función valor.

14 Programación dinámica: panorama Del PS al PF Proceso de transformación del PS al PF Problema Secuencial (PS) Se transforma Problema Funcional (PF) Se transforma Problema punto fijo 6 Solución PS (valor supremo) Teorema de Equivalencia 5 Solución PF Es 4 Solución Por el teorema del punto fijo para contracciones Encontrar el punto fijo del operador T en Ca(X): T[V](x) = V(x) Se encuentra la función valor (V) Resolviendo paso a paso el problema de maximización del PF Se encuentra la función de política: h(x) Ca(X): conjunto de todas las funciones acotadas Se encuentra el plan óptimo: {(xt, ut)}

15 Programación dinámica: panorama Del PS al PF Principales hipótesis, proposiciones y teoremas Hipótesis Proposiciones Teoremas PS Función objetivo H1 al H3 P1: ῦ resuelve el PF P2: ῦ resuelve el PS P3: din. fac. en el PF P4: din. fac. en el PS T1 (teorema de equivalencia) Principio de optimalidad Supremo H4 y H5 T2 (punto fijo para contracciones) Monotonicidad H4 al H7 P5: función valor estrictamente monótona PF Concavidad H4, H5 y H7 al H10 P6: función valor estrictamente cóncava Diferenciabilidad 3 propiedades de la función valor H4, H5 y H7 al H12 T3 (teorema de diferenciabilidad de la función valor) Teorema de Benveniste- Scheinkman

16 1 Problema de optimización dinámica 2 Programación dinámica: panorama Función valor Ecuación de Bellman Problema funcional Del PS al PF 3 Principio de optimalidad Método para solucionar el PF Método de cálculo diferencial para solucionar el PF

17 Principio de optimalidad 1 Problema de optimización dinámica 2 Programación dinámica: panorama Función valor Ecuación de Bellman Problema funcional Del PS al PF 3 Principio de optimalidad Método para solucionar el PF Método de cálculo diferencial para solucionar el PF

18 Principio de optimalidad Principio de optimalidad I Bellman (1974) propuso un principio el cual permitía encontrar una relación entre la solución del PS y el PF. A este principio se le conoce como el Principio de optimalidad. Teorema 1 (Principio de optimalidad) La solución V del PF, evaluado en x 0, brinda el valor del supremo en el PS cuando el estado inicial es x 0. Además, una secuencia {u t} alcanza el supremo si y solo si esta secuencia satisface [5]: V (x t ) = r(x t, u t ) + βv (x t+1 ) (5) La pregunta que surge es: Bajo qué condiciones el principio de optimalidad se mantiene?

19 Principio de optimalidad Bajo qué condiciones el principio de optimalidad se mantiene? I Cuatro proposiciones juntas establecen condiciones bajo las cuales la solución del PS y del PF coinciden exactamente, y que la poĺıticas óptimas son aquellas que satifacen [5]: 1 Proposición 1: establece que la función del supremo Ṽ para el PS satisface el PF (del PS al PF). No obstante, la ecuación funcional (además de Ṽ ) puede tener otras soluciones. 2 Proposición 2: establece lo inverso de manera parcial (del PF al PS). Es parcial porque se impone una condición de acotamiento. Esta proposición impide que la ecuación funcional tenga otras soluciones porque no cumplen la condición de transversalidad fuerte. La única solución que cumple dicha condición es Ṽ. 3 Proposición 3: Muestra que si {u t } es una secuencia que alcanza el supremo en el PS, entonces este satisface [5] para: V }{{} sol. del PF = Ṽ }{{} sol. del PS

20 Principio de optimalidad Bajo qué condiciones el principio de optimalidad se mantiene? II 4 Proposición 4: Establece que cualquier secuencia {u t } que satisface [5] para V = Ṽ y que también satisface una condición de acotamiento, entonces también alcanza el supremo en el PS.

21 Principio de optimalidad Definiciones Antes de ver las hipótesis que sustentan las cuatro proposiciones es importante mencionar algunas definiciones: 1 Dinámica factible desde x 0 : es una sucesión de estados y controles {(x t, u t )} en XxRm para el PS si: u t Γ(x t ) y x t+1 = g(x t, u t ) para todo t = 0, 1, Π(x 0 ): conjunto de todas las dinámicas factibles desde x 0. { } Π(x 0 ) : {(x t, u t )} tal que u t Γ(x t ), t = 0, 1, Plan factible desde x 0 : es una sucesión de controles {(u t )} 4 Plan óptimo desde x 0 : es un plan factible {(ut )} que permite alcanzar el supremo del PS. 5 Cabe mencionar que un plan factible determina unívocamente una dinámica factible. Por tanto, un plan óptimo {(u t )} determina una dinámica óptima {(xt, ut )}.

22 Principio de optimalidad Hipótesis que sustentan las proposiciones I Las cuatro proposiciones anteriores están basadas en tres hipótesis: Hipótesis 1: Γ(x) Γ(x) φ para todo x X. La hipótesis 1 asegura que Π(x 0 ) (conjunto de dinámicas factibles desde x 0 ) no sea vacío x 0 X. Esto indica que todos los planes factibles pueden ser evaluados usando r(x, u) y β. En el PS, βt r(x t, u t ) podría tomar tres valores: un número finito, + o. Deseamos que esta función objetivo esté acotada: es decir que la sumatoria infinita tenga un valor finito. La hipótesis 2 elimina la posibilidad que βt r(x t, u t ) sea +. Para ello se restringe el conjunto de dinámicas factibles de tal forma que dicha sumatoria esté acotada (superiormente).

23 Principio de optimalidad Hipótesis que sustentan las proposiciones II Hipótesis 2: función objetivo Para todo x 0 X, M x0 R, tal que βt r(x t, u t ) M x0 para toda dinámica factible {(x t, u t )},1,2... desde x 0. No obstante, la función objetivo (suma infinita) aún puede tomar, para ciertas dinámicas factibles, el valor de. La hipótesis 3 busca acotar dicha dinámicas. Hipótesis 3: función objetivo Para todo x 0 X, una dinámica factible {(x t, u t )},1,2... desde x 0 y un m x0 R, tal que la sucesión de sumas parciales {S n },1,2... S n = n βt r(x t, u t ) satisface m x0 S n.

24 Principio de optimalidad Hipótesis que sustentan las proposiciones III Por tanto, las hipótesis 2 y 3 tienen como único fin garantizar la existencia de un valor finito para el supremo del PS; es decir, que la función objetivo esté bien definida para cada dinámica factible {(x t, u t )} Γ(x 0 ). Según las condiciones anteriores podemos definir la función supremo Ṽ : X R que sea el valor supremo del PS: Ṽ (x 0 ) = sup {(x t,u t)} Π(x 0) β t r(x t, u t ) (6) Donde Ṽ (x 0) es el valor supremo del PS. A esta función Ṽ se le llama función valor.

25 Principio de optimalidad Función supremo Nota: Por definición, la función supremo Ṽ : X R es única y satisface tres condiciones (condiderando una función objetivo genérica µ(x)): Ṽ (x 0 ) = sup x Π(x 0) µ(x) 1 Si Ṽ (x0) <, entonces: Ṽ (x 0 ) µ(x), (para todo) x Π(x 0 ) Para cualquier ɛ > 0: Ṽ (x 0) µ(x) + ɛ, para algún x Π(x 0 ) 2 Si Ṽ (x0) = +, entonces existe una secuencia {x k } en Π(x 0) tal que: Lim k µ(x k ) = + 3 Si Ṽ (x0) =, entonces µ(x) =, para todo x Π(x0)

26 Principio de optimalidad Las 4 proposiciones que sutentan el principio de optimalidad I Proposición 1 (del PS al PF) Bajo las hipótesis 1, 2 y 3, Ṽ resuelve el PF. Demostración (proposición 1): La estrategia de demostración tiene dos pasos: el primero es encontrar la relación entre la función supremo Ṽ y la ecuación funcional para dos valores iniciales distintos x 1 y x 0. El segundo consiste en unir el resultado del paso 1 para x 1 y x 0. 1 Evaluando en x 1 : Sea ɛ > 0, u 0 Γ(x 0 ) y x 1 = g(x 0, u 0 ) Como Ṽ (x1) es el valor supremo del PS con valor inicial x1(t = 1), entonces una dinámica factible desde x 1, {(x 1, u 1), (x 2, u 2),...} tal que (por la propiedad del supremo): β t 1 r(x t, u t) Ṽ (x1) ɛ (7) t=1

27 Principio de optimalidad Las 4 proposiciones que sutentan el principio de optimalidad II Se sabe que {(x 0, u 0), (x 1, u 1),...} Π(x 0) y que por la propiedad del supremo: Ṽ (x 0) β t r(x t, u t) r(x 0, u 0) + β β t 1 r(x t, u t) t=1 r(x 0, u 0) + βṽ (x1) βɛ Ṽ (x 0) r(x 0, u 0) + βṽ (g(x0, u0)) βɛ Para pasar de la segunda a la tercera ĺınea se utiliza la ecuación [7]. Como la última ecuación es verdad para todo ɛ > 0 y u 0 es cualquier elemento de Γ(x 0), entonces tenemos que: Ṽ (x 0) r(x 0, u 0) + βṽ (g(x0, u0)), u0 Γ(x0)

28 Principio de optimalidad Las 4 proposiciones que sutentan el principio de optimalidad III Como la ecuación anterior se cumple para todo u 0, entonces: } Ṽ (x 0) sup {r(x 0, u 0) + βṽ (g(x0, u0)) u 0 Γ(x 0 ) Generalizando para todo t : } Ṽ (x) sup {r(x, u) + βṽ (g(x, u)) u Γ(x) (8) 2 Evaluando en x 0 : Sea ɛ > 0, entonces por definición del supremo, una dinámica factible desde x 0 {(x 0, u 0 ), (x 1, u 1 ),...} tal que: Ṽ (x 0 ) β t r(x t, u t ) + ɛ Ṽ (x 0 ) r(x 0, u 0 ) + βṽ (x 1) + ɛ

29 Principio de optimalidad Las 4 proposiciones que sutentan el principio de optimalidad IV Como ɛ es arbitrario, entonces: Ṽ (x 0) r(x 0, u 0) + βṽ (g(x0, u0)) } Ṽ (x 0) sup {r(x 0, u 0) + βṽ (g(x0, u0)) u 0 Γ(x 0 ) Generalizando para todo t : } Ṽ (x) sup {r(x, u) + βṽ (g(x, u)) u Γ(x) (9) 3 Uniendo resultados: uniendo las dos ecuaciones [8] y [9] se tiene: } } sup {r(x, u)+βṽ (g(x, u)) Ṽ (x) sup {r(x, u)+βṽ (g(x, u)) u Γ(x) u Γ(x)

30 Principio de optimalidad Las 4 proposiciones que sutentan el principio de optimalidad V 4 Por tanto: } Ṽ (x) = sup {r(x, u) + βṽ (g(x, u)) u Γ(x) (10) Lo cual indica que la función supremo (o función valor) es una solución de la ecuación funcional (PF). 5 La proposición 1 indica que Ṽ es una solución del PF, pero no indica que sea la única. Con el fin de asegurar que esta sea la única solución del PF se impone una restricción adicional: condición de transversalidad fuerte. La proposición 2 asegura lo anterior.

31 Principio de optimalidad Las 4 proposiciones que sutentan el principio de optimalidad I Proposición 2 (del PF al PS) Según las hipótesis 1, 2 y 3, V resuelve el PF, y si además se cumple la condición de transversalidad fuerte: Lim t βt V (x t) = 0 para todo x 0 X y dinámica factible {(x t, u t)} desde x 0, entonces Ṽ = V (es decir, V resuelve el PS). Demostración (proposición 2): En este caso hay que demostrar que V es la función supremo Ṽ. La estrategia de demostración tiene dos pasos: el primero es demostrar que para toda dinámica factible desde x 0 se cumple que V (x 0 ) βt r(x t, u t). El segundo es demostrar que para todo ɛ > 0, una dinámica factible {(x t, u t)} desde x 0 de modo que: V (x 0 ) βt r(x t, u t) + ɛ. Ambos pasos aseguran que V es la función supremo (o función valor).

32 Principio de optimalidad Las 4 proposiciones que sutentan el principio de optimalidad II 1 Paso 1a: Como V es solución del PF, entonces dinámica factible {(x t, u t )} Π(x 0 ) tenemos: V (x 0 ) r(x 0, u 0 ) + βv (x 1 ) (por propiedad del supremo) V (x 1 ) r(x 1, u 1 ) + βv (x 2 ) (para x 1 ) r(x 0, u 0 ) + βv (x 1 ) r(x 0, u 0 ) + βr(x 1, u 1 ) + β [ βv (x 2 ) ] por transitividad en la 1era inecuación: V (x 0 ) r(x 0, u 0 ) + βr(x 1, u 1 ) + β 2 V (x 2 ) 1 V (x 0 ) β t r(x t, u t ) + β 2 V (x 2 ) (en forma compacta) V (x 0 ) Por inducción (k pasos): k β t r(x t, u t ) + β k+1 V (x k+1 ) (11)

33 Principio de optimalidad Las 4 proposiciones que sutentan el principio de optimalidad III 2 Paso 1b: Haciendo k y usando la condición de transversalidad fuerte: { k } V (x 0 ) Lim β t r(x t, u t ) + β k+1 V (x k+1 ) k { k V (x 0 ) Lim k V (x 0 ) V (x 0 ) } { } β t r(x t, u t ) + Lim β k+1 V (x k+1 ) k por condición de transversalidad fuerte: β t r(x t, u t ) + 0 β t r(x t, u t ) (12)

34 Principio de optimalidad Las 4 proposiciones que sutentan el principio de optimalidad IV 3 Paso 2a: Sea ɛ > 0 y {δ t },1,2... una sucesión de números reales positivos, tal que: δ t β t ɛ (13) 4 Paso 2b: Como V resuelve el PF, entonces u 0 Γ(x 0 ) de modo que: (por propiedad del supremo) V (x 0 ) r(x 0, u 0 ) + βv (x 1 ) + δ 0 también existe u 1 Γ(x 1 ) tal que: V (x 1 ) r(x 1, u 1 ) + βv (x 2 ) + δ 1 r(x 0, u 0 ) + βv (x 1 ) r(x 0, u 0 ) + βr(x 1, u 1 ) + β [ βv (x 2 ) ] + βδ 1 por transitividad en la 1era inecuación: V (x 0 ) r(x 0, u 0 ) + βr(x 1, u 1 ) + β 2 V (x 2 ) + βδ 1 V (x 0 ) (en forma compacta) 1 1 β t r(x t, u t) + β 2 V (x 2 ) + β t δ t t=1

35 Principio de optimalidad Las 4 proposiciones que sutentan el principio de optimalidad V 5 Paso 2c: Por inducción (k pasos): V (x 0 ) k k β t r(x t, u t ) + β k+1 V (x k+1 ) + β t δ t t=1 6 Paso 2d: Haciendo k y usando la expresión [13]: { k V (x 0 ) Lim β t r(x t, u t) + β k+1 V (x k+1 ) + k { k V (x 0 ) Lim k V (x 0 ) V (x 0 ) k } β t δ t t=1 } { β t r(x t, u t) + Lim β k+1 V (x k+1 ) k por condición de transversalidad fuerte y [13]: β t r(x t, u t) ɛ } { k } + Lim β t δ t k t=1 β t r(x t, u t) + ɛ (14)

36 Principio de optimalidad Las 4 proposiciones que sutentan el principio de optimalidad VI 7 De las inecuaciones [12] y [14] se concluye que V es la función supremo (función valor). 8 El PF puede tener muchas soluciones, pero la proposición 2 muestra que dichas soluciones (excepto Ṽ ) violan la condición de transversalidad fuerte y la única que satisface dicha condición es Ṽ. Por tanto V = Ṽ

37 Principio de optimalidad Las 4 proposiciones que sutentan el principio de optimalidad I Proposición 3 (dinámica factible del PS al PF) Bajo las hipótesis 1,2 y 3: sea {(xt, ut )} una dinámica factible desde x0 que permite alcanzar el supremo del PS, entonces dicha dinámica factible cumple con [5]: Ṽ (x t ) = r(x t, u t ) + βṽ (x t+1) (15) Es decir, permite alcanzar el supremo en el PF. Demostración (proposición 3): La estrategia de demostración tiene dos pasos: primero demostramos que la ecuación [15] se cumple para t = 0. El segundo es extender este resultado para todo t = 1, 2, 3 (por inducción).

38 Principio de optimalidad Las 4 proposiciones que sutentan el principio de optimalidad II 1 Paso 1a: debido a que {(x t, u t )} es una dinámica factible desde x 0 que permite alcanzar el supremo del PS, entonces se cumple: Ṽ (x 0 ) = β t r(xt, ut ) β t r(xt, ut ) = r(x0, u0 ) + β β t r(xt+1, ut+1) (16) 2 Paso 1b: para toda dinámica factible {(x1, u 1), (x 2, u 2 ), (x 3, u 3 ),...} Π(x1 ), por la definición del supremo se cumple: β t r(xt, ut ) r(x0, u0 ) + β β t r(x t+1, u t+1 ) (17) Por tanto, de la expresión [16] y [17] se tiene que: β t r(xt+1, ut+1) β t r(x t+1, u t+1 ) (18)

39 Principio de optimalidad Las 4 proposiciones que sutentan el principio de optimalidad III 3 Paso 1c: además, como la dinámica factible {(x1, u 1 ), (x 2, u 2 ), (x 3, u 3 ),...} Π(x1 ), entonces se cumple que βt r(xt+1, u t+1 ) tiene que ser el valor supremo con valor inicial en x1 : Ṽ (x1 ) = β t r(xt+1, ut+1) (19) 4 Paso 1d: reemplazando la expresión [19] en [16] se tiene: Ṽ (x0 ) = r(x0, u0 ) + βṽ (x 1 ) (20) 5 Paso 2a: se probó que: Ṽ (x0 ) = r(x0, u0 ) + βṽ (x 1 ) Ṽ (x1 ) = β t r(xt+1, ut+1)

40 Principio de optimalidad Las 4 proposiciones que sutentan el principio de optimalidad IV 6 Paso 2b: se propone una hipótesis inductiva: Donde Ṽ (x k ) k N se define como: Ṽ (x k ) = r(x k, u k ) + βṽ (x k+1) (21) Ṽ (x k ) = β t r(xt+k, ut+k) (22) Si la hipótesis (ecuación [21]) se cumple para k + 1, entonces la hipotesis es verdadera.

41 Principio de optimalidad Las 4 proposiciones que sutentan el principio de optimalidad V 7 Paso 2c: verificando para k + 1 : de [21] y de [22] r(xk, u k ) + βṽ (x k+1 ) = Ṽ (x k ) = β t r(xt+k, u t+k ) r(xk, u k ) + βṽ (x k+1 ) = r(x k, u k ) + β β t r(xt+(k+1), u t+(k+1) ) Ṽ (xk+1 ) = β t r(xt+(k+1), u t+(k+1) ) Ṽ (xk+1 ) = r(x k+1, u k+1 ) + β β t r(xt+(k+2), u t+(k+2) ) Ṽ (x k+1 ) = r(x k+1, u k+1 ) + βṽ (x k+2 ) (23) Por tanto la hipótesis inductiva es verdadera y generalizable para todo, 1, 2,...

42 Principio de optimalidad Las 4 proposiciones que sutentan el principio de optimalidad I Proposición 4 (dinámica factible del PF al PS) Bajo las hipótesis 1,2 y 3: si {(xt, ut )} una dinámica factible desde x0 que satisface [15] y se cumple la condición de transversalidad débil: Lim t βt V (x t) 0, entonces {(x t, u t )} resuelve el PS. Demostración (proposición 4): La estrategia es la siguiente: que {(xt, u t )} resuelve el PS significa que permite alcanzar el supremo: Ṽ (x { 0) = sup βt r(x t, u } t). Es decir, Ṽ (x 0 ) = βt r(xt, u t ). {u t } Esto último es lo que tenemos que demostrar. 1 Paso 1: Como {(x t, u t )} es una dinámica factible desde x 0, entonces: Ṽ (x 0 ) β t r(xt, ut ) (24)

43 Principio de optimalidad Las 4 proposiciones que sutentan el principio de optimalidad II 2 Paso 2: Además, {(x t, u t )} satisface [15]; es decir, permite alcanzar el supremo en el PF: Ṽ (x t ) = r(x t, u t ) + βṽ (x t+1) t = 0, 1, 2,... : Ṽ (x 0 ) = r(x 0, u 0 ) + βṽ (x 1 ) Ṽ (x 1 ) = r(x 1, u 1 ) + βṽ (x 2 ) Ṽ (x 2 ) = r(x 2, u 2 ) + βṽ (x 3 )... Ṽ (x k ) = r(x k, u k ) + βṽ (x k+1)

44 Principio de optimalidad Las 4 proposiciones que sutentan el principio de optimalidad III 3 Paso 3: reemplazando Ṽ (x 2 ) en Ṽ (x 1 ): Ṽ (x2 ) = r(x2, u2 ) + βṽ (x 3 ) [ ] Ṽ (x1 ) = r(x1, u1 ) + β r(x2, u2 ) + βṽ (x 3 ) reemplazando Ṽ (x 1 ) en Ṽ (x 0 ): Ṽ (x 0 ) = r(x 0, u 0 ) + β [ ] r(x1, u1 ) + βr(x2, u2 ) + β 2 Ṽ (x3 ) Ṽ (x 0 ) = Ṽ (x 0 ) = de forma compacta: 2 β t r(xt, ut ) + β 3 Ṽ (x3 ) por inducción (k pasos): k β t r(xt, ut ) + β k+1 Ṽ (xk+1) (25)

45 Principio de optimalidad Las 4 proposiciones que sutentan el principio de optimalidad IV 4 Paso 4: tomando k en la ecución [25]: [ k ] Ṽ (x0 ) = Lim β t r(xt, ut ) + β k+1 Ṽ (xk+1) k [ ] Ṽ (x0 ) = β t r(xt, ut ) + Lim β k+1 Ṽ (xk+1) k Ṽ (x 0 ) por condición de transversalidad débil: Lim t βt V (xt ) 0 β t r(xt, ut ) (26)

46 Principio de optimalidad Las 4 proposiciones que sutentan el principio de optimalidad V 5 Paso 5: de la inecuación [24] y [26] se tiene: Por tanto: β t r(xt, ut ) Ṽ (x 0 ) β t r(xt, ut ) (27) Ṽ (x 0 ) = β t r(xt, ut ) (28) Lo cual indica que la dinámica factible {(x t, u t )} resuelve el PS. Conclusión Las proposiciones 1 al 4 implican que (bajo las hipótesis 1, 2 y 3) la solución a la ecuación [5]: V (x t ) = r(x t, u t )+βv (x t+1 ) (PF) coincide exactamente (en términos de valores y planes óptimos) con la solución del PS. Es decir, el principio de optimalidad se mantiene.

47 Método para solucionar el PF 1 Problema de optimización dinámica 2 Programación dinámica: panorama Función valor Ecuación de Bellman Problema funcional Del PS al PF 3 Principio de optimalidad Método para solucionar el PF Método de cálculo diferencial para solucionar el PF

48 Método para solucionar el PF Método para solucionar el PF I 1 Hasta aquí se ha estudiado la relación entre el PS y el PF, pero no se ha dado ningún método para solucionar el PF. 2 Lo interesante de la programación dinámica es que ofrece varios métodos de solución del PF: métodos teóricos y numéricos. 3 El principal método es considerar al PF como un problema de punto fijo (PptoFijo). Para ello necesitamos dos hipótesis adicionales: sobre la correspondencia Γ(x) y la función de retorno r(x, u).

49 Método para solucionar el PF Hipótesis que permiten considerar el PF como un PptoFijo I Hipótesis 4: Γ(x) Γ : X X es una correspondencia de valores compactos (i.e. Γ(x) es compacto para todo x), continua y Γ(x) φ para todo x. Hipótesis 5: β y r(x, u) β (0, 1) y r(x t, u t ) es acotada y continua sobre el grafo de Γ. Donde: Grafo de Γ : { (x, u) XxR m tal que u Γ(x) } Las hipótesis 4 y 5 implican las hipótesis 1, 2 y 3. Por tanto, las proposiciones 1 al 4 se mantienen, y por ende el principio de optimalidad. Por la hipótesis 5, Ṽ (y por lo tanto V por el principio de optimalidad) que es una función real, también es a acotada y continua.

50 Método para solucionar el PF Hipótesis que permiten considerar el PF como un PptoFijo II Definamos C a (X ) : Espacio de las funciones reales, continuas y acotadas. Entonces: Ṽ = V C a(x ). Definimos un operador T: C a (X ) C a (X ) del PF: { } T [V ](x) = r(x, u) + βv (g(x, u)) sup {u} Γ(x) (29) Del PF sabemos: V (x) = { } sup r(x, u) + βv (g(x, u)) {u} Γ(x) (30) De [29] y [30], el PF se convierte en un Problema de punto fijo (PptoFijo) : T [V ](x) = V (x) (31) Donde la función V es el punto fijo. Si encontramos la función V que resuelve [31] (PptoFijo), entonces tendremos la solución del PF y por el principio de optimalidad tendremos la solución del PS.

51 Método para solucionar el PF Hipótesis que permiten considerar el PF como un PptoFijo III Debido a que se tiene la función valor, se puede encontrar el plan óptimo: Forma 1: resolviendo paso a paso el problema del máximo que aparece en el PF (i.e. encontrar la función de poĺıtica). Forma 2: resolviendo el sistema de ecuaciones: V (x t ) = r(x t, u t ) + βv (x t+1), t = 0, 1, 2, 3... Necesitamos un teorema que asegure que el operador T : C a (X ) C a (X ) tiene un único punto fijo y por tanto una solución al PptoFijo. El teorema del punto fijo para contracciones asegura lo anterior.

52 Método para solucionar el PF Teorema del punto fijo Teorema 2 (Punto fijo para contracciones) Bajo las hipótesis 4 y 5: sea C a(x ) (espacio de las funciones reales, continuas y acotadas sobre X) con la norma del supremo, entonces el operador T definido en C a(x ) es una aplicación de este espacio en sí mismo, T: C a(x ) C a(x ), definido como: { } T [V ](x) = sup r(x t, u t) + βv (g(x t, u t)) (32) sujeto a: u t Γ(x t), Satisface: 1 T [V ] C a(x ) 2 T tiene un único punto fijo V : T [V ] = V 3 Para cualquier V 0 C a(x ) se tiene: T n (V 0) V β n V 0 V En particular: Lim T n (V n 0) = V

53 Método para solucionar el PF Teorema del punto fijo Nota: la norma del supremo está definido como: f = sup{ f (x) } (33) El teorema del punto fijo ofrece un método de solución del PF: la convergencia de iteraciones sucesivas de una función contractiva al punto fijo, la cual consiste en: la sucesión de funciones {V n } n=0 definida como: V n = T [V n 1 ], n 1 (34) converge al punto fijo (V) de la contracción T; es decir: Lim V n = V (35) n

54 Método para solucionar el PF Teorema del punto fijo: demostración I Demostración (teorema 2): 1 Paso 1: bajo las hipótesis 4, 5 y 8 se tiene que para cada f C a (X ) x X el problema del punto de fijo: T [f ](x) = max u t Γ(X ) { r(xt, u t ) + βf (u t ) } (36) se reduce a maximizar la función continua: { r(xt, ) + βf ( ) } (37) sobre el conjunto compacto Γ(X ). Esto permite alcanzar el máximo. Una pregunta que tenemos que responder es: T [f ] es acotada y continua? se sabe que su dominio lo es. 2 Paso 2a: debido a que r(x t, u t ) y f (u t ) son acotadas, entonces: T [f ], también es acotada.

55 Método para solucionar el PF Teorema del punto fijo: demostración II 3 Paso 2b: debido a que r(x t, u t ) y f (u t ) son continuas, y Γ(X ) es compacto, entonces: por el teorema del máximo se tiene que T [f ] es continua. Por tanto, del paso 2a y 2b se tiene que: T [f ] es continua y acotada, y dado que T fue definido (dominio) en C a (X ), entonces se obtiene que el operador T [f ] es: T [f ] : C a (X ) C a (X ) 4 Paso 4: T es una contracción? Sí. Esto se debe a que el operador T cumple con las condiciones de Blackwell. 5 Paso 5: T tiene un único punto fijo? Sí. Debido a que C a (X ) es un espacio de Banach, entonces por el teorema de la aplicación contractiva, T tiene un único punto fijo V C a (X ) y se cumple que: T n (V 0 ) V β n V 0 V

56 Método para solucionar el PF Ejemplo 1: modelo de Brock y Mirman (1972) I El modelo básico de crecimiento está descrito por el siguiente problema (en términos generales): s.a: Max {c t,k t+1} β t lnc t k t+1 = (1 δ)k t + i t c t + i t = f (k t ) c t, k t 0 t A este problema lo llamamos problema secuencial (PS). Considerando las siguientes forma funcionales ( ) ( u(c t )lnc t, f (k t ) = kt α, y supuestos α (0, 1), δ = 1 y k 0 dado ) se tiene:

57 Método para solucionar el PF Ejemplo 1: modelo de Brock y Mirman (1972) II Problema secuencial: Brock y Mirman (1972) β t lnc t s.a: Max {c t,k t+1} k t+1 = k α t c t, k t 0 c t La ecuación funcional (o de Bellman) es: V (k t ) = Max {c t,k t+1} { lnct + βv (k t+1 ) } Al reemplazar la restricción en la ecuación de Bellman k t+1 = kt α c t, el problema funcional asociado queda descrito de la siguiente manera:

58 Método para solucionar el PF Ejemplo 1: modelo de Brock y Mirman (1972) III Problema funcional: Brock y Mirman (1972) { V (k t ) = Max lnct + βv (k {c t} t α c t ) } 0 c t k α t Encontrando la función valor 1 Para resolver el PF utilizaremos el método de iteración de la función valor (propuesto por el teorema del punto fijo para contracciones), la expresión [34]: V n = T [V n 1 ], n 1 (38) Se inicia con la función más sencilla: V 0 = 0

59 Método para solucionar el PF Ejemplo 1: modelo de Brock y Mirman (1972) IV 2 Encontrando V 1 V 1 = T [V 0 ] { = Max lnct + β V 0 (k α } {c t} t c t ) }{{} =0 { } = Max lnct {c t} (39) (a) En esta etapa se aplica la condición de primer orden: función objetivo c t = 0 No obstante, en este caso, por ser ln monótona entonces el valor máximo se alcanza cuando c t = kt α (ver la restricción del PF).

60 Método para solucionar el PF Ejemplo 1: modelo de Brock y Mirman (1972) V (b) Reemplazando c t que maximiza la función objetivo en [39] se obtiene T [V 0] y por ende V 1: V 1 = T [V 0] = ln [ kt α ] V 1 = αlnk t (40) 3 Encontrando V 2 V 2 = T [V 1 ] { = Max lnct + β V 1 (k α } {c t} t c t ) }{{} =αln(k α t ct) = { Max lnct + βαln(kt α c t ) } (41) {c t}

61 Método para solucionar el PF Ejemplo 1: modelo de Brock y Mirman (1972) VI (a) En esta etapa se aplica la condición de primer orden: función objetivo c t = 0 c t = kα t 1 + βα (42) (b) Reemplazando c t que maximiza la función objetivo en [41] se obtiene T [V 1] y por ende V 2: [ βα V 2 = T [V 1] = α(1 + βα)lnk t + βαln 1 + βα [ βα V 2 = α(1 + βα)lnk t + βαln 1 + βα ] ln(1 + βα) ] ln(1 + βα) (43)

62 Método para solucionar el PF Ejemplo 1: modelo de Brock y Mirman (1972) VII 4 De igual forma podemos hacer para V 3 y luego en forma general vemos que: ( n 1 ) V n (k t ) = A n + α (βα) i lnk t (44) i=0 Donde hacemos que n por la propiedad [35]: Lim V n = V n ( Lim V n(k t ) = Lim A n 1 ) n + Lim α (βα) i lnk t n n n i=0 ( ) V = A + α (βα) i lnk t i=0 V = A + α 1 βα lnk t (45)

63 Método para solucionar el PF Ejemplo 1: modelo de Brock y Mirman (1972) VIII La constante A la podemos encontrar reemplazando V y la dinámica óptima en la ecuación de Bellman. Encontrando la función de poĺıtica Dado que ya conocemos la función valor (V ), la cual reemplazamos en la ecuación de Bellman del PF. 1 Reemplezando la función valor en el PF: { V (k t ) = Max lnct + β [ ln(k {c t} t α c t ) ]} 0 c t k α t El problema funcional se convierte en un problema de optimización estándar (en t ), a la cual se puede aplicar las condiciones de primer orden. Aplicando CPO: función objetivo c t = 0

64 Método para solucionar el PF Ejemplo 1: modelo de Brock y Mirman (1972) IX Encontramos la función de poĺıtica: c t = h(k t ) c t = (1 αβ)k α t (46) 2 Encontrando la constante A : reemplazando la función valor y la función de poĺıtica en la ecuación de Bellman (el max desaparece porque la función de poĺıtica permite alcanzar dicho máximo): A + α 1 βα lnk t = ln(h(k t )) + β [ ln(kt α h(k t )) ] Resolviendo e igualando los coeficientes de los términos similares: [ ] 1 A = (ln(1 αβ) + αβ 1 β 1 αβ lnαβ) Encontrando la dinámica óptima

65 Método para solucionar el PF Ejemplo 1: modelo de Brock y Mirman (1972) X 1 La dinámica óptima: es la sucesión {c t, k t } descrita por este sistema de ecuaciones (con k 0 dado): Ec. de evolución de la variable de estado k t+1 = kt α (1 αβ)kt α = αβkt α (47) Función de política c t = (1 αβ)kt α (48)

66 Método para solucionar el PF Ejemplo 2: modelo con hábitos de consumo sujeto a: Max {c t,k t+1} β t (lnc t + γlnc t 1 ) c t + k t+1 Ak α t Donde: β (0, 1), γ < 0, A > 0 y α (0, 1). k 0 y c 1 dado. 1 Escribir la ecuación de Bellman. 2 Demuestre que la solución de dicha ecuación tiene la forma: v(k t, c t 1 ) = E + Flnk t + Glnc t 1 3 Demostrar que la dinámica óptima del capital tiene la forma: lnk t+1 = I + Hlnk t Donde E,F,G,H,I son constantes. Dé fórmulas expĺıcitas para estas constantes en términos de los parámetros del problema.

67 Método de cálculo diferencial para solucionar el PF 1 Problema de optimización dinámica 2 Programación dinámica: panorama Función valor Ecuación de Bellman Problema funcional Del PS al PF 3 Principio de optimalidad Método para solucionar el PF Método de cálculo diferencial para solucionar el PF

68 Método de cálculo diferencial para solucionar el PF Método de cálculo diferencial para solucionar el PF Para aplicar los métodos de cálculo diferencial en la solución de problemas de optimización dinámica se requiere que la función valor tenga tres propiedades importante: 1 Monotonicidad: 2 Concavidad: 3 Diferenciabilidad:

69 Método de cálculo diferencial para solucionar el PF Monotonicidad de V (x t ) Hipótesis 6: r(x, u) y g(x, u) Para cada u R m, las funciones: r(x t, u) : X R es estrictamente creciente g(x t, u) : X X es creciente Hipótesis 7: Γ(x) Γ es monótona (i.e. si x > x Γ(x ) Γ(x) )

70 Método de cálculo diferencial para solucionar el PF Monotonicidad de V (x t ) I Proposición 5 (monotonicidad de V (x)) Bajo las hipótesis 4 al 7, entonces la función valor es estrictamente creciente. Demostración (proposición 5): La estrategia tiene dos pasos: el primero es demostrar que T[f] es una función estrictamente creciente; el segundo paso es considerar el PptoFijo y de allí derivar que V es también estrictamente creciente. 1 Sabemos: C a(x ) es el espacio de las funciones reales, continuas y acotadas con la norma del supremo. C c(x ) C a(x ) es el espacio de las funciones reales, continuas, acotadas y crecientes. Se observa que C c(x ) es un subespacio cerrado en C a(x ), y por tanto es un espacio completo en la norma del supremo. 2 Paso 1: vamos a probar que si f C a (X ) es creciente, entonces T [f ] es una función estrictamente creciente

71 Método de cálculo diferencial para solucionar el PF Monotonicidad de V (x t ) II 3 Paso 1a: por la hipótesis 6: si x x entonces g(x, u) g(x, u) u. dado que f es creciente: f (g(x, u)) f (g(x, u)) r(x, u) + βf (g(x, u)) r(x, u) + βf (g(x, u)) por la hipótesis 6 r(x, u) es creciente: r(x, u) r(x, u), entonces: r(x, u) + βf (g(x, u)) > r(x, u) + βf (g(x, u)) (49) 4 Paso 1b: Aplicando max en la relación [49]: { } { } max u Γ(x) r(x, u) + βf (g(x, u)) > max u Γ(x) r(x, u) + βf (g(x, u)) (50) 5 Paso 1c: por la hipótesis 7 se tiene que: si x x Γ(x ) Γ(x)

72 Método de cálculo diferencial para solucionar el PF Monotonicidad de V (x t ) III Γ(X ) Γ(X) u Donde u Γ(x), entonces u Γ(x ). Reemplazando este resultado en [50] se tiene: { } { } max u Γ(x ) r(x, u) + βf (g(x, u)) > max u Γ(x) r(x, u) + βf (g(x, u)) (51)

73 Método de cálculo diferencial para solucionar el PF Monotonicidad de V (x t ) IV 6 Paso 1d: por la definición del operador T para una función f cualquiera: { } T [f ](x) = sup {u} Γ(x) r(x, u) + βf (g(x, u)) La expresión [51] se convierte en: Es decir T [f ] es estrictamente creciente. Conclusión 1 T [f ](x ) > T [f ](x) (52) Por tanto se cumple lo que queriamos probar en el paso 1: si f C a (X ) es creciente, entonces T [f ] es una función estrictamente creciente 7 Paso 2: como C c (X ) es un subespacio cerrado de C a (X ), entonces la función valor V está en C c (X ):

74 Método de cálculo diferencial para solucionar el PF Monotonicidad de V (x t ) V Ca(X) Cc(X) V Además, como T [V ] = V, y T es estrictamente creciente entonces V también es estrictamente creciente. Conclusión 2 Por tanto la función valor (V) es estrictamente creciente.

75 Método de cálculo diferencial para solucionar el PF Concavidad de V (x t ) I Hipótesis 8: X X es un subconjunto convexo de R n. Definición conjunto convexo: el conjunto X es convexo si para dos elementos de dicho conjunto x e y, la combinación lineal (con t [0, 1]) también se encuentra dentro de dicho conjunto. Es decir: x y X y t [0, 1] se cumple que [(1 t)x + ty] X

76 Método de cálculo diferencial para solucionar el PF Concavidad de V (x t ) II Hipótesis 9: r(x, u) y g(x, u) r(x t, u t ) es estrictamente cóncava y g(x t, u t ) es cóncava. Definición función cóncava: una función real definida en un conjunto convexo (dominio) es cóncava, si para dos puntos x e y cualesquiera definidas en su dominio, y para cualquier t [0, 1] se cumple: f (tx + (1 t)y) tf (x) + (1 t)f (y)

77 Método de cálculo diferencial para solucionar el PF Concavidad de V (x t ) III Hipótesis 10: Γ(x) Γ(x t ) es convexa; es decir: 1 Γ(x) es un conjunto convexo para todo x X. 2 Dado λ [0, 1], x, x X y x x, entonces si u Γ(x) y u Γ(x ) implica que: λu + (1 λ)u Γ(λx + (1 λ)x )

78 Método de cálculo diferencial para solucionar el PF Concavidad de V (x t ) I Proposición 6 (concavidad de V (x)) Según las hipótesis 4,5,8,9 y 10, la función valor es estrictamente cóncava y la correspondencia de política es una función continua. Demostración (proposición 6): La estrategia tiene dos pasos: el primero es demostrar que T[f] es una función creciente y estrictamente cóncava; el segundo paso es considerar el PptoFijo y de allí derivar que V también es creciente y estrictamente cóncava. 1 Paso 1: vamos a probar que si f C a (X ) es creciente y cóncava, entonces T [f ] es una función creciente y estrictamente cóncava. (que sea creciente lo sabemos de la proposición 5). 2 Paso 1a: dado λ [0, 1], x, x X y x x, y sea u, u tales que resuelven el problema del máximo definido por: T [f ](x) y T [f ](x ) respectivamente.

79 Método de cálculo diferencial para solucionar el PF Concavidad de V (x t ) II 3 Paso 1b: además, por la hipótesis 10 se tiene que: λu + (1 λ)u Γ(λx + (1 λ)x ) entonces, tenemos que (por la definición del supremo): Donde: T [f ]( x) r( x, ũ) + βf (g( x, ũ)) (53) x = λx + (1 λ)x ũ = u + (1 λ)u 4 Paso 1c: pero r(, ) es estrictamente cóncava (hipótesis 9), entonces para r( x, ũ) que es igual a r(λx + (1 λ)x, u + (1 λ)u ) se tiene que: r(λx + (1 λ)x, u + (1 λ)u ) > λr(x, u) + (1 λ)r(x, u ) (54)

80 Método de cálculo diferencial para solucionar el PF Concavidad de V (x t ) III 5 Paso 1d: además, dado que g(, ) es cóncava (hipótesis 9), entonces se tiene que: g( x, ũ) λg(x, u) + (1 λ)g(x, u ) (55) y dado que f es creciente, entonces aplicando f a la ecuación anterior (ecu.55): y como f es cóncava: f (g( x, ũ)) f (λg(x, u) + (1 λ)g(x, u )) (56) f (λg(x, u) + (1 λ)g(x, u )) λf (g(x, u)) + (1 λ)f (g(x, u )) (57)

81 Método de cálculo diferencial para solucionar el PF Concavidad de V (x t ) IV 6 Paso 1e: introduciendo la expresión [54] y [57] (multiplicada por β) en la expresión inicial [53] se tiene: T [f ]( x) r( x, ũ) + βf (g( x, ũ)) > λr(x, u) + (1 λ)r(x, u ) + β[λf (g(x, u)) + (1 λ)f (g(x, u ))] > [ λr(x, u) + λβf (g(x, u)) ] + [ (1 λ)r(x, u ) + (1 λ)βf (g(x, u ) > λ [ ] [ r(x, u) + βf (g(x, u)) + (1 λ) r(x, u ) + βf (g(x, u ] )) }{{}}{{} T [f ](x) T [f ](x ) T [f ]( x) > λt [f ](x) + (1 λ)t [f ](x ) Conclusión 1 Por tanto se cumple lo que queriamos probar en el paso 1: si f C a (X ) es creciente y cóncava, entonces T [f ] es una función creciente y estrictamente cóncava

82 Método de cálculo diferencial para solucionar el PF Concavidad de V (x t ) V 7 Paso 2: como C c (X ) (acotado para las funciones estrictamente cóncava) es un subespacio cerrado de C a (X ), entonces la función valor V está en C c (X ) (acotado para las funciones estrictamente cóncava): Cc(X) Ca(X) V Estrictamente Cóncava Además, como T [V ] = V, y T es estrictamente cóncava entonces V también es estrictamente cóncava. Conclusión 2 Por tanto la función valor (V) es estrictamente cóncava.

83 Método de cálculo diferencial para solucionar el PF Diferenciabilidad de V (x t ) I Hipótesis 11: r(x, u) y g(x, u) r(x t, u t ) y g(x t, u t ) son continuamente diferenciables en el interior del grafo de Γ(x t ). Hipótesis 12: diferenciabilidad Sea (x, u ) en el interior del grafo de Γ, tal que una función diferenciable τ definida en una vecindad abierta V de x tal que: τ : V U y para todo x V : τ(x) Γ(x) y g(x, τ(x)) = g(x, u )

84 Método de cálculo diferencial para solucionar el PF Diferenciabilidad de V (x t ) II Teorema 3 (Diferenciabilidad de la función valor (Benveniste-Scheinkman 1)) Bajo las hipótesis 4, 5, 8, 9, 10, 11 y 12; si x 0 Int(X ) y h(x 0 ) Int(Γ(x 0 )), entonces la función valor es continuamente diferenciable en x 0 y su derivada está dada por: V (x 0 ) = r(x 0, h(x 0 )) + β V (g(x 0, h(x 0 ))) (58) x 0 x 0 x 0 Esto es generalizado para todo t. 1 Este teorema es un paso previo para demostrar el teorema del envolvente. 2 Requiere que en la ecuación de Bellman se introduzca la función de poĺıtica h(x) (además de la ecuación de movimiento de la variable de estado g(x, h(x))).

85 Método de cálculo diferencial para solucionar el PF Diferenciabilidad de V (x t ) III 3 Las hipótesis descritas aseguran que la función valor sea dos veces diferenciable (Stokey y Lucas, pag 84), la cual asegura que la función de poĺıtica h(x) sea diferenciable. Esta propiedad es recogida en el teorema de BS (1 y 2). Teorema 4 (Teorema de la envolvente (Benveniste-Scheinkman 2)) Bajo las hipótesis 4, 5, 8, 9, 10, 11 y 12; si x 0 Int(X ) y h(x 0 ) Int(Γ(x 0 )), y cumpiendose el teorema BS 1, entonces para x, u se cumple: Esto es generalizado para todo t. V (x 0 ) x 0 = r(x 0, u 0 ) u 0 (59) 1 Este teorema asegura una relación entre la función de valor y la función de utilidad.

86 Método de cálculo diferencial para solucionar el PF Pasos para utilizar el método de BS 1 En la ecuación de Bellman aplicar las CPO. Es decir, derivar el lado derecho de dicha ecuación con respecto a la variable de control. 2 Aplicar el teorema del envolvente. Recordar que el teorema de la diferenciabilidad es solo para demostrar el teorema del envolvente. Nota: Este método (teorema de BS) brinda explicitamente las CPO sin necesidad de conocer la función valor; no obstante, no brinda la solución al problema; es decir, no especifica la función de poĺıtica.

87 Método de cálculo diferencial para solucionar el PF Ejemplo: aplicación del teorema de la envolvente I Un ejemplo típico del consumidor: Problema de optimización de un consumidor β t u(c t ) sujeto a: Max {c t,w t+1} w t+1 = (1 + r)(w t + c t ) Donde: β (0, 1), w t es la riqueza del individuo y w 0 dado. Solución: Ecuación de Bellman { } V (w t ) = Max u(c t ) + βv (w t+1 ) {c t} Introduciendo la ecuación de la variable de estado:

88 Método de cálculo diferencial para solucionar el PF Ejemplo: aplicación del teorema de la envolvente II { } V (w t ) = Max u(c t ) + βv ((1 + r)(w t + c t )) {c t} (60) Condiciones de primer orden Derivamos el lado derecho de la ecuación de Bellman con respecto a la variable de control c t : u(c t ) + β V (w t+1) [(1 + r)(w t + c t )] c t w t+1 c t = 0 u(c t ) + β V (w t+1) ( 1)(1 + r) c t w t+1 = 0 u(c t ) c t = β(1 + r) V (w t+1) w t+1 (61)

89 Método de cálculo diferencial para solucionar el PF Ejemplo: aplicación del teorema de la envolvente III Teorema de la envolvente El teorema del envolvente indica: Un periodo hacia adelante: V (w t ) w t = u(c t) c t (62) V (w t+1 ) w t+1 = u(c t+1) c t+1 (63) Encontrando la ecuación de Euler Introduciendo la ecuación [63] (teorema de la envolvente) en la ecuación [64] (CPO), se tiene la ecuación de Euler: u(c t ) c t = β(1 + r) V (w t+1) w t+1

90 Método de cálculo diferencial para solucionar el PF Ejemplo: aplicación del teorema de la envolvente IV u(c t ) c t = β(1 + r) u(c t+1) c t+1 (64)