Universidad de Montevideo Macroeconomía II. Dynamic Programming. 1 Ejemplo: Función de producción Cobb-Douglas y utilidad logarítmica

Transcripción

1 Universidad de Montevideo Macroeconomía II Danilo R. Trupkin Notas de Clase (preliminares e incompletas) Dynamic Programming Ejemplo: Función de producción Cobb-Douglas y utilidad logarítmica Considere el siguiente problema del planificador: max {c t,k t+ } t=o β t ln(c t ) t=0 s.a. k t+ = k α t c t, k 0 dado, donde α (0, ), β (0, ). El problema puede ser resuelto a mano, utilizando, por caso, cualquiera de los 2 siguientes métodos: (i) por iteración de la ecuación de Bellman, y (ii) por guess-and-verify.. Por iteración (o inducción hacia atrás) Notemos que estamos asumiendo indirectamente una depreciación igual a, o lo que es lo mismo, que la inversión en todo momento es igual a k t+. Recordemos que, por definición, i t = k t+ ( δ)k t, () con lo cual la restricción de recursos resulta: c t + i t = f(k t ), o alternativamente tenemos k t+ = f(k t ) c t + ( δ)k t = k α t c t. (δ = y f(k t ) = k α t ) Se trabaja desde atrás hacia adelante:

2 i) En t = T (j = ) : k t+ = 0 c T = k α T V 0 (k T + ) = 0 Luego, la primera función de valor (utilidad indirecta, o valor de la función de utilidad en el óptimo) al momento T es: V (k T ) = u(c T ) = ln(k α T ) = α ln k T Por envelope condition (o condición de BS): V (k T ) = u (c T ) c T k T = α k T. (2) ii) En t = T (j = 2) : max ln(c T ) + βv (k T ) (c T,k T ) = ln(c T ) + βα ln k T s.a. c T = k α T k T. El problema irrestricto: CPO: max k T ln(k α T k T ) + βα ln k T. (3) kt α k T + βα k T = 0. Entonces, Y la función de valor resulta: k T = + kα T, c T = k α T k T = + kα T. ( ) ( ) V 2 (k T ) = ln + kα T + βα ln + kα T. iii) En t = T 2 (j = 3) : max ln(c T 2) + βv 2 (k T ) (c T 2,k T ) 2

3 El problema irrestricto: [ ( ) ( )] = ln(c T 2 ) + β ln + kα T + βα ln + kα T s.a. c T 2 = k α T 2 k T. max ln ( [ ( ) ( )] kt α ) 2 k T + β ln k T + kα T + βα ln + kα T. Sacando la CPO, más un poco de álgebra, tenemos que k T = c T 2 = + ()2 + + () 2 kα T 2, + + () 2 kα T 2. Finalmente, con j tenemos que las reglas de decisión resultan en: c t = ( )k α t, k t+ = k α t. y la ecuación de valor resulta ser: V (k t ) = [ ln( ) + ] β ln() + α ln k t..2 Guess and verify (o método de coeficientes indeterminados) Planteamos un guess de la función de valor (en forma correcta), pero dejamos los coeficientes indeterminados. El guess es: v(k t ) = E + F ln k t, (4) donde E y F son constantes indeterminadas, tales que el LD y el LI deben coincidir para todo k. Recordemos la ecuación de Bellman del problema: v(k t ) = max k t+ ln(k α t k t+ ) + βv(k t+ ) 3

4 La CPO del problema es la siguiente: kt α k t+ + βv (k t+ ) = 0. (5) Aplicando BS sobre la función de valor del guess, tenemos: Sustituyendo en (5), Lo que implica que: v (k t ) = F k t, luego v (k t+ ) = F k t+. k α t k t+ k t+ = = β F k t+ + kα t. (6) Sustituyendo esta expresion para k t+ en la ecuación de Bellman, e igualando este resultado con el LD del guess en (4), tenemos lo siguiente: ( ln kt α ) ( + kα t + β E + F ln lo cual implica la siguiente expresión: ) + kα t = E + F ln k t, ( ) ln + α ln (k t ) + βe + ln α ln k t = E + F ln k t Así, tenemos las dos condiciones que siguen para los coeficientes E y F : α + α = F F = α (7) y ( ) ln + βe + ln + + = E, Utilizando la expresión para F deducida en (7): ( ) α ln + β α + βe + β ln β α + β α = E, Luego, E = [ ln( ) + ] ln. (8) β 4

5 Recordando la expresión para k t+ en (6), tenemos entonces que k t+ = k α t, y c t = ( )k α t Notemos que la política óptima implica una ecuación de movimiento del capital equivalente a ln k t+ = ln() + α ln k t. (9) En tanto α sea menor a, tenemos que k t convergerá a un k de steady state, dado cualquier valor inicial k 0 positivo. Este valor será: k = () α. 2 El Problema Estocástico Consideremos una modificación sobre el problema original, de modo de introducir incertidumbre. Cuáles son los cambios que ello implica? En realidad, si uno introduce shocks que sean i.i.d. o mismo de Markov, entonces dichos cambios serán triviales. De esta manera, considere el siguiente problema: E 0 β t r(x t, u t ), t=0 s.a. x t+ = g(x t, u t, ɛ t ), x 0 dado, donde ɛ t es una secuencia de variables aleatorias i.i.d. con funcion de distribución F. E t es el operador esperanza, dada información conocida al momento t. Al momento t, x t se asume conocido, pero x t+j, j no se conoce. Es decir, ɛ t+ es realizado despues que el agente elige el valor de la variable de control u t. El problema actual presenta forma recursiva, dado que la función objetivo es aditivamente separable y porque se asume una ley de transición, x t, en forma de ecuación diferencial aleatoria. Qué implica esto? Ello significa que el set de variables de control al momento t afecta sólo el set r(x s, u s ) para s t, y no valores anteriores. Ahora el objetivo es resolver el problema de arriba eligiendo un plan contingente, 5

6 u t = h(x t ). La ecuacioń de Bellman deviene en V (x) = max{r(x, u) + βe[v [g(x, u, ɛ)] x]}, (0) u donde E{V [g(x, u, ɛ)] x} = V [g(x, u, ɛ)]df (ɛ) y donde V (x) es el valor óptimo del problema comenzando en x al momneto 0. La solución V (x) de la ecuación (0) puede ser computada, por caso, iterando sobre V j+ (x) = max u {r(x, u) + βe[v j[g(x, u, ɛ)] x]}, () comenzando desde cualquier valor inicial continuo acotado V 0. 6