ÍNDICE INTRODUCCIÓN 3 I. POLÍTICA MONETARIA Y PROGRAMACIÓN DINÁMICA. 1.1 Problemática internacional 7

Transcripción

1 ÍNDICE INTRODUCCIÓN 3 I. POLÍTICA MONETARIA Y PROGRAMACIÓN DINÁMICA 1.1 Problemáica inernacional Relación enre políica monearia y programación dinámica esocásica. Modelos eóricos y hechos esilizados 11 II. INTRODUCCIÓN A LA PROGRAMACIÓN DINÁMICA ESTOCÁSTICA. 2.1 Inroducción Ejemplos de problemas de programación dinámica Principio de Opimalidad de Bellman Aplicación del algorimo de programación dinámica 29 III. PROGRAMACIÓN DINÁMICA APLICADA A LA POLÍTICA MONETARIA MEXICANA. 3.1 Inroducción Función objeivo del banco cenral Un modelo de programación dinámica aplicado a la economía monearia mexicana Solución al problema de opimización 48 1

2 CONCLUSIONES 50 Apéndice I 52 Apéndice II 61 Apéndice III 78 Apéndice IV 81 Apéndice V 88 Bibliografía 89 2

3 Life can only be undersood backwards, Bu i mus be lived going aferwards. Kierkegaard INTRODUCCIÓN Los bancos cenrales nunca han sido an poderosos como acualmene. La políica monearia se ha converido en el insrumeno fundamenal de la esabilización macroeconómica (Blinder, 1999). Resula por ano perinene analizar la gesión del marco insiucional e inelecual que hay derás de las decisiones de políica monearia de un banco cenral independiene. En eoría odo Banco Cenral enfrena un problema de conrol ópimo respeco a la minimización de una función de pérdida que depende del esado de un sisema con una dinámica propia, la dinámica económica (Woodford, 1999). Aquí el concepo de esado del sisema incluye oda la información disponible en un iempo dado que ayude a pronosicar su evolución fuura (Woodford, 1999). Es decir, eóricamene los responsables de la políica monearia ienen cieros objeivos como inflación baja, esabilidad en la producción y en el secor exerno y cuenan con insrumenos para lograr la opimización de una función objeivo, normalmene cuadráica, al enconrar un equilibrio enre los disinos objeivos en el coro plazo. Sin embargo, en la prácica las auoridades monearias enfrenan largos rezagos para observar los efecos sobre el produco y la inflación de la políica monearia insrumenada, lo cual ha sido objeo de esudio durane años (Gruen, Romalis & Chandra, 1997). La exisencia de los rezagos en los mecanismos de ransmisión de la políica monearia rearda la evaluación acerca de la exisencia de la desviación del impaco real conforme a lo planeado haciendo que el problema de opimización se conviera, y no sea suficienemene valorado por las auoridades monearias (Blinder, 1999), en un problema de programación dinámica. 3

4 En ese senido, la meodología de la programación dinámica rabaja con modelos de decisión secuenciales que son absracciones maemáicas de siuaciones en las cuales las decisiones deben ser hechas en diferenes eapas mienras se incurre en un coso en cada una de las eapas. Cada decisión puede influenciar las circunsancias bajo las cuales las decisiones fuuras serán omadas, de manera que si el coso oal va a ser minimizado, el individuo debe balancear su deseo de minimizar el coso de la decisión presene con su deseo de eviar siuaciones fuuras donde un coso elevado sea ineviable debido a las decisiones omadas en las secuencias previas (Bersekas, 2000). De esa forma la écnica de la programación dinámica le permiiría al banco cenral proyecar en el esado acual una serie de decisiones secuenciales fuuras de políica omando en cuena los largos rezagos que la políica monearia enfrena y conforme ranscurre el iempo, en el periodo subsecuene, la auoridad monearia conaría con más información disponible del esado acual de la economía que le permiiría decidir manener la senda proyecada o ajusarse a una nueva dinámica del sisema en la que el coso esperado que desea minimizar omando en cuena el largo plazo 1 sean los objeivos de inflación baja, crecimieno económico o esabilidad de la producción y en el secor exerno. En ese senido, diversos economisas (Kydland y Presco, 1977) han insisido que con el propósio de eviar la elección de una políica monearia subópima, la políica monearia debe ser evaluada y conducida como una regla de políica. Ellos enconraron que una políica discrecional bajo la cual las auoridades monearias seleccionan la mejor acción, dada la siuación acual, no necesariamene resulará en la maximización de la función social objeivo. Sin embargo, si las decisiones se oman en base a reglas de políica, el desempeño económico puede ser mejor. Ese es el argumeno de reglas versus discreción en la insrumenación de la políica monearia (Kydland y Presco, 1977). 1 Al considerar que la decisión presene afecará el coso fuuro y por ano se desea enconrar la políica 4

5 Una venaja adicional a la conducción de la políica con base en reglas y no en discreción, es que permie evaluar los efecos reales de la políica conforme a lo planeado. Una políica monearia conducida y evaluada con base en reglas, como por ejemplo fijar un objeivo de inflación anual de 2 por cieno, 2 parece mejorar su insrumenación, probablemene porque la credibilidad de las auoridades monearias se acreciena porque los paricipanes del mercado ienen una manera de predecir las decisiones fuuras y la inceridumbre se reduce. No obsane, oros economisas como Taylor (1999), reconocen que ciera discreción es requerida en la operación sin descuidar las reglas. El objeivo de la presene Tesis de Maesría es enconrar mediane el méodo de programación dinámica y de acuerdo con el principio de opimización de Bellman, la políica monearia ópima durane el período de 1997 a 2007 para la asignación ópima de los recursos en congruencia con la función objeivo del Banco de México. El primer capíulo del presene rabajo planea la problemáica que ha enfrenado el análisis macroeconómico en los úlimos años respeco al análisis de modelos de opimización dinámica empleados en economía. Se presena una revisión a nivel inernacional, así como los hallazgos reporados a ravés de la evidencia empírica considerando que para el análisis macroeconómico de políica monearia, una políica subópima es definida como aquella que produce una asa más elevada de inflación y no un más bajo nivel de desempleo comparada con ora políica que arroje una asa de inflación más baja. (Kydland & Presco, 1977). El segundo capíulo muesra eóricamene en qué consise el méodo de la programación dinámica especificando cómo se resuelve en cada eapa un problema de opimización donde el conocimieno del esado acual del sisema expresa oda la información sobre su comporamieno anerior y esa información es necesaria para la deerminación de la regla o políica ópima. 2 Si además, oros bancos cenrales adoparan similares objeivos de inflación, es muy probable que habría esabilidad en los mercados de dinero inernacionales. 5

6 En el ercer capíulo se realiza una evaluación del enfoque de la programación dinámica esocásica aplicado a la políica monearia a ravés del desarrollo de un modelo de programación dinámica probabilísica para la economía mexicana durane el periodo En ese capíulo se desarrolla un modelo de programación dinámica esocásica para la políica monearia mexicana a ravés de la opimización ineremporal de las desviaciones del produco y la inflación de sus niveles de equilibrio de largo plazo durane el período El ercer capíulo conrasa los hallazgos con los resulados obenidos en maeria de políica monearia para la economía mexicana en el período mencionado. En ese capíulo ambién se presenan las conclusiones y recomendaciones de políica. Cabe desacar que ese acercamieno de la programación dinámica esocásica a la políica monearia consiuye un esudio pionero en México debido a que durane la revisión bibliográfica no se enconraron, hasa la fecha 3, rabajos semejanes en nuesro país ya sea en el ámbio académico o insiucional. Al respeco, la auora solo enconró un rabajo inernacional que aborda la relación enre políica monearia y programación dinámica en el que se presena la calibración o esimación de la políica ópima a ravés de la meodología de programación dinámica con daos reales de la economía. No obsane, es posible que exisan proyecciones de políica monearia empleando el algorimo de la programación dinámica elaboradas por bancos cenrales principalmene de economías avanzadas y que, por el momeno, no han sido dados a conocer públicamene. 3 La úlima fecha consulada se refiere al mes de marzo de

7 CAPÍTULO I POLÍTICA MONETARIA Y PROGRAMACIÓN DINÁMICA. Inroducción Previo al planeamieno y aplicación del modelo de programación dinámica esocásica del siguiene capíulo, el objeivo del presene capíulo es la exposición de los modelos - fundamenalmene eóricos - de opimización dinámica empleados en economía en los úlimos años a nivel inernacional. Así mismo, se planean los hallazgos reporados a ravés de la evidencia empírica en las economías de Esados Unidos, la Euro área y Japón. Como se comenó en la inroducción, en el momeno en que se escribió la presene Tesis no se enconró algún rabajo documenado en programación dinámica aplicado a la políica monearia en la lieraura nacional. 1.1 Problemáica inernacional El análisis macroeconómico en los úlimos reina años se ha caracerizado por el empleo de una amplia variedad de modelos cuya diversidad radica no sólo en la perspeciva eórica sino además en la implemenación empírica. Denro de los modelos que ha empleado la macroeconomía y que se han converido recienemene en la forma predominane del análisis de políica monearia se encuenran los modelos neo-keynesianos (Hendry & Pagan, 2004). 7

8 La popularidad de los modelos neo-keynesianos se basa en el empleo de microfundamenos donde los agenes económicos buscan la opimización ineremporal de desviaciones de variables como el produco y la inflación de sus valores objeivo de largo plazo 4 (Ball, 1999). Una propiedad muy conocida de los modelos neo-keynesianos es la incorporación de expecaivas racionales de las variables endógenas con lo cual solucionan la famosa críica de Lucas (Kara & Nelson, 2004) respeco a la inesabilidad de los parámeros ane los cambios de políica al formular problemas de opimización. 5 La críica de Lucas sugiere que los modelos auorregresivos, al omiir la dinámica previsora, muesran inesabilidad en sus parámeros y podrían conducir, por ano, a una elección inadecuada en el análisis de la políica monearia. Sin embargo, es un hecho que los modelos macroeconómicos auorregresivos o backward-looking son ampliamene usados en el análisis de políica monearia y algunos auores (Rudebush, 1998) han enconrado evidencia empírica de esabilidad en las represenaciones empíricas auorregresivas. De hecho, algunos auores han enconrado evidencia para rechazar la hipóesis nula de esabilidad de parámeros en una variedad de modelos que fueron desarrollados en respuesa a la críica de Lucas, enre ellos precisamene los modelos neo- Keynesianos (Fuhrer, 1997), (Rudebush, 1998) & (Esrella, 1999). 4 De acuerdo con la eoría económica neoclásica y la eoría económica neo- keynesiana el papel de la políica monearia en el largo plazo debe ser deerminar el nivel de inflación. La políica monearia no afeca el produco en el largo plazo. Sin embargo, en el coro plazo, la políica puede influenciar la variabilidad del produco y de la inflación alrededor de sus niveles de equilibrio. Para los neoclásicos, una políica monearia adecuada es aquella que produce un nivel bajo de inflación promedio y al mismo iempo maniene el produco y la inflación an esables como sea posible. (Ball, 1999). 5 Lucas discuió el problema del pronósico en economería en una economía en la cual el comporamieno de las auoridades monearias puede cambiar en el ranscurso del iempo. Cuando los agenes privados son previsores del fuuro, sus decisiones dependerán en pare de las predicciones que engan de las fuuras acciones de políica. Cuando la relación que describe las fuuras acciones de políica cambia en una manera que es observable para los agenes privados, los pronósicos o predicciones de ésos de las acciones de políica cambia ambién. En consecuencia, los modelos economéricos bien especificados deben reflejar esa relación, de acuerdo con Lucas. Si los modelos carecen de esa relación, enonces sus predicciones pueden mosrar inesabilidad en el iempo cuando un cambio en el régimen de políica ocurre. (Esrella, 1999). 8

9 Por su pare, los modelos híbridos de expecaivas racionales con rigideces nominales (curva de Phillips neo-keynesiana) en los que se incorporaron ano el promedio ponderado de valores esperados como los valores rezagados de la inflación mosraron que en realidad ofrecían una pobre descripción de la dinámica inflacionaria, así como poca evidencia de comporamieno previsor racional (J. Rudd y K. Whelan, 2003). Al parecer, exise un mayor consenso enre los auores acerca de la dinámica inercial o persisencia de un componene inflacionario en el nivel agregado de precios. Ese fenómeno ha sido ampliamene documenado para la Euro área (I. Angeloni, L. Aucremanne, M. Ehrmann, J. Gali, A. Levin & F. Smes, 2004)6; Esados Unidos (Fuhrer & Moore, 1995), (Guerrieri, 2002) (Alig, Chrisiano, Eichenbaum & Linde, 2005) y Japón (Ichiro Muo, 2006). Kydland y Presco (1977)asumieron que las expecaivas del secor privado acerca de la políica fuura de las auoridades son racionales. Si el gobierno no se compromee a ravés de un mecanismo con respeco al desempeño de la políica fuura, la auoridad enfrenará una resricción adicional porque su políica no será creíble. Y cieros resulados económicos no serán alcanzables bajo la políica discrecional. Por ano, cuando exise un compromiso público de los gobernanes para alcanzar cieros objeivos de políica ano los agenes privados como las auoridades acúan racionalmene y el equilibrio resulane proporciona un mayor bienesar. De acuerdo con Woodford (1999) en el comporamieno de muchos bancos cenrales el nivel de la asa de inerés nominal en el período pasado reciene parece ser un deerminane imporane para fijar la asa de inerés de coro plazo 6 Esos auores enconraron que mienras un cambio de políica inesperado iene efeco de coro plazo en el produco real de la euro área (de cuaro a seis rimesres poserior al shock y después se disipa relaivamene rápido); el nivel de precios agregado presena un efeco más gradual pero permanenemene en la economía. 9

10 en el periodo presene. Así, los cambios en las condiciones observadas como la asa de inflación o nivel de acividad económica resulan en cambios en el nivel de los objeivos de los bancos cenrales. Sin embargo esos cambios ípicamene ocurren a ravés de una serie de pequeños ajuses en la misma dirección sobre un periodo de meses más que como una inmediaa respuesa del banco cenral a las condiciones cambianes de la economía. De esa manera, Woodford planea lo que denomina un carácer inercial del comporamieno del banco cenral mosrado a ravés de funciones de reacción esimadas y especificadas como: r r ( ) ( y y ) * * * y r es la asa objeivo de los bonos federales es una medida de inflación * es la asa de inflación objeivo del Banco Cenral y es una medida del produco * y es una medida de la endencia del produco poencial r *, y y son un conjuno de coeficienes consanes. Sin embargo, las funciones de reacción esimadas de esa forma, siempre incorporan alguna forma de ajuse parcial de la asa de fondos federales hacia ese objeivo, por ejemplo al especificar que la acual asa de fondos r sigue una ley de movimieno de la forma: r r 1 (1 ) r Donde el coeficiene mide el grado de inercia de la respuesa del banco cenral. Sack (1998) esimó una función de reacción de la forma especificada en las ecuaciones aneriores usando daos rimesrales de la economía de Esados Unidos durane la era de Greenspan en la Fed. Su valor esimado para es de 10

11 con un error esándar de El grado de inercia esimado fue elevado y alamene significaivo. Clarida (1998) enconró valores parecidos de en las funciones de reacción esimadas para oros bancos cenrales. Woodford sosiene que hay beneficios al manener una políica con un ciero grado de inercia en la respuesa del banco cenral a las flucuaciones económicas de coro plazo porque aumena la credibilidad del banco cenral. 1.2 Relación enre Políica Monearia y Programación Dinámica Esocásica. Modelos eóricos y hechos esilizados. Faus & Svensson (2001) paren del modelo de Cukierman & Melzer (1986) para modelar el rol de credibilidad, repuación y ransparencia de un banco cenral en el conexo de inflación baja y esacionaria. Para los auores el banco cenral muesra una función inobjeable, desde que puede ser inerpreada lineal en el resulado. Es decir, el banco cenral debe acepar incremenos arbirarios en la varianza del empleo por pequeñas disminuciones en la inflación. El modelo iene dos agenes, el secor privado y el banco cenral. El comporamieno del secor privado se resume a ravés de la curva de Phillips esándar (1958): l 1 l es el logarimo del empleo en el periodo, es la asa de inflación en el periodo y es un choque o cambio inesperado en el empleo (un choque de ofera). Las expecaivas de la inflación del secor privado son racionales E p, 1 1 donde E p denoa la expecaiva racional con respeco a la información que posee el secor privado. E denoa la expecaiva racional con 7 Empleando el méodo de Mínimos Cuadrados Ordinarios. 11

12 respeco a la información del banco cenral. Los subíndices 1 siempre indican expecaiva condicional para el periodo basado en la información del público al final del periodo -1. El banco cenral iene un conrol imperfeco sobre la inflación i i es la inención del banco cenral para la inflación, y es el error de conrol con media cero. Dado que se asume que i no es observado por el público, enonces i es el resulado de la inención de políica y no es un insrumeno. Eso capura el hecho de que los resulados que son observables no revelan perfecamene las inenciones de los bancos cenrales. El error de conrol, además saisface v, donde y v son choques normales e independienes con media cero. El secor privado observa al final del periodo donde el componene v permanece inobservable. La función de pérdida del banco cenral al final de período es: Donde 0 1 dada por: E 1 j j L es un facor de descueno y la función de pérdida social esá j p 1 2 * 2 L ( l l ) 2 El objeivo de pleno empleo del banco l * saisface l l z * * 12

13 z z 1 Donde * l 0 es el nivel objeivo de pleno empleo de largo plazo, z es un parámero que varía con el iempo y que se puede llamar nivel de empleo objeivo, 0 1, y es un choque en el nivel objeivo. Así, las preferencias de los bancos ienen un componene de idiosincrasia que no es comparido por el público (Faus & Svensson, 2001). El banco cenral iene información complea acerca de sus preferencias en cualquier régimen de políica monearia y, al final del período, posee información complea acerca de odos los periodos donde hubo algún suceso inesperado en el empleo. Al final de período -1, el público forma sus expecaivas de las variables en el periodo y el banco cenral observa esas expecaivas. 8 Al inicio de cada período el banco cenral observa su objeivo de empleo, así como si hubo algún choque o suceso inesperado en la asa de desempleo, y escoge su objeivo para la inflación. Poseriormene, hay un error de conrol que arroja la inflación del período y el público observa el suceso inesperado en el empleo. No obsane que Faus & Svensson (2001) no presenan calibración de algún modelo, hallaron, a ravés de daos numéricos indicaivos, que un objeivo explício de esabilización para el empleo y el produco hace que la políica del banco cenral dependa de su repuación. Finalmene la credibilidad de un banco cenral se relaciona con la efecividad de sus políicas implemenadas.. Orphanides & Volker (2000) mediane el empleo del méodo de programación dinámica esudiaron el diseño de una políica monearia ópima en un modelo de economía abiera y evaluaron, además, el efeco de la rampa de 8 En el mundo real, los bancos cenrales obienen las expecaivas del secor privado a ravés de diferenes fuenes como las encuesas y los precios de insrumenos financieros. (Faus & Svensson, 2001). 13

14 liquidez 9 generado por el límie de cero a la asa de inerés nominal. Es decir, encuenran cuál es la políica ópima en escenarios diferenes. Deerminan cómo un banco cenral puede formular e implemenar la políica monearia cuando el límie de cero no se percibe, es decir, cuando la inflación es elevada. Para el hallazgo de la políica monearia ópima en diferenes escenarios, es decir sin y con el límie de cero a la asa de inerés nominal, calibran un modelo de economía abiera al considerar la reciene experiencia japonesa en los novena, así como la políica monearia implemenada en la economía de los Esados Unidos durane la década de Los auores incorporan la asa de inerés y al ipo de cambio como canales de ransmisión de la políica monearia. Los auores consideraron que las auoridades monearias muesran preferencias siméricas que son cuadráicas respeco a la desviación de la inflación de un * nivel objeivo, así como de la desviación del produco de un nivel de produco poencial. Ellos enconraron que la función de pérdida que enfrena la auoridad monearia en el período 1, l 1 puede ser expresada como un promedio ponderado de dos componenes: 2 1 l w w y. * Se asume que la auoridad monearia descuena el fuuro con un facor de descueno fijo. Como es claro de la esrucura del modelo, la políica monearia opera con un rezago. Durane el periodo, la políica esá orienada hacia la esabilización de la economía del período +1 en adelane. Como un resulado, el objeivo de la auoridad monearia en el periodo es minimizar la suma esperada de descuenos de pérdidas fuuras, de +1 en adelane: 9 La rampa de la liquidez se refiere a una siuación en que las asas de inerés son bajas o muy bajas y la asa de ahorro es muy ala lo cual hace que la políica monearia sea inefeciva. 14

15 s L E l 1 s s0 El banco cenral resuelve ese problema sujeo a la dinámica económica. El esudio concluye que cuando exise un límie de cero en la asa de inerés nominal, conforme la inflación disminuye, la políica se vuelve expansionisa más rápido de lo que sería en la ausencia del límie. Lo cual inroduce un sesgo en el nivel promedio de inflación. 15

16 CAPÍTULO II INTRODUCCIÓN A LA PROGRAMACIÓN DINÁMICA ESTOCÁSTICA 2.1 Inroducción El érmino programación dinámica fue usado por Richard Bellman para describir las écnicas usadas para esudiar una clase de problemas de opimización que ienen que ver con una secuencia de decisiones. Las decisiones son omadas en eapas que pueden ener un horizone finio o infinio. El resulado de cada decisión no es compleamene predecible, pero puede ser anicipado anes de que la siguiene decisión sea omada. El objeivo es por ano minimizar el coso, represenado como una expresión maemáica de lo que es considerado un resulado no deseado. Un aspeco imporane en la programación dinámica es que cada decisión no puede ser visa de forma aislada ya que el individuo debe balancear el deseo de un coso presene bajo con la indeseable posibilidad de cosos fuuros elevados. La écnica de la programación dinámica capura ese rade-off o inercambio conflicivo, en la que en cada eapa el individuo se enfrena a una gama de decisiones que son ordenadas en base a la suma del coso presene y de los cosos fuuros esperados asumiendo que escogerá la decisión ópima para esa eapa y las subsecuenes. Una amplia variedad de problemas pueden ser raados de esa manera, es decir mediane modelos aplicables de conrol ópimo de un sisema dinámico sobre un número finio de eapas (horizone finio). 16

17 La esrucura del modelo básico de programación dinámica esocásico a iempo discreo esá compuesa por dos caracerísicas: i. Un sisema dinámico de iempo discreo ii. Una función de cosos que es adiiva sobre el iempo. El sisema dinámico expresa la evolución de algunas variables, o sea el esado del sisema bajo la influencia de decisiones hechas en periodos de iempo discreo y puede ser de la forma: x k 1 fk ( xk, uk, wk ), k 0,1,..., N 1 Donde k son los índices de iempo discreo. x k es el esado del sisema y resume la información pasada que es relevane para la opimización fuura. u k es la variable de conrol o variable de decisión que será seleccionada en el iempo k con conocimieno del esado x k. w k es el parámero aleaorio (ambién llamado ruido o disurbio). N es el horizone o número de veces que el conrol es aplicado. fk es una función que describe el sisema y en paricular el mecanismo por el cual el esado es acualizado. La función de cosos es adiiva en el senido en que el coso incurrido en el periodo y denoado por gk ( xk, uk, w k ) se acumula sobre el iempo. Por ano, el coso oal se muesra como: N 1 g ( x ) g ( x, u, w ) N N k k k k k 0 Donde g ( x ) es el coso erminal incurrido al final del proceso. N N 17

18 De esa manera el coso oal depende del coso incurrido al final del proceso, de la sumaoria de los esados del sisema hasa N-1, de las decisiones omadas en el período k hasa N-1 y del parámero aleaorio. Sin embargo, dada la presencia de w k, el coso es generalmene una variable aleaoria. Por ano la ecuación anerior se conviere en un planeamieno de programación dinámica esocásica donde el problema se formula como una opimización del coso esperado N 1 E gn ( xn ) gk ( xk, uk, wk ) k 0 donde la Esperanza es omada con respeco a la disribución conjuna de las variables aleaorias involucradas y la opimización es sobre los conroles u0, u1,..., un 1, ales que cada conrol o decisión hecha sea seleccionada con algún conocimieno del esado acual x k Ejemplos de problemas de programación dinámica No obsane que la presene Tesis de Maesría maneja y aplica la meodología de la programación dinámica esocásica, con el objeivo de diferenciar un problema probabilísico de uno deerminísico primero se muesra un ejemplo de un problema de programación dinámica deerminísica, es decir donde hay ausencia del érmino aleaorio y poseriormene se abordará un problema de programación dinámica esocásica. 10 Ya sea su valor exaco o alguna ora información relacionada. 18

19 Ejemplo de un problema deerminísico para la producción de un bien. Los problemas deerminísicos con un finio número de esados ienen la caracerísica que para un esado dado cada elección de conrol conduce a un esado deerminado que es único 11. Por ejemplo, suponga que para producir un bien se realizan cuaro operaciones en una máquina. Las operaciones se denoan como: A, B, C y D. Se asume que la operación B solo puede ser realizada después de que la operación A ha sido concluida. A su vez la operación D solo puede ser realizada después de que la operación C ha sido realizada ambién. De manera que la secuencia CDAB es permiida pero no así la secuencia CDBA.El coso deerminado C mn por pasar de la operación m a la operación n esá dado. También exise un coso inicial S A o S C por empezar con la operación A o C respecivamene. Los problemas deerminísicos con un finio número de esados pueden ser represenados adecuadamene en gráficas de ransición como la de la siguiene página. 11 Aunque ambién podría presenarse la siuación en la que hubiera dos esados con el mismo coso. 19

20 Gráfica de Transición para un modelo de programación dinámica deerminísico producción. C BC ABC C CD AB A C AB C CB ACB C BD S A C AC AC C CD ACD C DB Esad o Inicia CAB C BD S C C CA CA C AB C C AD CAD C DB C CD CD C DA CDA C AB Fuene: Bersekas. Dynamic Programming and Opimal Conrol. pp.8. Dado que el coso de la secuencia es la suma de los cosos iniciales asociados con ella, por ejemplo la secuencia ACDB iene el coso: S A +C AC +C CD +C DB, la solución ópima corresponde a la rua que comienza en un esado inicial y ermina en algún esado del iempo erminal y posee la suma mínima de cosos eiqueados en los arcos más el coso erminal. 20

21 Ejemplo de un modelo de programación dinámica esocásica Conrol de Invenario Si se considera el problema de ordenar la canidad de un ciero bien al inicio de cada uno de los N periodos, de forma que podamos saisfacer la demanda del produco que se considera una variable esocásica al mismo iempo que minimizamos el coso esperado. Denoamos x k es el invenario disponible al inicio del k ésimo período, u k es el invenario ordenado (e inmediaamene enregado) al inicio del k ésimo período, w k es la demanda durane el k ésimo dada. período con la disribución de probabilidad Se asume que w0,..., wn 1 son variables aleaorias independienes y que el exceso de demanda se saisface an prono como el invenario adicional se vuelve disponible. La ecuación del invenario es 12 : x k 1 x k u k wk, Implica que el invenario del periodo siguiene es una combinación lineal del invenario presene x k, de la variable de decisión u k respeco al pedido ordenado omada en el periodo k y de la demanda del produco w k presenada en el periodo k : Y el coso incurrido en el periodo k iene dos componenes: 1. El coso de compra cu k, donde c es el coso por unidad ordenado, y 12 En iempo discreo. 21

22 2. Un coso r( x u w ) que represena una penalidad por un invenario k k k posiivo (por manener almacenado exceso de invenario), o negaivo (debido a un exceso de demanda que no fue compleamene saisfecha) al final del periodo. Así, el coso oal esperado sobre N periodos como: N 1 E ( cuk r( xk uk wk )) k0 Nuesro objeivo es minimizar ese coso a ravés de la adecuada elección de los pedidos u0,..., un 1 sujeo a una resricción naural u 0 para oda k. k Para minimizar el coso del invenario una posibilidad sería que en el iempo 0 elegir odos los pedidos u0,..., un 1 sin esperar a ver los subsecuenes niveles de demanda, lo cual no endría senido desde la racionalidad económica. Claramene una mejor decisión, y que es de cenral imporancia para la programación dinámica, sería posponer el pedido de uk hasa el úlimo momeno posible, en el periodo k, cuando el invenario acual xk sea conocido siempre y cuando no exisa penalidad por rerasar el pedido uk hasa el periodo k, y se pueda omar venaja de la información que se vuelve disponible enre el iempo 0 y el periodo k, es decir de la demanda pasada y de los niveles de socks o invenarios en periodos pasados. Las decisiones se van haciendo en eapas con información recabada en eapas previas y que será usada en las subsecuenes eapas para mejorar la calidad de las decisiones. El efeco de esa formulación es que no esamos ineresados en hallar los valores numéricos ópimos de los pedidos de invenario. Más bien esamos ineresados en hallar una regla de políica ópima para seleccionar en cada periodo k una orden u k para cada posible valor del sock x k o nivel de 22

23 invenario que pueda ocurrir. Eso consiuye una disinción enre una esraegia versus acción aislada en cada eapa. Es decir que, maemáicamene esamos ineresados en hallar una secuencia de funciones k, k 0,..., N 1, razando cerca del invenario x k, denro de la orden de pedidos u k, al que minimice el coso esperado. El significado de k es que, para cada k y cada valor esperado de x k k ( x k )= la canidad que debe ser ordenada al iempo k si el invenario o sock es x k. La secuencia 0,..., N 1 se conoce como políica o regla de conrol. Para cada, el coso correspondiene para un invenario fijo inicial x 0 es: N 1 J ( x0 ) E ( ck ( xk ) r( xk uk wk )), k 0 y el objeivo es minimizar J ( x0 ) para un x0 dado sobre odas las secuencias admisibles que saisfacen las resricciones del problema. Para una elección razonable de la función de cosos, la regla de políica ópima es de la forma: Sk xk si xk Sk, k( xk) 0 en oro caso Donde Sk es un adecuado nivel deerminado por los daos del problema. Es decir, que cuando el invenario cae por debajo del umbral S k, se ordena en el pedido una canidad suficiene para ener el nivel de invenario nuevamene en Sk. Una versión del problema del invenario con un puno de visa discreo puede enconrarse si el sock es medido en unidades compleas. Enonces sería apropiado pensar en el Espacio de Esados como el conjuno de odos los 23

24 números eneros más que en el conjuno de números reales; y en la forma de la ecuación del sisema y el coso por periodo será el mismo. En esados discreos es conveniene especificar las probabilidades de ransición enre esados. Lo que se necesia conocer es pij ( u, k) definido como la probabilidad en el iempo k que el siguiene esado sea j, dado que el esado acual es i y el conrol seleccionado es uk, es decir u en la eapa k. p ( u, k) P x j x i, u u. ij k1 k k Ese ipo de esado de ransición puede alernaivamene ser descrio en érminos de la ecuación del sisema en iempo discreo x k1 w k Donde la disribución de probabilidad del parámero aleaorio wk es P w j x i, u u p ( u, k) k k k ij Inversamene, dado n sisemas de esados discreos de la forma x k1 fk ( xk, uk, wk ), juno con la disribución de probabilidad P( wk xk, uk ) de w k, se puede proporcionar una descripción de probabilidad de ransición equivalene. Así, las correspondienes probabilidades de ransición esán dadas por p ( u, k) P W ( i, u, j) x i, u u ij k k k k Donde W( i, u, j ) es el conjuno W ( i, u, j) w j f ( i, u, w) k 24

25 De esa forma un sisema en iempo discreo puede ser equivalenemene descrio en érminos de una ecuación en diferencias y en érminos de probabilidades de ransición. En el conexo de los problemas de programación dinámica en iempo discreo en ejemplos de programación dinámica deerminísica como se observó, el problema no cuena con inceridumbre esocásica. En ese marco, cuando un conrol es elegido en un esado dado, el siguiene esado esá compleamene deerminado, o sea para cualquier esado i, conrol u y iempo k, la probabilidad de ransición p ij (u,k) es igual a 1 para el esado j y es igual a 0 para los demás esados. Una diferencia fundamenal enre el conrol esocásico ópimo y el deerminísico es el momeno cuando la información se vuelve disponible. En el conrol deerminísico, para cada esado inicial y políica corresponde una secuencia de variables de conrol ( u0,..., un 1) las cuales pueden ser especificadas por anicipado y los esados que resulan del sisema son deerminados por x k1 f ( xk, uk ). En conrase, si las variables de conrol son especificadas por adelanado para un sisema esocásico, la auoridad que oma las decisiones podría darse cuena en el ranscurso de la evolución del sisema que esados no esperados han aparecido y que las variables de conrol especificadas aneriormene ya no son apropiadas. Así, resula esencial considerar políicas ( 0,..., N 1) donde k es una función desde la hisoria hasa el conrol. Si x 0 es el esado inicial, u ( x ) será una decisión omada para el primer conrol. Si los esados y conroles ( x0, u0,..., uk 1, xk) han ocurrido, enonces el conrol uk k ( x0, u0,..., uk 1, xk ) será elegido. 25

26 Se requerirá que la resricción del conrol k ( x0, u0,..., uk 1, xk ) U( xk ) sea saisfecha para cada ( x0, u0,..., uk 1, xk) y k. De esa manera, la auoridad que oma las decisiones uiliza la información complea disponible para él en cada eapa. Más que escoger una secuencia de variables de conrol, la auoridad raará de elegir una políica que minimice el coso oal esperado de la operación del sisema. Elemenos de un problema de programación dinámica Meodológicamene los elemenos de un problema de programación dinámica son: i. Acciones admisibles Se deerminan por las alernaivas asociadas llamadas variables de decisión o conrol. ii. Espacio de Esados Información disponible por la eapa anerior, muesra la información necesaria para hacer una decisión facible en cada eapa que ransforma el esado acual en un esado asociado con la siguiene eapa. iii. iv. Horizone de Planeación Consise en un deerminado número de eapas que se van a resolver para a su vez solucionar el problema en su conjuno. Índice de Funcionamieno Es la relación que mide la eficiencia y/o efecividad del sisema en odo el horizone de planeación. La forma naural de resolver los problemas de programación dinámica probabilísica es recursivamene, es decir hacia arás o backward-looking. Eso sucede así porque al inicio de un periodo el proceso se encuenra en un esado conocido o deerminado. En ese puno se elige una acción que lleva a uno de 26

27 varios esados fuuros, es decir la probabilidad de pasar a oro esado es conocida. El esado de la siguiene eapa esá deerminado por una disribución de probabilidad deerminada por el esado y la políica de decisión de la eapa presene. Lo que ahora nos ineresa son las decisiones secuenciales para diferenes ipos de procesos aleaorios donde dado el esado acual x, una acción a, la ley de probabilidad, la cual deermina la disribución de probabilidad para el siguiene esado x 1, depende solamene de x, a y el iempo. La caracerísica esencial del modelo es que dados un x en el iempo y la elección de a, es posible llegar al siguiene esado x 1 con una disribución de probabilidad p( x 1 x, a ). T Si definimos I ( x, a ) E c( x j, a j ) como el coso esperado oal de una j eapa y cada vez nos vamos una eapa hacia adelane =T, T-1,,0, enonces el proceso consise en opimizar, I ( x, a ) c( x, a ). T T T T T I ( x, a) min c( x, a) E I ( x, a ). T, T 1,...,0. De esa manera el problema se reduce a deerminar las acciones a, a 1,..., at 1, por lo que el número real de decisiones o de variables de decisión que hay que omar es: n=t-. Es decir que para opimizar el índice de funcionamieno se usa el principio de programación dinámica comenzando desde el desino hasa llegar al origen. Como se ve, al opimizar de esa manera se obiene no sólo la rua del coso 27

28 mínimo de la mea al origen, sino además el coso mínimo de cualquier puno inermedio a la mea. 2.3 Principio de Opimalidad de Bellman La écnica de programación dinámica -la elección de acciones dadas a iempos dados- se apoya en una idea muy simple, el principio de opimalidad de Bellman. El Principio de opimalidad de Bellman afirma que si * * * * 0, 1,..., N 1 es una * políica ópima para el problema básico y se asume que cuando usamos, un esado dado xi ocurre en el iempo i con probabilidad posiiva. Al considerar el subproblema donde nos enconramos en xi en el iempo i y deseamos minimizar el coso por ir del iempo i al iempo N. N 1 E gn xn gk xk, k xk, wk. ki * * * Enonces la políica runcada i, i 1,..., N 1 es ópima para ése subproblema. La jusificación inuiiva del principio de opimalidad es muy simple. Si la políica runca * * * i, i 1,..., N 1 no fuera la ópima como se dijo, sería posible reducir el coso al cambiar a una políica ópima para el subproblema una vez que alcanzamos x i. Para una analogía de un viaje en auo, eso implica que si la rua más rápida de Los Angeles a Boson implica pasar por Chicago, el principio de opimalidad raslada el hecho obvio de que el rayeco de Chicago a Boson es ambién la rua más rápida para un viaje que inicia en Chicago y ermina en Boson. El principio de opimalidad sugiere que una políica ópima puede ser consruida por piezas al consruir primero una políica ópima para el subproblema de cola que envuelve la eapa n-1, después se exiende la políica hacia el subproblema de cola que 28

29 envuelve las eapas n-2 y se coninua sucesivamene hasa que la políica ópima sea consruida para el problema compleo. Una políica ópima iene la propiedad de que sin imporar el esado y la decisión inicial, las decisiones resanes deben consiuir una políica ópima con respeco al esado que resula de la primera decisión. Dada una políica en la que se pueden inroducir cambios que reducen el coso, enonces la políica prevaleciene no puede ser la ópima. 2.4 Aplicación del Algorimo de programación dinámica. Solución al problema deerminísico de producción. Al aplicar el principio de opimalidad al problema de la producción de un bien el problema se resuelve de manera recursiva o backwards, con el objeivo de consruir primero una políica ópima para el subproblema de cola que envuelve la úlima eapa y poseriormene exender la políica hacia el subproblema de cola que envuelve la úlimas dos eapas y coninuar sucesivamene hasa que la políica ópima sea consruida para el problema compleo. Se divide el problema en subproblemas y se va enconrando de manera recursiva, es decir omando primero la úlima eapa, cuál es la políica ópima para cada eapa y así sucesivamene hasa enconrar el problema 1. Subproblemas de cola de dos eapas. Esos subproblemas son aquellos que envuelven dos operaciones y corresponden a los esados AB, AC, CA y CD. Esado AB. En ese esado la única posible operación que se puede decidir es C como la siguiene y por ano el coso ópimo de ese subproblema es 9, es decir el coso de proyecar C después de B que es 3, más el coso de elegir D después de C, que es 6. Esado AC. Aquí las posibilidades son a) programar la operación B y después D lo cual iene un coso de 5 o b) programar la operación D y después la B lo cual 29

30 iene un coso de 9. La primera posibilidad es ópima y el coso correspondiene del subproblema de cola es 5, como se muesra cerca del nodo AC. Esado CA. Aquí las posibilidades son: a) programar la operación B y enonces la D, lo cual iene un coso de 3, o b) programar la operación D y después la B, lo cual iene un coso de 7. La primera posibilidad es ópima y el coso correspondiene del subproblema de cola es 3 como se muesra cerca del nodo AC. Esado CD. Aquí sólo es posible programar la operación A como la siguiene y el coso ópimo de ese subproblema es 5. Subproblemas de cola de res eapas. Esos subproblemas pueden ahora resolverse empleando los cosos ópimos de los subproblemas de 2 eapas. Esado A. Aquí las posibilidades son: a) programar como la siguiene operación B) con coso 2) y enonces resolver ópimamene el subproblema correspondiene de dos eapas (coso 9, como se calculó aneriormene), con un coso oal de 11, o b) Programar la siguiene operación como C (con coso 3) y enonces resolver ópimamene el subproblema correspondiene de 2 eapas (con coso 5 como se calculó aneriormene), con un coso oal de 8. La segunda posibilidad es ópima y el coso correspondiene del subproblema de cola es 8, como se muesra cerca del nodo A. Esado C. Aquí las posibilidades son: a) programar a A como la siguiene operación (con coso 4) y enonces resolver ópimamene el subproblema correspondiene de dos eapas (con coso 3, como se calculó aneriormene), con un coso oal de 7 o, b) programar D como la siguiene operación (con coso 6) y enonces resolver ópimamene el correspondiene subproblema de dos eapas (con coso 5 como se calculó aneriormene), con un coso oal de 11. La primera 30

31 posibilidad es ópima y el coso correspondiene del subproblema de cola es 7 al y como se muesra cerca del nodo A. Problema original de cuaro eapas. Las posibilidades aquí son: a) iniciar con la operación A (con coso 5) y enonces resolver ópimamene el suproblema correspondiene de 3 eapas (con coso 8 como se esimó previamene), con un coso oal de 13, o b) comenzar con la operación C (con coso 3) y enonces resolver ópimamene el subproblema correspondiene de 3 eapas (con coso 7 como se resolvió aneriormene) con un coso oal de 10. La segunda posibilidad es ópima y el coso ópimo correspondiene es 10 como se muesra cerca del nodo de esado inicial. Cabe desacar que una vez esimado el coso ópimo del problema original a ravés de la solución de odos los subproblemas de cola es posible consruir el plan o programa ópimo al iniciar comenzando en el nodo inicial y procediendo hacia adelane, cada vez se escogerá la operación que inicia con el programa ópimo para el subproblema de cola correspondiene. De esa manera, al inspeccionar la gráfica y los resulados esimados se deermina que CABD es el plan o programa ópimo. 31

32 Gráfica de Transición con cosos para el problema de producción. ABC 6 AB 3 10 Esad o Inicia 5 A AC ACB ACD CAB CA C CAD CD 3 5 CDA 2 Fuene: Bersekas. Dynamic Programming and Opimal Conrol. pp

33 El algorimo de programación dinámica para el problema del invenario Para resolver el problema del invenario se calculan, similar a la solución anerior, secuencialmene los cosos ópimos de odos los subproblemas de cola, pariendo del más coro hacia el más largo de los problemas. La única diferencia es que los cosos ópimos son esimados como valores esperados debido a que el problema es esocásico. Subproblema de cola de una eapa o (periodo N-1). Se asume que al inicio del periodo N-1 el invenario es x N-1. Claramene sin imporar lo que haya sucedido en el pasado, el adminisrador del invenario debe ordenar la canidad de invenario que minimice u N-1 0 la suma del coso del pedido y el coso de almacenamieno esperado cun 1 r xn 1 un 1 wn 1 El coso ópimo para el úlimo período es: E. wn 1 J x cu E r x u w min N 1 N 1 N 1 N 1 N 1 N 1 un1 0 wn 1 Nauralmene, J N 1 es una función del invenario x N-1. Se calcula ya sea analíicamene o numéricamene (en ese caso se emplea una abla para el almacenamieno compuacional de la función J N 1 ). En el proceso de calcular J N 1 se obiene la políica de invenario ópima x * N 1 x N 1 para el úlimo período; * N 1 N 1 es el valor de u N-1 que minimiza el lado derecho de la ecuación previa para el valor dado de x N-1. 33

34 Subproblemas de cola de dos eapas. Se asume que al inicio del periodo N-2 el invenario es x N-2. Es claro que el adminisrador de invenarios debe ordenar la canidad de invenario que minimiza no sólo el coso esperado del período N-2 pero además el (Coso esperado del período N-2) + (Coso esperado del periodo N-1, dado que una políica ópima será usada en el período N-1). Lo cual es igual a cu E r x u w E J x N 2 N 2 N 2 N 2 N 1 N 1. Empleando la ecuación del sisema x N-1 = x N-2 + u N-2 - w N-2 el úlimo érmino se escribe como E J x u w N 1 N 2 N 2 N 2. Así el coso ópimo para los úlimos dos períodos dado que esamos en el esado x N-2 denoado J x N2 N 2, esá dado por J x cu E r x u w J x u w min N 2 N 2 N 2 N 2 N 2 N 2 N 1 N 2 N 2 N 2 un2 0 wn 2. Nuevamene J x ópima x * N 2 N 2 N2 N2 es calculado para cada x N-2. Al mismo iempo, la políica ambién es calculada. Subproblemas de cola de eapas N-k. De forma similar, enemos que en el periodo k, cuando el invenario es x k, el adminisrador de invenario debe ordenar u k para minimizar 34

35 (Coso esperado del período k) + (Coso esperado del periodo k+1,..., N-1, dado que una políica ópima será usada para esos períodos). Al denoar J x el coso ópimo, enemos k k min 1 J x cu E r x u w J x u w k k uk0 k w k k k k k k k k, La cual es, en realidad, la ecuación de programación dinámica para ese problema. Las funciones J x denoan el coso esperado ópimo para el subproblema de k k cola que inicia en el periodo k con invenario inicial x k. Esas funciones son esimadas recursivamene caminando hacia arás en el iempo, iniciando en el período N-1 y finalizando en el periodo 0. El valor J0 x0 es el coso ópimo esperado cuando el invenario inicial en el iempo 0 es x 0. Durane los cálculos, la políica ópima es al mismo iempo calculada al minimizar el lado derecho de la ecuación anerior. Los ejemplos muesran la principal venaja de la programación dinámica. Mienras que el problema original del invenario requiere de una opimización sobre el conjuno de políicas, el algorimo de programación dinámica de la ecuación anerior descompone ese problema en una secuencia de minimizaciones llevadas a cabo sobre el conjuno de conroles. Cada una de esas minimizaciones es mucho más simple que el problema original. 35

36 Algorimo de programación dinámica Para cada esado inicial * x el coso ópimo J x del problema básico es igual a J x, dado por el úlimo paso del siguiene algorimo, el cual procede hacia arás en el iempo del período N-1 al período 0: 0, J x g x N N N N J x min E g x, u, w J f x, u, w. k k k k k k k1 k k k k uk Uk xk wk k 0,1,..., N 1, donde la expecaiva es omada con respeco a la disribución de probabilidad de w k, la cual depende de x k y derecho de la ecuación anerior para cada es ópima. * * u. Por lo ano, si u x k minimiza el lado k k k x k y k, la políica * * * 0,..., N 1 36

37 CAPÍTULO III MODELO DE PROGRAMACIÓN DINÁMICA ESTOCÁSTICA APLICADO A LA ECONOMÍA MEXICANA Inroducción El objeivo del presene capíulo es desarrollar un modelo de programación esocásica para enconrar la opimización ineremporal de las desviaciones del produco y la inflación de sus niveles de equilibrio de largo plazo en la economía mexicana durane el período El modelo iene una esrucura de rezago, lo cual es congruene con políicas ópimas bajo inceridumbre. De acuerdo con la eoría neoclásica, el principal papel de la políica monearia a largo plazo es la deerminación del nivel de inflación. La políica monearia no afeca el produco en el coro plazo, sin embargo, iene influencia sobre la variabilidad del produco y la inflación alrededor de sus niveles promedio. Una buena políica monearia es aquella que produce baja inflación y maniene el produco y la inflación an esable como sea posible. Se ha esablecido que la mejor manera de lograr lo anerior es si los bancos cenrales siguen una regla de políica. Aunque no exise consenso acerca de cuál sería la regla más adecuada, países como Canadá y Nueva Zelanda han adopado objeivos de inflación a inicios de la década de los novena. En Esados 13 El período elegido es congruene con la emporalidad del insrumeno de políica monearia empleado por el banco cenral. 37

38 Unidos, el comporamieno de las asas de inerés parece ajusado en respuesa a movimienos de la asa de inerés (Regla de Taylor). 14 Si la prioridad de la políica monearia fuera esabilizar las variaciones de coro plazo en el produco e inflación con respeco al produco poencial y con respeco a la inflación objeivo respecivamene, puede exisir con elevada probabilidad, un rade-off enre las varianzas de esas dos variables. Por ano, dado el rade-off, la auoridad monearia debe minimizar una suma ponderada de las varianzas de esas variables, donde los pesos se deerminan por la auoridad monearia, considerando el coso relaivo de las flucuaciones del produco alrededor de su nivel poencial y la inflación alrededor de su nivel objeivo. En nuesro modelo las meas de esabilizar el produco y la inflación no son compleamene compaibles. Como ya había sido enfaizado, (Taylor, 1994) la elección de una políica envuelve un rade-off o inercambio conflicivo enre las varianzas del produco y la inflación alrededor de sus niveles de equilibrio. Las auoridades monearias pueden ponderar las desviaciones del produco y de la inflación cuando buscan la opimización ineremporal de sus valores objeivos. En el presene modelo se consideró oorgar igual ponderación a la variabilidad de las variables en el problema de opimización al esablecer que los valores base para los parámeros del produco y la inflación del modelo fueran ɣ = De acuerdo con la regla de Taylor la asa de inerés se ajusa en respuesa a movimienos del produco y la inflación (Krugman, 1996). Aunque ningún banco cenral ha adopado explíciamene la regla de Taylor (Taylor, 1993) el comporamieno mosrado por las asas de inerés en los Esados Unidos y algunos oros países imia el comporamieno bajo al regla. Por ejemplo en esos países, los bancos cenrales elevan la asa de inerés en 50 punos base por cada 1 por cieno de incremeno ya sea en el produco o en la inflación. 38