La ecuación de Hamilton-Jacobi-Bellman y algunas aplicaciones

Transcripción

1 Miscelánea Maemáica 5 (29) SMM La ecuación de Hamilon-Jacobi-Bellman y algunas aplicaciones Diego Bricio Hernández Deparameno de Maemáicas Universidad Auónoma Meropoliana-Izapalapa Av. San Rafael Alixco 186, Col. Vicenina, México, D.F. 934, México Resumen Se presena la Programación Dinámica (PD), aplicada a la resolución de problemas de opimización en Teoría de Conrol. Se rabaja a iempo coninuo y se consideran problemas deerminísicos y no. El formalismo de la PD conduce a la ecuación en derivadas parciales conocida como de Hamilon- Jacobi-Bellman (HJB), saisfecha por la función de coso ópimo para condiciones iniciales variables. Esa ecuación es no lineal, hiperbólica de primer orden en el caso deerminísico y parabólica de segundo orden en el no deerminísico. Los diferenes concepos inroducidos se moivan en dos áreas de aplicación de gran inerés en nuesro medio y en las que se requiere omar decisiones en forma racional: a) irrigación de culivos en iempo de secas y b) adminisración del agua de una presa. Se formulan sendos modelos maemáicos con el fin de diseñar las políicas requeridas y, finalmene, se resuelven las correspondienes ecuaciones de HJB para obener las políicas ópimas requeridas. 1. Dos problemas de conrol En [7] hemos consruido un modelo maemáico para la variación emporal del conenido de humedad de una plana, que relaciona esa variable con la humedad amosférica y la del suelo. Dicho modelo supone una variación aleaoria de la humedad amosférica en orno a un valor

2 1 Diego Bricio Hernández promedio y supone además que la humedad del suelo se origina exclusivamene por la irrigación. Por ambas consideraciones, es de esperarse que el modelo en cuesión sea aplicable exclusivamene a culivos en zonas áridas, como las que ano abundan en el nore de México. Brevemene, su ingrediene básico es la ecuación diferencial esocásica dx = ( αx + βu + δ)d + σdb (1) En esa ecuación, x y u son procesos esocásicos, que represenan la variación emporal de la humedad de la plana y la humedad del suelo, respecivamene, ambas debidamene normalizadas. El proceso B no es oro que el movimieno browniano esándar unidimensional, en ano que α, β, δ y σ son consanes posiivas conocidas. A reserva de consular las varias hipóesis subyacenes a ese modelo en la referencia [7], diremos que la ecuación (1) supone que las flucuaciones aleaorias de la humedad amosférica pueden represenarse como un ruido blanco gaussiano y el movimieno browniano resula precisamene de dicha suposición. Por oro lado, sobre ese modelo se planea el problema de elegir el nivel ópimo de humedad en el suelo en cada insane, es decir, u. Para ello se define un índice J(u) := E T { } λx 2 + µu 2 d (2) para cuanificar la bondad de un al conrol u, de al manera que un conrol u será ópimo si minimiza J sobre odos los oros conroles que compien y que consiuyen una familia U. En oras palabras, un conrol ópimo queda caracerizado por la condición J(u ) := ínf J(u). (3) u U En dicho ejemplo, la clase de los conroles admisibles U esá consruída por odos aquellos que pueden darse en la forma de una POLÍTI- CA: se requiere que u = φ(, x ) (4) donde φ es una función Borel medible de sus argumenos. En oros rabajos nos hemos referido al problema de diseñar esraegias de conrol para una presa, encaminadas a omar decisiones en cuano al caudal de agua a desalojar en cada momeno. Aquí el modelo maemáico es aún mas simple y su ingrediene básico es la ecuación diferencial ordinaria z = x u. (5)

3 La ecuación de Hamilon-Jacobi-Bellman En esa ecuación, z es el volumen de agua en la presa en el insane. Por oro lado, x y u son los caudales de ingreso a y salida de la presa, respecivamene, ambos en el insane. Es razonable pensar que el caudal del río que alimena a la presa no sea fácilmene predecible y de hecho suele ser basane erráico. Por oro lado, es razonable ambién que sí haya un ciero grado de dependencia enre los caudales que acarrea el río en insanes cercanos; de hecho, es dable esperar variaciones esacionales más o menos periódicas. Por lo ano, parece sensao proponer un modelo del ipo de ẍ + ω 2 x = ω 2 b + σξ para el caudal que ingresa al embalse. Aquí, ω es la frecuencia con que se suceden las esaciones de aguas y de secas, b es el caudal promedio a lo largo del año y ξ es un ruido blanco gaussiano esándar. Procediendo de la manera usual, definimos la nueva variable de esado y := x, con lo que el modelo para las avenidas del río puede darse en la forma del sisema dx = y d dy = ω 2 (6) (b x )d + σdb. En (6), como en (1), se uiliza la noación del cálculo esocásico de Io [1] para legalizar el uso de ruido blanco en el modelo. Finalmene, el cambio de variable x := x b u := u b nos permie dar el modelo global bajo la forma del sisema lineal de ecuaciones diferenciales esocásicas dx 1 x dy = ω 2 y + u d + σ db. dz 1 z 1 (7) Ahora bien, hay una serie de objeivos a cumplir para lograr una operación saisfacoria de ese sisema de almacenamieno de agua. Enre oros, podemos lisar los siguienes: (i) Debe saisfacerse la demanda de agua corriene abajo, lo mejor posible. (ii) Tano los derrames como los vaciados de la prensa deben eviarse, ambién denro de lo posible.

4 12 Diego Bricio Hernández Ese úlimo requisio puede modelarse fácilmene eligiendo una escala de medición al que la capacidad oal de la presa sea 2M unidades, siendo M el mínimo volumen de agua olerable en la presa y +M el nivel en el cual ya es de emerse un derrame. Por consiguiene, se desea que el proceso z se manenga confinado al inervalo [ M, M]. Si denoamos por τ 3 al insane en que primero se violan esas resricciones, es decir, τ 3 = ínf{ : z > M} (8 ) nos ineresa la disribución de esa nueva variable aleaoria. En paricular, quisiéramos que la probabilidad P (τ 3 T ) (8 ) fuera lo más pequeña posible. Aquí T es el horizone de planificación, es decir, el lapso de iempo durane el cual vamos a implanar nuesras decisiones. Por oro lado, el peligro de un exceso de agua en la presa o de un nivel de agua demasiado bajo ahí puede eviarse más fácilmene si se lleva un regisro del mismo caudal de ingreso. Aquí resula imporane asegurarse de que dicho caudal se manenga denro de cieros límies, que sin pérdida de generalidad denoaremos como K y +K, respecivamene. Finalmene, dicho caudal no debe variar en forma demasiado rápida, pues de ser así se dificularía la acción de conrol; es razonable ambién fijar límies para el proceso y, que deberá esar confinado al inervalo [ L, L]. Por consiguiene el esado del sisema deberá resringirse a un cubo Q en el espacio de res dimensiones para garanizar una operación saisfacoria. En cuano al requisio que pide saisfacer la demanda, supondremos que ésa puede modelarse mediane un proceso esocásico d conocido, independienemene de los res procesos esocásicos x, y y z. Aquí resula razonable requerir que la deficiencia d u ome valores an bajos como sea posible. Puede enonces sugerirse la conveniencia de elegir el conrol u de al manera que se minimice la esperanza E T (d u ) 2 d. Sin embargo, conviene ambién eviar variaciones de nivel demasiado bruscas, por lo que es conveniene ambién considerar el objeivo de minimizar la esperanza E T (x u ) 2 d.

5 La ecuación de Hamilon-Jacobi-Bellman Finalmene, observamos que pueden combinarse los requisios aneriores en uno solo si consideramos como objeivo minimizar la esperanza J(u) := E τ { λ(d u ) 2 + µ(x u ) 2} d (9) donde λ y µ son dos números posiivos que suman 1. Además, τ := ínf{ : (x, y, z ) Q}. (1) Aquí ambién resula conveniene considerar conroles que puedan darse bajo la forma de políicas, como en (4), es decir, u = φ(, x, y, z ). Debe ambién considerar resricciones en la capacidad de desagüe de la presa, por lo cual el conrol oma valores en algún inervalo compaco U. Así pues, cada políica de conrol esará dada por una función Borel medible de [, T ] Q en U. Los conroles así obenidos serán llamados ADMISIBLES, consiuyendo así la familia U sobre la cual queda definido el índice J en (9). Finalmene, el problema requiere enconrar un conrol ópimo u, que debe desde luego saisfacer la condición (3) para serlo. 2. Programación dinámica Cada uno de los ejemplos dados en la sección anerior condujo a un problema de opimización esocásica del siguiene ipo: Sea un proceso de difusión x, solución de la ecuación diferencial esocásica dx = b(, x, u )d + σ(, x )db (11) para cada conrol u, a su vez un proceso esocásico que oma valores en un conjuno U. En general, suponemos que x es n-dimensional y que el movimieno browniano esándar B es d-dimensional, por lo que b y σ ienen dimensiones n y n d, respecivamene. Precisando aún más, sea U la clase de odos los conroles admisibles, a los que pediremos dos condiciones: i) Para cada conrol admisible u, el problema de valores iniciales asociado a (11) iene solución única, definida en odo [, T ]. ii) Cada conrol admisible u esá dado en forma de políica, es decir, se cumple (4) para φ : [, T ] R U adecuado.

6 14 Diego Bricio Hernández Por ora pare, la vida úil de nuesro sisema se da mienras que las rayecorias de las soluciones de (11) se manengan en el inerior de un conjuno resricción B. El insane en que las rayecorias de x abandonan B por primera vez es, precisamene, τ := ínf{ : x B}, con la convención exra de que ínf := T. Sea x τ el puno de la fronera de B por el que las rayecorias de x abandonan el inerior de la resricción. Es bien sabido que ano τ como x τ son variables aleaorias con valores en [, T ] y B, respecivamene. Para cada rayecoria, sea T L(, x, u )d + Φ(τ, x τ ) (12) el correspondiene coso de operación del sisema, sobre la vida úil del mismo. Aquí, L y Φ son funciones no negaivas sobre [O, T ] B U y {T } B + [, T ] B, respecivamene; esas funciones son daos del problema. El coso especificado en (12) es una variable aleaoria, cuyo valor esperado queremos minimizar. Precisando, definamos J(u) para cada conrol admisible u mediane { T } J(u) := E L(, x, u )d + Φ(τ, x τ ). Se desea enconrar un conrol admisible u con la propiedad J(u ) = ínf{j(u) : u U}, (13) dicho conrol se calificará de ÓPTIMO. Observemos que el problema planeado se vuelve deerminísico si el coeficiene σ en (11) es idénicamene cero. En ese caso ano los conroles u como las rayecorias x serán funciones, soluciones de la ecuación diferencial ordinaria ẋ = b(, x, u ). (14) Un conrol será admisible si garaniza una sola rayecoria x para cada valor de x. Por ejemplo, podemos omar U como la clase de odas las funciones u : [, T ] U ales que i) son coninuas por ramos ii) esán dadas mediane políicas, como en (4).

7 La ecuación de Hamilon-Jacobi-Bellman Dado lo anerior, la función de coso J : U R esá dada por J(u) := τ L(, x, u )d + Φ(τ, x τ ) (15) igual que en el caso aleaorio, un conrol u U será ópimo si cumple la condición (13). Para resolver ese problema deerminísico, la Programación Dinámica comienza por sumergirlo en una familia infinia de problemas semejanes, uno para cada puno (s, y) [, T ] B. En efeco, el problema planeado supone que ano los conroles como las rayecorias comienzan en =, siendo el valor inicial x un puno bien definido en B. Aquí esamos variando ano el insane inicial como de la rayecoria. Así pues, consideramos el problema de valores iniciales ẋ = b(, x, u ) x s = y (16) y resringimos los conroles al inervalo [s, T ]. Sea U s la correspondiene clase de conroles admisibles. Hecho lo anerior, definimos el índice J(u x s = y) mediane J(u x s = y) := τ s L(, x, u )d + Φ(τ, x τ ). Huelga la aclaración de que ahora τ es el primer insane DESPUÉS DE s en que la rayecoria x oca la fronera de B. Sea ahora V (s, y) el valor del coso ópimo que corresponde a la condición inicial x s = y, es decir V (s, y) := ínf J(u x s = y). (17) u U S Es claro que V (, x ) = J(u ), con u ópimo a parir de =. Supondremos en odo lo que sigue que L es una función coninua de sus argumenos además de que V es coninuamene diferenciable. Lema 1 Sea u admisible a parir de = y sea x la correspondiene rayecoria, para x dado. Enonces, d d V (, x ) + L(, x, u ), T. (18) Demosración. Sean, + h (, T ) y sea v un conrol admisible a parir de + h; exendamos ese úlimo a un conrol ũ admisible a parir de poniendo { u s si s + h ũ = v s si + h s T.

8 16 Diego Bricio Hernández Enonces, V (, x ) +h L(s, x s, u s )ds + J(u x +h ). Podemos omar ínfimo sobre v para obener V (, x ) +h L(s, x s, u s )ds + V ( + h, x +h ). De aquí se obiene el resulado deseado al dividir por h y omar el límie cuando h. Conviene inerprear el resulado anerior de manera global, en érminos de la función de coso. Para ello observemos que la conclusión del Lema 1 puede reescribirse en la forma de d d es decir, la función { V (, x ) T V (, x ) } L(s, x s, u s )ds τ L(s, x s, u s )ds (19) es no decreciene, cualquiera que sea el conrol u. En oras palabras, a lo largo de las rayecorias del sisema conrolado (16), la diferencia enre el coso ópimo a parir de un puno dado y el coso acumulado desde ese puno hasa el final de la rayecoria simplemene no puede decrecer. Lema 2 Sea u ópimo a parir de = y sea x la correspondiene rayecoria, para x dado. Enonces, d d V (, x ) + L(, x, u ) =, T. Demosración. Es claro que la resricción de u a [τ, T ] es admisible a parir de, por lo que en oras palabras V (, x ) V (, x ) T T L(s, x s, u s)ds + Φ(τ, x τ), L(s, x s, u s)ds Φ(τ, x τ), T.

9 La ecuación de Hamilon-Jacobi-Bellman Por oro lado, la opimalidad de u implica que V (, x ) T L(s, x s, u s)ds = Φ(τ, x τ). En virud del Lema 1, las úlimas dos relaciones implican que V (, x ) T Basa diferenciar la función V (, x ) para obener la conclusión deseada. L(s, x s, u s)ds = Φ(τ, x τ), T. τ L(s, x s, u s)ds Así pues, a lo largo de una rayecoria ópima, la diferencia enre el coso ópimo a parir de un puno dado y el coso a parir de dicho puno y a lo largo de la rayecoria se maniene consane. Por oro lado, la demosración del lema anerior permie ver que u resringido a [, T ] es ópimo a parir de, sin que inervengan para nada las acciones de conrol omadas anes de, pues V (, x ) = τ L(s, x s, u s)ds + Φ(τ, x τ), T. (2) Tenemos así la imporane conclusión que enunciamos enseguida, la cual se conoce como: PRINCIPIO DE OPTIMALIDAD Sea u ópimo para el problema de conrol que empieza a parir de = en el esado inicial x y sea u s su resricción a [s, T ], para s (, T ). Enonces, u s es ópimo para (16), sin imporar las decisiones omadas sobre [, s). Ahora bien, observemos que los problemas de opimización que hemos enconrado hasa ahora son del ipo con resricciones de igualdad. Para ese ipo de problemas, el méodo de muliplicadores de Lagrange prescribe formar el HAMILTONIANO H : [, T ] B U R R dado por H(, x, u, λ) := L(, x, u) + λ T b(, x, u) (21) En érminos de ese Hamiloniano, las conclusiones de los dos lemas aneriores pueden muy bien expresarse de la manera siguiene:

10 18 Diego Bricio Hernández Sea u U y sea x la correspondiene rayecoria. Enonces (, x ) + H(, x, u, (, x )), T. Si u es ópimo y x es la correspondiene rayecoria, enonces (, x ) + H(, x, u, (, x )), T. Podemos ahora combinar ambos resulados en la observación mín H(, x, v, (, x)) = (, x), v U además de que el mínimo del Hamiloniano se obiene precisamene en el valor u del conrol que resula ópimo a parir de. En oras palabras, enemos el siguiene resulado: Teorema 1 Si V es coninuamene diferenciable, enonces saisface la ecuación en derivadas parciales + mín H(, x, v, v U ) = (22) en el inerior del cilindro Q := [, T ] B, además de las dos condiciones V (T, x) = Φ(T, x), x In B, (23 ) V (, x) = Φ(, x), T, x B. (23 ) La ecuación (22) se conoce en la lieraura de conrol como de HAMILTON-JACOBI-BELLMAN (HJB), por analogía con las ecuaciones diferenciales parciales que resulan en la eoría de Hamilon- Jacobi del Cálculo de Variaciones [1], [6]. Las condiciones (23) definen un problema de valores finales y a la fronera (PVFF) asociado a la ecuación de HJB. Además, resala de lo anerior el hecho de que un conrol ópimo u saisface necesariamene la relación H(, x, u, (, x)) = mín H(, x, v, (, x)), v U condición que expresa el hecho de que los valores de un conrol ópimo minimizan punualmene el Hamiloniano. De esa observación obenemos condiciones necesarias para la opimalidad de un conrol, que se raducen en el siguiene procedimieno para la obención de candidaos a conroles ópimos:

11 La ecuación de Hamilon-Jacobi-Bellman i) Minimícese punualmene el Hamiloniano con respeco a los valores de conrol, para cada valor de las variables resanes. Se obiene así una función v : [, T ] B R U que saisface la condición H(, x, v (, x, λ), λ) = mín H(, x, v, λ). v U ii) Obéngase un conrol u mediane u := v (, x, x (, x )), (24) donde V resuelve el PVFF (22) y (23). Algo que debe señalarse acerca del conrol ópimo que arroja ese méodo es que esá dado por una políica de realimenación del esado del sisema; en efeco, (24) lo muesra de manera por demás evidene. Huelga decir que la aplicación prácica de un conrol de ese ipo requiere que el esado del sisema conrolado sea perfecamene observable, lo cual a menudo no se puede garanizar. Oro problema de ipo prácico es el de conar con soluciones suficienemene suaves de la ecuación de HJB, lo cual a veces no puede garanizarse; además fala verificar a poseriori que V (la solución enconrada para la ecuación HJB) en efeco da el coso ópimo y que el conrol enconrado ambién es ópimo. Eso ampoco es auomáico en muchas aplicaciones. 3. Conrol de difusiones Regresemos ahora al problema de conrol planeado al inicio de la sección anerior, referene a la ecuación diferencial esocásica (11), con ánimo de aplicarle los concepos que acerca de la Programación Dinámica desarrollamos en la segunda pare de dicha sección. De nuevo, podemos sumergir el problema en una familia infinia de problemas similares, uno para cada condición inicial (s, y). Comenzamos por especificar las correspondienes dinámicas, a saber, dx = b(, x, u )d + σ(, x )db (25 ) x s = y. (25 ) Hecho eso, podemos definir la función de coso ópimo a parir de = s mediane { τ } V (s, y) := ínf E L(, x, u )d + Φ(τ, x τ ) x s = y u U S s

12 11 Diego Bricio Hernández en complea analogía con (17). La función V así definida iene algunas propiedades que recuerdan las consignadas a los lemas 1 y 2, pero cuya demosración en esa formulación esocásica requiere de herramiena maemáica más avanzada. Comencemos por presenar el análogo del Lema 1, en el que de nuevo se esablece el carácer no decreciene de la diferencia enre el coso ópimo a parir de un puno dado de una rayecoria cualquiera y el coso de operación acumulado a parir de dicho puno de la rayecoria en cuesión. Sin embargo, en ese caso las rayecorias son procesos esocásicos (sus valores son variables aleaorias), por lo que debemos proceder con mayor cuidado. Lema 3 Para cualquier políica de conrol u, admisible a parir de = { +h } V (, x ) E L(s, x s, u s )ds + V ( + h, x +h ) x iene probabilidad 1 para cada. Lema 4 Si u es ópimo, enonces V (, x ) E { +h iene probabilidad 1 para cada. L(s, x s, u s)ds + V ( + h, x +h) x } Esos dos resulados se demuesran de una manera muy semejane a la uilizada para demosrar los lemas 1 y 2, respecivamene. Véase [2, VI.2] para los dealles. También en el caso esocásico podemos enunciar el imporanísimo Principio de Opimalidad, exacamene en los mismos érminos de la sección anerior. Ahora bien, un resulado muy imporane de la eoría de ecuaciones diferenciales esocásicas es la llamada Fórmula de Dynkin [5, Vol. 1]. En dicha fórmula aparece la familia de operadores diferenciales de segundo orden dada por A v φ := 1 2 a(, x) 2 φ φ + b(, x, v) x2 x para v U. Aquí, a(, x) es una función maricial de orden n n, dada por a := σσ T y denoa el produco inerior A B := rab T definido para marices del mismo orden.

13 La ecuación de Hamilon-Jacobi-Bellman En érminos de dichos operadores, la fórmula de Dynkin dice que E {V ( + h) x +h } = V (, x ) + E { +h [ ] } (s, x s) + A us V (s, x s ) ds x siempre y cuando V sea suficienemene suave. De ser así, los dos lemas aneriores implican que { +h [ ] } E (s, x s) + A us V (s, x s ) + L(s, x s, u s ) ds x para cualquier conrol admisible u; más aún, { +h [ ] } E (s, x s) + A u sv (s, x s ) + L(s, x s, u s) ds x = si u es ópimo. En ambos casos, la relación en cuesión ocurre con probabilidad 1 para cada [, T ]. Basa dividir enre h y omar el límie cuando h para obener el siguiene resulado: Teorema 2 Supongamos que V es coninuamene diferenciable, dos veces con respeco a x. Si u es admisible a parir de =, enonces (, x ) + A u V (, x ) + L(, x, u ). Si u es ópimo vale la igualdad; en cada caso, la conclusión es con probabilidad 1 para cada [, T ]. Igual que en el caso deerminísico, podemos expresar convenienemene el resulado anerior en érminos del Hamiloniano definido en (21), H(, x, v, λ) := L(, x, v, λ) + λ T b(, x, v). En efeco, el resulado anerior afirma que [ ínf H(, x, v,, (, x)) = v U x (, x ) + 1 ] 2 a(, x) 2 V (, x) x2 y, además ínf H(, x, v, v U x (, x)) = H(, x, u, (, x)) x

14 112 Diego Bricio Hernández donde u es ópimo. De nueva cuena, si v es la función que minimiza punualmene el Hamiloniano, se obiene un candidao a conrol ópimo mediane la fórmula u = v (, x, x (, x )). Así pues, se aplica de nuevo e1 procedimieno para la resolución de problemas de conrol ópimo bosquejado al final de la sección anerior. La ecuación de HJB para el caso esocásico no es ora que a(, x) 2 V x + mín H(, x, v, ) =, (26) 2 v U x la cual debe resolverse juno con las condiciones finales y a la fronera V (, x) = Φ(T, x), x B, (27 ) V (T, x) = Φ(T, x), T, x B. (27 ) Igual que en el caso deerminísico, un paso imporane del algorimo es mosrar que exisen soluciones de la ecuación de HJB con el suficiene grado de suavidad, lo cual no es auomáico. Por supueso, luego hay que calcular la solución del PVF especificado por (26) y (27). Un caso en el que odo sale bien es el problema de conrol de humedad en agriculura que fue planeado en la primera pare de la sección 1. Ahí, el Hamiloniano esá dado por H(, x, u, π) = 1 2 λx µu2 + π( αx + βu + δ) y la función que lo minimiza es v (, x, π) = β µ π. Así pues, una condición necesaria para la opimalidad de un conrol es u = β µ x (, x ), donde V saisface la ecuación de HJB del problema ( ) + σ2 2 2 V 2 x β2 + (δ αx) 2 2 x x + λ 2 x2 = juno con V (T, x) =, x R.

15 La ecuación de Hamilon-Jacobi-Bellman Véase [7, sección 3] para los dealles. Ahí se hace ver la facibilidad de ener soluciones de la forma V (, x) = 1 2 p()x2 + q()x + r(), por lo que un conrol ópimo será u = β [ ] p()x + q(). µ 4. Soluciones a la ecuación de HJB Al final de la sección anerior revisamos someramene un ejemplo de conrol esocásico en el que el formalismo de la Programación Dinámica conduce facilmene a una solución. Previamene, se anoaron algunos de los principales problemas comunes a oda aplicación de ese ipo, en las que se debe verificar a poseriori el enfoque uilizado, amén de garanizar la exisencia de soluciones suficienernene suaves de la ecuación de HJB y de hecho enconrarlas. Resumiendo, hay res areas inherenes a oda aplicación de la Programación Dinámica a la solución de ese ipo de problemas: i) Verificar la validez del enfoque, probando un eorema idóneo. ii) Esablecer la exisencia y unicidad de soluciones de la ecuación HJB con el suficiene grado de suavidad, y iii) enconrar dicha solución. Exise una gama de eoremas de verificación de la Programación Dinámica y odos requieren de un ciero grado de suavidad en la solución de la ecuación de HJP. Por ejemplo, en la página 159 de [2] se prueba el siguiene: TEOREMA DE VERIFICACIÓN. Supongamos que V es coninuamene diferenciable, dos veces con respeco a x, además de que V (, x) C(1 + x k ), T, x B (28) para k naural y C posiivo. Enonces a) Para cualquier conrol u, admisible a parir de = s, { τ } V (s, x s ) E L(, x, u )d + Φ(τ, x τ ) x s. s

16 114 Diego Bricio Hernández b) Si u es admisible y se obiene minimizando punualmene el Hamiloniano, enonces { τ } V (s, x s) = E L(, x )d + Φ(τ, x τ) x s, s por lo que u es ópimo. De (28) se dice que consiuye una condición de crecimieno polinominal para V. Abreviando, se dirá de V como en el Teorema de Verificación que esá en Cp 1,2. Qué condiciones garanizan la exisencia de soluciones en Cp 1,2 para la ecuación de HJB? Hay un gran número de eoremas de exisencia para ecuaciones diferenciales parabólicas semilineales, como es el caso de la de HJB [4]. En odos ellos se obienen soluciones generalizadas, cuya suavidad depende grandemene del hecho de que la mariz a(, x) saisfaga una condición de la forma λ z 2 n a ij (, x)z i z j µ z 2, z R n (29) i,j=1 para < λ < µ <. Esa condición significa que el especro de a(, x) necesariamene real esá conenido en [λ, µ], uniformemene. Se dice enonces que el operador diferencial n 2 a ij (, x) x i x j i,j=1 es UNIFORMEMENTE ELÍPTICO. Por desgracia hay problemas de conrol esocásico que dan lugar a operadores (3) que NO son uniformemene elípicos; es un problema abiero el de dar condiciones bajo las cuales la ecuación de HJB iene soluciones en Cp 1,2 en esos casos llamados singulares. A manera de ejemplo, regresemos al problema de conrol de presas que fue planeado en la segunda pare de la sección 1. Para ese problema, el Hamiloniano esá dado por H = λ d() u 2 + µ x u 2 + py ω 2 xq + (x u)r donde p, q y r son los muliplicadores de Lagrange y d() es la demanda de agua río abajo en el insane. Véanse las ecuaciones (7) y (9). El conrol que minimiza el Hamiloniano es, enonces, u = λ λ + µ d() + µ λ + µ x + 1 λ + µ x (, x, y, z )

17 La ecuación de Hamilon-Jacobi-Bellman Por lo ano, la ecuación de HJB asociada a ese problema es +σ2 2 2 V +y y2 x ω2 x [ 1 y +x z λ + µ λd() + µx + 1 ] 2 =, 2 z de la cual ineresan las soluciones que se anulan en las caras laeral y final del cilindro [, T ] Q. La mariz correspondiene a la pare elípica (3) para ese caso paricular es σ2 2 lo que muesra claramene que la condición (29) no se cumple en ese ejemplo. Así pues, no es seguro que exisan soluciones suaves para la ecuación de HJB y, en consecuencia, no esá claro que se aplique el Teorema de Verificación. Sin embargo, el conrol obenido parece basane razonable: se modifica mediane un érmino que depende de la solución de la ecuación de HJB la políica ingenua que prescribe a) dejar salir odo lo que enra cuando lo único que impora es eviar inundaciones (λ =, µ = 1) b) saisfacer plenamene la demanda cuando eso es lo único que impora (λ = 1, µ = ) c) dejar salir una combinación convexa de la demanda y del caudal del río, en general. Es verdad que se dispone de eoremas de verificación que requieren un grado menor de suavidad por pare de las soluciones de la ecuación de HJB, pero aún así hay problemas en el caso singular. Aquí hay un problema abiero, para especialisas en ecuaciones diferenciales parciales no lineales. Finalmene, odavía queda el problema de aproximar las soluciones de la ecuación de HJB. Aquí puede resular muy conveniene el enfoque a base de perurbaciones singulares, que reemplace la ecuación de HJB dada, por ora cuya pare elípica esé dada por la mariz ɛ 2 2 σ 2. 2 ɛ 2 2

18 116 Diego Bricio Hernández Se resuelve ese problema perurbado y se examina el comporamieno de la solución cuando ɛ. Ese enfoque se sigue en numerosos esudios, enre los que podemos mencionar la sección 3.3 de [8], que mucho debe al arículo [3]. Sin embargo, el eorema anes ciado coniene hipóesis demasiado resricivas en cuano a la esrucura de la ecuación de HJB. Por ello, en la sección 4.5 de la misma referencia [8] se prueba un eorema de exisencia de soluciones coninuas y acoadas de la ecuación de HJB en el caso singular por méodos probabilísicos y bajo suposiciones menos resricivas. A su vez, dicho desarrollo debe mucho al arículo [9] y de hecho esá emparenando con los méodos empleados en el volumen 2 de [5]. Finalmene, en la sección 4 de [8] se prueba un eorema de verificación para sisemas singulares de esrucura semejane al que nos ocupa y que requiere únicamene soluciones coninuas y acoadas para la ecuación HJB. Así pues, podría pensarse que se dispone de herramiena suficiene para lidiar con ese ipo de problemas, pero aún queda mucho por hacer en cuano al diseño de procedimienos efecivos de cálculo para resolver la ecuación de HJB en los casos singulares. Referencias [1] C. Caraheodory, Calculus of Variaions and Parial Differenial Equaions of he Firs Order, Vol. I, Holden Day, (1965). [2] W. H. Fleming y R. W. Rishel, Deerminisic and Sochasic Opimal Conrol. Springer Verlag, Nueva York, (1975). [3] W. Fleming, The Cauchy problem for degenerae parabolic equaions, J. Mah. Mech., , (1964). [4] A. Friedman, Parial differenial equaions of parabolic ype, Prenice Hall, Inc., NJ, (1964). [5] A. Friedman, Sochasic differenial equaions (2 vols.), Academic Press, Nueva York, (1974). [6] H. Goldsein, Classical Mechanics, Addison Wesley, Reading MA, (195). [7] D. B. Hernández, Políicas ópimas para la irrigación: culivo en iempo de secas, manuscrio.

19 La ecuación de Hamilon-Jacobi-Bellman [8] D. B. Hernández, On he verificaion of Dynamic Programing for Singular Sochasic Conrol Problems, Ph. D. Thesis, Imperial College of Science and Technology, Universiy of London, (1974). [9] R. W. Rishel, Weak soluions of a parial differenial equaion of Dynamic Programming, SIAM J. Conrol , (1971). [1] E. Wong, Sochasic Processes in Informaion and Dynamical Sysems, Mc Graw Hill Book Co., Nueva York, (1971).