UNIVERSIDAD DEL NORTE DIVISIÓN DE POSTGRADOS E INVESTIGACIONES EN INGENIERIADIVISION DE INGENIERÍAS MAESTRIA EN INGENIERÍA INDUSTRIAL JUNIO DE 2006

Transcripción

1 JUEGO FICTICIO PARA RESOLVER UN JUEGO DE DEMANDA DINAMICA EN UNA CADENA DE ABASTECIMIENTO DE DOS NIVELES CON TOMA DE DECISIÓN EN UN NIVEL. LAILA NADIME CURE VELLOJÍN UNIVERSIDAD DEL NORTE DIVISIÓN DE POSTGRADOS E INVESTIGACIONES EN INGENIERIADIVISION DE INGENIERÍAS MAESTRIA EN INGENIERÍA INDUSTRIAL JUNIO DE 2006

2

3 JUEGO FICTICIO PARA RESOLVER UN JUEGO DE DEMANDA DINAMICA EN UNA CADENA DE ABASTECIMIENTO DE DOS NIVELES CON TOMA DE DECISIÓN EN UN NIVEL. LAILA NADIME CURE VELLOJÍN Proyecto de grado presentado como requsto parcal para optar al título de Magíster en Ingenería Industral, área de énfass en Gestón Industral Drector: Carlos D. Paternna Arboleda Ingenero Industral, Ph. D. UNIVERSIDAD DEL NORTE DIVISIÓN DE POSTGRADOS E INVESTIGACIONES EN INGENIERIADIVISION DE INGENIERÍAS MAESTRIA EN INGENIERÍA INDUSTRIAL JUNIO DE 2006 UNIVERSIDAD DEL NORTE

4 v Aprobado por la Dvsón de Postgrados e Investgacones en Ingenería en cumplmento de los requstos exgdos para otorgar al título de Magíster en Ingenería Industral, área de énfass en Gestón Industral. Ing. Carlos Paternna A., Ph. D. Drector del Proyecto Jurado Jurado Barranqulla, Julo de 2006

5 v AGRADECIMIENTOS Agradezco a ms padres el apoyo brndado durante el desarrollo de ms estudos de maestría y su constante alento en los momentos de crss tanto académca como profesonalmente. A ms tíos que vveron conmgo esta experenca, desde el prncpo hasta el fnal. A los profesores que sugreron el tema, Alfredo García, autor de uno de ms artículos base y quen revsó conmgo el problema a resolver. A Carlos Paternna por su confanza en m trabajo. A Armando, m amgo ncondconal gracas a quen puedo presentar este documento el día de hoy.

6 v CONTENIDO INTRODUCCIÓN PLANTEAMIENTO DEL PROBLEMA ANTECEDENTES Optmzacón de cadenas de abastecmento e nventaros Teoría de juegos en cadena de abastecmento y problemas de nventaro Aplcacones de Juego Fctco DESCRIPCIÓN DEL PROBLEMA Descrpcón del modelo JUSTIFICACION OBJETIVOS OBJETIVO GENERAL OBJETIVOS ESPECÍFICOS RESULTADOS ESPERADOS ALCANCE Y LIMITACIONES MARCO TEÓRICO LA CADENA DE SUMINISTRO INVENTARIOS Teoría De Juegos Aprendzaje de máquna Aprendzaje Reforzado Juego Fctco DISEÑO METODOLOGICO TIPO DE ESTUDIO METODOLOGÍA HIPÓTESIS DE INVESTIGACIÓN FUENTES DE INFORMACIÓN TOMA DE DATOS Y ANALISIS ALGORITMO DE JUEGO FICTICIO APLICADO AL PROBLEMA DE DECISION DE ABASTECIMIENTO EN LOS DETALLISTAS DE UNA CADENA DE ABASTECIMIENTO DE DOS NIVELES PRUEBAS Y RESULTADOS: IMPLEMENTACION DEL ALGORITMO Pruebas prelmnares Convergenca Comparacón con Aprendzaje reforzado basado en smulacón PRUEBAS Y RESULTADOS: ESTRATEGIA DE EQUILIBRIO CONCLUSIONES TRABAJO FUTURO BIBLIOGRAFIA ANEXOS... 59

7 v LISTADO DE TABLAS, FIGURAS Y ANEXOS 1.1 TABLAS Tabla 1: Escenaros de Prueba Tabla 2: Costo de transporte entre detallstas Tabla 3: Resumen de estadístcas de pruebas para 3000 teracones Tabla 4: Resultados de pruebas en cada uno de los escenaros. Tabla 5: Comparacón de utldad promedo de cada escenaro, con el algortmo mult-agente de aprendzaje reforzado Tabla 6: Comparacón entre resultados de Juego Fctco Vs. de Estratega Aprendda. Tabla 7: Análss de varanza entre los resultados de Juego Fctco y Aprendzaje Reforzado. 1.2 FIGURAS Fgura 1: Árbol de causas y efectos Fgura 2: Esquema del problema a resolver Fgura 3: Árbol de medos y fnes Fgura 4: Esquema de algortmo Juego Fctco Fgura 5: Grafca de funcón de mejor respuesta Fgura 6: Frecuenca de utldades fnales en pruebas prelmnares

8 v Fgura 7: Convergenca de la estratega f en 3000 teracones. Escenaro 4 Fgura 8: Utldad promedo del juego en 3000 teracones. Escenaro 4 Fgura 9: Utldad Promedo para todos los escenaros en 100 teracones. Estratega constante Vs. Aprendzaje 1.3 ANEXOS Anexo1: códgo del algortmo (Matlab 7) Anexo 2: Resultados Escenaro 4 Anexo 3: datos de prueba prelmnar: resultados Anexo 4: ANOVA para f Según dstntos valores Epslon

9 1 INTRODUCCIÓN Dentro de la mportanca del desarrollo de herramentas para la toma de decsones se encuentra, además del dseño e nvencón de nuevos métodos, la exploracón de posbldades dentro de teorías exstentes, ben sean estas nuevas, o antguas con posbldades de formar parte de nuevos procedmentos que representen mejoras en los resultados obtendos o en el manejo, rapdez y confabldad de estos. En la actualdad, se puede encontrar muchas fuentes para la nvestgacón y desarrollo de herramentas encamnadas a la solucón de problemas del día a día. En este caso partcular se presenta una propuesta que consta de los sguentes componentes: De gestón, en el sentdo en que pretende desarrollar una herramenta para el apoyo a la toma de decsones en la admnstracón de la cadena de abastecmento. Pretende utlzar el componente estadístco, en la medda en que se manejarán parámetros del tpo estocástco y se utlzará el componente nformátco cuando se ntegren herramentas de smulacón con códgos de programacón que permtan la ejecucón y evaluacón del procedmento, además del análss de los datos e nformacón obtenda de estos. En este documento se hace una descrpcón general de la dea ncal a estudar. Durante el desarrollo de la nvestgacón, se rá determnando la factbldad de la propuesta, con el fn de explorar nuevas posbldades de solucón del msmo problema.

10 2 2. PLANTEAMIENTO DEL PROBLEMA 2.1 ANTECEDENTES Optmzacón de cadenas de abastecmento e nventaros Una cadena de sumnstro es de extrema complejdad dada su propa naturaleza, por lo cual un modelo puede facltar el análss de sus componentes y del sstema que representa. Muchos de los modelos que se han presentado en la lteratura relaconada, no son más que representacones por medo de redes, en las cuales se consdera el flujo del materal entre dferentes ubcacones de los proveedores, plantas de produccón y almacenes de nventaro. Se puede encontrar numerosos tpos de modelos en la lteratura. Desde los un y multproducto, con uno o varas localdades de produccón, con y sn faltantes, pero su mayoría con el objetvo de mnmzar los costos relaconados sn descudar a los consumdores. Para esto, se han tendo en cuenta varos ndcadores de desempeño basándose en el costo de sus productos, el nvel de servco, la capacdad de respuesta y flexbldad del sstema de produccón / dstrbucón. Se han construdo muchos tpos de modelo y la cadena ha sdo subdvdda para facltar la solucón del problema general. Modelos matemátcos de redes, han sdo resueltos por medo de programacón lneal con un gran número restrccones de capacdad y flujo entre los nodos y cuya funcón objetvo, generalmente, consta de muchas de varables de decsón, pero generalmente consderando casos del tpo determnístco. Otros tpos de modelo van mas allá del análss del flujo entre los arcos de la cadena ya exstente, y se antcpan a la confguracón ncal de esta tenendo en cuenta el flujo de comuncacón y el conocmento común de las partes. Paralelamente a la solucón de estos modelos, se han planteado y desarrollado muchas heurístcas. Algunas de estas, basan sus cmentos en sstemas naturales de optmzacón, ejemplos de esto son recocdo smulado que debe su nombre al correspondente proceso de recocdo en los metales, o los denomnados algortmos genétcos que no son mas que procesos evolutvos que srven tambén, como herramentas de optmzacón, entre otros.

11 3 Con el fn de ubcar el marco de nterés, se presenta una clasfcacón de las metodologías de modelzacón dada por Eoksu Sm[23]: Modelos determnístcos: En este tpo de modelos se conoce con certdumbre todos los parámetros y se consderan y fjos. Dentro de estos se han desarrollado modelos de objetvos smples y múltples. Modelos estocástcos: tenen en cuenta parámetros aleatoros e ncertos. En esta categoría se enmarcan la teoría de control óptmo y programacón dnámca, entre otras. Modelos híbrdos: Utlzan herramentas como teorías de nventaro y smulacón, para combnar datos determnístcos con parámetros probablístcos. Modelos mpulsados por tecnologías de nformacón: WMS, ERP, GIS, herramentas que se basan en la nformacón en línea para la toma de decsones. Como se djo anterormente, y como se apreca en la pequeña reseña de estudos relaconados, la mayor parte de los modelos se ubcan dentro de la categoría determnístcos. En los casos en los cuales el estudo consdera un componente estocástco, generalmente se toma como base una dstrbucón de probabldades cuyo comportamento es conocdo y se aproxma al comportamento de la cadena real. Benta M. Beamon, [2] en su estudo de modelos y métodos de análss de la cadena de abastecmento, de 1998, presenta una revsón bblográfca que muestra los estudos tradconales relaconados y los ordena según el tpo de modelo utlzando una clasfcacón smlar a la utlzada como referenca en este documento. Además de los enfoques matemátcos tradconales, teorías como la de Colas o Flas de Espera y la de Juegos, tambén han sdo exploradas, a nvel tanto ndvdual, como conjunto, para apoyar el desarrollo de solucones a problemas de esta índole. Un ejemplo de esto lo presentan Rene Caldentey y Lawrence OEIN [6] en su análss de un sstema de produccón-nventaro descentralzado del 2002, en el cual modelan una porcón de una cadena como una fla de espera M/M/1 hacer para almacenar. El punto del detallsta mantene nventaro de producto termnado para satsfacer un proceso de demanda tpo Posson y su propósto es

12 4 establecer la polítca de reabastecmento de su nventaro mentras que por su lado, el proveedor tene el poder sobre su tasa de servco, la cual se controla manpulando la capacdad de las nstalacones de manufactura y se comporta como una cola de un servdor con tempo de servco exponencal. En este sstema, los autores analzan las solucones óptmas de sstemas centralzados junto con las de Nash para mostrar cómo la dstrbucón de algunos costos, medante contratos, favorece la coordnacón de la cadena. Al fnal, la solucón óptma es comparada con los equlbros de Nash y Stackelberg. Una herramenta que ha servdo como recurso ante la complejdad de los sstemas analzados es la Smulacón, ya que por medo de esta se puede observar e nferr, con certo nvel de confanza estadístco, sobre los efectos de las varables en el comportamento del sstema. Aunque la smulacón puede ser aplcada a cas cualquer escenaro defndo, generalmente se utlza en problemas que son dfícles de resolver matemátcamente Teoría de juegos en cadena de abastecmento y problemas de nventaro Algunos conceptos concernendo al campo de los juegos han sdo, o están sendo, aplcados en esta área de la admnstracón de operacones. La mayoría de estos venen desarrollándose especalmente en lo referente a juegos no cooperatvos y estátcos sn embargo, algunos autores han contemplado la posbldad, o no posbldad, de cooperacón dentro de los esquemas estudados. Los posbles jugadores, actores en la cadena de abastecmento pueden ser los proveedores, fabrcantes, detallstas, compradores, ncluso el mercado y estos pueden estar buscando un equlbro en decsones de: adquscón y manejo de nventaros, perodo de reabastecmento, coordnacón en los canales de dstrbucón, precos al nteror de la cadena y al clente fnal, decsones de compartr, o no, nformacón, mercados objetvo y muchas mas, cada una dependendo del tpo de producto, s se trata de almentos, u otros que requeren cudados específcos, etc., sn menconar el entorno en que se desenvuelvan y el punto de vsta del que se quera analzar, problemas dnámcos y/o estocástcos, entre muchos. Tenendo en cuenta la clasfcacón presentada en la seccón anteror, la dea que se pretende explorar, se ubca entonces, dentro de la clasfcacón de los modelos híbrdos, ya que se pretende utlzar smulacón en conjuncón con teorías (de aprendzaje), además de teorías

13 5 relaconadas y aplcables. Se estudará la posbldad de utlzar nuevas teorías y herramentas tenendo el cudado de verfcar que la adaptacón del modelo no sea artfcal y que la descrpcón de la stuacón no se vea forzada a ajustarse a unos lneamentos que camben su esenca. En 1999, Cachon y Zpkn [4] trabajaron en una cadena de abastecmento de dos nveles con demanda estaconara estocástca y tempos de transporte fjos. Se tenen en cuenta costos de mantenmento de nventaros en cada nvel y la penalzacón por ventas perddas es repartda entre los dos nveles, de acuerdo con los ntereses de cada uno. En este estudo se consderan dos juegos en los cuales cada punto de la cadena, ndependentemente del otro, escoge la polítca de nvel de nventaro a mantener para mnmzar sus costos. La dferenca entre los juegos radca en la forma de asgnar los costos de nventaro a cada nvel; en uno, las frmas montorean el nventaro local, mentras que en el otro se hace montoreo a nventaros de escalón 1. Los autores muestran que los juegos, cas sempre tenen un equlbro de Nash únco que dfere de la solucón óptma, razón por la cual concluyen que la competenca reduce la efcenca. En Marzo del 2000, es aceptado el artículo de Charles Corbette [7] en el que estuda el popular modelo de Punto de Reorden en un contexto de dos jugadores en un ambente nsprado en un caso de estudo y demuestran como las asgnacones tradconales de poder de decsón entre proveedor y consumdor llevan a resultados nefcentes utlzando el modelo de agentes prncpales para estudar los efectos de la asmetría en la nformacón acerca de costos de alstamento y ventas perddas. El análss teórco conlleva pensar que el nventaro en consgnacón ayuda a reducr el cclo de nventaro dándole al proveedor, un ncentvo para reducr el tamaño del lote, pero al msmo tempo ncentvando al comprador a aumentar el nventaro de segurdad, razón por la cual se sugere trabajar en el balanceo de la nformacón. Gerard Cachon es un autor que ha demostrado su nterés en el tema con la cantdad de estudos relaconados en los que ha partcpado. En el 2003, en compañía de Sergue Netessne, [3] publcan el artículo correspondente a su estudo de la Teoría de Juegos en el análss de 1 El nventaro de escalón tene en cuenta el nventaro local, mas los nventaros en los nveles nferores en la cadena.

14 6 Cadenas de Abastecmento en el que exploran las aplcacones de Teoría de Juegos al análss de cadenas de sumnstro y presentan un compendo de conceptos relaconados que tenen potencal para aplcacones futuras. Los autores consderan teorías relaconadas tanto con juegos cooperatvos, como no cooperatvos aplcadas en juegos estátcos y dnámcos, pero prestan especal atencón a la demostracón de la exstenca del equlbro en juegos no cooperatvos y utllzan el problema del vendedor de peródcos, modelado como un juego, para demostrar la aplcabldad de las herramentas en cuestón. Este autor, y en especal este documento representa una de las fuentes mas mportantes en el desarrollo de el presente estudo debdo a que el problema del vendedor de peródcos tene su base en el concepto de los nventaros Aplcacones de Juego Fctco. Una forma de hacer frente a los problemas como el que se propone, podría consstr en el análss conductual del sstema, por lo cual, el concepto, cuyo soporte prncpal yace en la teoría de juegos, Jugada Fctca, nos puede ayudar a representar los componentes de un sstema como un juego no cooperatvo con ntereses comunes, con el objetvo el alcanzar un equlbro 2 que sustturía la solucón óptma. [16] Revsando la bblografía se encuentra que los estudos relaconados son, más ben, recentes. Tal es el caso de Younghwan In, [14] quen presenta un borrador prelmnar en el 2004 de un estudo que analza un juego de regateo conocdo como el juego de demanda de Nash repettvo en el que los partcpantes sguen el procedmento de Juego Fctco después de su decsón ncal de demanda. En este estudo, se toman pares de negocadores o regateadores para que escojan su demanda como la mejor respuesta resultante de un proceso de Juego Fctco. En este punto cabe menconar a los autores García, Reaume y Smth, [9] quenes aplcaron Juego Fctco para encontrar el enrutamento óptmo en redes de tráfco dnámcas. En este documento, aprobado en 1999, los autores redefnen el problema del enrutamento de los 2 Equlbro de Nash.

15 7 vehículos como un juego de ntereses déntcos en el que los vehículos son los jugadores y su pago es el tempo promedo de vaje en la red. La mportanca de este análss sobre el presente estudo consste en la smltud de los objetvos, ya que se toman las característcas del sstema orgnal, para redseñar un sstema que permta la aplcacón de los conceptos y obtencón de resultados, lo cual es, en general, lo que se pretende hacer. Otra aplcacón del algortmo, es la propuesta por Lambert y Wang [17] y está relaconada con el dseño electrónco de plataformas móvles de baja energía en la que se pretende mnmzar el error absoluto medo de las estmacones de poscón de los nodos móvles que conforman el sstema. Los autores defnen los parámetros de optmzacón y defnen un procedmento de dos pasos teratvos para (1) Determnar los parámetros para los cuales se evaluará el desempeño de la red y (2) aproxmar la funcón objetvo correspondente a los parámetros dados medante técncas de smulacón, obtenendo el error promedo de estmacón de la poscón. En el problema de las plataformas móvles, al gual que el de enrutamento de vehículos basan sus procesos de optmzacón en la smulacón de la stuacón debdo a que no se cuenta con expresones analítcas exactas que permtan determnar óptmos locales o globales en térmnos de los crteros defndos. En el caso que se pretende abordar, tambén se utlzará la smulacón como una caja negra para evaluar los resultados de las decsones tomadas por los agentes. El campo prncpal de aplcacón de todas estas teorías ha sdo, ncalmente, la economía y cencas íntmamente relaconadas, pero como se demostró en García et al. [9], solo es cuestón de defnr el problema en los térmnos adecuados y verfcar la vabldad de los resultados para poder aplcar las herramentas. En general, en el campo de la admnstracón de operacones, ha sdo, más ben, lenta la ncursón de estos conceptos, mas específcamente, cuando se habla de admnstracón de nventaros, la cual consta de muchos componentes cuya forma parece convenente para ser analzada bajo la óptca de un juego. Exsten, en el día a día de las organzacones, y en varados ambentes de gestón, muchos procesos que pueden ser modelados con base en el comportamento de sus actores, con el fn de encontrar solucones en forma efcente y que faclten la toma de decsones. Para ser más específcos, la cadena de

16 8 abastecmento presenta un snnúmero de oportundades de aplcacón de metodologías como esta por la naturaleza propa de las actvdades relaconadas y las característcas de los entes nvolucrados. 2.2 DESCRIPCIÓN DEL PROBLEMA Una cadena de abastecmento, como su nombre lo ndca, es un conjunto de partes que nteractúan, cas secuencalmente, con el fn de transformar un materal desde su estado más bruto, hasta convertrlo en un producto que srva para satsfacer alguna necesdad. Cuando esta cadena es analzada desde uno de sus eslabones, se presentan certas varables, algunas ndependentes y otras dependentes, pero cuya nterrelacón consttuye un problema que se debe resolver s se quere obtener benefcos dentro del proceso. En el caso actual, se tendrá en cuenta, una cadena de abastecmento de dos nveles analzada desde el punto de vsta de los puntos de venta o detallstas que se encuentran en contacto drecto con el mercado de consumdores. La demanda de los detallstas es del tpo estocástco e ndependente entre ellos y estos deben tomar la decsón, en cada perodo, de la cantdad de producto a solctar al nvel anteror (proveedor), con el fn de satsfacer la demanda mnmzando costos relaconados con la realzacón de los peddos. La stuacón a estudar es smlar al problema del vendedor de peródcos, en el cual, cada actor en la cadena en cuestón debe decdr sobre la cantdad de producto a hacer dsponble para un perodo específco antes de conocer la demanda. Se agrega el componente compettvo al problema, en el que las decsones afectan a los otros actores de la cadena, por ejemplo en los faltantes en el caso de los detallstas; s uno de estos no tene la cantdad sufcente de producto, el consumdor puede acudr a otro detallsta para obtener lo que se necesta, es decr, una venta perdda para uno, puede sgnfcar una gananca para otro en el caso de que este últmo cuente con la cantdad de producto requerdo 3. La dferenca de los dos problemas para el caso partcular, tene que ver con las característcas del producto; el vendedor de peródcos 3 A pesar de que en algunas crcunstancas del problema, algunos agentes recban un pago en lugar de otro, no mplca que el juego pueda ser defndo como uno de suma cero, ya que en general, las ganancas se dstrburán en el sstema dependendo de la demanda y otros parámetros del problema.

17 9 no puede guardar undades para ser venddas en un perodo posteror; lo que no se vende en el perodo para el que se solctó el producto se consdera perddo por lo que no se tene en cuenta un costo de mantenmento de nventaro, mentras que en el problema a defnr, el producto puede ser guardado para venderse en perodos posterores. Fgura 1: Árbol de causas y efectos del problema Báscamente, se defnen dos varables, una dependente y una ndependente. La varable Cantdad de peddo resulta de la estratega que cada detallsta decda emplear como norma para tomar las accones en cada perodo y corresponde a la entrada del proceso. La varable Utldad depende drectamente de la cantdad de peddo que cada detallsta solcta en el

18 10 perodo y es la salda que permte evaluar los resultados del proceso. La relacón entre las dos varables menconadas es conocda por todos los agentes que partcpan en el sstema. S se qusera controlar las saldas en el sstema, se debe aprovechar al máxmo esta relacón de dependenca y entregar las entradas convenentes para obtener los resultados deseados. En el caso del problema que se analza en el presente documento, las entradas, a su vez dependen tanto unas de otras, como de eventos aleatoros (demanda) de los que, debdo a su naturaleza, no se puede tener certeza de sus valores y por lo tanto no pueden ser controlados estratégcamente. El árbol de causas y efectos mostrados en la fgura 1 muestra en forma esquemátca que el fn de todo el proceso es afectado prncpalmente por la ncertdumbre en dos aspectos a saber: La demanda y los competdores. En el prmero, estamos utlzando una dstrbucón estadístca dada y conocda que representa, con un nvel de confanza, los posbles valores de demanda a obtener para cada perodo, mentras que desde el punto de vsta de cada uno de los jugadores, no se cuenta con nformacón clara, n squera aproxmada, de lo que va a pasar en próxmas oportundades en lo referente la decsón de abastecmento, la cual, tenendo en cuenta la descrpcón del sstema, afecta a todo el proceso Descrpcón del modelo Proveedor central Punto de venta 1 Punto de venta 2... Punto de venta n D 1 D 2 D n Fgura 2: Esquema del problema a resolver

19 11 El problema a soluconar para valdar la herramenta es el que se defne en Rao et al [20]. El panorama de nventaros consste en N= {1,2,,n} puntos de venta (actores que se encuentran en contacto con el mercado de consumdores) los cuales tenen una demanda ndependente y estocástca con dstrbucón de probabldad D conocda y constante en el tempo. Cada uno de estos puntos debe solctar al fabrcante certa cantdad (x) del producto en cuestón para satsfacer su demanda ndvdual, preferblemente en el perodo t. En el caso de que ocurran faltantes (e ) en el perodo, el agente encargado del punto de venta en cuestón debe buscar, otro punto de venta (j) que pueda abastecer la cantdad requerda por el consumdor, lo cual representa un costo asocado (costo de salvamento v ) que depende de la dstanca entre los puntos de venta. Se asume que no hay un costo fjo de ordenar al proveedor central. Cada uno de los vendedores compra el producto a un costo que le da el proveedor (c ) y lo vende en el mercado a un preco de venta mayor que este (r ). El preco de venta es gual en todos los puntos. Cada punto de venta debe encontrar el nvel de undades óptmo (x ) a solctar al fabrcante en el perodo t, tenendo en cuenta la dstrbucón de su demanda, los costos de las undades a solctar al proveedor y el costo de almacenamento en su bodega. Las demandas son ndependentes entre los detallstas y cada uno de estos decde sobre su propo negoco. Los competdores comparten el nventaro resdual (correspondente a los remanentes luego de que se haga efectva la demanda dara). No se permte reposcón de faltantes, las ventas perddas no pueden ser recuperadas. Los agentes comparten el objetvo de maxmzar el la gananca total de la cadena en el sstema. Se hace la suposcón de que un peddo realzado en el perodo t, se encuentra dsponble para su venta al públco en ese msmo perodo y se tenen dos nstancas de decsón separados en el tempo: La prmera corresponde a la decsón de nventaro y tene lugar antes de la ocurrenca de la demanda. La segunda parte se refere a la decsón de transferenca de excedentes (q j undades excedentes del detallsta que se llevan al detallsta j para abastecer los faltantes de este últmo, en la segunda fase del juego) que ocurre después de realzada la demanda y que debe ser producto de una cooperacón entre los agentes con el fn de satsfacer demandas no cubertas por la prmera fase. Como se puede aprecar, la decsón de una agente está muy lgada a las accones de los demás y tenendo en cuenta que el

20 12 juego termna en cooperacón, se garantza la convergenca del algortmo según lo menconado por Monderer y Shapley (1996) [19] Rao et al basan su análss en los resultados obtendos en un problema smlar, pero en el que las decsones son tomadas por un agente central que controla todo el sstema (SAP). Los resultados de este escenaro son la referenca para evaluar el desempeño de la aplcacón de Aprendzaje reforzado, como límte superor del ndcador de nterés (utldad).

21 13 N= {1,2,,n} Conjunto de detallstas, donde n es el número de puntos de venta en el sstema. A= {a 1,a 2,,a n } Conjunto de accones posbles a tomar. En este caso la decsón de nventaro., j T Subíndces para detallstas o puntos de venta.,j Є N. Tempo de la teracón. (En el problema actual ndca días) c z Costo de cada undad del detallsta. Costo de mantenmento de nventaro (en un perodo) v Valor de salvamento del detallsta. r Ingreso por undad del detallsta. L=[l j ] Matrz de costo de transferenca D Funcón de probabldad de demanda para el detallsta. d={ d 1, d 2,, d n } x={x 1, x 2,, x n } Perfl de demanda. Se asume que obedece a una dstrbucón conjunta de probabldad acumulada. F(D) Perfl de nventaro ordenado por los detallstas antes de que ocurra la demanda, donde x corresponde a la cantdad de

22 14 nventaro ordenada por el punto de venta. xe - ={xe - 1, xe - 2,, xe - n-} Perfl de valores de x que el detallsta espera que escojan sus oponentes. s Ventas del detallsta una vez ha ocurrdo la demanda, en un perodo dado. h Excedentes del detallsta en la prmera fase del juego. hf Excedentes fnales del detallsta en la segunda fase del juego. e Faltantes del detallsta en la prmera fase del juego. de, se, ee he, Vectores de demanda, ventas, excedentes y faltantes esperados de los otros detallstas dferentes del. q j Undades excedentes del detallsta que se llevan al detallsta j para abastecer los faltantes de este últmo, en la segunda fase del juego. m j Costo de transferenca de undades entre del detallsta y j. P t Utldad del detallsta en el tempo t P N t Utldad total del sstema

23 15 En general, el juego pretende maxmzar la gananca de la cadena, representada por una varable t P N que depende de la demanda y de las accones que toman los agentes en cada una de las fases del juego. En la ecuacón: P ( x, D,q) t N N rs c x z h f ( t 1), j N r J v m j q j, j N q v j El prmer térmno corresponde a las ganancas de la prmera fase del juego, cuando se toma la decsón y se realzan las ventas. En esta parte tambén se contempla el costo de mantenmento del nventaro del perodo anteror. El segundo y el tercer térmno representan las ganancas para cada parte en la fase de transferenca. El segundo termno, corresponde a la perspectva del agente que recbe las undades excedentes de otros detallstas para suplr sus faltantes, mentras que el tercero corresponde a los excedentes que cada detallsta envó a sus compañeros, recuperando el valor de salvamento de cada undad envada. Las restrccones del modelo dependen de la defncón especfca del juego, como lo son los límtes en los peddos (cotas para los valores de x ) y el deseo de clentes de ser servdos desde otros puntos del sstema (porcentaje de faltantes que pueden ser atenddos después de la prmera fase). Las ecuacones de la segunda fase dejan claro que no se puede transferr mas de lo que representó excedentes para el sstema, o de la necesdad de undades por eventos de faltante en la cadena: n N q, N n H N q, n N n E n q 0,, n N n x 0,, n N

24 16 q n, x son enteros. El modelo muestra que cada fase del proceso tene efectos en el resultado fnal, lo delcado de la stuacón consste en que, en la prmera fase, la decsón de cuanto pedr es tomada en forma ndependente por cada uno de los jugadores y aunque para alguno pueda resultar óptma, la combnacón de dchas decsones a lo largo del sstema, no resulta en un equlbro que satsfaga los objetvos de todos los que partcpan en él, razón por la cual, en este tpo de problemas se propende a buscar, mas que un óptmo, un equlbro. 2.3 JUSTIFICACION La habldad para aprender mas rápdo que los competdores puede ser la únca ventaja compettva sostenble de la empresa Martn, El análss de los negocos en ambentes dnámcos representa, cada vez más, un reto para las empresas en muchos sentdos. Una empresa, no es un ente ndvdual nteractuando con los clentes y competdores, esta se encuentra stuada dentro de una gran cadena, que mpulsa, o en el peor de los casos, lmta su desempeño y resultados, dependendo del manejo que se le de a dstntos factores que le afectan. Se requeren herramentas que permtan o faclten tomar decsones ntelgentes y a tempo, basándose en nformacón confable y a un costo razonable. A pesar de que el óptmo ndca la forma en que se deberían dsponer los recursos (tempo, dnero, maqunara, personas, etc.) para obtener los mejores resultados posbles al tomar una decsón, exsten muchos factores que dfcultan el obtener y aplcar este tpo de estrategas utópcas. En la mayoría de las ocasones, los problemas que se pretenden resolver son extremadamente grandes y/o complejos, y no se cuenta con las herramentas adecuadas para obtener una respuesta perfecta en el tempo adecuado. En otras ocasones, la decsón que parece óptma para un ndvduo, puede afectar a otros (empresas, clentes, empleados, alados, etc.) y vceversa. Un ejemplo de esto, se puede encontrar en la gestón de una cadena de abastecmento, en la cual partcpan muchos actores y las decsones que tenen efecto en cada

25 17 uno, y entre ellos, deben ser tomadas y aplcadas dentro de un marco temporal reducdo y varable. La cadena de abastecmento ha sdo estudada desde numerosos puntos de vsta y tenendo en cuenta muchos factores con el fn de optmzar los resultados de su gestón. De cada gerente depende la forma en que se tomen las decsones que nfluyen en su desempeño y en que esta sea evaluada tenendo en cuenta el objetvo que se persga y los recursos con que se cuente en el caso partcular. La escogenca de una herramenta de apoyo a estas decsones depende, además, de otros factores como complejdad en su manejo, velocdad de respuesta y confabldad de los resultados. Gran cantdad de nvestgacones relaconadas suponen que las característcas operaconales que afectan la cadena tenen comportamentos determnístcos, lo cual no es necesaramente certo en muchas ocasones cuando se pueden aprecar parámetros crítcos tales como demandas, precos y en algunos casos, hasta capacdades ncertas. A menos que la cadena sea dseñada y analzada tenendo en cuenta condcones de operacón bajo ncertdumbre cuando así sea, el mpacto de ncdentes operaconales tales como retrasos e nterrupcones será mayor de lo que se puede cuantfcar como pérddas drectas, esto es, pérdda de confanza de los clentes y dsmnucón del valor de la empresa. Un factor mportante en la toma de decsones de este tpo de nteraccones es la colaboracón. A pesar del enorme potencal que se le pronostcaba durante la últma década, la colaboracón entre los dferentes agentes de la cadena ha presentado muchos lmtantes, como lo son, entre otros, falta de confanza entre las partes, en la mayoría de los casos, desgualdad de condcones de poder, nformacón defcente, entre otras. En un ambente de este tpo, exsten toda clase de restrccones en la toma de decsones, y generalmente, no se cuenta con la nformacón sufcente y a tempo para construr un modelo matemátco de optmzacón y resolverlo oportunamente. En este tpo de casos se ha encontrado una forma de modelzar el escenaro utlzando la nformacón dsponble de las partes para crear supuestos y desarrollar una estratega que resultará, s ben no óptma a nvel ndvdual, satsfactora a nvel general, tenendo en cuenta

26 18 los ntereses de las partes que nteractúan y la forma como lo hacen. La teoría de juegos y todos sus conceptos dervados representan un posble medo o herramenta con un gran potencal de aplcacón a ambentes de colaboracón (o ausenca de esta), especalmente, tenendo en cuenta las lmtantes y posbles dfcultades nherentes. La teoría de juegos, sería utlzada para la representacón y comprensón de estas stuacones, y las herramentas dervadas, en especal, Juego Fctco para confrontarlas y presentar solucones que faclten la toma de decsones La creacón de una herramenta con las característcas adecuadas no es senclla, pero tampoco mposble. En un escenaro como este, en el cual el comportamento del sstema es dfícl de predecr partendo del comportamento aslado de uno de sus puntos, se puede combnar dstntas herramentas, tanto analítcas, como expermentales, para obtener resultados satsfactoros. Algunas teorías, como la de aprendzaje, en este caso a partr de la teoría de juegos 4, y herramentas como smulacón, pueden sgnfcar la smplfcacón de un modelo para su análss respectvo. La aplcacón de la metodología de juego fctco, ha sdo escasa en temas relaconados, por lo que se propone estudar el sstema de una cadena logístca bajo esta óptca, con el fn de obtener resultados en el área y contrbur en la aplcabldad de la herramenta al problema propuesto. 4 La teoría de juegos ofrece un análss del comportamento de las partes nvolucradas y que nteractúan.

27 19 3 OBJETIVOS 3.1 OBJETIVO GENERAL Obtener una solucón factble para la decsón de abastecmento de los detallstas de una cadena de dos nveles hacendo uso de la metodología de aprendzaje juego fctco o una varante de la msma, medante la exploracón de las posbldades que ofrecen las característcas operaconales del algortmo, con el fn de analzar s los resultados obtendos obedecen a algún tpo de equlbro y mejoran el desempeño del sstema, con respecto a otra metodología utlzada para resolver el msmo tpo de problema encontrada en la lteratura relaconada. Fgura 3: Árbol de medos y fnes

28 20 Tenendo en cuenta la descrpcón general del problema y su análss de causas, se propone brndar una herramenta basada en teoría estadístca que permta dsmnur la dependenca de la decsón a tomar con respecto a ncertdumbre en lo que tene que ver con el entorno y los competdores. La metodología de Juego Fctco cumple con estas característcas y su aplcacón en este ámbto no ha sdo común. En la fgura 2, se muestra el árbol de medos y fnes donde se puede aprecar la mejora de los resultados mejoran cuando se ntervene el problema de la ncertdumbre en las accones de los competdores. Cabe anotar, que este tpo de problema ha sdo objeto de nvestgacón y aplcacón de otras metodologías de las cuales se debe buscar un ejemplo que permta evaluar el desempeño relatvo del algortmo propuesto. Tenendo en mente esta dea general del problema que se quere resolver, se debe hacer certas suposcones que permtan la aplcacón de la metodología de aprendzaje de nterés. Un factor a tener en cuenta en la defncón del problema a modelar, es la convergenca del algortmo que va a ser utlzado en su solucón. En térmnos del algortmo, el problema actual puede ser vsto como un proceso teratvo de toma de decsones acerca de la mejor 5 cantdad de peddo a solctar para un perodo, tenendo en cuenta las estrategas de los demás actores (los peddos realzados y nveles de nventaro dsponbles) y que estas sguen una dstrbucón fja y consecuente con la frecuenca hstórca de las decsones tomadas anterormente. Debdo a que cada jugador se podría encontrar buscando su propo benefco, no se puede asegurar que el proceso tenga convergenca en algún equlbro pero, de acuerdo con los resultados obtendos por Monderer y Shapley en 1996[19], exste convergenca en los juegos en los cuales las partes comparten un objetvo. En el caso actual, el objetvo común de la cadena será la utldad total, la cual debe ser maxmzada en cada paso del proceso y se espera, se llegue a una estratega estable en algún equlbro. 5 Tenendo en cuenta una estratega esperada de los demás jugadores, el jugador en cuestón debe tomar la accón que ofrezca los mejores resultados. Esta estratega se denomna la mejor respuesta del jugador ante las accones de los jugadores.

29 OBJETIVOS ESPECÍFICOS Modelzar la cadena de abastecmento como un juego, defnendo los jugadores, las posbles accones a tomar y las recompensas correspondentes, con el fn de aplcar el proceso de aprendzaje en juegos denomnado juego fctco. Aplcar la metodología de aprendzaje, juego fctco a dcha cadena de abastecmento defnda con el fn de obtener la secuenca de pasos específcos que llevarán a la obtencón de resultados. Evaluar y Valdar el procedmento con la ayuda de herramentas de programacón y smulacón, según sean necesaras, con el fn de observar la mplementacón del modelo en un ambente que cumpla las característcas requerdas. Analzar los resultados tenendo en cuenta problemas comparables encontrados en la lteratura relaconada, con el fn de verfcar la practcdad de la herramenta y su desempeño relatvo. 3.3 RESULTADOS ESPERADOS Modelo matemátco del problema a resolver, en el que se muestre cuales son las varables de decsón y su nteraccón con los parámetros del sstema para buscar los resultados de equlbro en los valores de la varable de resultados. Algortmo de Juego Fctco aplcado al modelo defndo, descrpcón de cada uno de los pasos y subprocesos. Programa con algortmo de Juego Fctco. dgo del programa. Códgo que ejecute adecuadamente las accones defndas por la metodología escogda. Implementacón de dcho códgo en bajo los parámetros de problema de la metodología ejemplo 6 escogda para comparacón. 6 Solucón de la aplcacón del algortmo bajo los parámetros utlzados en el estudo de Rao y otros [20], estratega y utldades fnales.

30 22 Metodología de solucón: Corresponde a la estratega resultante del estudo, que deben asumr los jugadores para maxmzar su ndcador base ante un ambente como el descrto a lo largo del documento. Evaluacón comparatva de los resultados, tanto con respecto al sstema modelzado, como con el presentado por los autores base. Documentacón de la nvestgacón. Presentacón de los resultados obtendos y recomendacones para futuras nvestgacones.

31 23 4 ALCANCE Y LIMITACIONES En la presente nvestgacón se realzará una revsón bblográfca acerca de estudos relaconados con cadenas de abastecmento que tenen en cuenta dos nveles y en las cuales se dé solucón a problemas de decsón relaconados con la planeacón de nventaros en un ambente estocástco basado el planteado como problema del vendedor de peródcos. Se lmta el estudo de esta forma, debdo a la gran cantdad de posbles combnacones de problemas relaconados con decsones en una cadena de abastecmento y los dferentes escenaros que se pueden presentar en este tpo de ambente. Debdo a que se pretende aplcar una herramenta algorítmca en un ambente específco, se buscará la forma de ejecutar la herramenta de solucón propuesta, tenendo en cuenta las suposcones que deba hacerse para lograr la obtencón de resultados congruentes. Al fnal, se deberá determnar la utldad real de la herramenta según la fdeldad que el problema soluconado guarde con problemas presentes en la realdad. Por otra parte, la expermentacón se realzará por medo de herramentas de programacón y/o smulacón, según sea convenente, debdo a la dfcultad en la obtencón de acceso a una entdad real que cumpla con las característcas específcas, asuma las suposcones necesaras y que esté dspuesta a ser objeto de estudo.

32 24 5 MARCO TEÓRICO 5.1 La cadena de sumnstro una cadena de sumnstros, es una red de empresas autónomas, pero colectvamente responsables por la satsfaccón del clente, a través de la creacón de una gran organzacón extendda capaz de manejar todas las fases del dseño, obtencón, fabrcacón y dstrbucón de los productos [12] La admnstracón, o gestón, de la cadena de abastecmento cubre, entre muchos aspectos, todas las actvdades de admnstracón de materales, ncluyendo recbos, embarques, movmento y balances de nventaro al nteror de una compañía y entre proveedores y clentes. Esta vsón tradconal representa, tan sólo, un esbozo muy general de este ambente de negocos en el cual, la nnovacón en las relacones puede resultar benefcoso. Hoy en día, lograr que un producto se fabrque, se venda y se entregue, exge colaboracón entre los membros de una cadena de abastecmento para manejar la planeacón estratégca, el flujo de nformacón y el dseño de la tecnología de la nformacón mplícta, entre otros factores, además de enfrentar otros nconvenentes dervados, como lo son cuestones polítcas y pscosocales, entre otras. Las cadenas de sumnstro son sstemas complejos cuyo comportamento es poco predecble, y en la cual el comportamento total del sstema no es gual a la suma de los comportamentos ndvduales de las partes. En general, el objetvo prncpal de la cadena de abastecmento, vsta como un todo, es afanzar la efcenca operaconal, rentabldad, y poscón compettva de una frma y sus compañeros en la cadena. La planeacón en la cadena tene dos nveles: estratégco y táctco u operaconal. El prmero hace referenca a varables como confguracón de la red (número de facldades, localzacón, capacdad y tecnología). El nvel operaconal de planeacón, se refere a los factores menconados como cantdades a comprar, procesar y dstrbur. S se enfoca el análss al nvel operaconal, entonces la admnstracón de la cadena de abastecmento debe buscar la coordnacón efcente de proveedores, plantas, bodegas y almacenes de tal forma que el producto sea dstrbudo en la cantdad apropada al lugar

33 25 ndcado en el tempo precso y al preco adecuado, con el fn de maxmzar las utldades controlando los costos y mejorando el servco constantemente. Esto se puede consegur con la sncronzacón de las funcones de compra, produccón y dstrbucón, además del flujo de materales, captal e nformacón correspondentes. La dsponbldad y la precsón de la nformacón compartda entre los membros nteresados son factores que afectan drectamente el desempeño global de una cadena de sumnstro. En este caso, algunas varables de decsón mportantes son: la localzacón de materas prmas y producto termnado, la correcta asgnacón de productos a mercados específcos, la programacón de entregas, el ruteo de vehículos para transporte de la mercancía, la determnacón de las cantdades óptmas de compra, produccón y envíos, los nveles adecuados de nventaro, tanto de materas prmas como de trabajo en proceso y productos termnados, la fuerza de trabajo y algunos suplementos a la cadena como lo son los proveedores de materal, servcos y operadores logístcos, entre muchos factores. Este trabajo se enfoca al análss de decsón en stuacones relaconadas drectamente con los nventaros por lo que profundzará un poco más en este tema. 5.2 Inventaros Hstórcamente, el problema de los nventaros nace cuando los egpcos y demás pueblos de la antgüedad, adoptan la costumbre de almacenar almentos con el fn de utlzarles en tempos de sequía o adversdades como una forma de enfrentar lo que hoy denomnamos como escasez. De esta forma, se pretendía asegurar la subsstenca de la vda y el desarrollo de las actvdades normales. Actualmente, el térmno nventaro es utlzado, entre otros, al nteror de una organzacón y abarca los benes que se encuentran en espera de ser venddos, las partes que se encuentran en proceso de produccón y los artículos que serán consumdos drecta o ndrectamente durante un proceso de produccón. Un sstema de nventaros consste en un conjunto de polítcas y controles que tenen como fn la supervsón de la cantdad de exstencas con el fn de proveer nformacón que faclte la toma de decsones con respecto a los nveles que deben ser mantendos, el perodo o tempo de reabastecmento y la cantdad de producto requerda.

34 26 La complejdad del manejo de un sstema de nventaros está drectamente vnculada con los costos dervados de la gestón. Dependendo del tpo de organzacón y del producto en cuestón, en general estos costos pueden ser dvddos en: costos de almacenamento, costos de alstamento del sstema de produccón, costo de realzacón de un peddo y costo de escasez. Este últmo costo representa a la demanda y trata de cuantfcar lo que ocurre a la empresa cuando un clente requere una cantdad que no puede ser despachada. El objetvo de un sstema de nventaros puede ser resumdo como la mnmzacón del valor total de los costos menconados, tenendo en cuenta las característcas propas de la organzacón. Una de las funcones prncpales de un sstema de nventaros es la amortguacón efcente entre la dsponbldad de producto y su demanda. Debdo a que exste la demanda nterna (o demanda dependente) la cual será utlzada como matera prma en dferentes fases del proceso de produccón) y la demanda externa (tambén conocda como ndependente) la cual es dctamnada por clentes externos a la organzacón y se encuentra fuera del conocmento certero y control de la empresa, exsten varos enfoques para confrontar el problema de la planeacón de los nventaros. En el últmo caso, las empresas deben dseñar un sstema de polítcas que permtan percbr la demanda la demanda en forma adecuada para obtener resultados deseados. Tradconalmente se manejan dos tpos báscos de sstemas de nventaros. El sstema contnuo de nventaros, tambén conocdo como sstema de nventaro perpetuo que es aquel en el cual se montorea permanentemente el nvel del nventaro y se pde una cantdad fja cuando el sstema alcanza certo nvel de exstencas determnado por las polítcas. El sstema peródco, por otra parte, determna un perodo de tempo en el cual se procede a verfcar el nvel del sstema y pedr certa cantdad de materal dependendo del nvel encontrado y tenendo en cuenta el nvel deseado. En este enfoque clásco, una vez se tene la nformacón del cuando, la cual pretende ser ofrecda por el tpo de sstema que se consdere apropado para la stuacón partcular, se presenta el problema de relaconar, costo-efectvamente el nvel de nventaro encontrado con el deseado para defnr el cuanto.

35 27 Durante el prmer terco del sglo 20, se desarrolló uno de los prmeros y mas conocdos modelos que tene su base en el cálculo y que se denomna tamaño óptmo de peddo (Economc Order Quantty, E.O.Q.). Este modelo parte de certas suposcones con respecto al sstema para determnar la cantdad deal de exstencas a solctar con el fn de cumplr con los objetvos planteados. Entre las suposcones necesaras para aplcar esta herramenta se encuentran la de homogenedad en el producto, demanda constante, unforme y conocda al gual que el tempo transcurrdo entre el peddo y la entrega del materal, preco constante por undad, costo de realzacón de cada peddo ndependente del tamaño y el rechazo de faltantes. Una vez se tene la nformacón de las característcas de la organzacón y del producto, un modelo matemátco establece la relacón de los parámetros y los objetvos proveyendo una ecuacón que permta encontrar la cantdad a pedr que cumpla con los requermentos establecdos. Como se puede aprecar en las suposcones realzadas, el modelo smplsta, en la mayoría de los casos, no representa felmente las característcas de las organzacones. Por esta razón, los resultados que se puedan obtener medante la aplcacón del modelo no van a ofrecer un efecto postvo en el desempeño del sstema. Tenendo esto en cuenta, el modelo smple ha evoluconado para abarcar stuacones más realstas dentro del mundo empresaral. Por ejemplo, se han consderado stuacones en las que exstan descuentos por volúmenes, otras en las que se acepten faltantes, o que los peddos puedan ser recbdos en forma gradual, entre varas. Luego de la segunda guerra mundal (1950), cuando el nterés en gestón de nventaros era crecente y tenendo en cuenta el desarrollo de la teoría de probabldad como una herramenta matemátca mundalmente aceptada, las nvestgacones relaconadas con los nventaros comenzaron a combnar esfuerzos de matemátcos y economstas nteresados los cuales ncluyeron el factor ncertdumbre en algunos parámetros tales como demanda y tempos de entrega para hacer mas realsta la representacón del problema. Gran cantdad de modelos dferentes fueron desarrollándose con el fn de abarcar muchas de las posbles stuacones que se puderan presentar; estos modelos deron orgen a una complacón de estudos

36 28 denomnadas Los Estudos de Stanford (Stanford Studes)[11] la cual puede ser consderada como una de las referencas fundamentales en el manejo matemátco de los nventaros. Durante y después de este perodo, comenzó la lluva de deas e nvestgacones que desarrollaban técncas matemátcas y estadístcas para obtener cantdades óptmas de peddo medante modelos de programacón dnámca y el estudo de dstrbucones de probabldad y a medda que se podía defnr stuacones genércas, se acudía a herramentas matemátcas que les puderan representar de una forma mas realsta. Es así como surgen los problemas genércos entre los cuales se encuentran el problema del almacén (Warehouse Problem) el cual, ha encontrado solucón en la ley de posson y el conocdo problema del vendedor de peródcos (News Vendor Problem) que ha sdo objeto de nnumerables estudos desde muchos puntos de vsta, entre otros. En el problema del vendedor de peródcos, una cantdad desconocda de un producto será demandada en un perodo. La dstrbucón de probabldad de la demanda es conocda, pero la cantdad real demandada no se conoce hasta que se ha tomado la decsón de cuanto ordenar (o hacer). La cantdad a vender en el perodo, será entonces, el mínmo entre la demanda y el peddo realzado, ya que no se puede vender más de lo que se tene en nventaro o de lo que pde el clente. Cuando se trabaja con dstrbucones de probabldad de demanda, tales como la normal, es mposble que esta sea satsfecha en la totaldad de los perodos, por lo que se debe tener en cuenta que exste la posbldad de que exstan faltantes. En el problema del vendedor de peródcos, las undades que no se venden se hacen obsoletas y son consderadas como pérddas. Entre las herramentas desarrolladas subsecuentemente y que srveron para la modelzacón de este tpo de problemas se encuentran los procesos de Markov, los cuales buscan determnar la esperanza matemátca de procesos estocástcos ndependentes como punto de referenca en la toma de decsones en stuacones que pueden ser representadas medante estados. Tambén hceron su aparcón las denomnadas estrategas de decsón defndas en la teoría de juegos ntroducda por John Von Neumann y Oskar Morgenstern en su lbro la teoría de juegos y el comportamento económco [24], en la cual se ntenta representar la stuacón