Teoría de la decisión

Teoría de la decisión La toma de decisiones consiste en elegir lo mejor entre lo posible Definir lo mejor y lo posible Lo mejor: - Teoría de la decisión clásica: criterios y decisiones bien definidos. Un criterio: optimización clásica (analizados en parte); Varios: decisión multicriterio clásica. - Teoría de la decisión con incertidumbre o riesgo o juegos frente a la naturaleza: criterios y decisiones sujetos a incertidumbre o riesgo. Un criterio: tablas y árboles de decisión (número pequeño de alternativas, a analizar), optimización estocástica; Varios: decisión multicriterio con incertidumbre o riesgo. - Teoría de juegos: criterios y decisiones por jugador. Un criterio: juegos, varios: juegos multicriterio. Pueden contener o no (los clásicos, a analizar) incertidumbre o riesgo. Lo posible: - Conjunto discreto - Conjunto continuo TEORÍA DE JUEGOS 1

Teoría de la decisión con incertidumbre o riesgo: juegos frente a la naturaleza 1. Introducción 2. Tablas de decisión 3. Criterios de valoración frente a incertidumbre o riesgo 3. Árboles de decisión TEORÍA DE JUEGOS 2

Introducción Problema: Decisor toma decisión ante situación con diversos estados gobernados por azar E={E 1,...,E m } Estados de la naturaleza (finito) A={A 1,...,A n } Decisiones posibles o alternativas (finito) x ij : Consecuencia de tomar decisión Ai y se dé estado Ej p j : Probabilidad de estado Ej. p j conocida: Decisión bajo riesgo pj desconocida: Decisión bajo incertidumbre TEORÍA DE JUEGOS 3

Tabla de decisión E 1 E 2... E m Estados, escenarios p 1 p 2... p m Probabilidades Decisiones, A 1 x 11 x 12... x 1m Matriz de pagos alternativas A 2 x 21 x 22... x 2m o consecuencias o acciones : : :... : A n x n1 x n2... x nm TEORÍA DE JUEGOS 4

Criterios de valoración frente a incertidumbre (i) Criterio del valor esperado: Decidir los resultados esperados o medios (bueno cuando el proceso de decisión se repite muchas veces) Criterio de la moda: Decidir con el escenario moda (bueno cuando el proceso de decisión se lleva a cabo una vez) Criterio de escenario medio: Cuando el espacio de estados es numérico obtener escenario medio y decidir con la valoración de los resultados para ese escenario (típicamente se emplea cuando se trata de simplificar el problema; si linealidad, coincide con el del valor esperado) TEORÍA DE JUEGOS 5

Criterios de valoración frente a riesgo (ii) Criterio de Wald o minimax-maximin o pesimista: Decidir con los peores resultados Costes: mínimax; Ganancias: maximin Criterio optimista: Decidir con los resultados mejores (demasiado optimista) Criterio de Hurwicz: Actitudes entre la más pesimista y la más optimista:α (0 α 1) índice optimismo Valorar: α Lo mejor+(1-α) Lo peor Criterio de Savage o (para ganancias) de costes de oportunidad o minimizar máximo arrepentimiento: Calcular matriz penalizaciones o costes oportunidad: lo mejor del estado valor tabla, y aplicar mínimax (supone aversión al riesgo) TEORÍA DE JUEGOS 6

Ejemplo criterios de valoración (i) Demanda: 1 (Prob=0 1), 2 (0 3), 3 (0 4), 4 (0 2). Alternativas: producir 1, 2, 3 o 4 Prec. unit. venta: 6500; Prec. unit. venta asegurada stock siguiente día: 4000; Cost. unit. producir: 5000 Ganancias D 1 =1 D 2 =2 D 3 =3 D 4 =4 P 1 =0 1 P 2 =0 3 P 3 =0 4 P 4 =0 2 A 1 =1 1500 1500 1500 1500 A 2 =2 500 3000 3000 3000 A 3 =3-500 2000 4500 4500 A 4 =4-1500 1000 3500 6000 TEORÍA DE JUEGOS 7

Ejemplo criterios de valoración (ii) A) Ganancia esperada: A1: 1500 A2: 2750 A3: 3250 A4: 2750 Moda: A1: 1500 A2: 3000 A3: 4500 A4: 3500 Escenario medio: 0.1 1+0.3 2+0.4 3+0.2 4=2.7 A1: 1500 A2: 3000 A3: 3750 A4: 2750 6500 2.7+4000 0.3-5000 3 B) Wald: A1: 1500 A2: 500 A3: -500 A4: -150 Optimista: A1: 1500 A2: 3000 A3: 4500 A4: 6000 TEORÍA DE JUEGOS 8

Ejemplo criterios de valoración (iii) B) Hurwicz: A1: 1500 A2: 3000α+500(1-α) A3: 4500α-500(1-α) A4: 6000α-1500(1-α) α<0 4 elegir A1, α 0 4 elegir A4 6000 4500 3000 1500 A4 A3 A2 A1 500 0-500 1500-1500 Savage: Matriz de penalizaciones. Aplicación del criterio mínimax. 0 1500 3000 4500 4500 1000 0 1500 3000 3000 2000 1000 0 1500 2000 3000 2000 1000 0 3000 TEORÍA DE JUEGOS 9

Valor esperado de la información perfecta (VEIP) VEIP = Ganancia esperada con información perfecta - Ganancia esperada con incertidumbre Ganancia esperada con información perfecta (GEIP): Para cada estado mejor decisión y esperanza Ganancia esperada con incertidumbre: Dada la decisión elegida, esperanza de la ganancia Ejemplo: Ganancia esperada con información perfecta: D1:1(0'1) D2 :2(0'3) D3:3(0'4) D4 :4(0'2) A(1500) A (3000) A (4500) A (6000) GEIP= 4050 1 2 3 4 Si la decisión es A3: Ganancia esperada con incertidumbre 3250 VEIP = 4050-3250 = 800 (Equivale a criterio de Savage con penalización esperada) VEIP se puede entender como lo que se está dispuesto a pagar por tener la certeza del estado que se va a dar (valor de la información). TEORÍA DE JUEGOS 10

Árboles de decisión Problema: decidir en un proceso polietápico en el que se toman decisiones de manera secuencial según los escenarios de la incertidumbre Representación: Árboles de decisión: Vértice inicial o raíz: salen tantos arcos como acciones iniciales hay Vértice de azar: salen tantos arcos como estados de la naturaleza posibles en ese punto Vértice de decisión: salen tantos arcos como acciones posibles en ese punto Vértice terminal u hoja: asignar coste o beneficio El árbol se construye de raíz a hojas, y se valora de hojas a raíz: Nodos de azar: valorar con algún criterio (típicamente el valor medio) Nodos de decisión: Elegir la mejor decisión que de lugar a un mayor beneficio. Las decisiones no seleccionadas se consideran rechazadas (camino eliminado) TEORÍA DE JUEGOS 11

Ejemplo Un vendedor ambulante ha de decidir si va a acudir a una feria: Si va tendrá que pagar 40.000 euros (licencia). Sabe que el 30% de las veces las previsiones meteorológicas son de mal tiempo, en cuyo caso la experiencia le sugiere no ir. Si va puede hacer dos tipos de pedidos: o Pedido grande de 900 unidades, con un precio unitario de compra de 100 euros y un precio de venta de 300 euros. o Pedido pequeño de 600 unidades, que comprará a 125 euros y venderá a 350. Una vez en la feria, estima que la demanda puede ser de tres tipos con probabilidades 0'3, 0'5 y 0.2, respectivamente: o Alta de 900 unidades. o Media de 600 unidades. o Baja de 300 unidades Si la demanda es mayor que la cantidad de productos que ha llevado, el precio de venta se verá reducido en 50, en concepto de penalización. TEORÍA DE JUEGOS 12

59.000 D.Alta 0'3 140.000 P. Grande A2.1 D.Media 0'5 50.000 Permiso 33.500 D2.1 Buen tiempo 0'7 33.500 A1.1 Mal tiempo 0'3 65.000 D3.1 P. Pequeño -40.000 65.000 A'2.1 D.Baja 0'2 D.Alta 0'3 D.Media 0'5 D.Baja 0'2-40.000 65.000=300 600-300 125-40000 95.000-10.000 No Permiso 0 Política óptima: pedir permiso y si hace buen tiempo ir con pedido pequeño TEORÍA DE JUEGOS 13

Árboles de decisión: Información parcial Es posible incorporar información parcial al árbol de decisión Se necesita análisis bayesiano: - Teorema de Bayes PAC ( / ) = P( C/ A) P( A) PC ( ) - Teorema de la probabilidad total P( A) = P( A/ B) P( B) + P( A/ M) P( M) Siendo B y M sucesos complementarios (B y M no tienen porque estar relacionados con A) TEORÍA DE JUEGOS 14

Aplicando información parcial al ejemplo: Se tiene la opción de consultar a un experto en pronosticar clima por 10.000 euros, sabiendo que: - cuando hizo bueno acertó 3 de cada 5 veces - cuando hizo malo acertó 2 de cada 5 veces. Se presenta una decisión previa a decidir si va a pedir el permiso, que es si consultar al experto. Así ahora el nodo inicial es otro del que salen dos arcos, uno que es consultar al experto y otro que es no hacerlo. Este último caso arco sostiene un subárbol igual que el de antes, valorado como se vio en 33.500. TEORÍA DE JUEGOS 15

Para el otro arco, hay que tener en cuenta que tras la consulta viene un nodo de azar acerca del resultado de la consulta, y que además según sea este resultado modifica las posteriores probabilidades de ocurrencia de buen tiempo y mal tiempo (todo ello fiándonos de lo que dice el experto, claro está). B, DB: Estado y predicción de demanda alta R, DR: Estado y predicción de demanda media P(col/fila) DB DM B 3/5 2/5 M 3/5 2/5 TEORÍA DE JUEGOS 16

Aplicando el teorema de la probabilidad total podemos obtener directamente la probabilidad de que el experto diga que hará bueno o no, que son las probabilidades del nodo del experto: PDB ( ) PDB ( / BPB ) ( ) PDB ( / MPM ) ( ) 0.60.70.60.3 0.6 PDM ( ) PDM ( / BPB ) ( ) PDM ( / MPM ) ( ) 0.4 0.7 0.4 0.3 0.4 Estas probabilidades afectan a las probabilidades que habrá que poner en los arcos posteriores cuando se llegue al nodo de la previsión meteorológica de septiembre, ya que las probabilidades han de ser probabilidades condicionadas a los valores que la aleatoriedad haya tomado previamente PDB ( / BPB ) ( ) 0.6 0.7 PB ( / DB) 0.7 PDB ( ) 0.6 PDB ( / MPM ) ( ) 0.6 0.3 PM ( / DB) 0.3 PDB ( ) 0.6 PDM ( / BPB ) ( ) 0.4 0.7 PB ( / DM) 0.7 PDM ( ) 0.4 PDM ( / MPM ) ( ) 0.4 0.3 PM ( / DM) 0.3 PDM ( ) 0.4 TEORÍA DE JUEGOS 17

Obsérvese que las probabilidades de que haga buen o mal tiempo no se ven afectadas por lo que diga el experto, de modo que éste no es más que un embaucador que pretende engañar al vendedor y aprovecharse de su buena fe. 49.000 D.Alta 0'3 130.000 Consulto D1 No consulto 23.500 Pronostica B 0 6 A1 Pronostica M 0 4 23.500 D2.1 Permiso No Permiso 23.500 D2.2 Permiso No Permiso Buen tiempo 0'7 23.500 A1.1 Mal tiempo 0'3 0 Buen tiempo 0'7 23.500 A1 Mal tiempo 0'3 0 P. Grande 55.000 D3.1 P. Pequeño -40.000 P. Grande 55.000 D3.2 P. Pequeño -40.000 A2.1 D.Media 0'5 D.Baja 0'2 55.000 D.Alta 0'3 A'2.1 D.Media 0'5 D.Baja 0'2 49.000 D.Alta 0'3 A2.2 D.Media 0'5 D.Baja 0'2 55.000 A'2.2 D.Alta 0'3 D.Media 0'5 D.Baja 0'2 40.000-50.000 55.000 85.000-20.000 130.000 40.000-30.000 55.000 85.000-20.000 33.500 MISMO ARBOL QUE ANTES TEORÍA DE JUEGOS 18

Teoría de juegos o juegos estratégicos 1. Introducción 2. Clasificación 3. Juegos bipersonales finitos, estáticos y no cooperativos Matriz de pagos y estrategias dominadas Estrategias en equilibrio (Nash) 4. Juegos bipersonales finitos, estáticos, no cooperativos y de suma nula Matriz de pagos y estrategias dominadas Estrategias minimax y maximin, y mixtas en equilibrio 5. Ejemplo de juego bipersonal continuo, estático, no cooperativos: Duopolio de Cournot TEORÍA DE JUEGOS 19

Introducción Situaciones de conflicto y competencia entre decisores La consecución de objetivos no sólo depende de decisiones propias (y posiblemente del azar) sino de las decisiones de los competidores Criterios racionales de selección de estrategias para su propio beneficio Los elementos que intervienen en un juego son, además de los jugadores, los siguientes: 1. Las estrategias de los jugadores: para cada jugador se tiene un conjunto de estrategias. 2. Los pagos de los jugadores: cada jugador tiene una función que determina el pago que recibe el jugador cuando cada uno de ellos adopta una de sus posibles estrategias. TEORÍA DE JUEGOS 20

Clasificación de juegos bipersonal Número de jugadores n-personales finito Número de estrategias infinito estático Evolución temporal dinámico cooperativo Intercambio de información entre jugadores no cooperativo TEORÍA DE JUEGOS 21

suma constante Variación de la riqueza suma no constante completa Cantidad de información de que disponen no completa perfecta Cantidad de información que adquieren no perfecta TEORÍA DE JUEGOS 22

Juegos bipersonales finitos, estáticos y no cooperativos Matriz de pagos X conjunto de estrategias del jugador 1 Y conjunto de estrategias del jugador 2 M (, ) 1 xy utilidad o pago que recibe el jugador 1 M (, ) 2 xy utilidad o pago que recibe el jugador 2 Para estrategias finitas: J2 ( a11, b11 ) J 1 ( aij, bij ) ( amn, bmn ) matriz de pagos a ij pago que recibe el jugador 1 si elige la i-ésima estrategia y el jugador 2 elige la j-ésima estrategia b pago que recibe el jugador 2 si elige la j-ésima estrategia y el jugador 1 elige la i-ésima ij estrategia TEORÍA DE JUEGOS 23

Ejemplo juego de suma no constante Dos delincuentes son detenidos y acusados de cometer un delito conjuntamente. Los delincuentes están incomunicados y pueden delatar o no al otro. Si ambos delatan les caen 5 años de prisión a cada uno. Si uno delata y el otro no le caen 20 años para el delatado y 0 para el delator. Si ninguno delata les caen 1 año a cada uno. J 2 Del No Del J 1 Del (-5,-5) (0,-20) No Del (-20,0) (-1,-1) TEORÍA DE JUEGOS 24

Juegos bipersonales finitos, estáticos y no cooperativos Estrategias dominadas Estrategia dominada Estrategia de un jugador que independientemente de lo que haga el otro jugador siempre es igual o peor que otra, y por lo tanto pueden ser eliminadas del juego. (2, 2) ( 1,1) (0, 0) (3, 3) (4, 4) (5, 5) (2, 2) (5, 5) (2, 2) La secuencia de eliminación de estrategias dominadas para este caso es: (2, 2) ( 1,1) (0, 0) D. (3, 3) (4, 4) (5, 5) (3, 3) (4, 4) (5, 5) (3, 3) (3, 3) (2, 2) (5, 5) (2, 2) (2, 2) (5, 5) (2, 2) (2, 2) TEORÍA DE JUEGOS 25

Juegos bipersonales finitos, estáticos y no cooperativos Estrategias en equilibrio (Nash) * * ( x, y ) es un par de estrategias en equilibrio si y sólo si ningún jugador quiere cambiar de estrategia de forma unilateral (definición aplicable para todo tipo de juegos). * * * M1( x, y ) M1( x, y ) x X * * * M2( x, y ) M1( x, y) y Y En el dilema del prisionero (Del,Del) es la estrategia de equilibrio. Si el juego fuera cooperativo (paso de información entre jugadores) la estrategia de equilibrio sería la (NoDel,NoDel). No siempre las estrategias puras en equilibrio permiten evidenciar una solución, como ocurre en el siguiente juego (incluso puede no existir equilibrios): Mujer Fútbol Teatro Hombre Fútbol (2,1) (0,0) Teatro (-1,-1) (1,2) TEORÍA DE JUEGOS 26

Juegos bipersonales, finitos, estáticos, no cooperativos y de suma nula Matriz de pagos Por naturaleza son no cooperativos. Basta con dar la matriz de pagos de un jugador. Matriz de pagos vista como pagos al jugador 1. J 2 E 1 E 2 E 3 E 1 1 2 4 J 1 E 2 1 0 5 E 3 0 1-1 TEORÍA DE JUEGOS 27

Juegos bipersonales, finitos, estáticos, no cooperativos y de suma nula Estrategias dominadas Las estrategias dominadas para J2 son las que mejores pagos tienen para J1. Ejemplo estrategias dominadas J 2 E 1 E 2 E 3 E 1 1 2 4 J 1 E 2 1 0 5 E 3 0 1-1 TEORÍA DE JUEGOS 28

Se elimina estrategia E3 del jugador 1 por estar dominada por E1: J 2 E 1 E 2 E 3 E 1 1 2 4 J 1 E 2 1 0 5 Se elimina estrategia E3 del jugador 2 por estar dominada por E1 y E2 J 2 E 1 E 2 E 1 1 2 J 1 E 2 1 0 TEORÍA DE JUEGOS 29

Se elimina estrategia E2 del jugador 1 por estar dominada por E1 J 1 J 2 E 1 E 2 E 1 1 2 Se elimina estrategia E2 del jugador 2 por estar dominada por E1 J 1 E 1 E 1 1 J 2 TEORÍA DE JUEGOS 30

Juegos bipersonales, finitos, estáticos, no cooperativos y de suma nula Estrategias mínimax y maximin El punto de equilibrio es el denominado punto óptimo del juego (estrategias óptimas o en equilibrio). Se pueden obtener con las denominadas estrategias mínimax para J1 y maximin para J2: minimizar la pérdida máxima (criterio de aversión al riesgo, cada jugador espera lo peor). Si minimax y maximin coinciden en valor (valor inferior v =valor superior v ) entonces la solución es estable, se trata de un punto de equilibrio. Valor del juego: Pago al jugador 1 cuando ambos jugadores lo hacen de manera óptima. Juego justo: Cuando el valor del juego es 0 (ningún jugador se lleva nada). TEORÍA DE JUEGOS 31

Ejemplo estrategias mínimax para J1 y máximin para J2 J 2 Min E 1 E 2 E 3 E 1-3 -2 6-3 J 1 E 2 2 0 2 0 Maximin=v E 3 5-2 -4-4 Max 5 0 6 Mínimax=v Maximin o valor inferior del juego: máximo de los pagos mínimos para el jugador 1 Mínimas o valor inferior del juego: mínimo de los pagos máximos para el jugador 2 Las estrategias (E2,E2) es un par de estrategias en equilibrio cuyo valor del juego es 0 (valor inferior=superior=0), y por tanto es un juego justo. TEORÍA DE JUEGOS 32

Solución inestable J 2 Min E 1 E 2 E 3 E 1 0-2 2-2 maximin J 1 E 2 5 4-3 -3 E 3 2 3-4 -4 Max 5 4 2 minimax TEORÍA DE JUEGOS 33

Juegos bipersonales, finitos, estáticos, no cooperativos y de suma nula Procedimiento de resolución en estrategias puras (originales) 1. Buscar estrategias puras dominadas y eliminarlas del juego. Las estrategias dominadas de J2 tienen mayores pagos en la matriz de J1. 2. Buscar estrategias puras en equilibrio. Dos alternativas: Analizar directamente la matriz de pagos de J1. Obsérvese que en este caso fijada una estrategia de J1, la estrategia óptima de J2 es la que menores pagos tiene. Encontrar las estrategias minimax y maximin para comprobar si hay solución estable. TEORÍA DE JUEGOS 34

Juegos bipersonales, finitos, estáticos, no cooperativos y de suma nula Estrategias mixtas A cada posible estrategia de cada jugador éste le asigna una probabilidad. x i probabilidad de que el jugador 1 use la estrategia i i=1,...,m i x i =1 y j probabilidad de que el jugador 2 use la estrategia j j=1,...,n j y j =1 p pago para el jugador 1 si éste utiliza la estrategia pura i y el jugador 2 utiliza la j ij Pago esperado para el jugador 1 m n i= 1 j= 1 xy p i j ij v valor del juego v maximin para jugador 1 v minimax para jugador 2 TEORÍA DE JUEGOS 35

Criterio minimax para estrategias mixtas de J1 El jugador J1 (resp. J2) debe elegir la estrategia mixta que minimice (resp. maximice) la máxima pérdida (resp. mínima ganancia) esperada. Teorema minimax Cualquier juego bipersonal, finito, estático, no cooperativo y de suma nula tiene al menos una estrategia mixta en equilibrio, es decir, si se permiten estrategias mixtas, existen estrategias óptimas estables (v = v = v). Además las estrategias mixtas en equilibrio se pueden obtener mediante dos problemas de programación lineal casi duales, por lo que es suficiente con resolver uno. TEORÍA DE JUEGOS 36

Solución para J1 por programación lineal max v m i= 1 m i= 1 xp v j= 1, K, n i i ij = 1 x 0 i = 1, K, m i j= 1 j= 1 x Solución para J2 por programación lineal min w n n yp w i= 1, K, m j j ij = 1 y 0 j = 1, K, n j y TEORÍA DE JUEGOS 37

En el óptimo v * = w *. Resuelto el problema de un jugador las estrategias óptimas del otro son las variables duales cambiadas de signo. Resuelto el problema de J2, son los costes reducidos para las variables de defecto. Resuelto el problema de J1, son los costes reducidos de las variables de exceso cambiados de signo. Procedimiento de resolución en estrategias mixtas 1. Encontrar estrategias puras en equilibrio como se comento anteriormente. Si existen, es la solución. Si no, ir al paso 2. 2. Resolver el problema con estrategias mixtas por LP TEORÍA DE JUEGOS 38

Ejemplo juego de 2 jugadores de suma nula J 2 Min Papel Piedra Tijeras Papel 0 1-1 -1 J 1 Piedra -1 0 1-1 Tijeras 1-1 0-1 Max 1 1 1 No hay estrategias dominadas. No tiene punto de equilibrio en estrategias puras. TEORÍA DE JUEGOS 39

Problema de optimización del jugador 2 min w 2 3 1 3 1 2 y + y + y = 1 i 1 2 3 0 y y w y + y w y y w y ( y, y, y ) = (1 3,1 3,1 3) = costes reducidos var. de defecto * * * 1 1 1 ( x, x, x ) = (1 3,1 3,1 3) * * * 1 1 1 Valor del juego v * =w * =0. Para cada jugador la estrategia óptima es sacar cualquier elemento con igual probabilidad. TEORÍA DE JUEGOS 40

Modelo de equilibrio de Cournot (i) Es un juego igual que los anteriores pero con estrategias continuas Dos empresas compiten en un mercado por un producto homogéneo (i.e., no hay diferencia en quién lo produce). Las empresas no pueden cooperar El proceso se realiza sólo una vez (juego estático) a Q Q< a Precio del producto es elástico PQ ( ) = 0 Q> a Coste de producción unitario igual para las dos empresas. Coste total función de la cantidad producida Cq ( i ) = cq i y menor que el precio máximo de venta c< a (para evitar producciones óptimas iguales a cero) La cantidad total a producir es Q= q1+ q2 TEORÍA DE JUEGOS 41

Modelo de equilibrio de Cournot (ii) Espacio de estrategias de cada empresa X i = [0, ) Función de pagos (beneficios netos) π ( q, q ) = q[ P( q + q ) c] = q[ a ( q + q ) c] Queremos maximizar la función de pagos Para la empresa i π i i j i i j i i j * * max π ( q, q ) = max q[ a ( q + q ) c] qi 0 i i j qi 0 i i j * i( qi, qj) * * 1 * = a 2qi qj c= 0 qi = ( a qj c) qi 2 * * a c Punto de equilibrio q1 = q2 = ; demanda 3 * 2 a+ 2c PQ ( ) = a ( a c) = 3 3 * * * 2 Q = q1 + q2 = ( a c ) y precio 3 TEORÍA DE JUEGOS 42