Agentes autónomos. Agentes. Racionalidad. Sistemas multiagentes. Dilema del prisionero. El trato

Transcripción

1 Agentes Agentes autónomos Entidades (independientes) Físicos, de software o abstractos Cada agente tiene una identidad Observan su ambiente (via sensores o lectores) Interactuan con su ambiente (via actuadores) Sistemas multiagentes Racionalidad Agente = software y/o hardware que opera de manera autónoma en un ambiente específico para cumplir con ciertos objetivos previamente definidos Cada individuo busca maximizar su recompensa Un cambio en un sistema que resulta en la reducción de las recompensas de algunos individuos, típicamente causa un aumento por lo menos compensatorio en las recompensas de otros individuos Dilema del prisionero El trato La policía ha atrapado a dos ladrones, & La policía sospecha que ellos sean los culpables a un gran robo, aunque no cuentan con evidencia suficiente para lograr la convicción sin confesión Sin embargo, se les podría encarcelar a cada uno por un año por posesión de armas no registradas Han separado a y a celdas privadas para que no puedan comunicarse Tucker, 1950 Un detective visita a cada uno y les ofrece el siguiente trato: Si confiesas y tu cómplice sigue mudo, él será condenado a 5 años y tú saldrás libre. Si confiesa él y tú no, vas a ser tú quien queda por 5 años y él caminará. Si no confiesa ninguno, aquí se quedan los dos por un año. Si ambos confiesan, serán condenados a 3 años ambos.

2 Formulación tabular Formulación tabular Acciones de -3, -3 0, -5-5, 0-1, -1-3, -3 0, -5-5, 0-1, -1 Formulación tabular Formulación tabular Acciones de -3, -3 0, -5-5, 0-1, -1 Recompensas (, ) -3, -3 0, -5-5, 0-1, -1 Formulación tabular Razonamiento de cada uno Estrategia = selección de una acción -3, -3 0, -5 Óptimo -5, 0global -1, -1 Si él confiesa y yo no, mis opciones son servir 5 años por haber negado o 3 por confesar yo también. Me resulta mejor confesar si él confiesa. Si él niega, mis opciones son servir un año por haber negado o confesar y salir libre. Me resulta mejor confesar si él niega. Sin importar lo que hace él, me resulta mejor confesar.

3 Resultado Estrategia dominante Llegan a (-3, -3) que no es el óptimo global Porqué no? Bajo qué circunstancias podrían llegar al óptimo global? En un juego de n jugadores, cada uno cuenta con su conjunto de estrategias posibles Cada jugador evalua cada combinación de acciones de los demas desde su punto de vista individual Si una estrategia S da siempre un mejor resultado contra cualquier combinación de las acciones de los demás, se dice que S es una estrategia dominante para el jugador Equilibrio Otro juego Denotamos por Si la estrategia dominante del jugador i Si cada jugador tiene una estrategia dominante, la combinación (S1, S2,, Sn) es un equilibrio de estrategias dominantes del juego Hay dos opciones para la instalación de un sistema nuevo: básico y avanzado. Cuál instalar? Usuario Estrategias dominantes? Proveedor Avanzado Básico Avanzado 10, 10 0, 0 Básico 0, 0 3, 3 Equilibrio Nash Tragedia de los comunes = una combinación de estrategias donde nadie tiene incentivo para cambiar su elección si nadie más cambia el suyo No hay cambio = Equilibrio Cada jugador busca el mejor pago bajo dado las acciones de los demás Pueden existir múltiples equilibrios de Nash Sobreuso del recurso comun Explicación: cada jugador busca aumentar su uso del recurso común hasta que se supere el límite de tolerancia del recurso Ejemplos?

4 Juegos cooperativos Criterio de Pareto Cooperación en vez de competición Hay que ordenar los posibles resultados del juego según la utilidad global para saber cuál es el mejor resultado Sea Ri = (r1, r2,, rn) un vector de las ganancias de los jugadores Ri es mejor que Rj si por lo menos un jugador k gana más y nadie pierde r i (k) >r j (k) ^ 8` : r i (`) r j (`) Soluciones Pareto-óptimas Juegos de suma cero = las soluciones que cumplen con el criterio de Pareto con respeto a todos los otros vectores Forman la región de Pareto del juego Los pagos de cada combinación suman a cero Lo que gana uno, pierde el otro Asignación de precios Reglas del juego Dos empresas producen bebidas parecidas El costo de operación de la empresa es fijo Hay dos políticas de precio: precio bajo y precio alto Las ventas dependen del precio Demanda depende del precio Los consumidores siempre compran lo más barato Costo de operación $200 Precio alto $2 por botella Precio bajo $1 por botella Demanda total con precio alto es 200 Demanda total con precio bajo es 400 Si el precio es igual, las ventas son iguales

5 Forma tabular Criterio max-min Coca Cola Barato Pepsi Caro Barato 0, 0 200, -200 Caro -200, 200 0, 0 Cada jugador elige aquella estrategia que le maximiza la ganancia mínima Matching pennies Matching pennies Un jugador elige diferentes y el otro iguales Cada uno tiene une moneda y elige cómo va a mostrarlo ( heads o tails ) Si ambos elejieron igual, iguales gana la moneda de su oponente Si elejieron diferentes, el ganador es diferentes Un jugador elige diferentes y el otro iguales Cada uno tiene une moneda y elige cómo va a mostrarlo ( heads o tails ) Si ambos elejieron igual, iguales gana la moneda de su oponente Si elejieron diferentes, el ganador es diferentes Iguales Diferentes Heads Tails Heads 1, -1-1, 1 Tails -1, 1 1, -1 Estrategias mixtas Von Neumann En vez de elegir una acción, el jugador define una distribución de probabilidad sobre sus posibles acciones Esta distribución es una estrategia mixta Notación para nuestro juego de monedas: p para heads, 1 - p para tails para iguales lo mismo con q para diferentes Para cada juego de suma cero de dos jugadores, existe una solución max-min de estrategias mixtas, si no de puras

6 Equilibrio de Nash revisitado Ganancia esperada Es posible que exista un equilibrio de Nash de estrategias mixtas cuando no existe uno de estrategias puras Si uno conoce las estrategias de los demás, su ganancia esperada por una estrategia mixta (p1, p2,, pm) sobre m acciones posibles es Exp[G i ]= k=1 donde gk es el pago de jugar opción k mx p k g k, Función de mejor respuesta Aplicaciones La mejor respuesta es la estrategia que maximiza la ganancia esperada Se puede formular una función de selección de la mejor respuesta donde las estrategias de los demás entran como parámetros Los equilibrios de Nash se ubican en las intersecciones de las funciones de mejor respuesta de los jugadores Análisis económico: subastas & tratos Operaciones militares Sociología y biología Reproducción, señalación, territorios Epidemiología Ciencias políticas Computación Duopolio de Cournot Mejor respuesta Jugadores: dos empresas con productos idénticos Estrategias: cantidades de producción Costos: función de costo de producción Precio unitario: función de demanda inversa Ganancia: p(c 1 + c 2 ) 0 c i 0 g i (c i ) 0 c i p(c 1 + c 2 ) g i (c i ) Ambas empresas buscan maximizar su ganancia Analizamos qué haría empresa i suponiendo que la otra empresa produce una cantidad constante C G i (c i )=c i p(c 1 + C) g i (c i ) G 0 i(c i )=0

7 Equilibrio Subastas La otra empresa j al observar ci razona de forma igual Luego, la empresa i observa el nuevo cj y reacciona Esto se itera hasta que ninguna de las dos empresas cambia su cantidad de producción Valor subjetivo del objeto al participante i es vi Dos opciones comunmente utilizadas: Subasta del primer precio: el ganador paga lo que ofreció Subasta del segundo precio: el ganador paga lo que ofreció el segundo Conducta humana Minimización de riesgo Se conoce que cuando una población de jugadores humanos se encuentra en un equilibrio de Nash, ese equilibrio suele persistir Lo que no se conoce es el mecanismo que nos lleva al equilibrio Al suponer que los jugadores son racionales y conocen el equilibrio del juego, uno todavía no siempre logra predecir la conducta humana Elementos altruísticos Los humanos frecuentemente no buscan maximizar la ganancia, sino minimizar el riesgo Vamos a ver la irracionalidad e inconsistencia de la humanidad a través de un ejemplo de dos juegos Dos juegos Primer juego de dos opciones: (a) Recibir una ganancia pequeña pero segura S (b) Recibir una ganancia grande G con probabilidad p y nada con probabilidad 1 - p Segundo juego de dos opciones: (a) Una pérdida segura pero pequeña -S (b) Una pérdida grande -G con probabilidad p y ninguna consequencia con probabilidad 1 - p Biología Un juego de maximizar el número de nietos resulta en una distribución de hijos varones y hembras

8 Halcones y palomas Forma tabular R = comida -D = Daño por pelea entre dos halcones Palomas no se pelean Comparten entre ellos Huyen de los halcones Un halcón siempre gana a una paloma Halcón Paloma Halcón ½ (R - D), ½ (R - D) R, 0 Paloma R, 0 ½ R, ½ R Estabilidad evolucionaria Si R > D, los halcones tienen estabilidad evolucionaria Las palomas nunca lo tienen Un sólo falcón puede invadir una populación de palomas de cualquier tamaño.