VivaMéxico sin PRI. Quiero que mi país sea de todos. Dr. Ivo H. Pineda Torres. Primavera Lllegó el calor sabroso

Transcripción

1 VivaMéxico sin PRI Quiero que mi país sea de todos. Dr. Ivo H. Pineda Torres Facultad de Ciencias de la Computación Benemérita Universidad Autónoma de Puebla Primavera Lllegó el calor sabroso

2 IMAGENESpemexmorena Esto si es pobreza 2 of 79

3 IMAGENESpemexmorena BUQUEDA ENTRE ADVERSARIOS Bibliografía: LIBRO DE TEXTO capitulo-6 Y DE INTERNET en particular: LSI-FIB-UPC 2.BH4-juegos.pdf Este tema se evalúa con examen, estudiarlo. 3 of 79

4 IMAGENESpemexmorena Temario 6.1 juegos 6.2 Decisiones óptimas en juegos. Estrategias óptimas. Algoritmo MiniMax Decisiones óptimas multijugador. 6.3 Poda Alfa Beta 6.4 Decisiones imperfectas Funciones de Evaluación Corte de la Búsqueda. Y hay más 4 of 79

5 IMAGENESpemexmorena Juegos 1 Uso: Decidir mejor jugada en cada momento para cierto tipo de juegos. 2 Hay diferentes tipos de juegos según sus características: Numero de jugadores, toda la información conocida por todos los jugadores, azar, indeterminismo, cooperacióncompetición, recursos limitados, 3 Nos focalizaremos en juegos con: 2 jugadores. Movimientos alternos (jugador MAX, jugador MIN) Información perfecta Por ejemplo: ajedrez, damas, otello, go,... 5 of 79

6 IMAGENESpemexmorena elementos Jugadores: personas, empresas, naciones, entes biológicos, etc. Conjunto de estratégias: operadores o acciones Resultado o Valor del juego: estados objetivoss Conjuntos de Pagos para cada jugador: función de utilidad sobre las estrategias 6 of 79

7 IMAGENESpemexmorena Propiedades de los juegos Desde la perspectiva de la teoría de juegos Determinísticos, turn-taking(te toca jugar a tí), 2-jugadores, juegos de suma cero o información perfecta. Desde la perspectiva de la Inteligencia Artificial Determinísticos. Completamente observables. Dos agentes con acciones alternadas. Valor de utilidad al final de juego debe ser igual al del contrario. En ajedrez un jugador gana (+1), y uno pierde(-1). Esto es lo opuesto a los agentes que hacen la acción opuesta. 7 of 79

8 IMAGENESpemexmorena otras perspectivas Desde la perspectiva cooperativa no cooperativos Número de jugadores n=2, bipersonales: por naturaleza no cooperativos n>2, n-personales: Pueden ser cooperativos. Dan lugar a coaliciones. Beneficios: Suma nula (habituales en IA): la suma de beneficios y pérdidas de los jugadores debe ser 0 8 of 79

9 IMAGENESpemexmorena Por que son interesantes los juegos para la Inteligencia Artificial Poseen un factor alto de ramificación Una búsqueda exhaustiva del árbol no es práctico Encontrar una solución óptima es duro y difícil 9 of 79

10 IMAGENESpemexmorena Formas de representación de un juego Forma matricial: matriz de balances finales o matriz del juego: proporciona la utilidad de cada estrategia de cada jugador para cada acción del resto de jugadores. J2 J1 A B A 2-3 B 0 2 C of 79

11 IMAGENESpemexmorena cont El juego puede ser definido como un problema de espacio de estados donde tenemos: Estado = Elementos del juego Estados finales= Estados ganadores (Definidos por sus propiedades) Accionesoperadores = Reglas del juego Son problemas con características especiales La accesibilidad de los estados depende de las acciones elegidas por el contrario. Dos tipos de soluciones diferentes (una para cada jugador) No hay nocion de optimalidad (todas las soluciones son iguales, no importa el camino). 11 of 79

12 IMAGENESpemexmorena RAMIFICACIONES Go Otelo 12 of 79

13 IMAGENESpemexmorena Elementos del problema de la búsqueda Estado Inicial: Considera posición en el tablero y el jugador Función sucesor: Regresa una lista en forma de pares(accción, estado), indicando una movida legal y regresa el estado que resulte. Prueba de terminación: Determina si se ha finalizxado el juego Función de utilidad: valor numérico para la representación de un estado terminal, es la utilidad que se le da a un jugador. En ajedrez, el resultado es ganar, perder o empate con valores de +1, -1 o 0 13 of 79

14 IMAGENESpemexmorena Arbol del juego Definido por el estado inicial y las jugadas permitidas 14 of 79

15 IMAGENESpemexmorena Estados terminales Utilidad para el jugador X 15 of 79

16 IMAGENESpemexmorena Por que no pensar en decisiones óptimas Consideremos Dos jugadores llamados MIn y MAX MAX mueve primero Se jugará hasta que el juego se termine Al final del juego se otrogan los puntos al ganador y al perdedor sus correspondientes penalidades. 16 of 79

17 IMAGENESpemexmorena MAX and Linder Estrategia óptima para MAX La solución óptima para MAX es una secuencia de movimientos que lo lleven al estado terminal en el cual él gana. MIN no es tonto y tambien trata de ganar La estrategia para MAX es elegir una trayectoria que lo lleve al mejor estado terminal, dado que MIn está tratando de encontrar el mejor estado terminal que lo ponga como ganador. 17 of 79

18 IMAGENESpemexmorena Estrategias Estrategia óptima para MiniMax el valor MinMax de un nodo es la utilidad (para MAX) de estar en un estado correspondiente para llegar a la meta o final del juego. el valor de MiniMax de un estado terminal es su utilidad. MAX prefiere moverse a un estado de valor máximo, mientras que MIN prefiere moverse a un estado de mínimo valor(de acuerdo al punto de vista de MAX) 18 of 79

19 IMAGENESpemexmorena digamos que La aproximación trivial es generar todo el árbol de jugadas Etiquetamos las jugadas terminales dependiendo de si gana MAX o MIN (+1 o -1) El objetivo es encontrar un conjunto de movimientos accesible que de como ganador a MAX Se propagan los valores de las jugadas terminales de las hojas hasta la raíz, elegimos una rama de una hoja ganadora accesible Una búsqueda en profundidad minimiza el espacio En juegos mínimamente complejos esta búsqueda es impracticable (p.e.: ajedrez O(2 35 ), go O(2 300 )) 19 of 79

20 IMAGENESpemexmorena Gato 1 20 of 79

21 IMAGENESpemexmorena Gato 2 21 of 79

22 IMAGENESpemexmorena Gato 3 22 of 79

23 IMAGENESpemexmorena Gato 4 23 of 79

24 IMAGENESpemexmorena Gato 5 24 of 79

25 IMAGENESpemexmorena Búsqueda con adversario usando heurísticas 1 Aproximación heurística: Definir una función que nos indique lo cerca que estamos de una jugada ganadora (o perdedora) 25 of 79

26 IMAGENESpemexmorena Búsqueda con adversario usando heurísticas 1 Aproximación heurística: Definir una función que nos indique lo cerca que estamos de una jugada ganadora (o perdedora) 2 En esta función intervendrá información del dominio 25 of 79

27 IMAGENESpemexmorena Búsqueda con adversario usando heurísticas 1 Aproximación heurística: Definir una función que nos indique lo cerca que estamos de una jugada ganadora (o perdedora) 2 En esta función intervendrá información del dominio 3 Esta función no representa ningún cost0 ni es una distancia en pasos 25 of 79

28 IMAGENESpemexmorena Búsqueda con adversario usando heurísticas 1 Aproximación heurística: Definir una función que nos indique lo cerca que estamos de una jugada ganadora (o perdedora) 2 En esta función intervendrá información del dominio 3 Esta función no representa ningún cost0 ni es una distancia en pasos 4 Por convención las jugadas ganadoras se evalúan a + y las perdedoras a 25 of 79

29 IMAGENESpemexmorena Búsqueda con adversario usando heurísticas 1 Aproximación heurística: Definir una función que nos indique lo cerca que estamos de una jugada ganadora (o perdedora) 2 En esta función intervendrá información del dominio 3 Esta función no representa ningún cost0 ni es una distancia en pasos 4 Por convención las jugadas ganadoras se evalúan a + y las perdedoras a 5 El algoritmo busca con profundidad limitada y sólo decide la siguiente jugada a partir del nodo raíz 25 of 79

30 IMAGENESpemexmorena Búsqueda con adversario usando heurísticas 1 Aproximación heurística: Definir una función que nos indique lo cerca que estamos de una jugada ganadora (o perdedora) 2 En esta función intervendrá información del dominio 3 Esta función no representa ningún cost0 ni es una distancia en pasos 4 Por convención las jugadas ganadoras se evalúan a + y las perdedoras a 5 El algoritmo busca con profundidad limitada y sólo decide la siguiente jugada a partir del nodo raíz 6 Cada nueva decisión implicará repetir la búsqueda 25 of 79

31 IMAGENESpemexmorena Búsqueda con adversario usando heurísticas 1 Aproximación heurística: Definir una función que nos indique lo cerca que estamos de una jugada ganadora (o perdedora) 2 En esta función intervendrá información del dominio 3 Esta función no representa ningún cost0 ni es una distancia en pasos 4 Por convención las jugadas ganadoras se evalúan a + y las perdedoras a 5 El algoritmo busca con profundidad limitada y sólo decide la siguiente jugada a partir del nodo raíz 6 Cada nueva decisión implicará repetir la búsqueda 7 A mayor profundidad en la búsqueda mejor jugaremos 25 of 79

32 IMAGENESpemexmorena Búsqueda con adversario usando heurísticas 26 of 79

33 IMAGENESpemexmorena Búsqueda con adversario usando heurísticas 27 of 79

34 IMAGENESpemexmorena Búsqueda con adversario, cont 28 of 79

35 IMAGENESpemexmorena Búsqueda con adversario, cont 29 of 79

36 IMAGENESpemexmorena Búsqueda con adversario, cont 30 of 79

37 IMAGENESpemexmorena Búsqueda con adversario, cont 31 of 79

38 IMAGENESpemexmorena Búsqueda con adversario, cont 32 of 79

39 IMAGENESpemexmorena Búsqueda con adversario, cont 33 of 79

40 IMAGENESpemexmorena Búsqueda con adversario, cont 34 of 79

41 IMAGENESpemexmorena Búsqueda con adversario, cont 35 of 79

42 IMAGENESpemexmorena Búsqueda con adversario, cont 36 of 79

43 IMAGENESpemexmorena algoritmo Minimax Se inicia un recorrido en profundidad del árbol del juego hasta una profundidad máxima Dependiendo del nivel se llama a una función que obtiene el valor máximo o mínimo de la evaluación de los descendientes (valormax, valormin) El recorrido se inicia con la jugada del jugador MAX Asumimos que la función de evaluación es la misma para los dos jugadores 37 of 79

44 IMAGENESpemexmorena algoritmos Min y max estado-terminal(g): Determina si el estado actual es terminal (profundidad máxima, jugada ganadora) valuacion(g): Retorna el valor de la función de evaluación para el estado actual 38 of 79

45 IMAGENESpemexmorena Nim.(tomado de wikipedia) En este juego, dos jugadores a los que llamaremos David y Vicente, colocan un número arbitrario de fichas (cerillas, palillos, guijarros, puchis) sobre una superficie, separadas en filas o grupos. Tanto el número de filas como el número de fichas en cada fila son también arbitrarios. El primer jugador, supongamos que es David, toma cualquier número de fichas de una fila, entre uno y el total de la fila, pero sólo de una fila. El jugador Vicente hace su jugada de manera similar, retirando algunos de las fichas que quedan, y los jugadores van alternándose en sus jugadas. Se puede jugar de modo que gane el que retire la ultima ficha, que es el modo más fácil, o el "modo miseria. en el que perdería el que retire la última ficha. Este juego ha sido objeto de profundos análisis en el campo de la teoría de juegos y la matemática combinatoria. 39 of 79

46 IMAGENESpemexmorena Variante 1: Los dos jugadores colocan en la superficie de juego 16 fichas. Cada jugador retira, en su turno, una o dos fichas del montón. Gana el juego el que consiga llevarse la última ficha. 40 of 79

47 IMAGENESpemexmorena Variante 1: Los dos jugadores colocan en la superficie de juego 16 fichas. Cada jugador retira, en su turno, una o dos fichas del montón. Gana el juego el que consiga llevarse la última ficha. Estrategia ganadora: Lo que se debe hacer para ganar es dejar siempre al otro jugador un número de fichas que sea múltiplo de 3. Como el número de fichas que hay disponibles inicialmente (16) no es múltiplo de 3, el jugador David al comenzar debe dejar 15 fichas (15=3 5). A partir de este momento, David recogerá un número de fichas contrarias a las que tome el jugador Vicente (si Vicente toma 1, David debe tomar 2, y viceversa). 40 of 79

48 IMAGENESpemexmorena Arbol de Nim con dos jugadores 41 of 79

49 IMAGENESpemexmorena Jugando Nim y el árbol MiniMax 42 of 79

50 IMAGENESpemexmorena Jugando Nim y el árbol MiniMax 43 of 79

51 IMAGENESpemexmorena Jugando Nim y el árbol MiniMax 44 of 79

52 IMAGENESpemexmorena Jugando Nim y el árbol MiniMax 45 of 79

53 IMAGENESpemexmorena Jugando Nim y el árbol MiniMax 46 of 79

54 IMAGENESpemexmorena al Gato y la heurística Heurística(h) = número de filas, columnas y diagonales completas disponibles para MAX - número de filas, columnas y diagonales completas disponibles para MIN.enunciado de otra manera HEURÍSTICA: E(n) = X(n) - O(n) donde X(n) = no de líneas ganadoras posibles para MAX y O(n) = no de líneas ganadoras posibles para MIN MAX juega con X y desea maximizar h, MIN juega con O y desea minimizar h Los valores altos significan una buena posición para el que tiene que mover, Podemos controlar las simetrías, establecemos una profundidad de parada 47 of 79

55 IMAGENESpemexmorena al Gato y la heurística:max juega 48 of 79

56 IMAGENESpemexmorena Gato y la heurística; la mejor jugada 49 of 79

57 IMAGENESpemexmorena Gato y la heurística; suponiendo MIN 50 of 79

58 IMAGENESpemexmorena Construye el árbol de MINIMAX Es turno para X X gana con +1 X pierde con -1 X y O empatan 0 51 of 79

59 IMAGENESpemexmorena Propiedades del algoritmo MINIMAX Dado el siguiente árbol: Completo?: 52 of 79

60 IMAGENESpemexmorena Propiedades del algoritmo MINIMAX Dado el siguiente árbol: Completo?: 52 of 79

61 IMAGENESpemexmorena Propiedades del algoritmo MINIMAX Dado el siguiente árbol: Completo?: Si será si el árbol es finito. Optimo?: 52 of 79

62 IMAGENESpemexmorena Propiedades del algoritmo MINIMAX Dado el siguiente árbol: Completo?: Si será si el árbol es finito. Optimo?: 52 of 79

63 IMAGENESpemexmorena Propiedades del algoritmo MINIMAX Dado el siguiente árbol: Completo?: Si será si el árbol es finito. Optimo?:Será óptimo para el oponente. Complejidad en tiempo?: 52 of 79

64 IMAGENESpemexmorena Propiedades del algoritmo MINIMAX Dado el siguiente árbol: Completo?: Si será si el árbol es finito. Optimo?:Será óptimo para el oponente. Complejidad en tiempo?: 52 of 79

65 IMAGENESpemexmorena Propiedades del algoritmo MINIMAX Dado el siguiente árbol: Completo?: Si será si el árbol es finito. Optimo?:Será óptimo para el oponente. Complejidad en tiempo?: O(b m ) Comlejidad espacial?: 52 of 79

66 IMAGENESpemexmorena Propiedades del algoritmo MINIMAX Dado el siguiente árbol: Completo?: Si será si el árbol es finito. Optimo?:Será óptimo para el oponente. Complejidad en tiempo?: O(b m ) Comlejidad espacial?: 52 of 79

67 IMAGENESpemexmorena Propiedades del algoritmo MINIMAX Dado el siguiente árbol: Completo?: Si será si el árbol es finito. Optimo?:Será óptimo para el oponente. Complejidad en tiempo?: O(b m ) Comlejidad espacial?: O(bm), como en BPP 52 of 79

68 IMAGENESpemexmorena Podando Alfa-beta Procedimiento para mejorar la eficiencia en juegos bipersonales Completa y suple el método MiniMax MiniMax necesita dos pasadas Una de generación Una de evaluación Búsqueda α β busca primero en profundidad La poda α β se basa en la idea de disponer de dos valores que conforman una ventana a la cual deben pertenecer los valores de f(n) para que sean considerados. En los nodos MAX se utiliza el parámetro α que determina el máximo de los valores de los nodos sucesores encontrados hasta el momento En los nodos MIN se utiliza el parámetro β que va a ser, en cada momento, el mínimo de los valores encontrados. 53 of 79

69 IMAGENESpemexmorena Podando Alfa-beta. Reglas de finalización 1.- En los nodos MAX la condición de poda es α ρ β ρ 1 (Se puede podar por debajo de un nodo MAX si su valor alfa es mayor o igual que al menos un beta antecesor) 2.- En los nodos MIN la condición de poda es β ρ α ρ 1 (Se puede podar por debajo de un nodo MIN si su valor beta es menor o igual que al menos un alfa antecesor) Al valor máximo alcanzado por los nodos MIN le llamaremos cota β y nos dará un límite superior de la heurística Al valor máximo alcanzado para los nodos MAX le llamaremos cota α y nos dará un límite inferior de la heurística 54 of 79

70 IMAGENESpemexmorena Podando Alfa-beta. Procedimiento Algoritmo 1 Descender primero en profundidad hasta la profundidad total del juego 2 Aplicar la evaluación heurística a un nodo y a todos sus hermanos 3 Asignar valores al padre: el valor se oferta al abuelo como valor potencial 4 Descender a otro nieto y terminar la exploración del padre si alguno de sus valores cumple el criterio de parada 55 of 79

71 IMAGENESpemexmorena Podando Alfa-beta usando a MiniMax No tiene sentido seguir explorando sucesores de c ya que tenemos el mejor valor posible 56 of 79 En c tendremos e = min(-.05, vg ), por lo tanto en a tendremos e = max (.03, min(-.05, vg )) =.03, Podemos pues podar todos los nodos de g ya que no aportan nada

72 IMAGENESpemexmorena Podando Alfa-beta usando a MiniMax e(e) = min(-.1,g) Como la rama b ya me da un.03 cualquier cosa peor no nos sirve No hay que explorar g e(d) = max(e(e), h) Sí hay que explorar h En el ejemplo el nodo a (max) tiene de momento un valor mínimo de.03 proporcionado por su hijo b. Fijémonos en que el valor que se puede asignar a un nodo max viene aportado por nodos min y viceversa 57 of 79

73 IMAGENESpemexmorena Podando Alfa-beta usando a MiniMax 58 of 79

74 IMAGENESpemexmorena Podando Alfa-beta Y como habíamos dicho anteriomente: Las cotas α y β se transmiten de padres a hijos de 1 en 1 y en el orden de visita de los nodos. α es la cota inferior de un nodo max β es la cota superior de un nodo min La efectividad de la poda depende del orden de exploración de los descendientes 59 of 79

75 IMAGENESpemexmorena Podando Alfa-beta usando a MiniMax El recorrido se inicia llamando a la función valormax con α = β = + En la función valormax α es el valor que se actualiza y β es el valor de la mejor jugada. En la función valorminβ es el valor que se actualiza y α es el valor de la mejor jugada. 60 of 79

76 IMAGENESpemexmorena Podando Alfa-beta usando a MiniMax. Ejemplo 61 of 79

77 IMAGENESpemexmorena Podando Alfa-beta usando a MiniMax. Ejemplo 62 of 79

78 IMAGENESpemexmorena Podando Alfa-beta usando a MiniMax. Ejemplo 63 of 79

79 IMAGENESpemexmorena Podando Alfa-beta usando a MiniMax. Ejemplo 64 of 79

80 IMAGENESpemexmorena Podando Alfa-beta usando a MiniMax. Ejemplo 65 of 79

81 IMAGENESpemexmorena Podando Alfa-beta usando a MiniMax. Ejemplo 66 of 79

82 IMAGENESpemexmorena Podando Alfa-beta usando a MiniMax. Ejemplo 67 of 79

83 IMAGENESpemexmorena Podando Alfa-beta usando a MiniMax. Ejemplo 68 of 79

84 IMAGENESpemexmorena Podando Alfa-beta usando a MiniMax. Ejemplo 69 of 79

85 IMAGENESpemexmorena Podando Alfa-beta usando a MiniMax. Ejemplo 70 of 79

86 IMAGENESpemexmorena Podando Alfa-beta usando a MiniMax. Ejemplo 71 of 79

87 IMAGENESpemexmorena Podando Alfa-beta usando a MiniMax. Ejemplo 72 of 79

88 IMAGENESpemexmorena Podando Alfa-beta usando a MiniMax. Ejemplo 73 of 79

89 IMAGENESpemexmorena Podando Alfa-beta usando a MiniMax. Ejemplo 74 of 79

90 IMAGENESpemexmorena Podando Alfa-beta usando a MiniMax. Ejemplo 75 of 79

91 IMAGENESpemexmorena Podando Alfa-beta usando a MiniMax. Ejemplo 76 of 79

92 IMAGENESpemexmorena Podando Alfa-beta usando a MiniMax. Ejemplo 77 of 79

93 IMAGENESpemexmorena El algoritmo puede ser visto así: 1 Descender hasta el fondo del árbol, usando Depth First Search o Búsqueda Primero Profundidad y evalúe todos los nodos de las ramas. 2 El valor de α en un nodo Max, incluyendo la raiz, es igual al mayor valor de los nodos sucesores a él. 3 El valor de β en un nodo Min es igual al menor valor actual de los nodos sucesores a él. Regla de Min: 4 La búsqueda puede terminar debajo de cualquier nodo Min que tenga una β α de cualquiera de sus ancestros Max Regla Max : 5 La búsqueda puede terminar debajo de cualquier Max que tenga α β de cualquiera de sus ancestros Min. 78 of 79

94 IMAGENESpemexmorena donde ver como funciona: http: www1.freewebs.comcheossalfabetaelarbolpodado.html 79 of 79