Juegos. Esquema. Introducción: juegos como búsqueda Decisiones perfectas Decisiones imperfectas Poda α β

Transcripción

1 Juegos Transparencias IA (F29) M.Marcos, 2002 (Figuras c S.Russell & P.Norvig, 1998) 1 Esquema Introducción: juegos como búsqueda Decisiones perfectas Decisiones imperfectas Poda α β Transparencias IA (F29) M.Marcos, 2002 (Figuras c S.Russell & P.Norvig, 1998) 2

2 Introducción: juegos como búsqueda La IA se ha interesado por los juegos como el ajedrez porque ofrecen una abstracción de la competición Los juegos pueden enfocarse como una búsqueda en el espacio de configuraciones o posiciones del tablero Los juegos tienen características que los distinguen de otros problemas resueltos mediante búsqueda: existe un oponente que introduce cierta incertidumbre normalmente son difíciles de resolver, p.e. el ajedrez tiene un factor de ramificación medio de 35 y pueden sucederse 50 movimientos de cada jugador el tiempo de la búsqueda suele estar limitado por las reglas del juego como no se puede calcular exactamente las consecuencias de cada movimiento, hay que tomar una decisión sin la certeza de que sea la correcta Transparencias IA (F29) M.Marcos, 2002 (Figuras c S.Russell & P.Norvig, 1998) 3 Decisiones perfectas Supondremos que en el juego hay dos jugadores, MA y MIN: MA moverá primero y después MIN, y así hasta terminar el juego al finalizar, se asignará unos puntos al ganador (o se penalizará al perdedor) Un juego puede definirse como un problema de búsqueda: estado inicial: posición inicial del tablero con una indicación de quién debe mover operadores: movimientos legales posibles test terminal para determinar cuándo ha finalizado el juego función de utilidad (o payoff function) para asignar un valor numérico al resultado del juego, p.e. en el ajedrez podría ser +1, 1 ó0 MA tiene que encontrar una estrategia que le conduzca a un estado ganador independientemente de lo que MIN haga Transparencias IA (F29) M.Marcos, 2002 (Figuras c S.Russell & P.Norvig, 1998) 4

3 Arbol de búsqueda para el juego de las 3 en raya : MA () MIN (O) MA () O O O... MIN (O) O O O TERMINAL Utility O O O O O O O O O O notar que los valores de utilidad altos son buenos para MA y malos para MIN. MA debe usar los valores de utilidad para hallar el mejor movimiento. Transparencias IA (F29) M.Marcos, 2002 (Figuras c S.Russell & P.Norvig, 1998) 5 Arbol de búsqueda para un juego sencillo: MA 3 A A 1 A 3 2 MIN A 11 A 12 A 13 A 21 A 22 A 23 A 31 A 32 A El algoritmo minimax está diseñado para encontrar la estrategia óptima para MA Transparencias IA (F29) M.Marcos, 2002 (Figuras c S.Russell & P.Norvig, 1998) 6

4 El algoritmo minimax consta de los siguientes pasos: 1. Generar el árbol de búsqueda completo, hasta los estados terminales. 2. Aplicar la función de utilidad a los estados terminales. 3. Usar la utilidad de los estados terminales para determinar la de los nodos de un nivel superior, p.e. : en el nodo sobre las hojas más a la izquierda, donde es MIN quien debe mover, como la mejor opción es A 11 etiquetaremos el nodo con la utilidad asociada 4. Continuar propagando los valores hacia la raíz. 5. Al llegar a la raíz, escoger la acción que lleva a una mayor utilidad. la decisión minimax maximiza la utilidad bajo el supuesto de que el contrincante jugará perfectamente para minimizarla Transparencias IA (F29) M.Marcos, 2002 (Figuras c S.Russell & P.Norvig, 1998) 7 El algoritmo minimax: function MINIMA-DECISION(game) returns an operator for each op in OPERATORS[game] do VALUE[op] MINIMA-VALUE(APPLY(op, game), game) end return the op with the highest VALUE[op] function MINIMA-VALUE(state, game) returns a utility value if TERMINAL-TEST[game](state) then return UTILITY[game](state) else if MA is to move in state then return the highest MINIMA-VALUE of SUCCESSORS(state) else return the lowest MINIMA-VALUE of SUCCESSORS(state) Transparencias IA (F29) M.Marcos, 2002 (Figuras c S.Russell & P.Norvig, 1998) 8

5 Propiedades de la búsqueda minimax: Completa?? Sí, si el árbol es finito Tiempo?? O(b m ) Espacio?? O(bm) (es una búsqueda primero en profundidad) Optima?? Sí, si el contrincante juega perfectamente Los costes temporal y espacial son excesivos e invalidan la aplicación de minimax a programas de juegos Transparencias IA (F29) M.Marcos, 2002 (Figuras c S.Russell & P.Norvig, 1998) 9 Decisiones imperfectas Para solventar estos problemas se propone interrumpir la búsqueda antes de llegar a los estados terminales modificar el algoritmo minimax en dos sentidos: sustituir la función de utilidad aplicada a estados terminales por una función de evaluación aplicable a un estado cualquiera sustituir el test terminal por un test de interrupción (o cutoff test) Transparencias IA (F29) M.Marcos, 2002 (Figuras c S.Russell & P.Norvig, 1998) 10

6 Una función de evaluación aplicada a una posición devuelve una estimación de la utilidad que se obtendrá a partir de la misma, p.e. : en el ajedrez se puede dar un valor material a cada pieza: 1 al peón, 3 al caballo y al alfil,... Las funciones de evaluación intentan reflejar las posibilidades de ganar de un jugador a partir de una serie de características están basadas normalmente en la experiencia previa Algunas características que debe tener una función de evaluación: debe acercarse a la función de utilidad en los estados terminales su cálculo no debe ser muy costoso debe reflejar de forma precisa la probabilidad de resultar ganador Muchos programas de juegos utilizan funciones de evaluación de tipo lineal, con la forma w 1 f 1 + w 2 f w n f n, donde w i son los pesos asociados a las características f i Transparencias IA (F29) M.Marcos, 2002 (Figuras c S.Russell & P.Norvig, 1998) 11 Existen distintas opciones para interrumpir la búsqueda: una simple: establecer un ĺımite máximo de profundidad en el árbol de acuerdo con el tiempo máximo de las reglas del juego una más astuta : hacer distintas búsquedas por profundización iterativa y devolver el resultado de la búsqueda más profunda que se haya completado pasado el tiempo máximo Ambos enfoques tienen problemas derivados de la imprecisión de la función de evaluación, p.e. en el ajedrez, la función de evaluación basada en el valor material aplicada a una posición momentos antes de que un jugador realice una captura de una pieza importante, puede resultar en ventaja para el otro la función debe ser aplicada sólo a posiciones que no vayan a presentar cambios bruscos de valor instantes después (posiciones en reposo) Transparencias IA (F29) M.Marcos, 2002 (Figuras c S.Russell & P.Norvig, 1998) 12

7 Poda α β Es posible calcular la decisión minimax correcta sin explorar todos los nodos del árbol de búsqueda El proceso por el cual determinadas ramas no se consideran en la búsqueda se denomina poda del árbol de búsqueda La poda α β (α β pruning), aplicada a árboles minimax, devuelve el mismo resultado que el algoritmo minimax La idea es podar las ramas que vemos que no influirán en el resultado: MA 3 A A 1 A 3 2 MIN 3 <=2 2 A 11 A 12 A 13 A 21 A 22 A 23 A 31 A 32 A Transparencias IA (F29) M.Marcos, 2002 (Figuras c S.Russell & P.Norvig, 1998) 13