LA Inteligencia Artificial (IA) es la ciencia que estudia. Reconocimiento de patrones en juegos utilizando redes neuronales

Transcripción

1 CONCURSO LATINOAMERICANO DE TESIS DE MAESTRÍA, XXXVIII CLEI 2012, OCTUBRE Reconocimiento de patrones en juegos utilizando redes neuronales Eddy Ramrez Jimnez Profesor tutor: Francisco Torres Rojas Abstract El presente trabajo trata sobre los problemas de representación no simbólica del conocimiento en inteligencia artificial. Se seleccionó el juego de ajedrez como excusa para un reconocimiento de patrones complejos, ya que la gran mayoría de los avances en el área se han realizado de manera simbólica y no han sido abordados como lo hacen los seres humanos (sin utilizar fuerza bruta). Para poder desarrollar este trabajo, se preparó una base de entrenamiento apropiada con ciertas características propias del ajedrez. Además, se creó una red neuronal que va a ser puesta a prueba contra seres humanos en una serie de experimentos siguiendo el modelo 2 k. En estos experimentos, la variable de respuesta va a ser el promedio de errores que tenga la red neuronal ante diferentes posiciones. Los factores que se consideran son: la posición del rey (en el centro o en los flancos), la estructura de peones (ordenada o no), posiciones con igualdad material o con material compensado, la presencia de las damas o no y el evaluador (humano o red neuronal). El principal resultado de esta tesis fue un programa capaz de reconocer patrones y valorarlos con una capacidad de evaluaciónmuy similar a la de expertos humanos. Palabras clave: red neuronal, inteligencia artificial, reconocimiento de patrones, estado del tablero, ajedrez, medio juego. Index Terms Tesis, Inteligencia Artificial, Redes Neuronales Artificiales, Reconocimiento de Patrones, Ajedrez, Valoracin, posicin. I. INTRODUCCIÓN A. Introducción LA Inteligencia Artificial (IA) es la ciencia que estudia cómo hacer programas inteligentes, capaces de tomar decisiones racionales. De ahí que sea una de las áreas de investigación más activa que hay en computación y sobre la cual se realizan múltiples publicaciones. Dentro de esta área, se encuentra la tarea del reconocimiento de patrones, en la que patrones sencillos pueden ser descifrados por computadoras, pero se busca que cada vez las máquinas sean capaces de encontrar patrones más complejos. La presente tesis busca brindar un mecanismo para reconocer un patrón complejo. Se van a tomar los juegos de estrategia E. Ramírez y F. Torres-Rojas estás con la Escuela de Ingeniería en Computación en el Tecnológico de Costa Rica eddy.ramirez.jimenez@gmail.com, torresrojas@gmail.com como punto de referencia y como ejemplo de patrón complejo. En particular, se va a utilizar el ajedrez dado que tiene muchas características que resultan pertinentes para satisfacer la hipótesis que se desarrollará a lo largo de esta tesis. 1) Ubicación del presente trabajo en el área de la IA: La IA se ha caracterizado por diseñar algoritmos que emulan ciertos comportamientos humanos. Principalmente en tres áreas importantes: toma de decisiones, razonamiento y aprendizaje. Este último es el punto sobre el que gira esta tesis. El aprendizaje, desde el punto de vista de propósito, se puede clasificar en: sintético (que consiste en crear conocimiento nuevo) y analítico (que consiste en organizar conocimiento para cumplir algún objetivo). Este trabajo se centrará en el desarrollo de una nueva red neuronal de retropropagación. Esto es un proceso de aprendizaje sintético, debido a que el aprendizaje está basado en una serie de ejemplos con su respectiva valoración realizada previamente y la red debe aprender a obtener las mismas conclusiones. 2) Clasificación de juegos: Para su estudio y programación, en IA los juegos son clasificados según varios autores, entre ellos Robert Gibbons en su libro Un primer curso de teoría de juegos [?], basado en el nivel de conocimiento que tiene cada adversario de las opciones que tiene su rival y del número de rondas o estados a los que cada jugador tiene que enfrentarse en el desarrollo del juego. La clasificación es la siguiente: Estáticos Dinámicos Información completa Piedra papel tijera Ajedrez Información incompleta Dilema del prisionero Póquer TABLE I: Clasificación de los juegos 1) Juegos estáticos con información completa: En este caso ningún jugador observa las acciones de ningún otro antes de tomar sus decisiones, y cada jugador solo tiene un turno. Luego de que un jugador ha realizado sus acciones, este recibe sus respectivas ganancias, que son el resultado de la combinación de las acciones de todos. Un ejemplo de este juego es piedra, papel, tijera en el que cada jugador sabe lo que el adversario puede sacar, y él tiene las mismas opciones para elegir. El ganador se obtiene al evaluar las decisiones de cada jugador. 2) Juegos dinámicos con información completa: Son los juegos en los que los jugadores reaccionan de manera

2 CONCURSO LATINOAMERICANO DE TESIS DE MAESTRÍA, XXXVIII CLEI 2012, OCTUBRE secuencial y cada uno conoce por completo la decisión que hicieron los otros. Es importante mencionar que se conoce perfectamente el objetivo del rival. El ajedrez es un claro ejemplo de este tipo de juegos. Este ha sido muy estudiado en Investigación de Operaciones e IA desde la Teoría de Juegos. 3) Juegos estáticos con información incompleta: Todos conocen el juego, sin embargo no conocen todas las opciones que los rivales tienen para hacer. En el mejor de los casos se cuenta con una probabilidad y se cuenta con el objetivo que tiene el rival, pero no se conocen sus acciones. Por lo general ocurren de manera simultánea y las ganancias ocurren luego de cada ronda. Un ejemplo de este tipo de juego es el dilema del prisionero, en el que la ganancia se obtiene sólo si ambos jugadores logran ponerse de acuerdo en la decisión, sin querer perjudicarse mutuamente. 4) Juegos dinámicos con información incompleta: En estos juegos uno de los jugadores no conoce qué acción ha tomado el otro jugador en su totalidad, pero las acciones ocurren de manera secuencial. El ejemplo clásico de este tipo de juego es el póquer, porque cada jugador hace una serie de apuestas basado en probabilidades y debe poner presión a los adversarios realizando apuestas de manera consecutiva y manteniendo el orden. Además, es importante tener en cuenta que los estados en el póquer se basan en el número de fichas con que se cuentan en cada fase de la partida. Los juegos en los que la IA ha tenido más injerencia son los dinámicos, debido a que cada uno de ellos involucra la toma de decisiones y, en principio, un comportamiento inteligente. La gran mayoría de los esfuerzos que se han realizado en esta área pertenecen a lo que se considera IA suave, es decir al cálculo y evaluación de algoritmos, en su mayoría heurísticos, que han probado ser exitosos al llevarlos a la práctica. Pero lamentablemente, se ha investigado poco en la forma cómo los humanos realizan el proceso de enfrentarse a dichos juegos, porque los seres humanos trabajan con conceptos y con reconocimiento de patrones [?]. De acuerdo con Restle y Greeno (1970) los seres humanos somos capaces de entender cómo jugar a través de estímulos y patrones [?]. Esto implica un problema computacional, dado que en lo que respecta a la IA, el reto consiste en permitir que un computador logre pensar como lo hace un humano y esto se ha malogrado a través del tiempo, precisamente porque se ha investigado poco sobre cómo emular esta característica humana. La tesis que se propone en este documento se centra en el reconocimiento de patrones en la evaluación de juegos, de modo que se asemeje más a la forma como un ser humano lo hace, dejando de lado los análisis por fuerza bruta que son característicos de los programas actuales. El tipo de juego para el cual está desarrollada esta propuesta son los dinámicos con información completa. La razón para haber escogido los juegos de información completa es que al ser los más estudiados y para los cuales ya existen programas basados en análisis por fuerza bruta, esto provee un marco de referencia para establecer una comparación. Por lo tanto es medible si el reconocimiento de patrones realmente es exitoso al contrastarlo contra la evaluación de los programas tradicionales a los cuales se tenga acceso. B. El algoritmo minimax De manera tradicional se ha utilizado el mismo enfoque para atacar el problema de los juegos de información completa. Se trata del árbol de minimax, un árbol de juego que permite que se representen todas las posibles jugadas que se pueden hacer con un nivel de profundidad (altura del árbol) que depende de la capacidad de memoria que tiene la computadora en la que se está ejecutando. Consiste en el cálculo simple recurrente de los valores de minimax del estado sucesor, directamente implementando las ecuaciones de la definición. La recursión avanza hacia las hojas del árbol y entonces los valores minimax retroceden por el árbol cuando la recursión se va deshaciendo [?]. Dentro de las ventajas que tiene el algoritmo minimax se resalta que ha sido exitoso. Gracias a este se ha podido desarrollar completamente el árbol de juego de las damas y por lo tanto se ha podido encontrar el juego perfecto, sabiendo que si ambas partes juegan perfectamente, se consiguen las tablas [?]. Las principales desventajas del minimax son el gran tiempo que necesita para calcular las variantes y en el espacio que requiere, por ejemplo el tablero necesitó de más de 5 x posiciones diferentes para completar el árbol [?]. C. Hipótesis La hipótesis que se defiende en esta tesis es El reconocimiento de patrones es efectivo en el análisis del estado de juegos que involucran toma de decisiones con información completa con una varianza aceptable Es muy importante recalcar que se tiene actualmente una necesidad de tener rivales computacionales que hagan variar su nivel y que consuman pocos recursos. [?] II. LAS REDES NEURONALES DE RETROPROPAGACIÓN A. El modelo biológico El cerebro es el elemento principal del sistema nervioso humano y está compuesto por un tipo especial de célula llamada neurona. Una neurona posee todos los elementos comunes de las células biológicas. Por otro lado, las neuronas tienen la capacidad de comunicarse entre ellas, lo que las diferencia del resto de las células biológicas [?]. La figura 1 en la página 3 muestra la estructura típica de una neurona biológica. En esta figura se observa que la neurona biológica está compuesta por un cuerpo celular o soma, del

3 CONCURSO LATINOAMERICANO DE TESIS DE MAESTRÍA, XXXVIII CLEI 2012, OCTUBRE que se desprende un árbol de ramificaciones llamado árbol dendrítico, compuesto por las dendritas. Del soma también parte una fibra tubular, llamada axón, el cual suele ramificarse cerca de su extremo. Las dendritas actúan como un canal de entrada de señales provenientes desde el exterior hacia la neurona, mientras que el axón actúa como un canal de salida. En general, una neurona recibe información de cientos de neuronas vecinas y la transmite a otras tantas neuronas. En el soma de las neuronas transmisoras o pre-sinápticas se genera un pulso eléctrico llamado potencial de acción. El pulso eléctrico se propaga a través del axón en dirección a las sinapsis. La información se transmite a las neuronas vecinas utilizando un proceso químico, mediante la liberación de neurotransmisores. Estos neurotransmisores se transmiten a través de la sinapsis hacia la neurona receptora. La neurona receptora o post sináptica toma la señal enviada por cientos de neuronas a través de las dendritas y la transmite al cuerpo celular. Estas señales pueden ser excitadoras (positivas) o inhibidoras (negativas) [?]. El soma es el encargado de integrar la información proveniente de las distintas neuronas. Si la señal resultante supera un determinado umbral (umbral de disparo) el soma emite un pulso que se transmite a lo largo del axón dando lugar a la transmisión eléctrica a lo largo de la neurona. Al llegar la señal al extremo del axón se liberan neurotransmisores que permiten transmitir la señal a las neuronas vecinas [?]. Fig. 1: Neurona Biológica Al espacio que separa dos neuronas vecinas se denomina sinapsis. En el corteza cerebral (manto de tejido nervioso que cubre la superficie de los hemisferios cerebrales) se observa una organización horizontal en capas, así como también una organización vertical en columnas de neuronas. La intensidad de una sinapsis no es fija, sino que puede ser modificada con base en la información proveniente del medio. De esta manera la estructura del cerebro no permanece fija, sino que se va modificando por: 1) Formación de nuevas conexiones excitadoras o inhibidoras. 2) Destrucción de conexiones. 3) Modificación de la intensidad de la sinapsis. 4) Muerte neuronal. Desde un punto de vista funcional, las neuronas conforman un procesador de información sencillo. Constan de un subsistema de entrada (dendritas), un subsistema de procesamiento (el soma) y un subsistema de salida (axón). Como se mencionó antes, una de las características principales de las neuronas y que la distinguen del resto de las células es su capacidad de comunicarse. Las señales nerviosas pueden ser eléctricas o químicas. La transmisión química se da principalmente en la comunicación entre neuronas, mientras que la eléctrica se produce dentro de una neurona [?]. B. Redes neuronales En los últimos cincuenta años, la IA y otras disciplinas han realizado estudios sobre el funcionamiento del cerebro humano. Un punto muy importante fue descubrir cómo las redes neuronales biológicas trabajan para lograr los objetivos. Tomando ese modelo como base se realizaron los modelos computacionales conocidos como Redes Neuronales Artificiales. A continuación se mencionan algunas definiciones de diversos autores: 1) Las Redes Neuronales Artificiales son redes de elementos simples interconectados masivamente en paralelo y con organización jerárquica, que intentan interactuar con los objetos del mundo real del mismo modo que lo hace el sistema nervioso biológico [?]. 2) Un modelos que ha surgido para emular el proceso de aprendizaje es la red neuronal artificial. Las redes neuronales son modelos que intentan reproducir el comportamiento del cerebro humano [?]. 3) Una red neuronal consiste en un conjunto de elementos de procesamiento, llamados neuronas, los cuales se conectan entre sí [?]. La organización y disposición de las neuronas dentro de una red neuronal se denomina topología y viene dada por el número de capas, la cantidad de neuronas por capa, el grado de conectividad y el tipo de conexión entre neuronas. 1) Estructura de un sistema neuronal artificial: Con base en las definiciones mencionadas podemos decir que las redes neuronales son modelos matemáticos que intentan reproducir el comportamiento del cerebro humano. El principal objetivo

4 CONCURSO LATINOAMERICANO DE TESIS DE MAESTRÍA, XXXVIII CLEI 2012, OCTUBRE de este modelo es la construcción de sistemas capaces de presentar un cierto comportamiento inteligente. Esto implica la capacidad de aprender a realizar una determinada tarea. Las características principales que reproducen las redes neuronales artificiales se pueden reducir a los siguientes tres conceptos [?]: 1) Procesamiento paralelo 2) Procesamiento distribuido 3) Procesamiento adaptativo El verdadero poder de este modelo radica en el procesamiento paralelo realizado por las neuronas artificiales. La neurona artificial es un elemento de procesamiento simple y constituye el elemento principal de un sistema neuronal artificial. Estas neuronas artificiales se combinan en estructuras denominadas capas. Una red neuronal artificial está compuesta por un conjunto de capas. De esta manera, la información se encuentre distribuida a lo largo de las sinapsis de la red, dándole a este sistema cierta tolerancia a fallos. A su vez, las redes neuronales artificiales son capaces de adaptar su funcionamiento a distintos entornos modificando sus conexiones entre neuronas. De esta manera pueden aprender de la experiencia y generalizar conceptos. 2) Elementos de una red neuronal artificial: La neurona artificial que se puede apreciar en la figura 2 pretende mimetizar las características más importantes de las neuronas biológicas. Cada neurona i-ésima está caracterizada en cualquier instante por un valor numérico denominado valor o estado de activación a i (t); asociado a cada unidad existe una función de salida f i que transforma el estado actual de activación en una señal de salida y i. Dicha señal es enviada a través de los canales de comunicación unidireccionales a otras unidades de la red; en estos canales la señal se modifica de acuerdo con la sinapsis (el peso w ji ) asociada a cada uno de ellos según una determinada regla. Las señales moduladas que han llegado a la unidad j-ésima se combinan entre ellas generando así la entrada total, Net j = j i ji Net y w i (1) Una función de activación, F, determina el nuevo estado de activación a j (t + 1) de la neurona, teniendo en cuenta la entrada total calculada y el anterior estado de activación a j (t). Si se tienen N unidades (neuronas), se pueden ordenar arbitrariamente y designar la j-ésima unidad como U j. Su trabajo es simple y único, y consiste en recibir las entradas de las células vecinas y calcular un valor de salida que es enviado a todas las células restantes. En cualquier sistema de redes neuronales por modelar es útil caracterizar tres tipos de unidades: 1) Entradas: Estas unidades reciben señales desde el entorno. 2) Salidas: Estas unidades envían la señal fuera del sistema (salidas de la red). 3) Ocultas: Son aquellas cuyas entradas y salidas se encuentran dentro del sistema; es decir, que no tienen contacto con el exterior. 3) Modelo de neurona artificial: La neurona artificial es un elemento de procesamiento simple que a partir de un vector de entradas produce una única salida. En general podemos encontrar tres tipos de neuronas artificiales, cada una de las cuales tiene su homólogo en el sistema nervioso: 1) Neuronas de entrada: Reciben información directamente desde el exterior. 2) Neuronas Ocultas: Reciben información desde otras neuronas artificiales. Es en estas neuronas, en particular en sus sinapsis, donde se realiza la representación de la información almacenada. 3) Neuronas de Salida: Reciben la información procesada y las devuelven al exterior. Fig. 2: Neurona Artificial La figura 2 muestra los elementos que componen una neurona artificial: Conjunto de entradas, x j (t): estas pueden ser provenientes del exterior o de otras neuronas artificiales. Peso sinápticos, w ij : representan el grado de comunicación entre la neurona artificial j y la neurona artificial i. Puede ser excitador o inhibidor. Regla de propagación, σ i (w ij, x j (t)): integra la información proveniente de las distintas neuronas artificiales y proporciona el valor del potencial post-sináptico de la neurona i. Función de activación, f i (a i (t 1), h i (t)): provee el estado de activación actual de la neurona i. Función de salida, F i (a i (t)): representa la salida actual de la neurona i. De esta forma, la salida producida por una neurona i para un determinado instante de tiempo t puede ser escrita en forma general de la siguiente manera: y(t)f i (f[a i (t1), (w, x(t))]) (2) 4) Topología de las redes neuronales: La topología o arquitectura de las redes neuronales consiste en la organización y disposición de las neuronas en la red formando capas o agrupaciones de neuronas más o menos alejadas de la entrada y salida de la red. En este sentido, los parámetros fundamentales de la red son los siguientes: 1) El número de capas.

5 CONCURSO LATINOAMERICANO DE TESIS DE MAESTRÍA, XXXVIII CLEI 2012, OCTUBRE ) El número de neuronas por capa. 3) El grado de conectividad. 4) El tipo de conexiones entre neuronas. En las redes de una capa se establecen conexiones laterales entre las neuronas que pertenecen a la única capa que constituye la red. También pueden existir conexiones auto-recurrentes (salida de una neurona conectada a su propia entrada). Las redes multicapa son aquellas que disponen de conjuntos de neuronas agrupadas en varios niveles o capas. Normalmente, todas las neuronas de una capa reciben señales de entrada de otra capa anterior más cercana a las entradas de la red y envían señales de salida a una capa posterior más cercana a la salida de la red. A estas conexiones se les denomina conexiones hacia adelante o feedforward. Sin embargo, en un gran número de estas redes también existe la posibilidad de conectar las salidas de las neuronas de capas posteriores a las entradas de las capas anteriores. A estas conexiones se las denomina conexiones hacia atrás o feedback. En la figura 3 podemos visualizar 5 topologías de redes diferentes. Para la elaboración de esta tesis se utilizó un perceptrón multicapa conectado completamente, que consiste en que todas las neuronas de una capa generan una entrada para todas las neuronas de las capas siguientes, hasta converger en las neuronas de salida. 5) Fase de entrenamiento: Una vez seleccionado el tipo de neurona artificial que se utilizará en una red neuronal y determinada su topología, es necesario entrenarla para que la red pueda ser utilizada. Partiendo de un conjunto de pesos sinápticos aleatorios, el proceso de aprendizaje busca un conjunto de pesos que permitan a la red desarrollar correctamente una determinada tarea. Durante el proceso de aprendizaje se va refinando iterativamente la solución hasta alcanzar un nivel de operación suficientemente bueno. El proceso de aprendizaje se puede dividir en tres grandes grupos de acuerdo a sus características [?]: 1) Aprendizaje supervisado: se presenta a la red un conjunto de patrones de entrada junto con la salida esperada. Los pesos se van modificando de manera proporcional al error que se produce entre la salida real de la red y la salida esperada. 2) Aprendizaje no supervisado: se presenta a la red un conjunto de patrones de entrada. No hay información disponible sobre la salida esperada. El proceso de entrenamiento en este caso deberá ajustar sus pesos con base en la correlación existente entre los datos de entrada. 3) Aprendizaje por refuerzo: este tipo de aprendizaje se ubica en medio de los dos anteriores. Se le presenta a la red un conjunto de patrones de entrada y se le indica a la red si la salida obtenida es o no correcta. Sin embargo no se le proporciona el valor de la salida esperada. Este tipo de aprendizaje es muy útil en aquellos casos en que se desconoce cuál es la salida exacta que debe proporcionar la red. (a) Perceptrón de una capa (SLP por sus siglas en inglés) conectado completamente (b) Perceptrón multicapa (MLP por sus siglas en inglés) conectado completamente (c) Perceptrón multicapa (MLP) modular (d) Una red recurrente conectada completamente (e) Una red recurrente conectada parcialmente Fig. 3: Topologías de las redes neuronales

6 CONCURSO LATINOAMERICANO DE TESIS DE MAESTRÍA, XXXVIII CLEI 2012, OCTUBRE El aprendizaje es el proceso por el cual una red neuronal modifica sus pesos en respuesta a una información de entrada. Los cambios que se producen durante el proceso de aprendizaje se reducen a la destrucción, modificación y creación de conexiones. En los modelos de redes neuronales artificiales, la creación de una nueva conexión implica que el peso de dicha conexión pasa a tener un valor distinto de cero. Durante el proceso de aprendizaje, los pesos de las conexiones de la red sufren modificaciones, por tanto se puede afirmar que este proceso ha terminado o ha aprendido cuando los valores de los pesos permanecen estables o el margen de error es menor o igual al que se ha definido como aceptable. Un aspecto importante respecto al aprendizaje en las redes neuronales es conocer cómo se modifican los valores de los pesos; es decir, cuáles son los criterios que se siguen para cambiar el valor asignado a las conexiones cuando se pretende que la red aprenda una nueva información. Estos criterios determinan lo que se conoce como la regla de aprendizaje de la red. De forma general, se suelen considerar dos tipos de reglas: las que responden a lo que habitualmente se conoce como aprendizaje supervisado, y las correspondientes a un aprendizaje no supervisado. La diferencia fundamental entre ambos tipos de aprendizaje está en la existencia o no de un agente externo (supervisor) que controle el proceso de aprendizaje de la red. Otro criterio que se puede utilizar para diferenciar las reglas de aprendizaje se basa en considerar si la red puede aprender durante su funcionamiento habitual o si el aprendizaje supone la desconexión de la red; es decir su inhabilitación hasta que el proceso termine. En el primer caso, se trata de un aprendizaje online, mientras que el segundo es lo que se conoce como aprendizaje offline. En las redes con aprendizaje online no se distingue entre fase de entrenamiento y de operación, de tal forma que los pesos varían dinámicamente siempre que se presente una nueva información al sistema. Cuando el aprendizaje es offline, se distingue entre una fase de aprendizaje o entrenamiento y una fase de operación o funcionamiento, existiendo un conjunto de datos de entrenamiento y un conjunto de datos de test o prueba que serán utilizados en la correspondiente fase. En estas redes, los pesos de las conexiones permanecen fijos, una vez finalizada la etapa de entrenamiento de la red. 6) Una red neuronal supervisada: El perceptrón básico de dos capas sólo puede establecer dos regiones separadas por una frontera lineal en el espacio de patrones de entrada, lo que limita mucho sus aplicaciones. Al agregar más capas, obtenemos un perceptrón multicapa que puede reconocer una amplia variedad de resultados. La regla de aprendizaje utiliza una técnica de corrección de error que consiste en: 1) Inicializar los pesos de la red con valores aleatorios. 2) Presentación de un patrón de entrada y propagación de los valores hasta calcular la salida. 3) Adaptar los pesos basados en el error cometido teniendo en cuenta la salida esperada. Este procedimiento se realiza hasta que el error obtenido es menor o igual al error aceptado. En la figura 4 de la página 6 muestran 2 tipos de perceptrones (simple y multicapa). Ambos utilizan la misma técnica de aprendizaje. El segundo es capaz de clasificar la información de una mejor manera que el primero. X W Y (a) Perceptrón simple W ji θ j W kj θ k Entrada Oculta Salida Objetivo x µ i y µ j z µ k t µ k (b) Perceptrón multicapa Fig. 4: Perceptrón Multicapa C. El algoritmo de Backpropagation El algoritmo de backpropagation es el método de entrenamiento más utilizado en redes con conexión hacia adelante. Es un método de aprendizaje supervisado de gradiente descendente, en el que se distinguen claramente dos fases: primero se aplica un patrón de entrada que se propaga por las distintas capas que componen la red hasta producir su salida. Esta salida se compara con la salida deseada y se calcula el error cometido por cada neurona de salida. Estos errores se transmiten hacia atrás, partiendo de la capa de salida, hacia todas las neuronas de las capas intermedias [?]. Cada neurona recibe un error que es proporcional a su contribución sobre el error total de la red. Basándose en el error recibido, se ajustan los errores de los pesos sinápticos de cada neurona. 1) Deducción del algoritmo de Backpropagation: El algoritmo propone una actualización iterativa de los pesos de la siguiente manera: W (t + 1) = W (t) + W (t) (3)

7 CONCURSO LATINOAMERICANO DE TESIS DE MAESTRÍA, XXXVIII CLEI 2012, OCTUBRE Si tomamos una variación proporcional al gradiente de una función de error E(W ) tenemos que: W (t + 1) = W (t) E[W (t)] (4) Como se explicó anteriormente el primer paso de este algoritmo consiste en propagar hacia delante un patrón de entrada X p y obtener la salida de la red Y p. La salida de la neurona i viene dada según su estado de activación. Si consideramos la función de salida identidad tenemos que: y(t) i = F (a i (t)) i = a i (t) siendo a i (t) = f i (h i (t)) (5) La regla de propagación más simple y utilizada consiste en realizar una suma de las entradas ponderadas con sus pesos sinápticos correspondientes. h i (t) = N W ij X j (t) (6) j Se compara la salida obtenida Y p con la salida deseada D p, obteniéndose un error que viene dado por: e p = 1 2 M (d pk y pk ) 2 (7) k=1 donde k es el índice de neurona para las neuronas de la última capa y M el total de neuronas de salida. El error total de la red está dado por: p p=1 e = e p (8) p siendo p el índice de ejemplo y P el número total de ejemplos. De acuerdo con la ecuación expresada mediante la fórmula 4, la variación de los pesos sinápticos será proporcional a la gradiente de la función de error: W ji = α e p w ji (9) Si aplicamos la regla de la cadena a la fórmula 9, obtenemos que: e p = e p h j (10) w ji h j w ji La ecuación expresada en la fórmula 10 expresa la derivada del error en función de dos derivadas. La derivada del error respecto al potencial resultante h j indica cómo varía el error al variar la entrada de la neurona j, mientras que la derivada con respecto al peso sináptico w ji indica cómo varía la entrada de la neurona j al variar el peso de la conexión que va desde la neurona i hasta la neurona j. El segundo término de la fórmula 10 lo podemos expresar a partir de la ecuación expresada en la fórmula 6, de la siguiente manera: [?] h j = i w ji y pi = y pi (11) w ji w ji Si escribimos el primer término de la ecuación (fórmula 10) como: e p h j = pj (12) tenemos que: e p w ji = δp j y pi (13) y por lo tanto la ecuación definida mediante la fórmula 9 se simplifica de la siguiente manera: w ji = αδ pj y pj (14) Para calcular el valor de δ, se vuelve a aplicar la regla de la cadena: δ pi = e p h j = ( e p y pj y pj h j ) (15) El cálculo del segundo término de la ecuación expresada en la fórmula 15 es simple si observamos la fórmula 5 de la página 7. y pj = f j(h j ) f (h j ) (16) h j h j Sin embargo, para el cálculo del primer término de la fórmula 15, es necesario distinguir entre dos casos diferentes: Caso A: La neurona j es una neurona de salida En este caso podemos obtener el segundo término a partir de la ecuación de la fórmula 7 de la página 7 ya que el subíndice j es igual al subíndice k. e p y pj = 1 2 M j=1 (d pj y pj ) 2 y pj = ( pj y pj ) (17) Así, la variación de los pesos de una conexión que va hacia la capa externa de la red se calcula como: w ji = α(d pj y pj )f j(h j )y pi (18) Caso B: La neurona j es una neurona oculta En este caso es necesario aplicar nuevamente la regla de la cadena: e p y pj = i ( e p h k h k y pj ) (19) Donde k es el subíndice de las neuronas que pertenecen a la próxima capa. La ecuación de la fórmula 19 la podemos reescribir utilizando la ecuación de la fórmula 6: e p y pj = k ( e p h k ( j w kjy pj ) ) = y pj k y por la ecuación de la fórmula 12 tenemos que: e p y pj = k δ pk w kj = k ( e p h k w kj ) (20) δ pj w kj (21)

8 CONCURSO LATINOAMERICANO DE TESIS DE MAESTRÍA, XXXVIII CLEI 2012, OCTUBRE Así, la variación de los pesos de una conexión que va desde una capa hacia otra capa de la red que no sea la externa se calcula como: w ji = α k (δ pk w kj )f (h j )y pi (22) En la implementación del algoritmo, se toma una amplitud de paso que viene dado por la tasa de aprendizaje (α). A mayor tasa de aprendizaje el proceso será más rápido. Sin embargo, si la tasa de aprendizaje es muy alta puede dar lugar a oscilaciones en torno a un mínimo local. Es posible disminuir el impacto de dichas oscilaciones mediante la adición de un momento (β), quedando la expresión (fórmula 14 en la página 7) expresada de la siguiente manera: w ji (t + 1) = αδ pi y pj + β w ji (t) (23) De esta manera el momento β determina el efecto en el instante t+1 del cambio de los pesos realizado en el instante t. Con este momento se consigue la convergencia de la red en un menor número de iteraciones, ya que si la modificación de los pesos en los instantes t y t + 1 es en la misma dirección, entonces el descenso por la superficie de error en t + 1 es mayor. En cambio, si la modificación en los pesos en los instantes t y t + 1 se produce en direcciones opuestas, el paso que se da en t + 1 es más pequeño, lo que es adecuado, ya que esto significa que se ha pasado por un mínimo. Resumiendo, el algoritmo de backpropagation queda expresado de la siguiente manera: w ji (t + 1) = w ji (t) + αδ pj y pj + β w ji (t) siendo { (d pj y pj )f (h j ) si j es una neurona de salida δ pj = ( k δ pkw kj )f (h j ) si j es una neurona oculta (24) III. AJEDREZ COMO CASO DE ESTUDIO A. Ajedrez como caso de estudio en reconocimiento de patrones A lo largo de la historia el ser humano se ha dado a la tarea de hacer máquinas inteligentes, que sean capaces de hacer acciones propias de los seres humanos. Una vez que las computadoras hicieron su aparición, tras la Segunda Guerra Mundial, pronto se realizó un cuestionamiento sobre lo que una computadora era capaz o no de realizar, incluso, se acuñó el término Inteligencia Artificial en la década de los años 50. Casualmente, dentro de las primeras cosas que se pensó para demostrar el comportamiento inteligente de las computadoras, fue precisamente el juego de ajedrez. Sin embargo, los programas que jugaban ajedrez fueron muy poco competitivos ante los seres humanos y no fue sino hasta en los años 90 en que las computadoras realmente tomaron un carácter competitivo y en 1997 por primera vez, una computadora ganó un match a un campeón del mundo (Garry Kasparov vs Deeper Blue). A pesar de los avances en el área de la IA, no hemos podido reproducir lo que originalmente se quería: una máquina capaz de pensar como lo hace un ser humano, aunque ya se la haya logrado ganar al campeón del mundo. La comprensión de las posiciones es bastante limitada, incluso el campeón norteamericano Bobby Fischer solía decir que el ajedrez es comprender la posición antes de realizar un movimiento, algo que las computadoras no hacen, sólo calculan. En el área de la computación, los problemas de ajedrez se han abordado desde un punto de vista muy simbólica mediante la elaboración de árboles de variantes donde el principal impedimento que se ha tenido es la falta de capacidad de procesamiento o de memoria para poder generar y almacenar todo ese enorme árbol. De ahí que una computadora de escritorio es capaz de analizar y valorar más de mil posiciones por segundo, haciendo un análisis exhaustivo por anchura en el árbol de variantes. Pero esto es muy lejano de lo que un ser humano hace, porque incluso los mejores jugadores del mundo reconocen que se sentirían muy dichosos de poder analizar una posición por segundo 1. Sin embargo, a pesar de esta gran diferencia que existe entre humanos y máquinas, los resultados en torneos siguen siendo muy similares (tablas), salvo en dos ocasiones en 2005 y 2007 en que una computadora volvió a ganarle un match (nombre clásico de un enfrentamiento que consiste en un número de partidas determinado) a un campeón mundial. Pero de igual manera, los seres humanos realizan el proceso de jugar ajedrez de una manera mucho más eficiente que las computadoras debido a que logran jugar de manera competitiva sin hacer el análisis exhaustivo propio de los programas. 1) Ajedrez y patrones: En el año 2007, la National Geographic y la BBC realizaron una serie de documentales titulado Mi gran cerebro. Uno de dichos documentales fueron dedicados exclusivamente a una campeona de ajedrez, Susan Polgar. En dicho documental, estaban intentando descifrar como es que Susan Polgar pensaba para poder jugar ajedrez. En dicho documental se mostró un interesante experimento. Se sometió a Susan a un estudio de resonancia electromagnética mientras se le presentaban caras de jugadores famosos, algunos de los cuales se habían enfrentado a ella en el pasado y se le pidió que intentara identificarlos. Mientras lo estaba haciendo, los científicos estaban viendo qué regiones del cerebro se activaban cuando ella estaba haciendo este ejercicio. Luego, en una segunda etapa, le pusieron a Susan Polgar una serie de partidas que ella había jugado y otras que no. Se le pidió que intentara pensar en el próximo movimiento que debía de realizar. El resultado fue que se activaron las mismas regiones que se habían activado cuando estaba reconociendo caras [?]. La conclusión a la que llegaron los científicos es que las redes neuronales que se encargan del reconocimiento de patrones de caras son las mismas que se están activando cuando se juega al ajedrez. 1 Entrevista a Vladimir Kramnik en el año 2001 de la revista New In Chess

9 CONCURSO LATINOAMERICANO DE TESIS DE MAESTRÍA, XXXVIII CLEI 2012, OCTUBRE B. Convenciones de ajedrez Con el fin de poder lograr avanzar en este capítulo puede ser necesario presentar un pequeño contexto sobre algunos términos e ideas importantes. Si el lector sabe de ajedrez, puede omitir esta sección. El cuadro II en la página 9 se mencionan algunos conceptos importantes sobre el juego [?] y el cuadro III explica algunos símbolos utilizados convencionalmente. Concepto Cadena de Peones Carácter de la posición Clavada Estructura de peones Mayoría Peón aislado Peón pasado Peón doblado Definición Formación de peones situada en diagonal Elementos que predominan en la posición, Por ejemplo: violentas, abiertas, cerradas, simétricas, entre otras Se refiere a que una pieza no puede moverse dado que descubre el camino de una pieza opuesta hacia una pieza de mayor valor. Conjunto de peones en una posición dada. Se considera una estructura ordenada, si no hay peones doblados ni aislados Relacionado con la formación de peones, concretamente con la relación entre los dos bandos. Indica que un bando tiene mayoría en un flanco Peón que no tiene peones de su propio color en alguna de las columnas adyacentes Peón que no tiene peones enemigos en su columna ni en las columnas adyacentes se le llama peones doblados, cuando hay dos peones del mismo bando en la misma columna TABLE II: Conceptos en ajedrez [?] 1) Símbolos convencionales:: El ajedrez utiliza además una serie de símbolos en las jugadas: Símbolo Significado? Jugada errónea?? Grave error?! Jugada dudosa!? Jugada interesante! Jugada fuerte!! Jugada muy fuerte + Jaque ++ ó # Jaque mate TABLE III: Símbolos en jugadas de ajedrez Además cada casilla tiene un nombre tal y como se muestra en la figura 5. Para indicar una jugada, basta con indicar la pieza y la casilla destino a la que se quiere jugar. Cada pieza tiene un nombre de acuerdo al idioma, en español se sigue los nombres en el cuadro IV. Nombre de la pieza Peón Alfil Torre Caballo Dama Rey Letra que la identifica ninguna A T C D R TABLE IV: Letra de las piezas de ajedrez Fig. 5: Sistema algebraico 2) Etapas características de una partida de ajedrez: Una partida de ajedrez se divide en tres fases: 1) Apertura 2) Medio juego 3) Final La apertura es la primera fase de la partida y tiene tres principales objetivos que son: 1) Desarrollar las piezas 2) Ocupar y controlar el centro 3) Proteger el rey Dado que la posición inicial siempre es la misma, las aperturas se han estudiado durante cientos de años, al punto de haber enciclopedias de aperturas. Tanto los humanos como las computadoras, esta fase la juegan de memoria. Es decir, existen muchas bases de datos con aperturas, de manera que los jugadores no tienen que hacer mayor toma de decisiones. Por otra parte, en las finales, la cantidad de piezas son mucho menos que al inicio y es en este punto donde el cálculo de variantes propio de las computadoras, las vuelve más fuertes debido a que es posible con un costo computacional relativamente bajo, montar todo el árbol de variantes. Para este trabajo, nos centraremos en el medio juego. Son las jugadas que se encuentran entre la apertura y la final. Se caracterizan porque se busca obtener ventajas estratégicas o tácticas. La diferencia entre táctica y estrategia radica en que las ventajas tácticas hacen referencia a combinaciones (serie de jugadas) que conlleven a ventajas materiales o al jaque mate. Por su parte, las ventajas estratégicas buscan mejorar la posición en formas menos tangibles como: 1) Ventaja de espacio (más casillas dominadas sobre el tablero) 2) Ventaja de tiempo (libertad de movimiento mientras que el adversario está ocupándose de alguna debilidad, por ejemplo una pieza amenazada, una casilla importante, entre otros)

10 CONCURSO LATINOAMERICANO DE TESIS DE MAESTRÍA, XXXVIII CLEI 2012, OCTUBRE ) Iniciativa (capacidad de dictar lo que ocurre en el tablero, ser el jugador que propone) Las ventajas estratégicas, son más fáciles de comprender para un ser humano y más difícil de valorar por una computadora. Esta diferencia es lo que permite a un ser humano encontrar más fácilmente una jugada sin hacer un análisis profundo del árbol de variantes. 3) Valoraciones de posiciones en ajedrez: Convencionalmente en ajedrez se han catalogado siete posibles valoraciones para una posición con respecto al bando ganador o que lleva la ventaja. Se dividen en: 1) Ventaja decisiva blanca 2) Ventaja blanca 3) Ligera ventaja blanca 4) Igualdad 5) Ligera ventaja negra 6) Ventaja negra 7) Ventaja decisiva negra El cuadro V explica en qué consisten cada una de las ventajas. Ventaja Decisiva Ventaja Ligera Ventaja Igualdad Este tipo de ventaja consiste en posiciones donde algún bando (blancas o negras) posee, para un experto, una secuencia de jugadas, que es sencilla de identificar, que le permite alcanzar la victoria. Consiste en posiciones donde la diferencia material es muy poca o del todo no existe diferencia material, pero la capacidad de maniobra o la iniciativa está inclinada hacia un bando particular. Son posiciones donde el material está igualado o compensado y la lucha por la iniciativa está total o ligeramente inclinado hacia un bando. Implica que la posición está equilibrada en todo sentido, tanto material, posicional como en términos de iniciativa. TABLE V: Explicación de tipos de ventajas en ajedrez Es importante que un jugador de ajedrez pueda reconocer la ventaja que existe en una posición para hacer las jugadas que le permitan maximizar su ventaja y minimizar la ventaja del adversario. Reconocer estas ventajas es lo que diferencia a un jugador experto de un jugador aficionado [?]. C. El problema de la evaluación en ajedrez Cuando estamos haciendo un análisis de una partida, normalmente se recurren a tres principios: 1) Análisis material: Consiste en simplemente contar quién tiene piezas de mayor valor sobre el tablero. Tradicionalmente, en orden de importancia: dama, torre, alfil o caballo y peones. 2) Análisis posicional: Consiste en comprender qué bando es el que está dominando las acciones en el tablero. De aquí se desprenden conceptos como iniciativa que en palabras sencillas indica quién está proponiendo el rumbo que la partida va a tomar 3) Análisis táctico: Este último consiste en encontrar combinaciones de jugadas que permitan algún tipo de ventaja, ya sea posicional o comúnmente material. Para ejemplificar lo expresado anteriormente, se cuenta con la figura Z0Z0l0Z 7 Z0Z0Z0ZP 6 0Z0Z0ZRZ 5 Z0ZpZ0ZK 4 0Z0Z0jPZ 3 Z0Z0Z0Z0 2 0Z0Z0Z0Z 1 Z0Z0Z0Z0 a b c d e f g h Fig. 6: Posición de tablas Partida Ramírez-Chaves 2011 Si analizamos esta posición desde una perspectiva meramente materialista, todo parece apuntar a que las negras son quienes están ganando, porque tienen un peón y una dama que es una pieza de mayor capacidad de movimiento y por ende permite mayor control sobre el tablero y las blancas tienen una torre y dos peones, piezas por lo general consideradas como de menor valor que una dama. Por otra parte, un análisis posicional nos muestra que las blancas tienen un peón en la séptima línea y que no es fácil de capturar, aunque la dama esté en la última línea, una jugada de torre (Tg8) puede obstruir el paso de la dama negra, haciendo que el peón corone y lo convierta en dama. Por lo que regresando al análisis materialista, las blancas estarían ganando al tener una torre adicional. Sin embargo, un análisis más cuidadoso de la posición, con un enfoque táctico nos permite ver que las negras pueden clavar la torre (es decir colocar la dama de modo que la torre no pueda moverse, dado que desprotegería al rey) y por lo tanto evitar que la torre obstruya el dominio de las negras sobre la última fila, a la vez, por cada intento del rey blanco para buscar una posición que le permita mover su torre, las negras siempre contarán con un jaque u otra clavada. Por lo tanto la posición es tablas. Aún así, programas como Crafty, Scid y Fritz, daban a las negras ventaja o ligera ventaja. Fue Fritz el primero, luego de analizar el árbol de variantes con una profundidad de 17 jugadas, que indicó la igualdad. 1) Valoración humana de las posiciones en ajedrez: En esta sección, para propósitos ilustrar conceptos en esta tesis, se han tomado ejemplos del libro Tratado General de ajedrez de Roberto Grau. Si se quisiera profundizar en el análisis teórico del análisis, se recomienda al lector una lectura del mismo. Tal y como se ha explicado en el capítulo presente, los humanos podemos entender las posiciones diferente de como lo hace una máquina, tomemos por ejemplo esta posición [?]:

11 CONCURSO LATINOAMERICANO DE TESIS DE MAESTRÍA, XXXVIII CLEI 2012, OCTUBRE ZrZ0ZkZ 7 ZpZ0ZpZp 6 pz0zpz0z 5 Z0Z0apZ0 4 0O0Z0Z0Z 3 Z0O0Z0Z0 2 0O0Z0OPO 1 Z0ZKZBZR a b c d e f g h Fig. 7: Posición de ventaja blanca Se trata de una posición donde aparentemente ambos bandos están igualados, sin embargo, un análisis más posicional de acuerdo con el maestro de ajedrez Roberto Grau ( ) se presenta a continuación: 1) (... ) [Las blancas] Tienen mayoría de peones en el flanco de dama. 2) La posición del rey en el centro del tablero facilita de sobremanera la utilización de la preciada ventaja. 3) Todos los peones negros se hallan en las casillas del mismo color del alfil adversario y los del ala de dama solo con grandes dificultades pueden moverse. 4) El peón h negro esta aislado y por consiguiente es débil 5) Finalmente las blancas disponen de una excelente base de operaciones (la columna a) cuya posesión es fundamental. [?] Como podemos ver, se mencionan conceptos sobre la forma en como se permite el desplazamiento de las piezas, por ejemplo, el ítem 3 indica que el alfil negro está limitado en su accionar, es decir, las casillas a las que puede llegar son muy pocas, debido a que los peones blancos dominan y ocupan casillas negras (que son en las que se puede desplazar). Por otra parte, el hecho de que el peón de la columna h esté aislado se indica que es per se débil, esto debido a que no tiene otros peones al lado que lo protejan. También, retomando el concepto del desplazamiento de las piezas, la columna a, permite a la torre blanca un mayor movimiento y además, su control. Finalmente, se menciona la posición del rey, en este momento, dado que hay pocas piezas que permitan dar mate, el rey se puede utilizar como una pieza de ataque, su ubicación en el centro favorece el desplazamiento del mismo hacia donde está la acción en el tablero. Este análisis se realizó sin mencionar ninguna variante o combinación de jugadas, simplemente valorando la forma en que se disponen las piezas sobre el tablero. Que sigue siendo algo que muchos maestros de ajedrez insisten [?]. La posición anterior corresponde a la parte final de una partida y aunque los principios de movilidad se mantienen a lo largo de la partida, lo que si varía es la posición en que se debe de encontrar el rey a lo largo de la misma. En la siguiente posición (en la figura 8) se muestra un claro ejemplo de una posición de medio juego: 8 rz0z0skz 7 Z0o0Z0op 6 pznz0l0z 5 Z0a0Z0Z0 4 Po0ZQZ0Z 3 ZbO0ZNZ0 2 0O0Z0OPO 1 SNA0ZRJ0 a b c d e f g h Fig. 8: Posición de ventaja negra Las blancas han conseguido un peón de ventaja, sin embargo, la movilidad de sus piezas es muy limitada, por ejemplo, el caballo de b1 y el alfil de c1 no se han movido de su casilla inicial, además, la torre de a1 tiene su movilidad completamente restringida, mientras que las torres negras se encuentran conectadas, la columna f está abierta y en dominio de las negras. Además, los alfiles dominan las diagonales en que se encuentran y el caballo está cerca del centro y tiene libertad de movimiento. Ahora veamos el análisis de un maestro de ajedrez [?]: (... ) [El alfil en b3] No amenaza piezas, no presiona el centro ni ataca el flanco rey, pero indirectamente restringe el movimiento de la dama blanca, impidiendo que se retire a c2 al verse amenazada por la torre a8 en una próxima jugada. (... ) [La siguiente jugada blanca]: 16.c4?! Esta jugada es un error para las blancas, además de ser un falta teórica, ya que el bando peor desarrollado debe evitar adelantar peones (a menos que sea imprescindible) ya que éstos acentuarían la pérdida de tiempo. Podemos observar como el simple análisis posicional, más allá de un fuerte cálculo de variantes, nos permite descartar ciertas jugadas, porque incluso con severidad critica el haber decidido en le bando blanco una continuación que no le permitiese sacar las piezas hacia el centro del tablero. D. Los peones, alma del ajedrez En el siglo XVIII François-André Danican, apodado Philidor, fue quizá la primera persona en entender y estudiar el ajedrez, lo pasó de ser un juego sin bases a un estudio serio. En su libro El análisis del juego del ajedrez hace mención a su famosa frase: Los peones son el alma del ajedrez y sus conceptos sobre las estructuras de peones han sido estudiados por muchos maestros y jugadores profesionales a lo largo de la historia [?].

12 CONCURSO LATINOAMERICANO DE TESIS DE MAESTRÍA, XXXVIII CLEI 2012, OCTUBRE Los avances de peones son la debilidad necesaria que impone la lucha para defenderse. Esta enorme paradoja tiene fácil comprobación. Toda la teoría de los puntos fuertes, de la centralización de las piezas, de los alfiles buenos y malos, de las columnas abiertas, etc, tienen como base fundamental el esqueleto de peones Normalmente, el principiante desprecia, como es lógico, la influencia del peón en la partida. Pero en su proceso de formación, el jugador va comprendiendo más cabalmente la importancia de los peones. Existen tres aspecto fundamentales: 1) En la apertura, por su participación esencial en la lucha por el centro, y en su desplazamiento para poder desarrollar las otras piezas. 2) En el medio juego: por la protección que ofrecen a su rey, así como su sacrificio para romper enroques opuestos. 3) En el final, por las expectativas que crea el coronar un posible peón pasado. Habría que añadir muchos otros puntos, como la creación de puntos fuertes, la explotación de debilidades estructurales, las rupturas, liberación de líneas en momentos críticos entre otras [?]. Entonces, los peones son un punto muy importante en el ajedrez, incluso como se vio en la figura 8 donde el bando blanco decidió mover un peón, fue criticado porque empeoró su estructura de peones en lugar de fortalecerla y gastó un tiempo en lugar de buscar desarrollar. 1) Una partida Hombre vs. Computadora: En la figura 9 se dio en la partida Kasparov Pentium Genius [?] 8 rz0z0zkz 7 ZpZRZrap 6 pzpz0zpz 5 Z0Z0Z0Z0 4 0Z0Z0ZQZ 3 ZqZRAPZP 2 0O0Z0O0Z 1 Z0Z0Z0J0 a b c d e f g h Fig. 9: Kasparov Pentium Genius. Jugada 25 La partida anterior corresponde a uno de los últimos enfrentamientos entre el entonces campeón mundial Garry Kasparov y una computadora antes de la llegada de IBM con Deep Blue, aunque la tecnología ha cambiado en los últimos años, los algoritmos son casi los mismos y lo que se ha hecho es agregar poder computacional. En la posición, las negras tienen un peón de más, sin embargo toda la iniciativa en el ataque pertenece al bando blanco. Podemos ver como es que las torres y la dama blancas están ubicadas sobre el rey enemigo. Kasparov acaba de mover su torre a d3 amenazando la dama negra, sin embargo, mientras las negras dominen la diagonal a2-g8 el blanco no puede montar su ataque. Se hace notar que todas las piezas blancas están a dos jugadas de estar encima del rey contrario, mientras que las piezas negras no están tan cerca de implicar mayor peligro al rey blanco. Entonces la computadora hizo lo impensable, y ejecutó lo siguiente, ganando su segundo peón: 25)... Dxb2?? La misma posición se le puso a dos programas que datan del 2011, el Scidlet y el Fritz y ambos programas recomendaron Dxb2??, incluso indicando una ventaja negra en esa posición. Lo que para el campeón del mundo, implicó una gran alegría, no necesitaba hacer un análisis profundo de la posición, ni tampoco analizar todas las posibles jugadas luego de esa jugada, pero sabía que tenía un ataque demoledor al poder tomar la diagonal a2-g8, con la siguiente jugada que fue lo que hizo: 26) Dc4 8 rz0z0zkz 7 ZpZRZrap 6 pzpz0zpz 5 Z0Z0Z0Z0 4 0ZQZ0Z0Z 3 ZqZRAPZP 2 0O0Z0O0Z 1 Z0Z0Z0J0 a b c d e f g h Fig. 10: Kasparov Pentium Genius. Jugada 26 Aún en este punto, los programas actuales, Scidlet y Fritz daban ventaja a las negras. La partida siguió de esta manera: 26)... Taf8 27) Txf7 Txf7 28) Txf8 (figura 11) En este punto, los programas modernos con que se ha venido analizando las posiciones, descubren que las blancas están ganando, incluso le otorgan ligera ventaja en este punto. Como se puede apreciar en la figura 11, las blancas a pesar de tener dos peones de menos, poseen una vital iniciativa, un ser humano rápidamente nota que el negro sólo puede hacer una jugada para defenderse. 28)... Af8 29) Ah6 (figura 11) Da3 La posición en la figura 12 ha cambiado radicalmente, esta vez las blancas han hecho valer su mejor dominio sobre las casillas que rodean al rey negro y el ataque es mortal. Aún no es definitivo porque luego de Da3, protege la casilla f8, y en la línea Txf8+, Dxf8, Axf8, el blanco quedaría con dama por torre y dos peones. Además, los peones del flanco de dama están pasados, eso puede brindar cierto contrajuego

13 CONCURSO LATINOAMERICANO DE TESIS DE MAESTRÍA, XXXVIII CLEI 2012, OCTUBRE Z0S0ZkZ 7 ZpZ0Zrap 6 pzpz0zpz 5 Z0Z0Z0Z0 4 0ZQZ0Z0Z 3 Z0Z0APZP 2 0l0Z0O0Z 1 Z0Z0Z0J0 a b c d e f g h Fig. 11: Kasparov Pentium Genius. Jugada Z0S0akZ 7 ZpZ0ZrZp 6 pzpz0zpa 5 Z0Z0Z0Z0 4 0ZQZ0Z0Z 3 Z0Z0ZPZP 2 0l0Z0O0Z 1 Z0Z0Z0J0 a b c d e f g h Fig. 12: Kasparov Pentium Genius. Jugada 29 y ciertamente la probabilidad de errar es mayor. En este punto es donde Kasparov demuestra un mejor dominio de la posición, no de forma materialista, sino que nos hacemos esta pregunta, Qué pieza negras se pueden mover?. La respuesta es ninguna, salvo la dama negra que no puede abandonar la diagonal a3-f8, so pena de jaque mate. Esta libertad de movimiento, permite al blanco maniobrar libremente sus peones mientras las negras simplemente, no pueden hacer nada. Finalmente Kasparov venció fácilmente, sin embargo, en la posición crítica, un error de cálculo en variantes hizo que la computadora cometiera un error muy serio E. Justificación para la selección del ajedrez Se ha seleccionado el juego del ajedrez porque cumple con una serie de características importantes desde el punto de vista de la presente tesis: 1) Es un juego basado en un objetivo muy claro (dar jaque mate al adversario), sin embargo cuenta con una serie de sub-objetivos (dominar casillas en el tablero, ganar material, tomar la iniciativa) que son compartidos por muchos otros tipos de juegos (póquer, simulaciones de guerras, damas, cuatro en raya, entre otros), lo cual hace válido que los resultados obtenidos para ajedrez sean aplicables a los otros juegos. 2) Es un juego ampliamente estudiado en el campo de la IA. 3) Existe un gran número de programas (Fritz, Crafty, Scid, GNUChess, entre otros) [?] que evalúan posiciones de ajedrez de manera competitiva y lo hacen al mismo nivel que los mejores jugadores humanos [?], [?]. 4) Existe una gran cantidad de referencias bibliográficas sobre posiciones variadas validadas por un experto. Los libros van desde problemas hasta análisis completos de partidas selectas. 5) Es un juego cuya complejidad hace necesaria la concepción de ciertos principios prácticos que los seres humanos van adquiriendo con entrenamiento continuo y práctica y que los programas no han sido enfocados hacia ese mismo sentido. 6) La evaluación tiene una métrica basada en siete escalas, a saber, ventaja decisiva del blanco, ventaja del blanco, ligera ventaja del blanco, igualdad y las tres formas de ventaja para el bando negro. El propósito de esta tesis consiste en demostrar que el reconocimiento de patrones es efectivo en la valoraración de juegos, en este caso particular, el del ajedrez. Para lograrlo se utilizarán las normas generales del ajedrez, explicadas anteriormente. IV. PARTICULARIDADES DE LA RED ENTRENADA A. Procesamiento de la posición para ser presentado a la Red En este capítulo se explica la forma en que se procesaron las posiciones para presentárselas a la red, basándose en los estándares actuales del ajedrez y tomando como insumo la información que se presentó en el capítulo III. También, se va a explicar como se programó la red neuronal y sus características particulares. 1) Estándares de formato de posiciones en ajedrez: Existe un formato estándar para la comunicación de bases de datos de ajedrez. Todos los motores de ajedrez investigados en esta tesis pueden leerlo. Su nombre es Portable Game Notation o PGN. Dentro de su estándar, incluye la posibilidad de llevar la posición a partir de un punto. Esta posición se guarda en la notación Forsyth-Edwards (FEN por sus siglas en inglés). A continuación se muestra una posición y su respectivo FEN a modo de ejemplo: 8 rz0zka0s 7 ZpZ0Zpop 6 pznzpm0z 5 Z0oqZ0Z0 4 0Z0Z0ZbZ 3 Z0OPZNZ0 2 PO0M0OPO 1 S0AQSBJ0 a b c d e f g h Fig. 13: Posición arbitraria de ajedrez El valor FEN de la figura 13 es:

14 CONCURSO LATINOAMERICANO DE TESIS DE MAESTRÍA, XXXVIII CLEI 2012, OCTUBRE r3kb1r/1p3ppp/p1n1pn2/2pq4/6b1/2pp1n2/ PP1N1PPP/R1BQRBK1 w kq El estándar está en inglés por lo los nombres de las piezas son representados por su primera letra en ese idioma, utilizando mayúsculas para las blancas y minúsculas para las negras. El tablero se ve desde la perspectiva del blanco, la fila 8 (fila más alta en la figura 13) está compuesta por (r3kb1r): torre negra, seguida de escaques (casillas) vacíos, el rey negro, alfil negro, un escaque vacío y una torre negra. Así sucesivamente se puede armar la posición del tablero hasta el primer espacio. La siguiente letra que aparece luego del primer espacio, indica el turno, qué bando es el próximo en jugar, w para las blancas (por el inglés white ) y b para las negras (por el inglés black ). El resto de campos tiene otra información como posibilidad de enroque, casillas que se pueden tomar al paso, número de jugadas desde la última movida de peón (importante si se quisiera pedir las tablas por la regla de 50 movimientos sin movimiento de peones) y el número de jugada que aquella posición representó en la partida, pero ninguna de ellas va a ser tomada para presentarse en la red neuronal, se consideran esos datos, principalmente para programas de ajedrez. Para la selección de las partidas utilizadas en esta tesis, se utilizó el formato PGN y el programa desarrollado, recibe la posición FEN presente en los archivos PGN, de modo que este programa sea perfectamente portable a motores de ajedrez que acepten PGN. 2) Parámetros de entrenamiento: Dado que la red fue entrenada utilizando el algoritmo de Backpropagation, se necesitó de dos parámetros que fueran quienes se encargaran de mejorar el proceso de aprendizaje. Los cuales son el error admisible por la red y el coeficiente de aprendizaje. Para esta red neuronal en particular, se utilizó un error de 0.25 y un coeficiente de aprendizaje de 0.3. Debido a pruebas realizadas en con diversas variantes, se comprobó que estos parámetros evitaban que se estancara en puntos donde la cantidad de errores no variaba con el paso del tiempo y se mantenía constantemente variando dichos errores hasta converger. Debe de considerarse que el que la cantidad de errores por iteración disminuyera, no implica que el tiempo de entrenamiento se redujera significativamente, la red tarda una semana en entrenarse completamente, dadas las características de la computadora en que se ejecutó. La cual es una Dell XPS M1210 con 1 GB de memoria y un procesador Intel Core 2 Duo. Por otra parte el lenguaje de desarrollo fue Java, debido a que se cuenta con mucha experiencia en este lenguaje particular y su característica de orientación a objetos facilita el trabajo de las neuronas y la red. Finalmente, otros parámetros fueron la cantidad de capa y la cantidad de neuronas por capa. Se trabajó con 3 capas, a saber, la de entrada, la oculta y la de salida. B. La capa de entrada y el método de preprocesamiento de posiciones para la red neuronal Las posiciones primero se pasan por un tratamiento donde se le asignan un número a cada una de las piezas, negativo para las blancas y positivo para las negras, esto se asignó arbitrariamente dado que es necesario poder diferenciarlas y reconocer cuando las piezas tienen el mismo valor, sólo que de bandos opuestos. La numeración de cada pieza se hizo acorde con el cuadro 13. Pieza Valor Blanco Valor Negro Rey -6 6 Dama -7 7 Peón -2 2 Alfil -4 4 Torre -3 3 Caballo -5 5 TABLE VI: Numeración de las piezas La razón por la que se optó por una numeración distinta a la usual en el ajedrez, radica en que tras haber probado diferentes configuraciones, ésta resultó ser una de las mejores, esto porque al haber realizado varias pruebas en que se entrenaba la red parcialmente, por alguna razón particular, la red tendía a converger más rápidamente con dichos valores. La forma en como se le presentó posiciones a la red significó 65 entradas, 64 que representaban las 64 casillas del tablero y una más para indicar el turno. Las casillas se les asigna un número de acuerdo con la ficha que está ubicada en ella, las casillas vacías son rellenadas con el bando que la domine, esto es un proceso bastante determinístico y para ello se utilizó un código realizado por el autor. A la casilla libre se le coloca un 1 en caso que la casilla esté dominada por las negras o un 1, en caso que la casilla esté dominada por las blancas. Si hubiese una casilla que está igualmente dominada por negras y blancas, entonces su valor sería 0. La figura 14 muestra un ejemplo de esta codificación También se probaron otros formatos de entrada y se encontró que no siempre convergían, muchos de ellos se pueden explicar porque contaban con muchos valores en cero (debido a casillas vacías) lo que perjudicaba su análisis. C. Análisis de la salida La red fue entrenada utilizando seis neuronas de salida. Cada una de ellas representa un nivel y bando de ventaja, a saber: Ventaja decisiva blanca, Ventaja decisiva negra, Ventaja blanca, Ventaja negra, Ligera Ventaja blanca y Ligera Ventaja negra. En el caso de igualdad, la red fue entrenada para que ninguna de las salidas se activara. A pesar de esto, la red suele activar varias salidas cuando ambas partes tienen diferentes dominios sobre el tablero. Para

15 CONCURSO LATINOAMERICANO DE TESIS DE MAESTRÍA, XXXVIII CLEI 2012, OCTUBRE rz0zka0s 7 ZpZ0Zpop 6 pznzpm0z 5 Z0oqZ0Z0 4 0Z0Z0ZbZ 3 Z0OPZNZ0 2 PO0M0OPO 1 S0AQSBJ0 a b c d e f g h (a) Posición arbitraria de ajedrez a b c d e f g h (b) Entrada de red neuronal Fig. 14: Ejemplo de procesamiento de las posiciones solucionar este aspecto, se puso un umbral de activación a la capa de salida, inspirado en el modelo de Kohonen. El umbral mencionado fue de Entonces, sólo se iban a tomar en cuenta aquellas neuronas cuyo valor final, tras evaluar una posición cualquiera superara el La idea consiste entonces en poder obtener una valoración multiplicando cada una de las salidas por una constante y sumando el resultado final, de modo que la valoración esté dada en un rango de [ 3, 3]. Tal y como se realiza actualmente por los programas, donde las valoraciones son como se describen en la tabla VII. Tipo de ventaja Valor numérico Ventaja decisiva blanca 3 Ventaja blanca 2 Ligera ventaja blanca 1 Igualdad 0 Ligera ventaja negra -1 Ventaja negra -2 Ventaja decisiva negra -3 TABLE VII: Valoraciones utilizadas por el programa V. BASE DE ENTRENAMIENTO A. Selección de la base de entrenamiento Este capítulo se centra en explicar cómo se seleccionaron las posiciones para el entrenamiento de la red neuronal. 1) Selección de la base de entrenamiento de la red neuronal: La base de entrenamiento debe contemplar varios requisitos, entre ellos: 1) Ventajas materiales: Consisten en ventajas donde la diferencia material es la que inclina la balanza de la valoración hacia un bando, particularmente hacia el bando con más piezas o con piezas de mayor valor. 2) Ventajas de iniciativa: Consisten en las ventajas que se dan cuando un jugador está proponiendo la dirección que lleva la partida. Se tratan de ventajas donde, si se utilizan sabiamente, permite activar las piezas (colocarlas en lugares cuyo campo de acción es mayor) o por el contrario, llevar piezas del oponente a donde tengan un limitado accionar. 3) Ventajas a pesar de haber desventajas materiales: También llamadas ventajas de compensación. Consiste por lo general en sacrificios materiales a cambio de mayor actividad de las piezas e implican una serie de cuidados que de saberse manejar correctamente, permiten recuperar el material o crear amenazas que aumenten la presión sobre el adversario y este cometa errores. Este tipo de ventajas es más complicado de trabajar contra las computadoras hoy en día. 4) Ventajas cuando ambos bandos están atacando: En ocasiones llamado también desperado, se trata de posiciones en las que un bando se defiende atacando, provocando en muchas ocasiones combinaciones en las que hay una lucha muy fuerte por conseguir la iniciativa. 5) Ventajas cuando un ataque no fructifica: Estas se consiguen gracias al error del adversario, es importante saber cuando es correcto defenderse y cuando un ataque es sólo especulativo. Los jugadores expertos son capaces de diferenciar cuando un ataque es real y cuando no. Debe contar con suficientes ejemplos para poder darle garantía a la red que contempla todos los casos de ventajas, pero sobretodo se necesita que la computadora tenga un insumo claro de lo que realmente se espera de ella. Para ello es importante que se logre reunir una serie de posiciones que contemplen una serie de ventajas tanto materiales como posicionales, ya que estas últimas, hasta ahora, son las posiciones más difícilmente evaluadas por una computadora, tal y como se explicó en el capítulo III en la página 8. Además, tal y como se explicó en el capítulo II en la página 2, las bases de entrenamiento para redes neuronales deben de estar enfocadas en maximizar el error, para ayudarles a distinguir apropiadamente cada una de las condiciones particulares a las que se enfrentan. 2) Características adicionales de las posiciones: Como se ha indicado, las posiciones se han tomado directamente de partidas reales entre jugadores de primer nivel mundial. Además, dichas partidas se encontraban en el medio juego. Sin embargo, siempre se buscó balancear las posiciones en otras características que se consideraron importantes: 1) Promedio de Elo de los jugadores: El Elo de los jugadores que se utilizó fue en todos los casos superior a los 2000 en el ranking internacional. Garantizando de esta manera que las partidas fueran jugadas por los mejores jugadores federados de acuerdo a la Federación Internacional de Ajedrez (FIDE por sus siglas en francés).

16 CONCURSO LATINOAMERICANO DE TESIS DE MAESTRÍA, XXXVIII CLEI 2012, OCTUBRE ) Posiciones críticas: Las posiciones seleccionadas, en la medida de lo posible fueron tomadas en el momento justo anterior a que se desencadenara una secuencia de jugadas que inclinara la balanza hacia un lado, salvo en el caso de la igualdad. En el caso de las posiciones de igualdad, se tomaron juegos donde la lucha por la iniciativa fue constante, pero no suficiente para implicar una ventaja hacia algún bando. Esto con el fin entrenar a la red neuronal para reconocer lo mismo que hizo el jugador cuando percibió que podía adquirir la ventaja, no cuando ya estaba plasmada en el tablero. 3) Independencia de resultados: En la mayoría de los encuentros disputados entre grandes maestros sucede que quien primero consigue una ventaja, por pequeña que sea, es quien se alza con el triunfo. Sin embargo, se sabe que en ocasiones, un error permite que los resultados no sean los esperados. Entonces las valoraciones que se obtuvieron de las posiciones fueron seleccionadas sin considerar el resultado, en caso que este fuera un factor distractor en la selección de partidas. A. Experimento VI. EXPERIMENTO El experimento tiene como intención principal refutar la hipótesis planteada en la sección I-C en la página 2 la cual es: El reconocimiento de patrones es efectivo en el análisis del estado de juegos que involucran toma de decisiones con información completa con una varianza aceptable. Para ello el experimento debe de poner a prueba a la red neuronal desarrollada a evaluar varias posiciones con diversos factores. Además, seres humanos experimentados evaluarán las mismas posiciones y otorgarán su criterio. El experimento buscará entonces hallar diferencias en la evaluación de la red neuronal y la valoración humana. Para minimizar el error humano, se cuenta con seis jugadores humanos expertos en el área que se ofrecieron como voluntarios. Será considerado como un factor, el promedio de las valoraciones humanas, de manera que el error de un humano por otros factores que son ajenos a la red neuronal, tal como el cansancio, se merme entre todos los participantes de este experimento, eliminando así el ruido que puede provocarse por un ser humano. Finalmente sobre los datos recopilados, se va a aplicar un análisis de varianza (ANOVA) para determinar si existe diferencia significativa en las muestras de cada población acorde con los factores tomados en cuenta. 1) Factores y dominio experimental: Basándose en diversas situaciones que los jugadores de ajedrez tienden a considerar al inicio del análisis de una posición, se determinó qué factores van a ser tomados en cuenta para este experimento. Dichos factores se explican en el capítulo III a partir de la página 8. Los factores que se decidió se explican en el cuadro VIII 2) Combinaciones y réplicas: Dado que se cuenta con 5 factores y cada uno tiene dos niveles, se está siguiendo el esquema 2 k, se va a contar con 32 combinaciones. De los 5 factores que se van a tomar en cuenta, 4 hacen referencia a características de la posición. A continuación se presenta en la tabla IX las combinaciones de dichas características para Factor Niveles Descripción Rey 2 El rey se considera en Nivel 0 El rey no el centro si se encuentra en la columna original está en el centro (columna e) o alguna de Nivel 1 El rey sí sus colindantes (columna está en el d o columna f). El rey no centro se considerará en el centro si está enrocado (columna c o columna g) o si se encuentra aún más alejado del centro (columna a, Dama 2 Igualdad 2 Peones 2 Evaluador 2 Nivel 0 No hay damas en el tablero Nivel 1 Hay al menos una dama en el tablero Nivel 0 El material está igualado Nivel 1 El material no está igualado Nivel 0 Los peones no están ordenados Nivel 1 Los peones sí están ordenados Nivel 0 Humanos Nivel 1 Red neuronal artificial columna b, columna h). Este punto indica si hay una dama en el tablero. Este es un factor importante para medir la evaluación de la red neuronal, dada la forma en que se le presentaron los datos. Se considerará igualdad material si pieza a pieza ambos bandos están igualados. Vale la pena destacar que un caballo fue tomado por el mismo valor de un alfil. Una estructura de peones está ordenada si en el tablero no hay peones doblados ni aislados, tal y como se explicó en el capítulo III. Se tomaron en cuenta las valoraciones de la red neuronal y de seres humanos, en el que se tomaron a seis jugadores con amplia experiencia y se promediaron sus valoraciones para ser aportadas como una sola. TABLE VIII: Factores del experimento y sus niveles las posiciones que se van a seleccionar para la elaboración de este experimento. Rey en el Presencia de Igualdad Peones Centro la Dama Material Ordenados 1 No No No No 2 No No No Sí 3 No No Sí No 4 No No Sí Sí 5 No Sí No No 6 No Sí No Sí 7 No Sí Sí No 8 No Sí Sí Sí 9 Sí No No No 10 Sí No No Sí 11 Sí No Sí No 12 Sí No Sí Sí 13 Sí Sí No No 14 Sí Sí No Sí 15 Sí Sí Sí No 16 Sí Sí Sí Sí TABLE IX: Posiciones

17 CONCURSO LATINOAMERICANO DE TESIS DE MAESTRÍA, XXXVIII CLEI 2012, OCTUBRE Cada combinación en este caso, consiste en posiciones que cuentan con cada uno de esos factores. Por ejemplo, la combinación #1, nos indica que se trata de posiciones donde no hay reyes en el centro del tablero, no hay damas en el tablero, no hay igualdad de material y los peones no están ordenados. De manera opuesta las posiciones descritas en #16, indican que si hay al menos un rey en el centro, si hay damas, si hay igualdad de material (se recuerda que un alfil es valorado igual que un caballo desde el punto de vista material) y sí están los peones ordenados. En medio se encuentran todas las combinaciones de estos dos extremos. Más adelante, se mostrarán cada una de las posiciones que pertenecen a cada réplica. Para este experimento se van a realizar 10 réplicas por cada combinación. La tabla X indica el número de posición y su ubicación dentro de cada combinación. Forma Número de posición NNNN NNNS NNSN NNSS NSNN NSNS NSSN NSNN SNNN SNNS SNSN SNSS SSNN SSNS SSSN SSSS TABLE X: Combinaciones y Números de Posiciones De acuerdo con Douglas Montgomery [?], es importante poder aleatorizar el orden en que se van a evaluar las réplicas. Esto con el fin de distribuir el posible ruido de otros factores no contemplados en el experimento o que son propios de la ejecución del mismo. Por lo tanto, el orden seleccionado para las pruebas fue el siguiente: Números acorde con los asignados en la tabla X El experimento consiste en contrastar la valoración de la red neuronal y la valoración promedio de jugadores expertos de Costa Rica en las mismas posiciones. B. Hipótesis planteadas Este experimento tiene como hipótesis nula: Los factores que se están tomando en cuenta no afectan la valoración de las posiciones y como hipótesis alternativa: Los factores que se están tomando en cuenta si afectan la valoración de las posiciones. Es decir: Hipótesis nula H 0 : µ 0 = µ 1 = µ 2 =... = µ 32 Hipótesis alterna H 1 : i, j / µ i µ j Es muy importante que el factor que está directamente relacionado con la hipótesis de la tesis consiste en el evaluador, humano o red neuronal artificial. 1) Elaboración del experimento y obtención de datos: Cada jugador va a emitir un juicio sobre cada una de las posiciones. A cada valoración se va a asignar un número de acuerdo con la tabla XI: Tipo de ventaja Valor numérico asignado Ventaja decisiva de las blancas 3 Ventaja blanca 2 Ligera Ventaja Blanca 1 Igualdad 0 Ligera Ventaja Negra -1 Ventaja Negra -2 Ventaja decisiva de las negras -3 TABLE XI: Valores numéricos asociados a las ventajas El principal propósito de esta numeración es lograr asignar un valor cuantitativo al margen de error entre la valoración correcta y la valoración otorgada por el evaluador. Por ejemplo, si una posición está valorada como Ventaja blanca (2) y es catalogada como Ligera Ventaja Blanca (1) el error bruto sería de 1 numéricamente, pero si fuera catalogada como Ventaja Negra (-2) el error bruto sería de 4. De esta manera podemos apreciar que reconocer que el bando blanco está mejor, pero no saber catalogar el tipo de ventaja que este muestra apropiadamente es menos grave, que considerar una posición de ventaja blanca como una de ventaja negra. Así se puede apreciar como el catalogar una posición que de hecho es ventaja blanca como ventaja negra (error de 4) dista más que catalogarla como ligera ventaja blanca (error de 1). 2) Variable de respuesta: El cálculo de la variable de respuesta consiste en catalogar la valoración arrojada por la red neuronal y por la persona en tres casos. Primero se calculó la diferencia entre el evaluador y la valoración correcta de acuerdo con el informador de ajedrez. Una vez calculado esa diferencia, se realizaron tres categorías que se pueden apreciar en tabla XII: 3) Numeración de las réplicas: El experimento va a tener un total de 320 réplicas, que corresponden a 160 posiciones analizadas por humanos y 160 posiciones valoradas por la red neuronal. El número de réplica para los humanos coincidió con

18 CONCURSO LATINOAMERICANO DE TESIS DE MAESTRÍA, XXXVIII CLEI 2012, OCTUBRE Apreciación Diferencia de la valoración correcta y la indicada Apreciación correcta 0,1 Apreciación aproximada 2,3 Apreciación errónea 4,5,6 TABLE XII: Cálculo de la Variable de respuesta el número de posición y en el caso de la red neuronal cada réplica fue numerada tomando el número de réplica de la misma posición en el caso de los humanos. 4) ANOVA: Se realizó una prueba de Análisis de Varianza para estimar si las valoraciones de la red diferían de las valoraciones humanas. En el cuadro XIII muestra los valores del ANOVA Factor Df Sum Sq Mean Sq F Prob > F Rey Dama = Peones Eval Rey:Dama Rey:= Dama:= Rey:Peones Dama:Peones =:Peones Rey:Eval Dama:Eval =:Eval Peones:Eval Rey:Dama:= Rey:Dama:Peones Rey:=:Peones Dama:=:Peones Rey:Dama:Eval Rey:=:Eval Dama:=:Eval Rey:Peones:Eval Dama:Peones:Eval =:Peones:Eval Rey:Dama:=:Peones Rey:Dama:=:Eval Rey:Dama:Peones:Eval Rey:=:Peones:Eval Dama:=:Peones:Eval Rey:Dama:=:Peones:Eval Residuals TABLE XIII: ANOVA del experimento 5) Análisis del ANOVA: Como podemos ver, en la tabla, casi todas las relaciones entre los factores es superior al trece por ciento por lo que se descarta que alguno de los factores realmente afecte la valoración general obtenida. En especial, el factor que más interesa valorar es el evaluador (Eval). Hubo un caso donde se puede observar que hubo una interacción de factores, en el caso de igualdad (=)y peones con menos del cuatro por ciento, lo que hace suponer que son factores que pueden influir en la respuesta brindada. Curiosamente esto ocurre independientemente del evaluador a ambos les afecta la misma combinación de factores. Esto se puede explicar porque son posiciones en donde hay una diferencia material que no es significativa en el contexto de la partida y tiende a confundir a los evaluadores (curiosamente a ambos, humanos o no). Dada la muestra compuesta por 320 réplicas, no hay suficiente evidencia para descartar la hipótesis nula y por lo tanto, se toma como cierta. VII. CONCLUSIONES Y TRABAJO FUTURO El presente capítulo consiste en explicar las conclusiones y posibles trabajos que se pueden realizar a partir de esta tesis y que permita continuar avanzando en el área de la IA y otras áreas como las ciencias cognoscitivas. A. Conclusiones 1) El propósito de esta tesis fue demostrar que el reconocimiento de patrones es efectivo en el análisis de juegos de información completa. La principal conclusión que se puede tener de este trabajo es que al no haber hallado evidencia que demuestre que el reconocimiento de patrones utilizando redes neuronales se comporta de manera distinta da la manera en humanos expertos en el área lo hacen, entonces son al menos, tan efectivos como éstos últimos. Esto puede llevar a pensar que existen mecanismos computacionales que son capaces de reproducir ciertas funciones del cerebro y que por lo tanto, nos aproximen a tener IA dura [?] en pocos años al ampliar la capacidad computacional que ahora tenemos y los conocimientos en cognición. 2) Actualmente, las computadoras son consideradas invencibles en el campo del ajedrez y lo son de hecho en áreas como el tablero en donde ya han logrado hacer un juego perfecto, sin embargo, aún estamos lejos de considerar a las computadoras inteligentes. Con base en esta tesis, áreas de la IA se ven apoyadas al generar nuevos mecanismos, similares a los procesos cerebrales, que permiten resolver un problema común en esta disciplina, pero de una manera menos simbólica de como tradicionalmente ha sido enfocado. 3) El ajedrez tiene ciertas características que son muy propias. El análisis de posiciones por parte de humanos, a diferencia del mero cálculo de variantes, también incluye ciertos componentes que son importantes como movilidad de las piezas, apertura de columnas, estructura de peones, fortaleza del centro, ubicación del rey, iniciativa, entre otras. Cada una de estas propiedades de las posiciones, son muy fáciles de determinar para un ser humano, incluso, permiten que descarte o analice ciertas variantes por encima de otras, haciendo un uso más eficiente de los recursos. Entonces, este mecanismo de reconocimiento de patrones puede generar heurísticas que permitan distinguir cuando vale la pena analizar una variante con mayor profundidad de la expuesta por el algoritmo tradicional o por el contrario, descartar otra variante porque resulta muy poco probable tener éxito en esa línea particular, mejorando de esta manera el uso de los recursos. 4) El nivel de correspondencia encontrado entre los seres humanos y la red fue bastante alto, lo que implica que la red estaba trabajando al mismo nivel que los humanos expertos, incluyendo sus deficiencias. Dado que donde hubo mayor error fue en las posiciones que

19 CONCURSO LATINOAMERICANO DE TESIS DE MAESTRÍA, XXXVIII CLEI 2012, OCTUBRE tienen una desigualdad material y una estructura de peones desordenada, indica que probablemente se debe de reforzar ese aspecto en la base de entrenamiento para futuras referencias. 5) Las posiciones atípicas (como combinación de factores extraños) no implicaron mayor diferencia para la red que para los seres humanos, el nivel de fallo fueron estadísticamente similares a jugadores expertos. 1) Aportes: 1) Una base de datos de 350 partidas que sirven para entrenamiento de una red neuronal en ajedrez y su respectivo análisis. 2) Una base de datos de 160 posiciones basadas en la combinación de 4 factores principales: Posición del rey, presencia de la dama, estructura de peones e igualdad material. 3) Una red neuronal de retropropagación para poder evaluar posiciones de ajedrez, así como un esquema de la representación de una posición para traducirla a una entrada de la red neuronal. B. Trabajo futuro 1) Test de Turing ajedrecístico: Como se pudo apreciar en la sección III-D1 en la página 12 las computadoras, muchas veces fallan en el análisis posicional. Cometiendo ciertos errores básicos, a pesar de haber completado una partida completamente magistral antes de eso, muchas veces se someten a errores inocentes que una ser humano, por miedo a enfrentar posiciones adversas simplemente prefiere no tomar. Sería muy interesante poder entonces reunir diferentes posiciones en donde programas actuales valoran erróneamente la posición y compararlo al análisis de un ser humano experto y de una red neuronal tal y como se presenta en esta tesis para ver si un experto humano con experiencia en ajedrez y computadoras puede diferenciar, quién es el humano, quién es la red y quién es la computadora. 2) Jugador completo: Resultaría muy conveniente poder tomar un programa actual, basado en el cálculo de variantes y modificar su función de valoración para que tome también en consideración el resultado de una red neuronal tal y como se está planteando en esta tesis para medir su nivel y valorar si le permite discernir mejor las jugadas en situaciones del juego meramente posicionales. 3) Entrenamiento en táctica: Una partida de ajedrez, consta principalmente de dos componentes muy fuertes, la estrategia y la táctica. La red neuronal de esta tesis fue entrenada en posiciones donde la evaluación se realizaba desde una perspectiva estratégica, dado que los árboles de variantes que actualmente poseen las computadoras, permiten encontrar combinaciones tácticas muy fácilmente. Una continuación de la labor realizada en esta tesis podría ser entrenar redes neuronales en la identificación de posiciones donde es conveniente encontrar combinaciones tácticas. La combinación de estos dos aspectos, estrategia y táctica, puede permitir ser usados como poda en los árboles de variantes actuales y permitir mayor profundidad en el cálculo. Recordemos que los seres humanos somos más lentos en el análisis de variantes y por lo tanto debemos de encontrar correctamente las variables para analizarlas y aprovechar mejor el tiempo que se asigna a una partida. Bajo que estamos trabajando bajo el supuesto que las personas analizamos las partidas utilizando reconocimiento de patrones, es posible que se pueda hacer lo mismo para táctica. A continuación algunos detalles a tomar en cuenta para lograrlo 1) Lo principal que debe poseer quien ataca es ventaja en espacio en el centro del tablero, lo que equivale a decir que debe dominar mayor número de casillas que el adversario. 2) Esto puede completarse y hasta reemplazarse con la posesión de las columnas abiertas sobre el enroque adversario o sobre el área en que se va a sacrificar. 3) Cuando esto no es posible, se debe reemplazar con la colocación de las torres en la tercera línea. Esto para los ataque por medio de piezas, cuando los peones del que ataca permanecen inmóviles, que es tipo de ataque rápido, del que vamos a ocuparnos. 4) Finalmente, ventaja de material móvil en la zona donde se desarrolla el ataque. [?] 4) El póquer y otros juegos: Aunque en este momento, una computadora ha sido capaz (una única vez en la historia) de ganarle al campeón del mundo de ajedrez, en otros juegos de mesa como el póquer, las computadoras han demostrado fallar, principalmente por su falta de psicología, muchas veces no saben cuánto presionar o cuándo reconocer un bluff (una fanfarronada) o cuando están jugando realmente porque creen en lo que tienen en las cartas, característica importante de quienes juegan en los torneos internacionales de póquer. El poder entrenar una red neuronal para reconocer una fanfarronada, tomando como insumo las probabilidades que se utilizan actualmente en programas que juegan al póquer debe de mostrar resultados interesantes. 5) Otros mecanismos para reconocer patrones: En esta tesis se utilizó una red neuronal artificial basada en retropropagación, sin embargo, se podría utilizar otros mecanismos para entrenar la red, tales como algoritmos genéticos o incluso podrían utilizarse cadenas de Markov para los mismos fines para medir su nivel de precisión, en contraste con los resultados presentados en esta tesis. 6) Cognición: La presentación de la posición a la red neuronal, a pesar de haber sido bastante sencilla, logró resultados bastante comparables con los seres humanos, como se ha dicho, incluso, cometiendo errores con la misma combinación de factores. Lo que presenta un interesante caso de estudio a nivel cognitivo de qué factores son los que están siendo tomados en la red y en los seres humanos para haber cometido dichos errores. REFERENCES [1] R. Gibbons, A Primer in Game Theory. FT Prentice Hall, [Online]. Available: [2] Restle, Introduction to mathematical psychology. Princeton, [Online]. Available: Mathematical-Psychology-Frank-Restle/dp/B0012AUSO0/

20 CONCURSO LATINOAMERICANO DE TESIS DE MAESTRÍA, XXXVIII CLEI 2012, OCTUBRE [3] S. Russell, INTELIGENCIA ARTIFICIAL UN EN- FOQUE MODERNO. FT Prentice Hall, [Online]. Available: ENFOQUE-MODERNO-Russell/dp/B0038IY3J0/ [4] CBC, New computer program never loses at checkers. [Online]. Available: [5] C. N. Xiaowen Fang, Susy Chan, An Online Survey System on Computer Game Enjoyment and Personality. [Online]. Available: portal.acm.org/citation.cfm?id= [6] J. e. a. Longo, Kasper, Harrison s Principles of internal medicine. McGraw Hill, [Online]. Available: Volumes/dp/ X/ [7] M. G. P. et al, Progressive motor neuron impairment in an animal model of familial amyotrophic lateral sclerosis, [8] Kohonen, Self-organization and Associative Memory. Springer, [9] H. y Martínez, Redes Neuronales Artificiales. Fundamentos, Modelos y Aplicaciones. Addison Wesley, [10] Kohen, Combining genetic algorithms and neural networks, [Online]. Available: [11] B. Molina, Redes Neuronales y Sistemas Borrosos: un Libro de Texto en Espanol, [12] L. y Viñuela, Redes Neuronales artificiales, un enfoque práctico. Addison Wesley, [13] Fritsch, Modular neural networks for speech recognition, [Online]. Available: [14] N. Geographic, Mi gran cerebro: Campeona de ajedrez. [Online]. Available: [15] A. Gude, Escuela de Táctica de ajedrez. FT Tutor, [Online]. Available: En-Ajedrez-Spanish/dp/ / [16] R. Grau, Tratado General de Ajedrez. Ediciones Colihue, [Online]. Available: Tomos-Spanish/dp/ / [17] V. Henkin, 1000 Checkmate combinations. Batsford, [Online]. Available: Combinations-Victor-Khenkin/dp/ / [18] Philidor, Análisis del juego del ajedrez. Librería de J Rosa, [Online]. Available: [19] D. King, Kasparov contra Deeper Blue. Editorial Paidotribio, [Online]. Available: Blue-Spanish/dp/ / [20] Chesspolis, Chess engines, [Online]. Available: [21] Hiarcs, Hiarcs, [Online]. Available: [22] Chessville, Chess engine update, [Online]. Available: [23] D. C. Montgomery, Analysis and Design of Experiments. Wiley, [Online]. Available: Eddy Ramírez Jiménez Egresado del TEC en el 2007 y Máster en Ciencias de la Computación desde el En el 2007 trabajó como desarrollador en InBio en el proyecto de especies y especímenes. Luego fue profesor desde el 2008 hasta 2012 en Universidad Latina de Costa Rica, desde el 2010 en Universidad Nacional Autónoma de Costa Rica y desde el 2012 en el Tecnológico de Costa Rica. También es actualmente jugador activo de primera división de ajedrez de Costa Rica desde el 2005.