Algoritmos Bioinspirados.

Transcripción

1 Algoritmos Bioinspirados. Departamento de Matemáticas, Estadística y Computación Universidad de Cantabria 13 de abril de 2011 This work is licensed under the Creative Commons Attribution-NonCommercial-ShareAlike 3.0 License. C.E. Borges, J.L. Montaña Universidad de Cantabria 1/87

2 Índice 1 Problemas de optimización. 2 Métodos Anaĺıticos. Multiplicadores de Lagrange. Descenso de Gradiente. Programación Lineal. 3 Métodos Combinatorios. Métodos Bioinspirados. Programación Genética. 4 Problemas. Sistemas de Ecuaciones de Palabras. Regresión Simbólica. 5 Bibliografía. C.E. Borges, J.L. Montaña Universidad de Cantabria 2/87

3 Problemas de optimización. Descripción. Dado un problema, se trata de encontrar la mejor solución que cumpla ciertas restricciones. Problema. (Optimización) mín f (x) sujeto a g(x) = 0 h(x) 0 En las siguientes trasnparencias presentamos diversos métodos para tratar de resolver este tipo de problemas. C.E. Borges, J.L. Montaña Universidad de Cantabria 3/87

4 Índice 1 Problemas de optimización. 2 Métodos Anaĺıticos. Multiplicadores de Lagrange. Descenso de Gradiente. Programación Lineal. 3 Métodos Combinatorios. Métodos Bioinspirados. Programación Genética. 4 Problemas. Sistemas de Ecuaciones de Palabras. Regresión Simbólica. 5 Bibliografía. C.E. Borges, J.L. Montaña Universidad de Cantabria 4/87

5 Métodos Anaĺıticos[Varios, b]. Descripción. La principal característica de este método es que lidia con problemas cuya descripción se realiza mediante Funciones Anaĺıticas. Para resolver este tipo de problemas es necesario recurrir a las potentes herramientas del Análisis Matemático. C.E. Borges, J.L. Montaña Universidad de Cantabria 5/87

6 Índice 1 Problemas de optimización. 2 Métodos Anaĺıticos. Multiplicadores de Lagrange. Descenso de Gradiente. Programación Lineal. 3 Métodos Combinatorios. Métodos Bioinspirados. Programación Genética. 4 Problemas. Sistemas de Ecuaciones de Palabras. Regresión Simbólica. 5 Bibliografía. C.E. Borges, J.L. Montaña Universidad de Cantabria 6/87

7 Método de los Multiplicadores de Lagrange[Varios, f]. Descripción. Transforma el resolver un problema de optimización en hallar las soluciones de un sistema de ecuaciones. Problema. (Optimización) mín f (x) sujeto a g(x) = 0 = Problema. (Algebraico) encontrar x tal que F (x) = 0 C.E. Borges, J.L. Montaña Universidad de Cantabria 7/87

8 Me todo de los Multiplicadores de Lagrange. Problemas a los que se aplica. En general, aparece en muchos procesos de Ingenierı a. Entre ellos cabe destacar aquellos relacionados con la ingenierı a de materiales y el ca lculo de estructuras. C.E. Borges, J.L. Montan a Universidad de Cantabria 8/87

9 Ventajas y Desventajas. Sólo es se puede usar cuando las restricciones que deben cumplir las soluciones son del tipo cumplir una ecuación. Es necesario conocer la expresión algebraica tanto de la función a optimizar como la ecuación que deben cumplir las soluciones. Además, ambas deben cumplir ciertas condiciones matemáticas bastante estrictas. Se obtiene máximos y mínimos, globales y locales. Desgraciadamente, NO se puede resolver sistemas de ecuaciones (no lineales) de forma eficiente. C.E. Borges, J.L. Montaña Universidad de Cantabria 9/87

10 Índice 1 Problemas de optimización. 2 Métodos Anaĺıticos. Multiplicadores de Lagrange. Descenso de Gradiente. Programación Lineal. 3 Métodos Combinatorios. Métodos Bioinspirados. Programación Genética. 4 Problemas. Sistemas de Ecuaciones de Palabras. Regresión Simbólica. 5 Bibliografía. C.E. Borges, J.L. Montaña Universidad de Cantabria 10/87

11 Método del Descenso de Gradiente[Varios, e]. Descripción. Transforma un problema de optimización en un proceso iterativo en el que, a partir de una aproximación inicial, se calcula en qué dirección se encuentra una solución mejor y la longitud a la que se encuentra. Iteración tras iteración, la solución inicial se aproxima hacia el óptimo. C.E. Borges, J.L. Montaña Universidad de Cantabria 11/87

12 Me todo del Descenso de Gradiente Problemas a los que se aplica. En general se usa en los mismos casos en los que se usa el Me todo de los Multiplicadores de Langrange. Adema s, tambie n es u til en los siguientes problemas: Ca lculo de Equilibrios de Nash. Resolucio n de problemas de Control O ptimo. C.E. Borges, J.L. Montan a Universidad de Cantabria 12/87

13 Método del Descenso de Gradiente Ventajas y Desventajas. Sólo es se puede usar cuando las restricciones que deben cumplir las soluciones son del tipo cumplir una ecuación. Es necesario conocer la expresión algebraica tanto de la función a optimizar como la ecuación que deben cumplir las soluciones. Además, ambas deben cumplir ciertas condiciones matemáticas. Dado un buen candidato inicial se garantiza la convergencia a un mínimo local. Desgraciadamente NO sabemos como encontrar buenos candidatos iniciales. El número de iteraciones puede ser muy alto. C.E. Borges, J.L. Montaña Universidad de Cantabria 13/87

14 Índice 1 Problemas de optimización. 2 Métodos Anaĺıticos. Multiplicadores de Lagrange. Descenso de Gradiente. Programación Lineal. 3 Métodos Combinatorios. Métodos Bioinspirados. Programación Genética. 4 Problemas. Sistemas de Ecuaciones de Palabras. Regresión Simbólica. 5 Bibliografía. C.E. Borges, J.L. Montaña Universidad de Cantabria 14/87

15 Programación Lineal[Varios, g]. Descripción. Transforma un problema de optimización en un proceso iterativo en el que a partir de una solución factible inicial se van generando otras posibles soluciones hasta encontrar el óptimo. Problema. (Programación Lineal) mín sujeto a c x Ax b C.E. Borges, J.L. Montaña Universidad de Cantabria 15/87

16 Programación Lineal Problemas a los que se aplica. Optimizar mezclas químicas. Gestión de inventarios y carteras financieras. Asignación de recursos humanos y maquinaria. Flujos en redes de telecomunicaciones y transporte de mercancías. C.E. Borges, J.L. Montaña Universidad de Cantabria 16/87

17 Programación Lineal Ventajas y Desventajas. Funciona rápido incluso con problemas muy grandes. Tanto la condición de ser solución como la función a optimizar son muy restrictivas pues ambas tienen que ser lineales. C.E. Borges, J.L. Montaña Universidad de Cantabria 17/87

18 Índice 1 Problemas de optimización. 2 Métodos Anaĺıticos. Multiplicadores de Lagrange. Descenso de Gradiente. Programación Lineal. 3 Métodos Combinatorios. Métodos Bioinspirados. Programación Genética. 4 Problemas. Sistemas de Ecuaciones de Palabras. Regresión Simbólica. 5 Bibliografía. C.E. Borges, J.L. Montaña Universidad de Cantabria 18/87

19 Métodos Combinatorios[Varios, b]. Descripción. La principal característica de este método es que lidia con problemas cuyo espacio de soluciones es finito. La diversidad de problemas y posibles soluciones es tan amplia que es imposible dar una idea general. C.E. Borges, J.L. Montaña Universidad de Cantabria 19/87

20 Métodos Combinatorios. Problemas a los que se aplica. Problema de la Mochila. Árbol mínimo. Flujo máximo. Problema de emparejamientos. C.E. Borges, J.L. Montaña Universidad de Cantabria 20/87

21 Métodos Combinatorios. Ventajas y Desventajas. Hay multitud de estrategias para cada problema. Generalmente son problemas muy difíciles pues el número de candidatos a solución, aunque finito, es inmenso. La estrategia más simple es la fuerza bruta. Esto es, probar con todos los candidatos. Existen mejoras a esta aproximación como son las estrategias voraces, ramificaciones y podas y similares. Otra estrategia simple es la búsqueda aleatoria. Esto es, probar con candidatos seleccionados al azar. Muchos métodos son simplemente mejoras sobre la búsqueda aleatoria aunque pueden llegar a ser muy sofisticadas y obtener unos resultados mucho mejores. Entre ellos se encuentran todos los Métodos Bioinspirados. C.E. Borges, J.L. Montaña Universidad de Cantabria 21/87

22 Índice 1 Problemas de optimización. 2 Métodos Anaĺıticos. Multiplicadores de Lagrange. Descenso de Gradiente. Programación Lineal. 3 Métodos Combinatorios. Métodos Bioinspirados. Programación Genética. 4 Problemas. Sistemas de Ecuaciones de Palabras. Regresión Simbólica. 5 Bibliografía. C.E. Borges, J.L. Montaña Universidad de Cantabria 22/87

23 Algoritmos Bioinspirados[Varios, a]. Descripcio n. Replican la forma en que la naturaleza se enfrenta a problema de optimizacio n. Principalmente se trata de emular la evolucio n natural de las especies y la respuesta de los sistemas sociales ante desafı os. C.E. Borges, J.L. Montan a Universidad de Cantabria 23/87

24 Algoritmos Bioinspirados. Problemas a los que se aplica I. Diseño de rutas de escape y tácticas militares. Diseño de estructuras como: alas de un avión, salas de concierto, antenas de telecomunicaciones, grúas,... Diseño de fármacos, compuesto químicos y materiales. Reconocimiento de patologías en test cĺınicos de diversos tipos. C.E. Borges, J.L. Montaña Universidad de Cantabria 24/87

25 Algoritmos Bioinspirados. Problemas a los que se aplica II. Predicciones sobre mercados financieros. Software de control de equipos de robots y inteligencia artificial de robots o agentes virtuales. Reconocimiento de patrones y minería de datos. Problemas matemáticos como: regresiones simbólicas, resolución simbólica de ecuaciones en derivadas parciales, resolución de sistemas de ecuaciones no lineales,... C.E. Borges, J.L. Montaña Universidad de Cantabria 25/87

26 Algoritmos Bioinspirados. Ventajas. Relativamente genéricos y con muy pocas restricciones de uso. Ofrecen poblaciones de soluciones, no respuestas únicas. Son intrínsecamente paralelos, lo cual los hace particularmente útiles en las infraestructuras actuales. No parten de ideas preconcebidas, con lo cual sus resultados suelen ser sorprendentemente originales y muy eficientes. C.E. Borges, J.L. Montaña Universidad de Cantabria 26/87

27 Algoritmos Bioinspirados. Desventajas. Tiene naturaleza aleatoria. Usualmente dependen de muchos parámetros que aún no se sabe optimizar de forma sistemática. Suelen tener problemas de convergencia prematura. Esto es, si por casualidad se encuentra una buena solución, es posible que en sucesivas iteraciones no se mejore. Para evitar esto último hay que garantizar la diversidad en la población. C.E. Borges, J.L. Montaña Universidad de Cantabria 27/87

28 Partes de un Algoritmo Bioinspirado. Procedimientos a definir. Población: Conjunto de candidatos a ser solución que pueden o no cumplir las restricciones del problema. Mecanismo de Evolución: Conjunto de procedimientos por los cuales se modifica la población. Mecanismo de Calificación: Conjunto de procedimientos por los cuales se asigna una calificación a cada elemento de la población. Usualmente es la función a optimizar. Condiciones de Parada: Mecanismo que controla si se ha encontrado una solución o número de operaciones aceptable. Usualmente, la condición de parada, la población y el mecanismo de calificación vienen determinados por el problema a resolver. Sin embargo, el mecanismo de evolución es característico de cada método. C.E. Borges, J.L. Montaña Universidad de Cantabria 28/87

29 Pseudocódigo de un Algoritmo Bioinspirado. Input Crear Poblaciones generaciones Calificar Poblaciones Mientras no Fin Output Validar Resultado Reemplazar Poblaciones Cruzo o Muto Individuos Calificar Nueva Población C.E. Borges, J.L. Montaña Universidad de Cantabria 29/87

30 Índice 1 Problemas de optimización. 2 Métodos Anaĺıticos. Multiplicadores de Lagrange. Descenso de Gradiente. Programación Lineal. 3 Métodos Combinatorios. Métodos Bioinspirados. Programación Genética. 4 Problemas. Sistemas de Ecuaciones de Palabras. Regresión Simbólica. 5 Bibliografía. C.E. Borges, J.L. Montaña Universidad de Cantabria 30/87

31 Enjambres de Partículas[Varios, h]. Descripción. Se genera un enjambre de candidatos que van recorriendo el espacio de búsqueda. Cada candidato guarda el historial de soluciones encontradas y puede intercambiar información con otros candidatos próximos. El mecanismo de memoria esta relacionado con la calificación de las soluciones encontradas mientras que el movimiento de las partículas con el de evolución. Se inspira en el comportamiento social de las colonias de hormigas, abejas, etc. a la hora de buscar comida así como con el sistema inmunológico cuando fabrica anticuerpos. C.E. Borges, J.L. Montaña Universidad de Cantabria 31/87

32 Índice 1 Problemas de optimización. 2 Métodos Anaĺıticos. Multiplicadores de Lagrange. Descenso de Gradiente. Programación Lineal. 3 Métodos Combinatorios. Métodos Bioinspirados. Programación Genética. 4 Problemas. Sistemas de Ecuaciones de Palabras. Regresión Simbólica. 5 Bibliografía. C.E. Borges, J.L. Montaña Universidad de Cantabria 32/87

33 Algoritmos Evolutivos[Varios, c]. Se genera una población inicial aleatoria. Esta población se modifica usando los operadores genéticos: Selección: Selecciona individuos de la población. Cruce: Generan dos individuos nuevos a partir de otros dos al intercambiar sus componentes. Mutación: Modifica un individuo para crear otro nuevo. Reemplazamiento: Seleccionan los individuos que pasarán a la siguiente generación. Está basado en la evolución natural de las especies, la genética y la epigenética. C.E. Borges, J.L. Montaña Universidad de Cantabria 33/87

34 Algoritmos Evolutivos. Cruce vs. Mutación. Usualmente, el cruce realiza una función de búsqueda local explotando las mejores propiedades de cada elemento. Sin embargo, la mutación explora todo el espacio de búsqueda evitando la convergencia prematura hacia mínimos locales. Suponiendo que guardamos el mejor elemento de la población, el operador de mutación nos garantiza que encontraremos la mejor solución siempre y cuando permitamos realizar un número suficientemente grande de iteraciones. C.E. Borges, J.L. Montaña Universidad de Cantabria 34/87

35 Algoritmos Evolutivos. Selección y Reemplazamiento. El operador de selección debe asegurar un balance entre los favorecer operar sobre los mejores elementos y permitir las operaciones entre los peores. El operador de re emplazamiento se encarga de mantener la biodiversidad en la población. C.E. Borges, J.L. Montaña Universidad de Cantabria 35/87

36 Índice 1 Problemas de optimización. 2 Métodos Anaĺıticos. Multiplicadores de Lagrange. Descenso de Gradiente. Programación Lineal. 3 Métodos Combinatorios. Métodos Bioinspirados. Programación Genética. 4 Problemas. Sistemas de Ecuaciones de Palabras. Regresión Simbólica. 5 Bibliografía. C.E. Borges, J.L. Montaña Universidad de Cantabria 36/87

37 Programación Genética[Varios, d]. Descripción. En este caso los individuos de la población a evolucionar por un algoritmo genéticos están fijados de antemano. Usaremos programas informáticos. La idea es construir un programa que resuelva el problema, no buscar una solución óptima. La estructura natural que se evoluciona son árboles de instrucciones. Nosotros usamos una estructura mucho más general y eficiente: grafos dirigidos acíclicos[alonso et al., 2009b] a. a En adelante slp C.E. Borges, J.L. Montaña Universidad de Cantabria 37/87

38 Árbol vs slp s I. Ejemplo. Representación como árbol (a la derecha) y como slp (a la izquierda) de un programa que calcula la función f 1 = x 4 + x 3 + x 2 + x. f 1 x f Figura: slp. x Figura: Árbol. C.E. Borges, J.L. Montaña Universidad de Cantabria 38/87

39 Árboles vs slp s II. Diferencias apreciables en el ejemplo anterior. Los árboles generalmente contienen más nodos pero son estructuras cuya ejecución se puede paralelizar. Por contra, los slp suelen ser más compactos pero pierden la estructura que hace posible paralelizar su ejecución. Esto NO es un problema puesto que al ser una estructura mucho más compacta conseguimos resolver dos grandes problemas a la vez: 1 Evaluamos muchos menos nodos gastando muchos menos recursos (tanto en tiempo como en espacio). 2 Reducimos la cantidad de información que se debe obtener en la fase de aprendizaje. C.E. Borges, J.L. Montaña Universidad de Cantabria 39/87

40 Ejecución. La ejecución de este tipo de programas es bastante simple. Sólo hay que tener en cuenta que estas estructuras se codifican como una lista de operaciones. Simplemente hay que ejecutar todos los comandos de la lista consecutivamente y ya hemos finalizado. f 1 u 1 := x x u 2 := u 1 u 1 u 3 := u 1 x u 4 := u 3 + x u 5 := u 4 + u 1 u 6 := u 5 + u 4 Figura: slp. f 1 u 1 := x x u 2 := x x u 3 := u 1 u 2 u 4 := x x u 5 := u 4 x u 6 := x x u 7 := u 6 + x u 8 := u 5 + u 3 u 9 := u 8 u 7 Figura: Árbol. C.E. Borges, J.L. Montaña Universidad de Cantabria 40/87

41 Índice 1 Problemas de optimización. 2 Métodos Anaĺıticos. Multiplicadores de Lagrange. Descenso de Gradiente. Programación Lineal. 3 Métodos Combinatorios. Métodos Bioinspirados. Programación Genética. 4 Problemas. Sistemas de Ecuaciones de Palabras. Regresión Simbólica. 5 Bibliografía. C.E. Borges, J.L. Montaña Universidad de Cantabria 41/87

42 Algunos ejemplos de problemas. Presentamos ahora una lista de problemas de optimización que han sido resueltos mediante Métodos Bioinspirados. En general han mostrado un desempeño igual o superior a las técnicas clásicas. En muchos casos han podido abordar problemas imposibles con otros métodos. En muchos casos los resultados obtenidos se han llevado a la práctica con muy buenos resultados. C.E. Borges, J.L. Montaña Universidad de Cantabria 42/87

43 Antenas de Telecomunicaciones I. Problema. (Diseño de una antena de Telecomunicaciones.) Construir una antena de comunicaciones con las siguientes restricciones: Rendimiento mínimo determinado a priori. 7 alambres interconectados. Volumen máximo determinado a priori. C.E. Borges, J.L. Montaña Universidad de Cantabria 43/87

44 Antenas de Telecomunicaciones II. Resultados[Altshuler and Linden, 1997]. El resultado no se parece a las antenas tradicionales y carece de una simetría obvia, como inusualmente extraña y anti-intuitiva, aunque tenía un patrón de radiación casi uniforme y con un gran ancho de banda tanto en la simulación como en la prueba experimental. C.E. Borges, J.L. Montaña Universidad de Cantabria 44/87

45 FPGA s I. Problema. (Reconocimiento de Voz.) Construir una placa FPGA que: Reconozca las palabras go y stop. Circuito más pequeño posible. C.E. Borges, J.L. Montaña Universidad de Cantabria 45/87

46 FPGA s II. Resultados[Davidson, 1997]. El resultado fue un circuito reconocedor de voz utilizando sólo 37 puertas lógicas de las cuales cinco de ellas ni siquiera están conectadas al resto del circuito aunque si se les retira la alimentación eléctrica, el circuito deja de funcionar. El funcionamiento exacto de la compleja e intrincada estructura es un misterio. C.E. Borges, J.L. Montaña Universidad de Cantabria 46/87

47 Salas de Conciertos I. Problema. (Diseño de una sala de conciertos.) Construir sala de conciertos que maximice la calidad del sonido simultáneamente para: La audiencia. El director. Los músicos. C.E. Borges, J.L. Montaña Universidad de Cantabria 47/87

48 Salas de Conciertos II. Resultados[Sato et al., 2002]. El resultado fueron dos soluciones no dominadas, ambas descritas como con forma de hoja que tienen proporciones similares al Grosser Musikvereinsaal de Viena, el cual está considerado generalmente como una de las mejores salas de conciertos. C.E. Borges, J.L. Montaña Universidad de Cantabria 48/87

49 Alas de Aviones I. Problema. (Diseño de alas de aviones.) Diseñar el ala de un avión supersónico que simultáneamente minimice: La resistencia a velocidades subsónicas. La resistencia a velocidades supersónicas. La carga aerodinámica. Minimizar el momento de torsión. C.E. Borges, J.L. Montaña Universidad de Cantabria 49/87

50 Alas de Aviones II. Resultados[Obayashi et al., 2000]. Los resultados fueron seis diseños en ala flecha, con valores de resistencia y carga aproximadamente iguales o menores a los del ala diseñada por humanos. En particular, una de las soluciones superó al diseño humano en todos los objetivos. C.E. Borges, J.L. Montaña Universidad de Cantabria 50/87

51 Órbitas de Satélites I. Problema. (Planificar las órbitas de una constelación de satélites.) Planificar las órbitas de una constelación de satélites en órbita baja que: Minimice el tiempo muerto medio para todos los receptores. Minimice el tiempo muerto máximo para cada receptor. Minimice el número de satélites. C.E. Borges, J.L. Montaña Universidad de Cantabria 51/87

52 Órbitas de Satélites II. Resultados[Williams et al., 2001]. El resultado fueron configuraciones orbitales muy asimétricas, con los satélites colocados alternando huecos grandes y pequeños, en lugar de huecos de igual tamaño como habrían hecho las técnicas convencionales. Sin embargo, esta solución redujo significativamente los tiempos medio y máximo de apagón, en algunos casos hasta en 90 minutos. C.E. Borges, J.L. Montaña Universidad de Cantabria 52/87

53 Tácticas Militares I. Problema. (Diseño de planes tácticos militares.) Planificar una operación militar que: Sea generada rápidamente. Minimice las bajas amigas. Maximice las bajas enemigas. Mejorar el control del terreno conquistado. Minimizar el gasto de recursos. Minimizar los daños colaterales. C.E. Borges, J.L. Montaña Universidad de Cantabria 53/87

54 Tácticas Militares II. Resultados[Kewley and Embrechts, 2002]. Los resultados superaron los planes de expertos militares. Tenía sentido táctico y propiedades emergentes. Además, al no sufrir presión, pueden tomar decisiones acertadas en periodos estresantes. C.E. Borges, J.L. Montaña Universidad de Cantabria 54/87

55 Planificador de Rutas I. Problema. (Rutas en redes de telecomunicaciones.) Hallar la ruta de un paquete en una red de telecomunicaciones que: Minimice el tiempo de respuesta. Minimice el número de saltos. Tenga en cuenta la congestión de la red. Tenga en cuenta los cortes de suministro. C.E. Borges, J.L. Montaña Universidad de Cantabria 55/87

56 Planificador de Rutas II. Resultados[He and Mort, 2000]. El resultado era capaz de redirigir enlaces rotos o congestionados, equilibrar la carga de tráfico y maximizar el caudal total de la red. C.E. Borges, J.L. Montaña Universidad de Cantabria 56/87

57 Planificador de Lı neas de Montaje I. Problema. (Planificar la lı nea de montaje.) Crear y gestionar en tiempo real una lı nea de montaje que tenga en cuenta: Minimice el coste de generar una pieza. Maximice el rendimiento de la lı nea de montaje. Se adapte a: averı as, ausencias de empleados y materias primas, cambios en las prioridades de produccio n... C.E. Borges, J.L. Montan a Universidad de Cantabria 57/87

58 Planificador de Líneas de Montaje II. Resultados[Jensen, 2003]. La planificación resultante aumentó la producción mensual un 50 por ciento, el tiempo extra casi desapareció. El tiempo para producir la planificación descendió de cuatro días a solo uno. C.E. Borges, J.L. Montaña Universidad de Cantabria 58/87

59 Disen o de Estructuras. Problema. (Mejorar estructuras conocidas.) Algunos ejemplos: Disen o molinos de eo licos ma s eficientes[benini and Toffolo, 2002]. Mejora de los sistemas ABS[Lee and Zak, 2002]. Disen o de motores die sel ma s eficientes[schechter, 2000]. C.E. Borges, J.L. Montan a Universidad de Cantabria 59/87

60 Colocar Piezas. Problema. (Colocar Piezas en una Matriz.) Diseñar un algoritmo que gestione eficientemente la colocación de piezas en un tablero. Este problema es muy similar a generar un algoritmo que juegue correctamente al videojuego Tetris TM. En [Llima, ] se describe un algoritmo que en media realizar entre y ĺıneas. C.E. Borges, J.L. Montaña Universidad de Cantabria 60/87

61 Minería de datos. Problema. (Descubrir patrones en grandes conjuntos de datos.) Algunos ejemplos: Características de los clientes que cambian de proveedor de algún servicio[wai Ho Au et al., 2003]. Detección de objetos por sus patrones de radar[rizki et al., 2002]. Reconocimiento óptico de caracteres[rizki et al., 2002]. Análisis médico de imágenes[rizki et al., 2002]. En la sección Problemas desarrollamos en más profundidad técnicas para enfrentarse con estos problemas. C.E. Borges, J.L. Montaña Universidad de Cantabria 61/87

62 Dos ejemplos con más detalle. Ahora presentamos con más detalle dos problemas muy complicados de resolver mediante Métodos Clásicos pero que se ha demostrado empíricamente que son resolubles mediante Algoritmos Bioinspirados. Ecuaciones de Palabras. 10xy = 001xy 01 xy 111 = y 00111xx 0x00y 01 = 1xy 0 0y11 = yxy01 xx100y = 001x0y x?, y? 1 0,5 0 Regresión Simbólica. 0 0,5 1 C.E. Borges, J.L. Montaña Universidad de Cantabria 62/87

63 Índice 1 Problemas de optimización. 2 Métodos Anaĺıticos. Multiplicadores de Lagrange. Descenso de Gradiente. Programación Lineal. 3 Métodos Combinatorios. Métodos Bioinspirados. Programación Genética. 4 Problemas. Sistemas de Ecuaciones de Palabras. Regresión Simbólica. 5 Bibliografía. C.E. Borges, J.L. Montaña Universidad de Cantabria 63/87

64 Un ejemplo: Sistemas de ecuaciones de palabras[alonso et al., 2004]. Problema. Dado dos patrones que contengan símbolos fijos y valores variables, encontrar una asignación de símbolos a las variables que haga iguales a ambos patrones. Ejemplo. Encontrar x, y en el conjunto de palabras sobre el alfabeto {0, 1} que satisfaga la siguiente ecuación: x01y = 0yxy. Una solución podría ser: x = 01, y = 1 En nuestro caso buscaremos soluciones acotadas. Es decir, que el número de símbolos sea menor o igual a d, una cota dada a priori. C.E. Borges, J.L. Montaña Universidad de Cantabria 64/87

65 Sistemas de ecuaciones de palabras. Por qué es importante? Aplicaciones en: Teoría de la Unificación (Prolog 3). Pattern-Matching. Diseño y verificación de circuitos eléctricos. C.E. Borges, J.L. Montaña Universidad de Cantabria 65/87

66 Sistemas de ecuaciones de palabras. Cómo obtenemos una solución? I Usaremos un Algoritmo Evolutivo Híbrido. 1 Generamos una población de candidatos a solución de forma aleatoria. Como la longitud de la soluciones está acotada, completamos la longitud de estos candidatos con el símbolo ε que denota el símbolo vacío. 2 La función de calificación será la suma de la cantidad de símbolos distintos en cada ecuación del sistema teniendo en cuenta que si una palabra es mayor que la otra, cada símbolo de más representa un error. 3 La selección se realizará mediante el método de la ruleta. Es decir, tendrán más probabilidad de cruzar o mutar los candidatos con mejor calificación. C.E. Borges, J.L. Montaña Universidad de Cantabria 66/87

67 Sistemas de ecuaciones de palabras. Cómo obtenemos una solución? II 4 La selección se realizará mediante el método de la ruleta. Es decir, tendrán más probabilidad de cruzar o mutar los candidatos con mejor calificación. ind 3 ind 2 12 % 10 % 17 % ind 1 45 % 16 % ind 4 ind 5 C.E. Borges, J.L. Montaña Universidad de Cantabria 67/87

68 Sistemas de ecuaciones de palabras. Cómo obtenemos una solución? III 5 La operación de mutación cambia, con probabilidad 1/d, cada uno de los símbolos. padre = 00000εε = hijo = 0110εεε 6 La operación de cruce intercambia, con probabilidad 1/2 cada uno de los símbolos del padre de menor longitud. Luego completa con algunos símbolos del otro padre. padre 1 = 01εεεεε hijo 1 = εεε = 1100εεε = padre 2 = ε hijo 2 = ε = ε C.E. Borges, J.L. Montaña Universidad de Cantabria 68/87

69 Sistemas de ecuaciones de palabras. Cómo obtenemos una solución? IV 7 Los operadores de cruce y mutación tienen en cuenta que los símbolos ε siempre se encuentran al final de la palabra. 8 Después de realizar un cruce o una mutación realizaremos una búsqueda local con el fin de encontrar mejoras en la calificación del candidato. 9 Finalmente, la condición de parada será encontrar una solución o realizar un número prefijado de iteraciones. 0010εεε 00100εε 0000εεε 0010εεε si mejora calificación probar con 00101εε 001εεεε C.E. Borges, J.L. Montaña Universidad de Cantabria 69/87

70 Sistemas de ecuaciones de palabras. Resultados Conclusiones. Realizar sólo la búsqueda local o sólo el algoritmo evolutivo es peor a que realizar ambos. De hecho, en problemas en el que el espacio de búsqueda es muy grande las diferencias son dramáticas[alonso et al., 2004]. Los mejores parámetros parecen ser tener una población muy pequeña junto con una probabilidad de mutación muy grande. Sin embargo, NO se puede eliminar el cruce, pues en ese caso se observa un comportamiento similar a la búsqueda local pura[alonso et al., 2004]. Estos resultados son coherentes con los obtenidos para otros problemas similares, por ejemplo 3SAT [Alonso et al., 2004]. a Entendemos por peor que la probabilidad empírica de encontrar una solución es menor. C.E. Borges, J.L. Montaña Universidad de Cantabria 70/87

71 Índice 1 Problemas de optimización. 2 Métodos Anaĺıticos. Multiplicadores de Lagrange. Descenso de Gradiente. Programación Lineal. 3 Métodos Combinatorios. Métodos Bioinspirados. Programación Genética. 4 Problemas. Sistemas de Ecuaciones de Palabras. Regresión Simbólica. 5 Bibliografía. C.E. Borges, J.L. Montaña Universidad de Cantabria 71/87

72 Un ejemplo: Regresión Simbólica[Alonso et al., 2009b]. Problema. Dada una muestra de puntos encontrar la función que mejor los aproxima dentro de un conjunto de funciones dado. 1 x 4 + x 3 + x 2 + x 0, ,5 1 C.E. Borges, J.L. Montaña Universidad de Cantabria 72/87

73 Un ejemplo: Regresión Simbólica. Ejemplo. La interpolación y el método de mínimos cuadrados son dos aproximaciones muy restrictivas a este problema pues solo tratan con polinomios a. El método que proponemos nos permite buscar con prácticamente cualquier familia de funciones. a Para ser más precisos lo que requieren estos métodos es que el espacio de funciones sea un espacio vectorial de dimensión finita. C.E. Borges, J.L. Montaña Universidad de Cantabria 73/87

74 Regresión Simbólica. Por qué es importante? Este es uno de los problemas fundamentales en la teoría del aprendizaje tanto automática como natural. Es difícil pensar en alguna rama de la ciencia aplicada que no tenga que resolver algún problema de esta índole. Citamos a continuación algunos ejemplos: Predicciones en cualquier tipo de serie temporal. Predicciones epidemiológicas. Estimaciones de tendencias. En general, es el problema típico cuando se tiene gran cantidad de datos de índole numérico que se sospecha que siguen alguna regla. Hay que tener en cuenta que este problema está muy relacionado con el problema de clasificación. C.E. Borges, J.L. Montaña Universidad de Cantabria 74/87