Algoritmo de hormigas mejorado para la descripción de modelos difusos interpretables mediante reglas con excepciones

Transcripción

1 Algoritmo de hormigas mejorado para la descripción de modelos difusos interpretables mediante reglas con excepciones P. Carmona 1 J.L. Castro 1 1 Depto. de Ingeniería de Sistemas Informáticos y Telemáticos, UEx, pablo@unex.es 2 Depto. de Ciencias de la Computación e Inteligencia Artificial, UGr, castro@decsai.ugr.es Resumen En un trabajo previo, los autores proponen la ampliación de la sintaxis de las reglas difusas con nuevos predicados y con reglas excepcionales, así como el uso de un algoritmo de hormigas para la descripción optimal de un modelo difuso inicial. Se presentan aquí diversas extensiones a dicho algoritmo para mejorar la interpretabilidad de los modelos difusos obtenidos y se analiza experimentalmente la ganancia obtenida. Palabras Clave: Modelado difuso, algoritmos de hormigas, interpretabilidad. 1 Introducción Una de las formas de mejorar la interpretabilidad de un modelo difuso consiste en tratar de identificar reglas tan generales como sea posible [4], de forma que cada regla cubra el mayor número de ejemplos de entrenamiento y, de este modo, el tamaño de la base de reglas disminuya. Además, la extensión de la sintaxis de las reglas con nuevos predicados diferentes del habitual es-igual-a permite generar reglas más compactas. Adicionalmente, los autores han propuesto el uso de reglas excepcionales para aumentar aún más la interpretabilidad de modelos descritos mediante reglas difusas [2, 3]. En un trabajo previo [1], se propone un método para la búsqueda de un conjunto de reglas generales y reglas excepcionales que describan un modelo difuso inicial. Para ello, se empleó un algoritmo de hormigas [7], método de optimización global que se basa en el comportamiento emergente que surge de la búsqueda cooperativa realizada por un conjunto de agentes denominados hormigas artificiales. Se proponen aquí diversas extensiones a dicho trabajo para mejorar la interpretabilidad del modelo obtenido. La primera sustituye el modelo de hormigas AS [5] empleado en la propuesta original por el modelo ACS [6], que mejora al anterior. La segunda extensión se basa en relajar las restricciones de un paso válido, aumentando el espacio de soluciones válidas y, por tanto, la flexibilidad de las soluciones obtenidas. La tercera, añade una búsqueda local para refinar cada solución alcanzada. Finalmente, una cuarta extensión elimina reglas que subsumen, no ya en otras reglas, sino en la base de reglas en su conjunto. 2 Reglas simples, compuestas y excepcionales Se consideran sistemas con mltiples entradas y una salida (Multiple-Input Single-Output, MISO) con n variables de entrada X = {X 1,..., X n } definidas sobre el universo del discurso X = X 1... X n, y una variable de salida Y definida sobre el universo del discurso Y. El dominio difuso de X i se denota X i = {LX i,1,..., LX i,pi }, donde LX i,j representa la etiqueta lingística del j-ésimo valor difuso. Análogamente, Ỹ = {LY 1,..., LY q } es el dominio difuso de salida. Habitualmente, las reglas de un modelo difuso MISO contienen en el antecedente un predicado para cada variable de entrada que la asocia a una etiqueta de su dominio difuso. A estas reglas, que denominaremos reglas simples, las denotamos como: R i1...in LY i : LX 1,i1,..., LX n,in LY i. (1) Para mejorar la compactación de las reglas, se puede asociar más de una etiqueta a cada variable de entrada en el antecedente, así como utilizar otros predicados además del habitual es-igual-a. A estas reglas, que denominaremos reglas compuestas, las denotamos como: R i : [ ]X 1 op i SX i 1,..., [ ]X n op n SX i n LY i XIV Congreso Español sobre Tecnologías y Lógica fuzzy 185

2 donde op i {=,,,, } ( significa entre), representa al operador de negación y donde cada SX i j es una etiqueta si op i {=,, }, dos si op i es, y dos o más etiquetas si op i es. Es más, la compactación del modelo difuso puede aún mejorarse mediante el concepto de reglas excepcionales, introducido por los autores en [2, 3]. Una regla excepcional está asociada a otra regla la regla exceptuada y excluye el disparo de ésta de una porción del espacio de entrada que cubre, siendo la regla excepcional la que se aplica en su lugar. Además, para expresar de forma aún más compacta la regla excepcional, ésta aprovecha el contexto introducido por el antecedente de la regla exceptuada. Así, dado el dominio difuso {NL, NS, Z, P S, P L} para todas las variables, las reglas exceptuada y excepcional R 1 : X 1 {NL, Z, P S}, X 2 [NS, P S] NL exc: X 1 Z, X 3 = Z NS agrupan a = 45 reglas simples y equivalen a las reglas compuestas R 1 : X 1 = NL, X 2 [NS, P S] NL, R 2 : X 1 {Z, P S}, X 2 [NS, P S], X 3 = Z NL, R 3 : X 1 {Z, P S}, X 2 [NS, P S], X 3 = Z NS. 3 El algoritmo de hormigas original A continuación se presenta el algoritmo propuesto en [1], que busca la mejor transformación de un conjunto de reglas iniciales (CRI) en un conjunto de reglas compuestas (CRC) con posibles reglas excepcionales. 1 Una hormiga puede realizar pasos de inclusión, que añaden reglas del CRI al CRC, o de amplificación, que extienden la cobertura de una regla del CRC añadiendo una etiqueta a una de sus premisas en el antecedente. La amplificación que la etiqueta LX j,k a R i se denota i, j, k, mientras que la inclusión de la i-ésima regla inicial (RI) al CRC se denota i, 0, 0 y da lugar a la regla compuesta R i. 3.1 Construcción de soluciones Para construir una solución, la hormiga se sitúa en una RI aleatoria, incluyéndola así en su CRC, y sucesivamente selecciona sus pasos entre los válidos para cada estado hasta cubrir positivamente todas las RIs. Un paso es válido: 1 Para poder comparar los resultados experimentales, se han incluido algunos cambios menores como parte del algoritmo original (concretamente, el uso de la negación, la expresión de las reglas excepcionales aprovechando el contexto introducido por la regla exceptuada y la inicialización de feromonas utilizada en la Sección 3.3). 1. Si es de inclusión, cuando la RI aún no esté cubierta positivamente por el CRC. 2. Si es de amplificación de una regla compuesta R i : (a) si R i no es excepcional, cuando: i. la zona de amplificación (ZdA) la nueva zona cubierta por R i (R i amplificada) no cubre solo RIs negativamente, y ii. cada R j que solapa con R i no es excepcional de otra regla, está completamente cubierta por R i y, o bien los consecuentes de sendas reglas coinciden, o difieren y R j no cubre RIs negativamente. (b) Si R i es excepcional de R j, cuando la ZdA está contenida en R j, no cubre RIs negativamente ni solapa con otra regla excepcional. Tras cada amplificación, las reglas que subsumen en R i se eliminan y la conflictivas que solapan con ella se convierten en excepcionales. 3.2 Información heurística Para guiar la búsqueda hacia caminos con pasos prometedores se emplea la función heurística η = γ Reg cob Reg max + (1 γ) Reg +/(Reg + 1) Reg max, (2) donde Reg cob es el número de regiones de entrada cubiertas por la ZdA, Reg + (Reg ) es el número de RIs cubiertas positivamente (negativamente) por la ZdA y Reg max es el número máximo de regiones de entrada cubiertas por la ZdA cuando se amplifica la variable considerada en el paso (para s : i, j, k, Reg max = l j p l) 2. La ecuación (2) se evalúa sobre el estado en el que se encuentra la hormiga justo antes de realizar el paso. 3.3 Actualización de feromonas Esta sección se refiere a las feromonas depositadas por una hormiga tras finalizar su recorrido. Dada una solución (CRC final), se evalúa cada regla R i incluida en ella y se deposita en cada paso i,, del recorrido de la hormiga una cantidad de feromonas proporcional a dicho valor (en este sentido, las reglas exceptuadas y las excepcionales se tratan de igual modo). La valoración de una regla evalúa su simplicidad sintáctica. Para ello, se define la complejidad de cada 2 Para s : i, 0, 0, Reg max = l p l/ min l p l y (2) se divide por 2 para favorecer las amplificaciones. 186 XIV Congreso Español sobre Tecnologías y Lógica fuzzy

3 premisa como c(p j ) = 0 si es la premisa vacía 3 si X j (=,, )LX j,k 4 si X j [LX j,k, LX j,k+l ] l + 2 si X j {LX j,k1,..., LX j,kl }, (3) se evalua cada premisa de la regla P j y su negación P j (donde c( P j ) = c(p j ) + 1) con objeto de considerar la negación y se utiliza en el resto de ecuaciones que se describen a continuación la que resulte más simple (es decir, la de menor valor). A continuación, se define la complejidad de una regla como C(R i ) = min ( 1, E + j c([ ]P j) j p j + 1 ), (4) donde E es el número de reglas excepcionales de R i, y su interpretabilidad se define como I(R i ) = δ(1 C(R i )) + (1 δ) Reg cob Reg max, (5) donde δ [0, 1] es un parámetro, Reg cob es el número de regiones de entrada cubiertas por R i excepto las cubiertas por sus reglas excepcionales y Reg max = l p l. Además, dado que lo adecuado de un paso también depende de los pasos previos, la cantidad de feromonas asociadas a un paso s : i,, dado por la k-ésima hormiga se calcula como τs k = I(R i ) L l + 1, (6) L donde L es la longitud del recorrido y l la posición de i,, en el mismo. Finalmente, la medida utilizada para seleccionar la mejor solución se define como I(BR) = NRI i C(Ri ), (7) NRI donde N RI es el número de RIs y representa la máxima complejidad del modelo (número máximo de reglas, cada una con complejidad máxima). La cantidad de feromonas inicial es igual a τ 0 = IP R voraz /NR voraz (8) donde IP R voraz es la interpretabilidad media de las reglas difusas obtenidas con un algoritmo voraz igual al algoritmo de hormigas (sin las extensiones de 4.3 y 4.4) eligiendo siempre el paso de mayor valor heurístico, y NR voraz es el número de reglas de dicho modelo difuso. 4 Extensiones al algoritmo original 4.1 Modelo ACS La primera extensión consiste en sustituir el modelo AS [5] utilizado en el algoritmo original, por el modelo mejorado ACS propuesto por Dorigo y Gambardella en [6]. Las novedades de este modelo son: Se sustituye la regla proporcional aleatoria de selección de un paso por una regla pseudoaleatoria donde un nuevo parámetro q 0 establece la probabilidad de seleccionar el mejor paso en lugar de utilizar la regla proporcional aleatoria original. Tras cada ciclo, se actualizan sólo las feromonas de los pasos de la hormiga m que obtuvo la mejor solución hasta el momento, τs m = (1 α) τs m + α τs m, en lugar de los pasos de todas las hormigas del ciclo. Durante el recorrido de cada hormiga k, disminuyen las feromonas de cada paso dado s de la forma τ k s = (1 ρ) τ k s +ρ τ 0, reduciendo la probabilidad de que otras hormigas elijan ese paso. 4.2 Solapamiento entre reglas En la Sección 3.1, sólo se permite que una regla en amplificación solape con otra si, tras la amplificación, la última queda cubierta completamente por la primera (condición 2.(a)ii). Un modo de incrementar la capacidad de encontrar soluciones más interpretables consiste en permitir que reglas con el mismo consecuente puedan solapar parcialmente. Aunque esto puede provocar coberturas redundantes del espacio de entrada, el resultado será positivo si estas redundancias suponen una simplificación de las reglas implicadas. Dado que el algoritmo busca esa simplicidad, es de esperar que la metaheurística tenderá a evitar por sí misma las variantes indeseadas. Para implementar esta extensión, la definición de paso válido se redefine como sigue (las modificaciones aparecen resaltadas): Si es de amplificación de una regla compuesta R i : (a) si R i no es excepcional, cuando: i.... ii. cada R j que solapa con R i : es consistente con R i y, o bien está completamente cubierta por R i o bien la zona de solapamiento no cubre RIs negativamente, o XIV Congreso Español sobre Tecnologías y Lógica fuzzy 187

4 es conflictiva con R i, está completamente cubierta por ella, no es excepcional de otra regla y no cubre RIs negativamente. (b) Si R i es excepcional de R j, cuando la ZdA está contenida en R j, no cubre RIs negativamente ni solapa con ninguna regla en conflicto con R i excepto R j. Aunque esta extensión flexibiliza la definición original, se impide el solapamiento entre reglas consistentes en regiones donde cubran RIs conflictivas, con objeto de evitar reglas excepcionales de más de una regla. 4.3 Subsunción respecto a la base de reglas Si se incluye la extensión de la Sección 4.2, pueden surgir reglas que, aunque no subsuman en una regla individual, sí lo hagan en un conjunto de dos o más reglas del modelo final. Por ello, otra extensión consiste en lanzar un proceso para eliminar tales reglas. Durante este proceso, las reglas exceptuadas se analizan antes que sus reglas excepcionales, de modo que si se elimina alguna regla exceptuada, sus reglas excepcionales se conviertan en no excepcionales. Una regla exceptuada subsumirá en la base de reglas si las regiones cubiertas por su antecedente, exceptuando las cubiertas por sus reglas excepcionales, están también cubiertas por otras reglas del CRC. 4.4 Búsqueda local En (2), se favorece la amplitud de la cobertura de una regla incluso aunque la amplificación no proporcione un beneficio inmediato, con la esperanza de que futuras amplificaciones sobre la misma premisa sí lo consigan. Esto puede dar lugar a reglas finales con etiquetas innecesarias que, no sólo no proporcionen ningún beneficio, sino que incluso incrementen la complejidad injustificadamente. Por ello, se introduce aquí una búsqueda local para explorar cada regla final y analizar la idoneidad de cada etiqueta. Concretamente, la búsqueda local consiste en: Para cada regla R i del modelo final: Para cada paso s : i, j, k del recorrido: Sea R i igual a R i sin LX j,k Si conds entonces Reemplazar R i con R i Eliminar el paso s del recorrido donde conds son las condiciones para considerar LX j,k innecesario y comprenden: 1. I(R i ) I(R i ) 2. el CRI sigue cubierto tras sustituir R i por R i 3. si R i es una regla exceptuada, ninguna de sus excepciones cubre la ZdA delimitada por s 4. si se permite el solapamiento (Sección 4.2) y R i es una regla excepcional, la ZdA sólo está cubierta por reglas excepcionales de R i. Esta búsqueda local se lanza después de construir cada solución y antes actualizar las feromonas. Además, si se incluye la extensión de la Sección 4.3, se eliminará la regla resultante si subsume en la base de reglas. 5 Resultados experimentales Se realizaron experimentos para determinar la efectividad de las mejoras presentadas en la Sección 4. Para ello, se obtuvieron los resultados con el método original, con la extensión presentada en la Sección 4.1 (para determinar el beneficio derivado del uso del modelo ACS) y con todas las extensiones presentadas en la Sección 4 aplicadas conjuntamente. Cada configuración del algoritmo se ejecutó 5 veces y se analizaron los valores medios. Los parámetros empleados fueron γ = 0.25, δ = 0.5 y un número de hormigas M = 5. Para la regla proporcional aleatoria se empleó el parámetro β = 1. En el modelo AS, se empleó el parámetro de evaporación ρ = 0.1 y para el modelo ACS los parámetros α = ρ = 0.1 y q 0 = 0.9. El número máximo de ciclos se estableció en 80 y se consideró como condición de convergencia para finalizar la ejecución del algoritmo que todas las hormigas en un ciclo construyeran el mismo CRC. Se diseñó un generador automático para proporcionar bases de reglas compuestas con excepciones con diferentes dimensionalidades (número de variables de entrada, n) y cardinalidades para los dominios difusos (la misma cardinalidad p para todos los dominios). Este generador selecciona aleatoriamente un conjunto de etiquetas para cada premisa en el antecedente de las reglas con la restricción de que el modelo final no contenga reglas conflictivas ni subsumidas, tras lo cual se exceptúan algunas de las reglas generando aleatoriamente reglas excepcionales compuestas. Se emplearon las configuraciones [2, 9] y [3, 7] para [n, p] y para cada una se generaron tres bases de reglas (BR 1, BR 2 y BR 3 ). La Tabla 1 muestra resumidamente los resultados obtenidos. Para cada configuración [n, p] se muestra, en la primera fila, los datos relativos a cada modelo difuso preliminar sobre el que se aplica cada método 188 XIV Congreso Español sobre Tecnologías y Lógica fuzzy

5 Tabla 1: Resultados obtenidos con las distintas versiones del método propuesto BR 1 BR 2 BR 3 [2, 9] (4.40) 10.0 {49} (3.75) 9.0 {47} (3.85) 9.0 {40} AS (4.39) 10.8 (3.61) 9.4 (3.08) 8.2 ACS (3.92) 10.6 (3.38) 9.0 (2.85) 8.2 ACS + E (3.38) 11.0 (3.29) 9.0 (2.70) 8.2 [3, 7] (4.50) 10.0 {88} (5.88) 13.0 {145} (5.54) 12.0 {98} AS (5.25) 12.8 (6.32) 17.0 (4.47) 11.6 ACS (4.88) 12.0 (6.18) 13.6 (4.07) 11.0 ACS + E (4.27) 12.0 (5.76) 14.0 (3.75) 11.0 y, en el resto de filas, los resultados promediados relativos a las distintas configuraciones de dicho método: AS, el algoritmo de hormigas original presentado en la Sección 3 y que utiliza el modelo AS; ACS, que sustituye el modelo AS por el modelo ACS introducido en la Sección 4.1; y ACS + E que añade al método anterior el resto de extensiones propuestas en la Sección 4, permitiendo el solapamiento entre reglas compuestas, aplicando la búsqueda local y considerando la subsunción de reglas respecto a la base de reglas junto con la nueva definición de paso válido. Esta tabla muestra, para cada modelo difuso al que se aplica el algoritmo de hormigas, la siguiente información: entre paréntesis, la complejidad acumulada tanto del modelo difuso descrito mediante reglas compuestas. Esta medida equivale a la suma de la complejidad de sus reglas y, por tanto, es inversa a la medida de la interpretabilidad de una base de reglas definida en (7), entre paréntesis angulares, el número de reglas compuestas que describen al modelo difuso, y entre llaves, el número de RIs simples del modelo difuso proporcionado como entrada del algoritmo de hormigas. Cabe resaltar que el algoritmo de hormigas no parte del conjunto de reglas compuestas generadas automáticamente, sino del conjunto de reglas simples que contiene. A este respecto, aunque no puede asegurarse que el generador de bases de reglas compuestas proporcione el conjunto óptimo de reglas que cubre a las RIs subyacentes, al menos genera una descripción razonablemente buena si atendemos a la relación número de reglas simples vs. número de reglas compuestas (incluyendo las reglas excepcionales). Por ejemplo, para [n, p] igual a [3, 7] las relaciones son 88/10, 145/13 y 98/12 (veáse la tabla). Por ello, se marcó como objetivo conseguir con el algoritmo de hormigas soluciones tan interpretables como las generadas automáticamente. En la Tabla 1 pueden observarse las mejoras en interpretabilidad obtenidas con las diversas extensiones al algoritmo original, consiguiendo reducir sucesivamente la complejidad de los modelos difusos resultantes, aunque a veces esto signifique un aumento en el número de reglas compuestas que los describen (más reglas, pero más simples). La versión ACS + E consigue, no sólo igualar el nivel de interpretabilidad de los modelos difusos preliminares utilizados como entrada al algoritmo, sino reducirlo en todos los casos. Como se apuntó anteriormente, este resultado es más significativo si se tiene en cuenta que el algoritmo parte, no del modelo difuso descrito mediante reglas compuestas, sino del conjunto de reglas simples que lo constituyen. 6 Conclusiones En este trabajo se presentan diversas extensiones sobre el algoritmo de hormigas presentado por los autores en [1], centradas en incrementar la interpretabilidad de los resultados obtenidos. Con el objetivo de evaluar la idoneidad de las extensiones propuestas, se desarrolló un generador de modelos difusos aleatorios descritos mediante reglas compuestas con posibles reglas excepcionales. Dado que dichos modelos, si bien no son óptimos en general, proporcionan una buena descripción en términos de número de reglas simples frente a número de reglas compuestas, consideramos como objetivo conseguir descripciones tan interpretables como las de dichos modelos difusos generados automáticamente. Como conclusión, tanto el uso del modelo ACS como el resto de extensiones proporcionan beneficios respecto al algoritmo original, siendo éstos máximos cuando se aplican todas las extensiones conjuntamente. En este último caso, no sólo se consiguen soluciones tan interpretables como las de los modelos difusos generados automáticamente, sino que en todos casos se mejora XIV Congreso Español sobre Tecnologías y Lógica fuzzy 189

6 su interpretabilidad. Este resultado es tanto más significativo si se observa que la entrada al algoritmo de hormigas propuesto no es la base de reglas descrita mediante reglas compuestas sino las reglas simples que lo constituyen. Referencias [1] P. Carmona and J.L. Castro. Analysis and Design of Intelligent Systems Using Soft Computing Techniques, volume 41 of Advances in Soft Computing, chapter An Ant Colony Optimization plug-in to enhance the interpretability of fuzzy rule bases with exceptions, pages Springer-Verlag, Heidelberg, Germany, [2] P. Carmona, J.L. Castro, and J.M. Zurita. FRIwE: Fuzzy rule identification with exceptions. IEEE Trans. Fuzzy Syst., 12(1): , [3] P. Carmona, J.L. Castro, and J.M. Zurita. Learning maximal structure fuzzy rules with exceptions. Fuzzy Sets Syst., 146(1):63 77, [4] J.L. Castro, J.J. Castro-Schez, and J.M. Zurita. Learning maximal structure rules in fuzzy logic for knowledge acquisition in expert systems. Fuzzy Sets Syst., 101: , [5] M. Dorigo, A. Colorni, and V. Maniezzo. The ant system: Optimization by a colony of cooperating agents. IEEE Trans. Syst. Man Cybern. B, 26(1):29 41, [6] M. Dorigo and L.M. Gambardella. Ant colony system: A cooperative learning approach to the traveling salesman problem. IEEE Trans. Evol. Comput., 1(1):53 66, [7] M. Dorigo and T. Stützle. Ant Colony Optimization. MIT Press, XIV Congreso Español sobre Tecnologías y Lógica fuzzy