Detección de los patrones raros en un conjunto de datos semiestructurados

Transcripción

1 Deteccón de los patrones raros en un conjunto de datos semestructurados M. Montes-y-Gómez 1, A. Gelbukh 1 y A. López-López 2 1 Centro de Investgacón en Computacón (CIC-IPN), Méxco. mmontesg@susu.naoep.mx, gelbukh@cc.pn.mx 2 Insttuto Naconal de Astrofísca, Optca y Electrónca (INAOE), Méxco. allopez@naoep.mx Resumen. La deteccón de desvacones es un problema mportante de la mnería de datos. Consderamos el descubrmento de las desvacones en un conjunto de datos semestructurados; en partcular, en un conjunto de datos representados con grafos conceptuales. Típcamente, la deteccón automátca de desvacones se realza aplcando métodos estadístcos o basados en dstanca. A dferenca de ellos, nuestro método se basa en las regulardades, es decr, característcas comunes de varos grafos de la coleccón. El método descubre los grafos que no comparten nnguna de estas regulardades. Además, se detectan los patrones raros en el conjunto, lo que es una manera resumda de expresar las desvacones encontradas. Estos patrones se descubren a través del agrupamento conceptual de los grafos. El método permte consderar las desvacones con respecto a dferentes contextos (subconjuntos) elegdos por el usuaro, es decr, desde dferentes perspectvas y a dferentes nveles de generalzacón. Palabras clave: mnería de datos, mnería de texto, grafos conceptuales, desvacones, agrupamento. 1 Introduccón Actualmente, debdo al vertgnoso avance centífco y tecnológco de los últmos años, las nsttucones tenen grandes capacdades de crear, almacenar y dstrbur sus datos. Esta stuacón, entre otras cosas, ha aumentado la necesdad de nuevas herramentas que auxlen en la transformacón de esta vasta cantdad de datos en nformacón útl o nuevos conocmentos. Un ejemplo de este tpo de herramentas son los sstemas de mnería de datos. Estos sstemas permten analzar grandes bases de datos y descubrr en ellas algunos patrones nteresantes. Sn embargo, debdo a su enfoque en el análss de la nformacón contenda en una base de datos, los sstemas de mnería de datos no son apropados para el análss de otros tpos de nformacón menos estructurada, como por ejemplo, la contenda en una coleccón de textos. Este artículo se relacona con este problema. En él se descrbe un método para el análss automátco de un conjunto de objetos complejos posblemente textos representados por medo de grafos conceptuales (Sowa, 1984; Sowa, 1999).

2 Exsten varos métodos para el análss de un conjunto de grafos conceptuales. Algunos de ellos consderan su comparacón (Myaeng and López-López, 1992; Mugner and Chen, 1992; Mugner, 1995; Montes-y-Gómez et al., 2000b; Montes -y-gómez et al., 2001a), otros su aplcacón en la recuperacón de nformacón (Myaeng, 1992; Ells and Lehmann, 1994; Hubers et al., 1996; Genest and Chen, 1997; Montes -y-gómez et al., 2000a), y otros mas su agrupamento (Mneau and Godn, 1995; Godn et al., 1995; Bournaud and Ganasca, 1996; Bournaud and Ganasca, 1997; Montes-y-Gómez et al., 2001b). En este artículo se ntroduce el problema de detectar las desvacones (patrones raros) en un conjunto de grafos conceptuales. Báscamente se propone utlzar el agrupamento conceptual de los grafos como un índce de la coleccón, y aprovechar esta estructura para localzar las desvacones. Esta estratega de análss no solo faclta la dentfcacón de los grafos o patrones raros, sno tambén permte detectar desvacones respecto a dferentes contextos (tpo especal de subconjunto) de la coleccón. El resto del artículo se organza de la sguente manera. La seccón 2 relata brevemente algunos trabajos relaconados. La seccón 3 defne el problema de detectar las desvacones en un conjunto de grafos conceptuales. La seccón 4 descrbe brevemente el tpo de agrupamento de los grafos conceptuales que srve como base para la deteccón de las desvacones. La seccón 5 presenta el método de deteccón de las desvacones contextuales como tal. Fnalmente, la seccón 6 expone algunas conclusones y dscute los prncpales trabajos futuros. 2 Trabajos relaconados Los métodos estadístcos tradconales generalmente consderan que los datos raros (tambén llamados desvacones) son una fuente de rudo, y por lo tanto, ntentan mnmzar sus efectos. Dferente a este enfoque, algunos métodos de mnería de datos se centran en la deteccón de estas desvacones. Estos métodos consderan que las desvacones pueden esconder conocmentos verdaderamente nesperados e nteresantes. Típcamente, los métodos para la deteccón de desvacones emplean nformacón adconal a los datos, por ejemplo: condcones preestablecdas o restrccones de ntegrdad (Guzmán, 1996). Solamente en algunas ocasones estos métodos aprovechan la propa redundanca de los datos. Entre los métodos que aprovechan la redundanca de los datos destacan los sguentes tres enfoques (Han and Kamber, 2001): Enfoque estadístco. Este enfoque asume una dstrbucón o modelo de probabldad para los datos (por ejemplo, una dstrbucón normal), y entonces, dentfca las desvacones con respecto a dcho modelo medante una prueba de hpótess. La aplcacón de este modelo requere que se conozcan la dstrbucón de los datos, algunos de sus parámetros (meda y varanza por lo regular) y el número de desvacones esperadas. Una descrpcón ampla de este modelo se encuentra en (Barnett and Lews, 1994).

3 Enfoque basado en dstanca. Este enfoque consdera que el objeto O del conjunto C es una desvacón con parámetros p y d, s al menos una fraccón p de los objetos de C está a una dstanca mayor que d de O. En otras palabras, el objeto O es una desvacón s no tene sufcentes objetos vecnos (consderando una vecndad de rado d). En este caso, el usuaro establece los parámetros p y d. Un algortmo recente para la deteccón de desvacones basadas en dstanca se descrbe en (Knorr and Ng, 1998). Enfoque basado en regulardades. Este enfoque asemeja la manera en que los humanos detectan las desvacones (desde una perspectva conceptual). Prmero dentfca las prncpales característcas regulardades del conjunto de objetos; después, con base en estas característcas, construye una descrpcón general de dcho conjunto; fnalmente consdera raros aquellos objetos que se desvían de la descrpcón general. Un método basado en este enfoque, aunque tambén un tanto estadístco, se presenta en (Arnng et al., 1996). Báscamente, este método consdera que las desvacones son el conjunto de elementos que causan la mayor dsmltud en el conjunto de datos. 3 Desvacones contextuales en grafos conceptuales El método para la deteccón de las desvacones contextuales en un conjunto de grafos conceptuales es, en térmnos generales, un método basado en regulardades. Este método se fundamenta en las sguentes consderacones. Dado un conjunto de grafos conceptuales C = {G }: Una característca representatva es cualquer generalzacón común g c de más de m grafos del conjunto, sendo m f(n). En este caso n ndca el número de grafos del conjunto y f(n) es una funcón preestablecda por el usuaro. Un grafo conceptual raro es un grafo que no tene nnguna característca representatva 1, es decr, el grafo conceptual G r C es consderado raro, sí: / g : G < g. c r c Una desvacón es un patrón descrptvo d de algunos grafos raros del conjunto C; en otras palabras una desvacón es una expresón resumda de las rarezas del conjunto. Entonces, s se asume que R es el conjunto de grafos raros de C (R C), la sguente condcón respecto a d se satsface: G C : G < d G R. Así pues, dado un conjunto de grafos conceptuales C = {G }, donde cada grafo conceptual representa un texto dferente, una desvacón contextual es una expresón de la g : g r s. forma: ( ) j, En esta expresón, g es el contexto y g j es la descrpcón de algunos grafos raros en dcho contexto (de acuerdo con la funcón f(n) preestablecda); r es el grado de rareza de 1 S no puede determnarse nnguna característca representatva del conjunto de grafos, entonces tampoco es posble (conceptualmente adecuado) detectar alguna desvacón.

4 G 1 : canddato:bush Agnt crtcar Ptnt canddato:gore G 2 : canddato:gore Agnt crtcar Ptnt canddato:bush G 3 : presdente: Castro Agnt crtcar Ptnt eleccones G 4 : presdente:clnton Agnt vstar Ptnt país: Vetnam Fgura 1. Un pequeño conjunto de grafos conceptuales. los grafos conceptuales descrtos por g j en el contexto g, y s es el soporte de la desvacón, es decr, es la representatvdad del contexto g j en el conjunto C. Báscamente, esta expresón ndca que: dentro del subconjunto de grafos conceptuales que contenen el grafo g, el cual representa el s% del conjunto total de grafos, todos los grafos que contenen el grafo g j son raros; sendo éstos el c% de los grafos que contenen g. Por ejemplo, la sguente desvacón contextual ndca que 32% de los grafos de una coleccón hablan de anmales, y que en este contexto sólo el 4% mencona un ave de rapña. [anmal]: [ave] (tpo) [rapña] (32%,4%) La deteccón de las desvacones en un conjunto de grafos conceptuales se defne como el problema de encontrar todas las desvacones contextuales g : g j (r/s) de acuerdo con una funcón f(n) preestablecda por el usuaro. Esta deteccón consste de los sguentes dos pasos: 1. Construr un agrupamento conceptual de los grafos, 2. Recorrer el agrupamento conceptual y detectar, para cada grupo, las desvacones correspondentes. A contnuacón se descrben las prncpales característcas del agrupamentos conceptual, posterormente se explca su aplcacón en la deteccón de las desvacones. 3 Agrupamento de los grafos conceptuales En algunos trabajos prevos se presento un método para el agrupamento conceptual de un conjunto de grafos conceptuales (Montes -y-gómez et al., 2001b). En estos trabajos se argumentó que la jerarquía conceptual resultante ndca la organzacón estructura oculta de la coleccón de grafos, pero que además consttuye un resumen o índce de la coleccón, que faclta el descubrmento de otros tpos de patrones nteresantes, por ejemplo las desvacones contextuales. A contnuacón se descrbe brevemente las prncpales característcas de la jerarquía conceptual

5 Cálculos basados en: a = 0.5, b = 0.5 we, wv, wa = 1 cov(h ) = {G 1, G 2, G 3, G 4 } coh(h ) = 0.05 polítco cov(h ) = {G 1, G 2, G 3 } coh(h ) = 0.33 polítco Agnt crtcar cov(h ) = {G 1, G 2 } coh(h ) = 0.86 canddato Agnt crtcar Ptnt canddato cov(h ) = {G 3, G 4 } coh(h ) = 0.13 presdente G 1 G 2 G 3 G 4 Fgura 2. Agrupamento conceptual del conjunto de grafos. El agrupamento conceptual, a dferenca de las técncas tradconales de agrupamento, no solo permte dvdr el conjunto de grafos conceptuales en varos grupos, sno tambén asocar una descrpcón a cada uno de estos grupos y organzarlos jerárqucamente de acuerdo con dchas descrpcones (Mchalsk, 1980). Báscamente, dado un conjunto de grafos conceptuales, este método dentfca todas sus regulardades elementos comunes a dos o más grafos del conjunto, y además construye una jerarquía conceptual de ellas. Por ejemplo, dado el pequeño conjunto de grafos conceptuales de la fgura 1, este método construye la jerarquía de la fgura 2. La jerarquía resultante no es necesara mente un árbol o lattce, sno un conjunto de árboles (esto es, un bosque). Esta jerarquía es una espece de red de herenca, en donde los nodos nferores ndcan regulardades especalzadas y los nodos superores sugeren regulardades generalzadas. Formalmente, cada nodo h de esta jerarquía se representa por una trada 2 (cov(h ), desc(h ), coh(h )), donde: cov(h ), llamada cobertura de h, es el conjunto de grafos cubertos por la regulardad h. desc(h ), llamada descrpcón de h, es el conjunto de los elementos comunes de los grafos cubertos por h, es decr, es el traslape de los grafos de cov(h ). 2 Esta notacón fue adaptada de (Bournaud and Ganasca, 1996), donde cada nodo se representa medante un par (cov(h ), desc(h )).

6 coh(h ), llamada cohesón de h, es la semejanza mínma entre dos grafos cualesquera G, G cov h, sm G, G coh h. de cov(h ), esto es: ( ) ( ) ( ) j Además, en esta jerarquía, el nodo h j es un hjo del nodo h ( h S( ) j j h El nodo h agrupa o cubre más grafos que el nodo h j : ( h ) cov( ) cov. j h ), s y solo s: La descrpcón del nodo h es una generalzacón de la descrpcón del nodo h j : desc h < desc. ( ) ( ) j h La cohesón de los grafos del agrupamento h es menor o gual que la cohesón de los coh h coh. grafos del agrupamento h j : ( ) ( ) h j 4 Deteccón de las desvacones contextuales La deteccón de las desvacones contextuales en un conjunto de grafos conceptuales C = {G } se auxla de su jerarquía conceptual H. En esta jerarquía, cada nodo h ndca un contexto específco del conjunto de grafos conceptuales C. Este contexto se descrbe por la regulardad desc(h ), y se compone por el conjunto de grafos cov(h ). Además, el conjunto de nodos hjo de h ndca una partcón del contexto h, donde cada una de las descrpcones de sus nodos desc(h j ) expresa una característca, posblemente representatva, del contexto h. De acuerdo con esto y con las consderacones de la seccón 3, lo sguente puede establecerse: Característca representatva: La descrpcón desc(h j ) del nodo h j S(h ) es una característca representatva del contexto h s: ( h ) f ( cov( ) ) cov j h Grafo conceptual raro: El grafo conceptual G cov(h ) es raro en el contexto h, s y desc del contexto h tal que: solo s, no exste nnguna característca representatva ( h j ) G cov( ). h j El conjunto de los grafos conceptuales raros del contexto h se denota como R(h ). Desvacón contextual : El grafo conceptual desc(h k ), relaconado con el nodo h < h, es una desvacón del contexto h, s y solo s: G ( h ) G R( h ) cov. En este caso, la sguente desvacón contextual puede establecerse: desc ( h ) desc( h ) : j ( ) cov hj r = cov ( h ) k cov, s = C ( h ) Esta defncón permte encontrar todas las desvacones contextuales (de acuerdo con una funcón f(n) preestablecda por el usuaro) en un conjunto dado de grafos conceptuales. Muchas de estas desvacones contenen nformacón redundante, esto es, k

7 nformacón mplícta en otras desvacones. Por ejemplo, s es raro que se hable de aves en un conjunto determnado de grafos conceptuales, entonces obvamente es aún más raro que se hable de aves de rapña. Entonces, es necesaro elmnar las desvacones contextuales redundantes. Desvacón contextual redundante : La desvacón contextual : gk ( α, β ) redundante s exste otra desvacón contextual g g ( γ, β ), tal que g k < g j. : j g es A contnuacón se descrbe el algortmo general para la deteccón de las desvacones contextuales en un conjunto de grafos conceptuales. Este algortmo recorre, en forma descendente, todos los nodos de la jerarquía conceptual. Para cada nodo h, que ndca un contexto específco de la coleccón, dentfca sus característcas representatvas y tambén sus grafos raros. Después, a partr del conjunto de grafos raros, detecta los nodos descendentes de h (h j < h ), cuya descrpcón desc(h j ) representa una desvacón para el contexto h. 1 procedure DetectaTodasDesvacones (H) 2 for each nodo h H: cov(h ) == 1 3 DesvaconesContextules (h ) 1 procedure DesvaconesContextuales (h c ) 2 f cov(h c ) / C mnsup 3 RARE cov(h c ) 4 for each nodo h s S(h c ) 5 f cov(h s ) > log 2 cov(h c ) 6 RARE cov(h s ) 7 for each nodo h s S(h c ) 8 f cov(h s ) log 2 cov(h c ) 9 DesvaconMaxma (h c, h s, RARE) 10 for each nodo h p P(h c ) 11 DesvaconesContextuales (h p ) 1 procedure DesvaconMaxma (h c, h d, RARE) 2 rareza = cov(h d ) / cov(h c ) 3 soporte = cov(h c ) / C 4 f h d RARE & rareza maxrar 5 OUT h c : h d (rareza/soporte) 6 else 7 for each nodo h s S(h d ) 8 DesvaconMaxma (h s ) Por ejemplo, consderemos el conjunto de grafos conceptuales de la fgura 1 y su agrupamento conceptual de la fgura 2 con la funcón f(n) = 0.4: Con el contexto [polítco], las característcas representatvas son [polítco] (agt) [crtcar] y [presdente], no hay grafos raros y por lo tanto tampoco desvacones. Con el contexto [polítco] (agt) [crtcar], la característca representatva es [canddato] (agt) [crtcar] (ptn) [canddato], en este caso G3 es raro y por lo tanto la desvacones es [presdente:castro] (agt) [crtcar] (ptn) [eleccón].

8 Con otros contextos, todos los hjos ndcan característcas representatvas y no hay desvacones. Entonces, la únca desvacón contextual es: [polítco] (agt) [crtcar]:[presdente:castro] (agt) [crtcar] (ptn) [eleccón] (.33/.75) Conclusones La deteccón de desvacones es un problema mportante de la mnería de datos. En este artculo se ntrodujo el problema de descubrr desvacones en un conjunto de datos semestructurados; en partcular, en un conjunto de grafos conceptuales. Típcamente, la deteccón automátca de desvacones se realza aplcando métodos de tpo estadístco o basados en dstanca. A dferenca de ellos, el método aquí propuesto se basa en las regulardades. Es decr, este método consdera que toda característca común a varos grafos de la coleccón es una característca representatva, y defne como raro cualquer grafo que no comparte nnguna de estas característcas. En general este método tene las sguentes característcas novedosas: 1. Permte detectar tanto los grafos raros del conjunto dado, como los patrones raros en dcho conjunto. Estos últmos señalan las característcas comunes y exclusvas de los grafos raros, y por lo tanto son una manera resumda de expresar las desvacones del conjunto de grafos. 2. Aprovecha el agrupamento conceptual de los grafos para dentfcar y construr los patrones raros. 3. Consdera las desvacones con respecto a dferentes contextos (subconjuntos) del conjunto de grafos, lo que permte vsualzar las desvacones desde dferentes perspectvas y a dferentes nveles de generalzacón. Agradecmentos Este trabajo se realzó con el apoyo parcal del CONACyT, CGEPI-IPN, y SNI, Méxco. Referencas 1. Arnng, Agrawal and Raghavan (1996), A Lnear Method for Devaton Detecton n Large Databases, Proc. of the 2nd Internatonal Conference on Knowledge Dscovery n Databases and Data Mnng, Barnett and Lews (1994), Outlers n Statstcal Data, New York: John Wley & Sons, Bournaud and Ganasca (1996), Conceptual Clusterng of Complex Objects: A Generalzaton Space based Approach, Lecture Notes n Artfcal Intellgence 954, Sprnger, Bournaud and Ganasca (1997), Accountng for Doman Knowledge n the Constructon of a Generalzaton Space, Lectures Notes n AI (1257), Sprnger-Verlag, 1997.

9 5. Ells and Lehmann (1994), Explotng the Induced Order on Type-Labeled Graphs for fast Knowledge Retreval, Conceptual Structures: Current Practces, Wllam M. Tepfenhart, Judth P. Dck and John F. Sowa Eds., Lecture Notes n Artfcal Intellgence 835, Sprnger-Verlag Genest and Chen (1997), An Experment n Document Retreval usng Conceptual Graphs, Conceptual structures: Fulfllng Perce s Dream. Lecture Notes n artfcal Intellgence 1257, Sprnger Godn, Mneau and Mssaou (1995), Incremental Structurng of Knowledge Bases, Internatonal KRUSE Symposum, August 11-13, Santa Cruz, Calforna, Guzmán (1996), Uso y Dseño de Mneros de Datos, Solucones Avanzadas, Num. 34, Han and Kamber (2001), Data Mnng: Concepts and Technques, Morgan Kaufmann Publshers, Hubers, Ouns and Chevallet (1996), Conceptual Graph Aboutness, Conceptual Structures: Knowledge Representaton as Interlngua. Peter W. Elkland, Gerard Ells, Graham Mann Eds., Lecture Notes n Artfcal Intellgence, Sprnger, Knorr and Ng (1998), Algorthms for Mnng Dstance-based Outlers n Large Datasets, Proc. of the Internatonal Conference on Very Large Data Bases (VLDB 98), Newport Beach, CA, Mchals k (1980), Knowledge Acquston thorough Conceptual Clusterng: A Theoretcal Framework and Algorthm for Parttonng Data nto Conjunctve Concepts, Internatonal Journal of Polcy Analyss and Informaton Systems, Vol. 4, Mneau and Godn (1995), Automatc Structurng of Knowledge Bases by Conceptual Clusterng, IEEE Transactons on Knowledge and Data Engneerng, 7(5), Montes -y-gómez, López-López, Gelbukh (2000a). Informaton Retreval wth Conceptual Graph Matchng. Proc. DEXA-2000, 11 th Internatonal Conference and Workshop on Database and Expert Systems Applcatons, Greenwch, England,. Lecture Notes n Computer Scence 1873, Sprnger-Verlag September 2000, pp Montes -y-gómez, Gelbukh and López-López (2000b), Comparson of Conceptual Graphs, Proc. MICAI-2000, 1 st Mexcan Internatonal Conference on Artfcal Intellgence, Lecture Notes n Artfcal Intellgence 1793, Sprnger Montes -y-gómez, Gelbukh, López-López and Baeza-Yates (2001a), Flexble Comparson of Conceptual Graphs, Proc. of DEXA-2001, 12 th Internatonal Conference and Workshop on Database and Expert Systems Applcatons, Lecture Notes n Computer Scence, Sprnger-Verlag, September Montes y Gómez, Gelbukh, López López, and Baeza -Yates (2001b). Text mnng wth conceptual graphs. Proc. NLPKE-2001, Mn symposum on Natural Language Processng and Knowledge Engneerng at SMC-2001, Systems, Man, And Cybernetcs, IEEE, 2001.

10 18. Myaeng, (1992), Usng Conceptual graphs for Informaton Retreval: A Framework for Adequate Representaton and Flexble Inferencng, Proc. of Symposum on Document Analyss and Informaton Retreval, Las Vegas, March Myaeng and López-López (1992), Conceptual Graph Matchng: a Flexble Algorthm and Experments, Journal of Expermental and Theoretcal Artfcal Intellgence, Vol. 4, 1992, pp Mugner (1995), On generalzaton/specalzaton for conceptual graphs, Journal of Expermental and Theoretcal Artfcal Intellgence, Vol. 7, Mugner and Chen (1992), Polynomal Algorthms for Projecton and Matchng, Proc. of thee 7th Conceptual Graphs Workshop, Las Cruces, NM, Sowa (1984), Conceptual Structures: Informaton Processng n Mnd and Machne, Addson-Wesley, Readng, M.A., Sowa (1999), Knowledge Representaton: Logcal, Phlosophcal and Computatonal Foundatons, Frst Edton, Thompson Learnng, 1999.

11 Detecton of abnormal patterns n a sem-structured data set * M. Montes-y-Gómez 1, A. Gelbukh 1, and A. López-López 2 1 Center for Computng Research (CIC-IPN), Mexco. mmontesg@susu.naoep.mx, gelbukh@cc.pn.mx 2 Natonal Insttute of Astrophyscs, Optcs, and Electroncs (INAOE), Mexco. allopez@naoep.mx Abstract. Detecton of devatons s an mportant problem n data mnng. We consder the dscovery of the devatons n a group sem-structured data set; n partcular, n data represented by conceptual graphs. Typcally, the automatc detecton of devatons s done wth statstcal or dstance-based methods. Our method, however, s based on the regulartes,.e., on characterstcs common to several graphs n the collecton. The method dscovers the graphs that do not share any of these regulartes. Also, the abnormal patterns are detected n the set, whch s a way to summarze the devatons found. Such patterns are dscovered usng the conceptual clusterng of the graphs. The method allows consderng the devatons regardng dfferent contexts (subsets) at the user s choce,.e., from dfferent perspectves and at dfferent generalzaton levels. Keywords: data mnng, text mnng, conceptual graphs, devatons, clusterng. * Work done wth partal support of CONACyT, CGEPI-IPN, and SNI, Mexco.