Un Sistema de Recuperación de Información Estructurada

Transcripción

1 Un Sstema de Recuperacón de Informacón Estructurada Jesús Vegas Pablo de la Fuente Dpto. de Informátca, Unversdad de Valladold Campus Mguel Delbes, Valladold, España Resumen En este trabajo se presenta un lenguaje de consulta sobre estructura y contendo, EC, que trabaja con documentos XML y toma los datos de la estructura de la msma DTD XML. El lenguaje EC está orentado a la facldad de uso e ncluye sólo dos operadores: presenca e nclusón y no toma una forma booleana, sno que utlza pesos asocados a cada térmno de la consulta. Tambén se propone una medda de la relevanca de cada documento con respecto a una consulta. Todo esto utlzando sólo fcheros nvertdos como índce tanto para los elementos de contendo como para los de estructura. Palabras Clave: Búsqueda en Documentos Estructurados, Bases Documentales, XML, Sstemas de Recuperacón de Informacón. Abstract Ths work show a query language wch consders the structure and the content of XML documents, called EC. The EC language s user frendly and ncludes two operators: presence and ncluson, and s not a boolean language but used aweght wth each query element. Also, ths ork presents a new form of document relevance. All ths s done usng nverted fles to ndex the structure and content elements. Keywords: Searchng on Structured Documents, Bases Documentales, XML, Informaton Retreval Systems. 1 Introduccón Cada vez toma más mportanca el ntercambo y manejo de documentos estructurados según alguno de los estándares al uso (SGML, HTML, XML, etc). El nterés en los documentos estructurados y en los lenguajes de formateo de documentos resde en gran medda en el uso de documentos hpermeda, que necestan estructurar los documentos en partes que delmten las dstntas nformacones que los componen, y que dentfquen la naturaleza de cada una de ellas. Dado el esfuerzo necesaro para confecconar un documento, y más s es hpermeda, hay que hacer algo para que ese esfuerzo perdure en el tempo lo más posble. Así, s se utlza un lenguaje de formateo de documentos estándar es posble que el documento pueda ser tratado por más herramentas, ndexadores, vsualzadores, etc., durante más tempo. Además, sempre puede exstr la posbldad de traducr un documento que utlce un formato estándar que se haya quedado obsoleto a otro más moderno. Cuando hablamos de documentos con estructura nos estamos refrendo a documentos cuya estructura es declarada explíctamente de algún modo, ya sea asocando etquetas a elementos de estructura o medante la sntaxs con la que se escrbe el documento, como hacen los lenguajes de programacón. No se pueden entender como documentos estructurados aquellos escrtos utlzando cualquer procesador de textos, ya que en ellos la estructura (por ejemplo el título de un capítulo) se denota a través de la forma que adopta el contendo. De la msma manera que sucede en los sstemas de recuperacón de nformacón cláscos, al consderar los documentos estructurados surge la necesdad de buscar en ellos, pero no sólo por su contendo, sno tambén por su estructura. A esto podríamos llamarlo Recuperacón de Informacón Estructurada, Structured Informaton Retreval, SIR. En este trabajo vamos a presentar un modo de ndzacón y un lenguaje consulta para documentos estructurados, que se caracterza por utlzar un solo índce tanto para la estructura como para el contendo de los documentos en el que el lenguaje de consulta no es de tpo booleano y los documentos son XML.

2 2 El Modelo de Documento El modelo de documento que vamos a consderar es el que se defne a contnuacón. Sea C el conjunto de elementos de contendo que pueden encontrarse en un documento. Estará formado por cada una de las dstntas formas en las que se puede presentar la nformacón y que el usuaro es capaz de captar: texto, mágenes, sondo, vídeo, etc. Sea E el conjunto de elementos de estructura que forman un documento. En él se defnen tanto las dferentes estructuras que forman el documento como las relacones jerárqucas que pueden exstr entre ellas. Así, se puede defnr el tpo de documento D(E,C) como el conjunto de todos aquellos documentos construdos sobre elementos de contendo C y de estructura de E. Cuando se dce que d D(E,C) se quere expresar que d es un documento de tpo D con una estructura E y unos elementos de contendo C. Para dferencar los elementos de estructura del contendo del documento y determnar las característcas de la estructura del msmo (jerarquía, nclusón, dentfcadores, etc.) se utlza la defncón de la metaestructura del documento. Para ello nosotros utlzamos las Document Type Defnton, DTD, del Extensble Markup Language, XML [3]. Así, la estructura de los documentos estará defnda por una DTD. 3 El Lenguaje de Consulta Este lenguaje de consulta cumplrá con los sguentes objetvos: Permtr consultar sobre estructura y contendo. Resultar más cercano al usuaro que al sstema de recuperacón. En el trabajo [1] se presentan varos de los más mportantes lenguajes de consulta que permten la consderacón de la estructura de los documentos. Cas todos ellos ncluyen una gran cantdad de operadores que tratan los elementos de estructura y contendo de los documentos recogdos en la base, pero analzando los operadores hemos llegado a la conclusón que se pueden clasfcar en dos clases de consultas: ncludo y presente, tomando formas más o menos sofstcadas en cada uno de los sstemas estudados. Así, estas dos operacones son las que hemos consderado en nuestro sstema. El segundo aspecto que hacen que los sstemas IR tradconales no sean fácles de utlzar por usuaros no expertos es el uso de los operadores lógcos AND, OR y NOT para construr las consultas [5]. Por ello, nosotros hemos basado nuestro sstema de consulta en la utlzacón de pesos asocados a los elementos ncludos en las consultas. 3.1 Las Consultas EC La forma básca de una consulta en el lenguaje EC será la sguente: Q = ( s1 x q1, s2 x q2,..., sm x qm) en la que la consulta Q está formada por una unón de subconsultas q. Cada subconsulta puede ser 1. una expresón de presenca, 2. una expresón de nclusón. Cada subconsulta está ponderada por un coefcente s que le da un peso en la consulta. Así, un coefcente postvo aumentará la relevanca los documentos que cumplen esa subconsulta, y un coefcente negatvo dsmnurá la relevanca de los documentos que se ajustan a esa subconsulta. Por defecto, se puede entender que la ausenca de coefcente mplca un valor del msmo gual a 1. Además, se puede determnar la oblgatoredad o no de la presenca de todos los elementos de una consulta y en el orden en que se especfcan, según se explca más adelante. Una vez explcada la forma general de la consulta, vamos a defnr y explcar los dos operadores generales que se van a utlzar: presenca e nclusón El Operador Presenca Una expresón de presenca tene la forma general sguente (s1 x e1, s2 x e2,..., sn x en)

3 en el que cada elemento de presenca e está modfcado por un coefcente s que determna su peso en la expresón de presenca, postvo o negatvo y valdrá 1 por defecto. Un elemento de presenca puede ser cualquera de los sguentes: un elemento de contendo, c, con c C. un elemento de estructura, e, con e E. Las expresones de presenca no tenen, en prncpo, asocado nngún orden n oblgatoredad. S se quere nclur el orden y la oblgatoredad de la presenca de los elementos en una expresón de presenca, debemos transformarla en una expresón de secuenca de elementos utlzando los corchetes como delmtadores, en lugar de los paréntess. Así, un ejemplo de expresón de presenca puede ser (1*"a", -1*"b", -1*"c") que está preguntado por los documentos que contenen el elemento a, y no tenen b o c El Operador Inclusón Este operador añade al lenguaje la posbldad de utlzar la estructura del documento como un factor que ayude a la localzacón de documentos relevantes al usuaro. Una expresón de nclusón tene la forma general sguente (e0(s1 x e1, s2 x e2,..., sn x en)) con la secuenca de elementos de nclusón y coefcentes habtual, en la que e0 E y e con 0 < n Un elemento de nclusón puede ser cualquera de los sguentes: un elemento de contendo c, con c C. un elemento de estructura e, con e E. una expresón de nclusón, con lo que se puede tener andamento en las consultas de nclusón. Con una expresón de nclusón se consulta sobre los documentos en los que el elemento de estructura e0 contene los elementos de nclusón e, cada uno multplcado por el coefcente s, a efectos de calcular la relevanca del documento consderado. Un ejemplo de consulta de nclusón puede ser la sguente, (S["b","c"]) en la que se pregunta por los documentos contenendo b segudo de c, ambos dentro de S. 3.2 Cálculo de la Relevanca Cada documento d recbrá una puntuacón relaconada con su relevanca respecto a la consulta Rel(d,Q) que estará compuesta por un par de valores. Estos valores reflejarán el grado de relacón del documento con las subconsultas con coefcentes postvos y negatvos, respectvamente. Esta nformacón se utlzará para presentar al usuaro una relacón de documentos ordenados por su relevanca con respecto a la consulta. Este proceso se puede ver en la sguente expresón: Rel(dj,Q) = (x, y) x = m = 1 y = ν ( d m = 1 j ν ( d, q ). s j, q ). s donde la funcón ν (d j,q ) calcula el número de veces que un documento d j responde a la subconsulta q. El sstema de ndexacón debe ser capaz de resolver los dos tpos de operadores que componen las consultas EC, consderando los dferentes tpos de nformacón de los documentos. El modo en que se trate la nformacón en el índce y otros aspectos relaconados con la ndexacón no deben afectar al lenguaje consderado n al modo de resolver las consultas. En nuestro sstema hemos utlzado fcheros nvertdos [4] para construr el índce. s s > 0 < Otra Forma de Lenguaje Booleano

4 El prncpal problema que plantea el uso de los operadores booleanos AND y OR es que su sgnfcado no se corresponde exactamente con el sgnfcado de la conjuncón y y la dsyuncón o, del lenguaje común. Esto supone una fuente de malentenddos y errores que conducen al desánmo de los usuaros no expermentados. Tambén el operador NOT puede generar errores cuando nos encontramos con una doble negacón -gual a una afrmacón-, cuyo sgnfcado lógco no sempre se corresponde con el sgnfcado en los lenguajes comunes. Por todo ello se ha tomado la decsón de elmnar los operadores booleanos del lenguaje, pero mantenendo su sentdo. Una consulta EC se puede ver como una sere de elementos delmtada por paréntess o corchetes que determnan la oblgatoredad de su presenca o no, y separados por una coma. Por lo tanto, una consulta puede ser nterpretada como una sere de elementos undos o por el operador booleano AND, cuando estamos consderando oblgatoredad, o undos por el operador booleano OR cuando no se consdera oblgatoredad; ambos representado por la coma,. Además, los coefcentes son una representacón del operador NOT, cuando son negatvos. La aparente falta de expresvdad de nuestro lenguaje se ve compensada por la utlzacón de dferentes funcones de cálculo de la relevanca Rel(d_j,Q), y será posble expermentar con dferentes funcones de representacón de Rel() para satsfacer dferentes necesdades de evaluacón de la relevanca de los documentos con respecto a una consulta. Este es uno de los aspectos a destacar en este trabajo, ya que se hace ndependente la representacón de la funcón de relevanca del sstema de ndexacón y recuperacón. 4 Indzacón y Recuperacón En esta seccón vamos a descrbr y explcar los algortmos y las estructuras de datos asocadas que hemos utlzado para construr tanto el índce como el motor de búsqueda. De entre las característcas de nuestro sstema de ndexacón y búsqueda se pueden destacar las sguentes: Se utlzan índces convenconales, fcheros nvertdos. El índce es únco tanto para el contendo de los documentos como para la estructura. Se representan las consultas como árboles. El hecho de que sólo se traten documentos XML no se ha de consderar como una restrccón en cuanto al modo de expresar la estructura de los documentos, ya que se pueden tratar documentos cuya estructura se exprese de otro modo, prevo paso por un fltro que los etquete convenentemente. 4.1 Un Solo Índce para Estructura y Contendo En la lteratura se pueden encontrar descrpcones de sstemas de ndexacón de documentos con estructura en la que se mantenen dos tpos de índces dstntos, uno para los elementos de contendo, palabras, y otro para cada uno de los elementos que conforman la estructura de los documentos. Esto, se vuelve mpractcable en cuanto la estructura de los documentos se complca y el número de elementos de estructura a ndexar crece y se dversfca. Además en la mayoría de los casos, aunque se mantenga un solo índce para todos los elementos de estructura de los documentos, éste puede ser de naturaleza totalmente dstnta que el utlzado para el contendo de los msmos, lo que complca su uso y mantenmento. Fgura 1: Relacones de jerarquía entre segmentos en un documento.

5 Por todo ello, nosotros, a la hora de plantearnos el tpo de índce y su arqutectura, nos decdmos por un índce únco para elementos de contendo y de estructura, y que fuera un tpo de índce clásco y ben conocdo: los fcheros nvertdos. De este modo podremos asentarnos en sstemas que ya estuveran en funconamento y aprovechar su índce, con pocas o nnguna modfcacones. 4.2 El Modelo de Segmentos Para nosotros, los documentos están consttudos por segmentos, cadenas de caracteres con sgnfcado que tenen una poscón de nco y otra de fnalzacón. Un segmento se va a corresponder tanto con una palabra de contendo como con una etqueta de estructura. Sólo vamos a consderar una jerarquía de estructura. De modo que un elemento de estructura o está contendo en otro, (que será de rango superor) o es dsjunto con los demás. En la Fgura 1 se puede ver un ejemplo concreto de la jerarquía de segmentos en un documento y de cómo se puede utlzar el modelo de segmentos para representar tambén las relacones de jerarquía entre los elementos de estructura y de contendo. Se puede observar como los segmentos correspondentes a las hojas, corresponden con las palabras del documento, mentras que cuando vamos ascendendo haca la raíz se van consderando nuevos segmentos, que agrupan a segmentos de nvel nferor, hasta consderar la raíz, un únco segmento S 0,63 que abarca todo el documento. 4.3 La Indexacón En el fchero nvertdo se almacenan las cadenas asocadas a los segmentos, el documento en que aparece y su poscón de nco y fnal en cada documento. Como segmentos vamos a consderar las palabras en lo que respecta a los elementos de contendo, y las etquetas de marcado de los elementos de estructura (tanto las de apertura como las de cerre). Con esto se determna que nuestra undad de ndexacón y recuperacón será la palabra, en lo que respecta a los elementos de contendo, y la porcón de documento ncluda entre las etquetas de apertura y cerre, en los elementos de estructura. 4.4 Representacón y Resolucón de Consultas Dada la naturaleza de las consultas EC el modo utlzado para representar las consultas EC ha sdo un árbol n-aro, en el que la raíz representa la consulta EC, y los nodos del prmer nvel a cada una de las subconsultas. Los nodos hoja serán sempre elementos EC, pudendo corresponder los nodos nterores tanto a expresones de nclusón o de presenca como a elementos EC. Una vez que el árbol con la consulta ha sdo construdo, se recorre en postorden, resolvendo cada uno de los nodos hjos antes que el padre. De este modo se obtendrán los segmentos asocados a los hjos para poder componer a partr de ellos los segmentos que corresponderán al padre. Un ejemplo de árbol de consulta en proceso de resolucón se puede ver en la Fgura 2. Fgura 2: Resolucón de una consulta EC.

6 Resolver un nodo sgnfca que obtenemos un conjunto ordenado de segmentos correspondentes a partes de los documentos que son relevantes a la consulta contenda por ese nodo. Estos segmentos tendrán asocado un peso, que es el msmo que modfca a la consulta asocada a ese nodo. Los nodos se resuelven de dferente modo según se correspondan con elementos de contendo, de estructura, o sean expresones de nclusón o de presenca (conjunto o secuenca). Una de las smplfcacones realzadas en esta fase es la de mponer que los documentos se encuentren ben etquetados. Asunto este resuelto al tratar con documentos XML. Es en esta etapa, donde se pueden mplementar muchos otros tpos de búsquedas. Como por ejemplo, búsquedas aproxmadas, búsquedas por raíces, búsquedas en proxmdad, etc. Al fnal del proceso, cada documento obtendrá una puntuacón consstente en un par de valores que serán la suma de las puntuacones obtendas en las subconsultas con peso postvo y negatvo respectvamente. 5 Conclusones y Trabajo Futuro Hemos dscutdo las propedades que deberían tener los lenguajes de consulta con estructura con el fn de resultar útles a los usuaros. A partr de ellas hemos defndo el lenguaje de consulta EC sobre estructura y contendo, así como las mplcacones sobre el modelo de documento a consderar y se ha propuesto una nueva medda de la relevanca de un documento. Todo ello utlzando XML para defnr los documentos de la base. Tambén se han descrto tanto los algortmos como las estructuras de datos asocadas al lenguaje EC. Entre las prncpales característcas del msmo se pueden destacar que consdera los documentos según el modelo de segmentos e mplementa el índce de manera unfcada tanto para los elementos de consulta como para los elementos de contendo. Analzando otros sstemas o lenguajes de consulta con estructura, se nos antoja nteresante la amplacón de las posbldades de consulta de nuestro lenguaje EC para nclur operadores como la búsqueda con dstanca, búsqueda aproxmadas, y otros. Esto puede aumentar la potenca de nuestro lenguaje. Además, será nteresante poder dstngur entre las relacones ncluyendo e ncludo, ya que en la versón actual del lenguaje EC se transforman en la relacón ncluyendo. Estamos trabajando en la mplementacón de una versón vsual de nuestro lenguaje de búsqueda, alguna de las claves de su dseño se pueden ver en [2]. Tambén queda pendente el análss de la nfluenca de nuestro lenguaje de consulta EC en la precsón y la recuperacón sobre bases documentales sobre las que se puedan tener jucos de relevanca. Otro problema no resuelto y cuya solucón no parece trval desde este estado de desarrollo del tema es el tratamento de la realmentacón de la relevanca cuando las consultas ncluyen elementos de estructura. Esto supondría una extensón de los modelos vectorales y probablístcos [4] cuyas consecuencas no nos atrevemos a adelantar desde aquí. Referencas [1] Baeza-Yates, R. and Navarro, G. Integratng contents and structure n text retreval.in ACM SIGMOD Record (mar. 1996), Vol. 25, ACM Press, pp [2] Baeza-Yates, R. Vegas, J., Navarro, G. and Fuente, P. de la A model and a vsual query language for structured text. In Proceedngs of SPIRE 98 (Sept 1998), Strng Processng and Informaton Retreval: a South Amercan Symposum, IEEE Computer Socety, pp7-13. [3] Bray, T., Paol, J. et all. Extensble Markup Language (XML) 1.0 Tech. Report, WWW Consortum (W3C), [4] Frakes, W.B. and Baeza-Yates, R., Eds. Informaton Retreval: data structures and algortms. Prentce-Hall, [5]Pollock, A., and Hockely, A. What s wrong wth Internet searchng. D-LIB Magazne (Mar. 1997).