HACIA LA RECUPERACION DE INFORMACIÓN ESPECIFICA DE LA WEB

Transcripción

1 a HACIA LA RECUPERACION DE INFORMACIÓN ESPECIFICA DE LA WEB Delia Irazú Hernández Farías a, Luis Ernesto Mancilla Espinoza a, J. Guadalupe Ramos Díaz b División de Estudios de Posgrado e Investigación, Instituto Tecnológico de León, Avenida Tecnológico S/N, C.P , dirazuherfa@hotmail.com, lmancilla01@hotmail.com. b Departamento de Sistemas y Computación. Instituto Tecnológico de La Piedad, Av. Tecnológico No. 2000, La Piedad, Mich., México C.P , jgramos@pricemining.com RESUMEN: Encontrar información de interés particular, en páginas web, con el fin de elaborar reportes significativos es un problema típico de la Web. Para encarar este reto ha surgido la línea de estudio de las ciencias computacionales denominada recuperación de información, del inglés information retrieval (IR), cuyo fin es el descubrimiento de información específica a partir de grandes volúmenes de datos. En el caso de la Web existen estándares tales como: XML, OWL, RDF y otros más ligeros como: Microdata, RDFa y Microformatos que permiten agregar metadatos a los documentos web y que han dado lugar a la Web Semántica. Tales metadatos etiquetan el contenido de las páginas web de modo que se posibilita la recuperación de información específica. Sin embargo, existen millones de páginas que no contienen metadatos y para las cuales tales estándares no constituyen una solución. En este sentido existen técnicas de computación suave (soft-computing) que permitirían clasificar documentos web para descubrir, por ejemplo, el tópico expuesto en un documento web. En el presente trabajo, introducimos una descripción acerca de los estándares de metadatos disponibles para recuperar información. Del mismo modo, explicamos cómo pueden ayudar las técnicas de computación suave en la recuperación de información. Finalmente, se documenta la integración de un rastreador de información de la Web que descarga páginas web para su análisis en una computadora local y que emplea tecnologías de código abierto. 1. INTRODUCCIÓN Por años, la búsqueda de información relevante a partir de la Web ha seguido un patrón típico: se consulta un servidor de búsqueda, se analizan los resultados devueltos y finalmente se discrimina la información que puede ser útil al usuario. Este proceso, eminentemente manual, es insuficiente para aprovechar la enorme cantidad de información presente en la Web. Teniendo en cuenta un enfoque moderno para llevar a cabo el filtrado de documentos web, se pueden explotar las anotaciones (etiquetas XHTML) presentes en la Web Semántica, ya que éstas contienen suficientes descriptores a partir de sus metadatos. Sin embargo, existe gran cantidad de documentos web que no tienen tales anotaciones. Consideramos que la incorporación de métodos de clasificación automática de texto (que no requieren anotaciones semánticas), permitirían encontrar páginas web asociadas a un tema específico y reducir el espacio de búsqueda. Así pues, el uso o mejoramiento de técnicas de clasificación para descubrir información más específica, tal como un producto con un posible precio, marca o características es un tema de interés general. Creemos que ambas aproximaciones deberían considerarse en una herramienta de extracción de información de la Web. El presente trabajo forma parte una tesis de Maestría en Ciencias en Ciencias Computacionales que está en desarrollo. En las secciones que siguen se enumeran las tecnologías que emplean metadatos, después se presenta un resumen acerca de métodos de clasificación de texto y finalmente, se menciona un

2 ejercicio de integración de un rastreador de páginas web que formará parte, en un futuro, de un sistema para recuperación de información de la Web. 2. DEFINICIÓN Y RECUPERACIÓN DE INFORMACIÓN EMPLEANDO METADATOS El uso de metadatos está asociado a la Web Semántica, donde se define como objetivo fundamental que los contenidos web incluyan metadatos que describan la información incorporada en las páginas web 1, para agregar significado y relaciones a los datos. La Web Semántica permite la extracción precisa de información a partir del aprovechamiento de sus metadatos. Entre las tecnologías para la Web Semántica sobresalen estándares tales como el lenguaje extensible de marcado (XML del inglés extensible markup language), el marco de descripción de recursos (RDF del inglés Resource Description Framework) y el lenguaje de ontologías web (OWL del inglés Ontology Web Language). El primero proporciona un lenguaje de marcado de datos universal, el segundo es propiamente un subconjunto de XML especializado para la descripción de recursos de información y el tercero proporciona un medio para la definición de vocabularios formales (ontologías) para emplear en la descripción de recursos. Ejemplo 1: A continuación introducimos un ejemplo de un archivo escrito en RDF que describe información de una persona y en la derecha, parte de la definición formal del vocabulario empleado en la descripción (escrito en OWL y en RDF Schema, una extensión de RDF). Código RDF que describe contenido <rdf:rdf xmlns:rdf=" xmlns:foaf= xmlns:rdfs=" <foaf:person> <foaf:name>juan Pérez</foaf:name> <foaf:mbox rdf:resource="mailto:jperez@dominio.com" /> <foaf:homepage rdf:resource=" /> <foaf:nick>juanito</foaf:nick> <foaf:interest> <rdf:description rdf:about=" rdfs:label = "ABC"/> </foaf:interest> <foaf:knows> <foaf:person><foaf:name>luz Pérez</foaf:name></foaf:Person> </foaf:knows> </foaf:person> </rdf:rdf> Vocabulario FOAF (en OWL y RDFSchema) <rdfs:class rdf:about=" rdfs:label="person" rdfs:comment="a person." vs:term_status="stable"> <rdf:type rdf:resource=" <owl:class rdf:about=" <owl:class rdf:about = " <owl:class rdf:about = " </rdfs:class> En el ejemplo, el archivo inicia con la anotación rdf:rdf para indicar que se trata de una marca XML para RDF. A continuación se introducen tres namespaces mediante la anotación xmlns. Las anotaciones namespace tienen el mismo sentido que en XML, es decir, indican el contexto en el cual dos prefijos (e.g., foaf) significan lo mismo, o mejor dicho, poseen la misma semántica. Por ejemplo, si el prefijo rdf se encuentra en dos archivos distintos, pero en cada caso, al declarar el namespace, hacen referencia a URIs (del inglés Uniform Resource Identifier) idénticos, entonces tienen la misma semántica en ambos archivos (namespaces diferentes indicarían significado distinto). Es común que el URI asignado al namespace haga referencia a alguna especificación asociada al prefijo, por ejemplo, apunta a la especificación de la ontología FOAF 2 (del inglés Friend Of A Friend) que se emplea para describir datos y relaciones entre personas. Posteriormente, en el ejemplo, aparece un conjunto de etiquetas autoexplicativas que describen datos de la persona y sus relaciones con otras. Tales etiquetas forman parte del vocabulario FOAF.

3 Recientemente, hay una tendencia hacia la incorporación de esquemas de marcado más ligeros como lo son: RDFa, Microdata y Microformatos 3. RDFa es un subconjunto de RDF, Microdata es parte del estándar de HTML 5 y Microformatos es una iniciativa independiente impulsada por la empresa Technorati. Tales esquemas permiten incorporar fragmentos de información enriquecidos (rich snippets) que han dado lugar a la llamada web semántica en minúsculas 4. A continuación un ejemplo: Microformatos Microdata RDFa <h2> Eventos académicos </h2> <div class="vevent"> Fecha: <span title=" " class= "dtstart"> Del 18 al 20 de mayo </span> <span class="summary"> VIII Encuentro Participación de la Mujer en la Ciencia </span> <span class="location"> CIO, Centro de Investigación en Optica, León Gto. </span> <div class="description"> Es un evento que promueve la participación de la mujer en la ciencia y la difusión de sus trabajos científicos. <div itemscope itemtype= " <span itemprop="name">j. Guadalupe Ramos Díaz </span>, Y mi apodo es: <span itemprop="nickname"> joguar </span>. Soy <span itemprop="title"> Ingeniero en Sistemas Computacionales </span> y trabajo como. <span itemprop="role"> Profesor Investigador </span>. Del <span itemprop="affiliation"> Instituto Tecnológico de La Piedad </span>. <div xmlns:p = org/# typeof = "p:person"> <span property = "p:name"> J. Guadalupe Ramos Díaz </span>, Y mi apodo es: <span property="p:nickname"> joguar </span> Soy <span property="p:title"> Ingeniero en Sistemas Computacionales </span> y trabajo como <span property="p:role">profesor Investigador</span> Del <span property="p:affiliation"> Instituto Tecnológico de La Piedad </span> En los tres casos se emplean metadatos para describir el contenido que se presenta en una página web. A partir de tales descriptores es fácil rescatar el título, el rol, o la afiliación de una persona, o bien, determinar el resumen, localización o descripción de un evento. 3. TRATAMIENTO DE DOCUMENTOS WEB EN AUSENCIA DE METADADOS El problema general de clasificación está constituido por dos subproblemas que corresponden: primero, a determinar la clase a la que pertenece un objeto a partir de un conjunto de ejemplos de objetos cuya clasificación es conocida; y segundo, se tiene un conjunto de objetos sin ninguna agrupación y se desea determinar tanto el número de clases existente como a la que pertenece cada objeto. Podemos definir un sistema clasificador como un algoritmo que ubica nuevos objetos en una clase perteneciente a un conjunto finito definido previamente, con base en la observación de los atributos o características de los objetos. Las categorías a las que pertenecen los objetos pueden estar definidas de antemano, de forma que existen etiquetas asociadas a cada clase representando conceptos, en este caso, el aprendizaje realizado por el clasificador se considera como supervisado. Sin embargo, las clases existentes pueden ser desconocidas, por lo cual, el clasificador deberá determinarlas, efectuándose en este caso un aprendizaje no supervisado. Una de las principales etapas de un sistema de clasificación es la extracción de características o propiedades. La extracción de características es una de las etapas de la cual depende el desempeño del sistema de reconocimiento. El objetivo principal de esta etapa es extraer la información más discriminante eliminando la información innecesaria. La similitud entre las representaciones de dos objetos debe estar en relación directa con la similitud con la que se suelen percibir dichos objetos. Objetos de la misma clase deberían tener representaciones similares, mientras que objetos de clases distintas deberían tener representaciones claramente diferentes. El entrenamiento básicamente consiste en utilizar alguna forma de aprendizaje que le permita al sistema aprender características que formarán el conjunto de entrenamiento. La clasificación es la última etapa, donde el sistema determina a qué conjunto pertenece el nuevo vector. La Clasificación Automática de Textos tiene sus orígenes en IR y últimamente ha recibido más atención debido al incremento en la cantidad de información disponible en formato electrónico. Es

4 por esta razón, que cada vez es mayor la necesidad de herramientas que ayuden a satisfacer las necesidades del usuario en cuanto a la información que busca, y además encontrar ésta en un tiempo adecuado. El objetivo de la clasificación automática de texto es categorizar documentos dentro de un número fijo de categorías predefinidas en función de su contenido. Un mismo documento puede pertenecer a una, varias, todas o ninguna de las categorías dadas. Cuando se utiliza aprendizaje automático, el objetivo es aprender a clasificar a partir de ejemplos que permitan hacer la asignación a la categoría automáticamente. La construcción de un Clasificador Automático de Texto comienza con la recopilación y clasificación manual de un conjunto de documentos (documentos de entrenamiento), después se llevan los documentos a una representación adecuada para que finalmente se puedan aplicar distintos algoritmos de clasificación y así obtener el clasificador. Para realizar la Clasificación de Texto, lo más importante es contar con una forma consistente de representarlo, de manera que esa representación pueda generarse de manera automática. Existen diferentes formas de efectuar dicha representación como lo son: el modelo vectorial y la estadística textual. A continuación se describen brevemente algunos de los métodos de clasificación más comúnmente utilizados en la clasificación de textos: knn. El método de los k-vecinos o knn es un método supervisado cuyo argumento principal es la distancia entre instancias o prototipos. El método consiste básicamente en comparar la nueva instancia a clasificar con los datos k más cercanos conocidos, y dependiendo del parecido entre los atributos el nuevo caso se ubicará en la clase que más se acerque al valor de sus propios atributos. La principal dificultad de este método consiste en determinar el valor de k, ya que si toma un valor grande se corre el riesgo de hacer la clasificación de acuerdo a la mayoría (y no al parecido), y si el valor es pequeño puede haber imprecisión en la clasificación a causa de los pocos datos seleccionados como instancias de comparación. La distancia es el criterio de comparación principal usado en los métodos basados en vecindad, por eso es conveniente mencionar algunas de las diferentes formas usadas para su medición. Entre las principales medidas de distancia que se utilizan encontramos: la Distancia Euclidiana, Manhattan, de Chebychev y de Mahalanobis. NaiveBayes. Es un clasificador estadístico que pueden predecir tanto las probabilidades del número de miembros de una clase, como la probabilidad de que una clase, como la probabilidad de que una muestra dada pertenezca a una clase particular. Este tipo de clasificadores, basados en el teorema de Bayes, han demostrado una alta exactitud y velocidad cuando se han aplicado a grandes bases de datos textuales. La principal razón de implementar el Teorema de Bayes en un problema de clasificación, es poder estimar las probabilidades a priori de cualquier hipótesis consistente con el conjunto de datos de entrenamiento para así escoger la más probable. Dado un ejemplo x, el clasificador se basa en encontrar la hipótesis más probable que describa ese ejemplo. Podemos estimar la probabilidad contando las veces que el ejemplo aparece en el conjunto de entrenamiento y dividiéndolo por el número total de ejemplos que forman este conjunto. Este clasificador asume que los valores de los atributos son condicionalmente independientes dado el valor de la clase. También asume que el efecto de un valor del atributo en una clase dada es independiente de los valores de los otros atributos. Esta suposición se llama independencia condicional de clase. 4. INTEGRACIÓN DE UN CRAWLER PARA DESCARGAR DOCUMENTOS WEB Para el análisis de contenido y recuperación de información de páginas web es necesario primero construir un rastreador (del inglés crawler) de páginas web. El rastredor inicia con un conjunto de URLs (del inglés Uniform Resource Locator), a partir de los cuales extrae y rastrea los hipervínculos existentes que coinciden con el nombre de dominio del URL inicial. De este modo

5 descarga un conjunto de documentos web, que quedan listos para el análisis. En nuestro caso, descargamos el código libre de Yooreeka 5, una librería para minería de datos que a su vez hace uso de un conjunto de módulos de tecnología Apache (Lucene, NekoHTML, Xerces, HttpClient, Commons-logging, y Common-codec) que implementan un buscador de contenido web. Integramos Yooreeka en un proyecto en el entorno de desarrollo Netbeans, la interfaz se muestra enseguida. Indicamos como dirección de inicio: HTM, un documento que contiene información de agentes inteligentes. Enseguida se lanzó una consulta con la palabra agente, el resultado es el que se muestra abajo. Search results using Lucene index scores: Query: agente Document Title: Agentes inteligentes, por Carlos Serrano, Universidad de Zaragoza (España) Document URL: --> Relevance Score: CONCLUSIONES En el presente trabajo se ha presentado un marco teórico compuesto por un lado, por estándares asociados a la Web Semántica y por otro, técnicas de computación suave de clasificación de texto. Ambos fundamentos constituyen un punto de partida acerca de los programas que se deben construir para la extracción de información específica de la Web. Hemos introducido un ejercicio de integración de un proyecto de código abierto (Yooreeka) para el rastreo de páginas web. El rastreo es propiamente el primer módulo que se requiere en una herramienta para buscar información de la Web. La literatura y tecnologías analizadas hasta el momento evidencian la relevancia del tema y permiten concebir como posibles nuevas aplicaciones de análisis de información con un uso potencialmente comercial. BIBLIOGRAFÍA 1. T. Berners-Lee, J. Hendler, and O. Lassila, The Semantic Web, Scientific American Magazine, May L. Yu, Introduction to the Semantic Web and Semantic Web Services. Chapman & Hall/CRC, Google, Rich snippets (microdata, microformats, and RDFa), Google webmaster central, 2011, 4. R. Khare, Microformats: The Next (Small) Thing on the Semantic Web?, IEEE Internet Computing, vol. 10, no. 1, pp , H. Marmanis, D. Babenko, "yooreeka: A library for data mining, machine learning, soft computing, and mathematical analysis", 2011, 6. René Venegas, Clasificación de textos académicos en función de su contenido léxicosemántico. Revista Signos V. 40, N. 63. Valparaíso, Chile. 7. Carlos G. Figuerola, José L. Alonso Berrocal, Ángel F. Zazo Rodríguez, Emilio Rodríguez, Algunas técnicas de Clasificación Automática de Documentos. Universidad de Salamanca. Grupo REINA. 8. Juan Etxeberría, Eduardo García, Javier Gil, Gregorio Rodríguez, Análisis de Datos y Textos, Editorial RAMA.