Buscador semántico basado en agentes para recuperación de recursos web para paginas relacionadas con turismo

Transcripción

1 Buscador semántico basado en agentes para recuperación de recursos web para paginas relacionadas con turismo Daniel Orlando Velez Jimenez Claudio Manuel Crespo Universidad Autonoma del Caribe Facultad de Ingenieria Programa de ingenieria de sistemas Barranquilla 2009

2 Buscador semántico basado en agentes para recuperación de recursos web para paginas relacionadas con turismo Daniel Orlando Velez Jimenez Claudio Manuel Crespo Director del proyecto Ing. Carlos Henríquez Miranda Asesor tecnico Ing. Carlos Henríquez Miranda Asesor metodologico Ing. Ilma Bonilla Botía Universidad Autonoma del Caribe Facultad de Ingenieria Programa de ingenieria de sistemas Barranquilla 2009

3 Universidad Autonoma del Caribe Facultad de Ingenieria Programa de ingenieria de sistemas Comité opciones de grado Presidente del comité: Ing. Enrique Santiago Chinchilla MIEMBROS DEL COMITÉ: Ing. Ilma Bonilla Botía Coordinadora ING. Alfonso Borre Sarmiento ING. Carlos Henríquez Miranda ING. Fabián Ramos Torres ING. Freddy Briceño Díaz

4 Nota de aceptación Presidente del jurado Jurado Jurado

5 Texto de la dedicatoria. En caso que exista alguna, es Opcional el autor ofrece su trabajo en forma especial a personas o entidades.

6 Agradecimientos reconocimiento hacia las personas o entidades que asesoraron tecnicamente, suministraron datos o financiaron total o parcialemente el proyecto

7 Índice de contenido 1Planteamiento del problema Descripción del problema Formulación del problema Sistematizacion del problema Objetivos Objetivo General Objetivos específicos Justificación Marcos de Referencia Antecedentes cientificos del proyecto Marco teorico...12 La Web Sintáctica...12 La Web Semántica...13 Meta-datos Marco conceptual Marco legal Delimitación Delimitación Financiera Delimitación Tecnica Delimitación Temporal y Espacial...15 Delimitación Espacial:...15 Delimitación Temporal:...15 Índice de tablas Índice de ilustraciones Ilustración 1: Ejemplos de Afirmaciones RDF...15 Índice de Listados Listado RDF/XML...15

8 INTRODUCCION 8

9 1.1 Descripción del problema 1 Planteamiento del problema La Web representa una enorme fuente de recursos, grandes cantidades de información se encuentran disponibles para quien la requiera, pero mediante los mecanismos tradicionales de presentación de información en la Web (HTML) los motores de búsqueda de información de Internet, como pueden ser Google o Yahoo, úni camente ofrecen la posibilidad de realizar búsquedas por coincidencia directa en los contenidos. Esto se traduce en que no es posible incluir información sobre el significado de la búsqueda y solo sobre el contenido. Esto representa un esfuerzo adicional del usuario al tener que filtrar la información irrelevante para su búsqueda. La recuperación y organización de la información en base a este nuevo modelo de web semántica presenta actualmente el problema de que no existen motores de recuperación de carácter general que permitan búsquedas basadas en contenidos semánticos, como pueden ser los ofrecidos mediante RDF. Esto se implica que las personas trasladen su comunicación a un lenguaje más propio de ordenadores para obtener la información deseada. 1.2 Formulación del problema Cómo mejorar la recuperación y búsqueda de información efectiva en sitios relacionados con turismo? 9

10 1.3 Sistematizacion del problema 1.4 Objetivos Objetivo General Implementar un buscador semántico basado en agentes para la recuperación de paginas(o recursos?) relacionados con turismo Objetivos específicos Indagar sobre agentes inteligentes, Web semántica, ontologías,metadatos para mejorar el manejo de estos temas Implementar un prototipo de buscador usando agentes inteligentes desarrollados en el entorno de desarrollo de agentes en JAVA (JADE) Definir el conjunto de metadatos a utilizar Diseñar e Implementar los Agentes Inteligentes usados en la Búsqueda 10

11 1.5 Justificación La Web fue concebida inicialmente como un sistema en el que las personas pudiesen acceder de forma sencilla una gran cantidad de información. Los mecanismos que se diseñaron para la presentación de esta información se centraron principalmente en la estructura (HTML) y estilo (CSS), dejando a un lado la lógica asociada a los distintos contenidos que se ofrecían. Este modelo dificultó en gran medida el diseño de sistemas automatizados, denominados motores de búsqueda, capaces de recuperar y organizar esta información. Fue por ello necesario extender este modelo tradicional con nuevos mecanismos que permitiesen describir la semántica asociada a los contenidos que la Web suministraba. Esta "información que describe información" fue denominada formalmente como meta-datos. Pero no solo basta con incluir metadatos, también es necesario el poder incluir las relaciones entre los datos permitiendo a los buscadores inferir información no proveídas explícitamente por los datos. A partir de este mecanismo surgió la posibilidad de diseñar un medio universal que permitiese el intercambio de información basado en representaciones del significado de los recursos de la Web, de tal forma que dicha definición de significados pudiese ser comprendida de forma automática por los computadores. Esta nueva concepción de los contenidos existentes en la Web es lo que se conoce como Web semántica. realizar la búsqueda mediante estos meta-datos y sus relaciones semánticas permite no solo buscar más rápidamente, también permite buscar por ideas y no solo por palabras o contenido. Es decir el Buscador entiende el significado de lo que el usuario busca ofreciendo resultados mas precisos y relevantes. 11

12 2 Marcos de Referencia 2.1 Antecedentes cientificos del proyecto 2.2 Marco teorico En los primeros días de la Internet, los programadores de software desarrollaban la paginas web. Hoy, la Web provee quizá la forma mas simple de compartir información y literalmente cualquiera escribe paginas web, con la ayuda de herramientas, y un sin numero de organizaciones comparten información en la forma de paginas web. El lenguaje usado para describir estas paginas es HTML(HyperText Markup Language) el cual describe tanto el contenido como la forma. El resultado de esto es que la mayoría de las paginas están diseñadas para ser interpretadas por humanos y no por las maquinas, estas solo son usadas para mostrar la información, es decir, decodificar los esquemas de colores, cabeceras y enlaces que están definidos por HTML. Además, los Motores de búsqueda web, las herramientas mas populares para recuperar paginas web, no ofrecen una forma de interpretar los resultados. Para esto, se requiere de intervención humana. Esta situación empeora progresivamente a medida que el tamaño de los resultados de las búsquedas crecen y se vuelven demasiado grandes. Algunos usuarios solo navegan entre los primeros resultados descartando los restantes. Algunos motores de búsqueda intentan controlar la situación indexando los resultados de la búsqueda o limitandola a solo un Subconjunto de la Web El Resultado esto es que el tamaño de los resultados de una búsqueda es demasiado grande para ser interpretados por los seres humanos, y encontrar información relevante en al Web no es tan fácil como desearíamos. La Web Sintáctica Para Breitman [Breitman2007] la Web de hoy puede ser definida como la web sintactica, donde la presentacion de la informacion es realizada por la computadoras y la interpretacion e indentificacion de informacion relevante es delegada a los humanos 12

13 El Volumen de información disponible en la Web crece exponencialmente haciendo virtualmente imposible para los humanos manejar tal complejidad y cantidad de información, este fenómeno es llamado por Breitman como Sobrecarga de Información «(information overload)» Una de las razones para esta situación radica en el hecho que las paginas web actuales no contienen información acerca de si mismas, es decir, acerca de su propio contenido y los temas a los cuales se refiere. Los motores de búsqueda ayudan a identificar las paginas relevantes pero sufren de ciertas limitaciones. «Search results might contain a large number of entries, but they might low recall precision. [...] have Search results are sensitive to the vocabulary used. Indeed, users frequently formulate their search in a vocabulary different from that which the relevant Web pages adopt. [...] Search results appear as a list of references to individual Web pages. However, it is often the case that, among the Web pages listed in the search result, there are many entries that belong to the same Web site. Conversely, if the relevant information is scattered in more than one entry, is difficult to determine the complete set of relevant entries.»[breitman2007] La conclusión es que la Web a evolucionado como un medio de intercambio de información entre los seres humanos soportado sobre maquinas las cuales no entienden el significado de la información de entregan. La Web Semántica Tim Berners-Lee Sostuvo: «The first step is putting data on the Web in a form that machines can naturally understand, or converting it to that form. This creates what I call a Semantic Web a web of data that can be processed directly or indirectly by machines.» [Berners- Lee1999] La idea que promueve la web semántica es que los usuarios puedan encontrar información en la web de forma rápida. esta no solo es orientada a la Web, es aplicable también en intranet corporativas siendo esto una solución para algunos problemas relacionados con las arquitecturas de tecnologías de la información. La Web semántica promete liberar a los usuarios de tareas tediosas y que consumen mucho tiempo. Berners-Lee, Hendler, y Lassila en su articulo del 2001 para la revista Scientific America, titulado The Semantic Web: A New Form of Web Content That Is Meaningful to Computers Will Unleash a Revolution of New 13 it

14 Possibilities [Berners-Lee2001]. Visiona un escenario donde una persona debe Agendar una serie de Consultas medicas pero ciertas restricciones aplican tales como un horario apretado,limitaciones en cuanto a ubicación geográfica y las credenciales del Doctor. para ayudar a encontrar una solución a esto existe un agente de Software que es capaz de negociar entre los involucrados: el doctor. la persona interesada y los directorios de servicios médicos. el punto es que a pesar que cada parte almacena su información de manera diferente debibo a que existe una capa de significado pueden interactuar entre ellos e intercambiar información de forma significativa. Esta tecnología es lo que se llama web semantica Meta-datos Como ya hemos visto la Web semántica se basa en la posibilidad de agregar datos sobre los datos, pero necesitamos una forma de agregar estos datos. XML es un lenguaje de Marcado extensible, este permite colocar los meta-datos dentro de la información y esto seria lo que la aplicaron buscaría y entendería, pero XML solo no hace el trabajo, solo es una forma de incluir los datos, aun se necesita una forma de representar estos meta-datos y para esto existe RDF (Resource Description Framework ) el cual es un lenguaje de propósito general para representar información sobre recursos en la Web. pero también puede ser usado para representar información sobre objetos que pueden ser identificados en la Web. el Modelo de datos RDF esta basado en la idea de hacer afirmaciones sobre los recursos web en la forma de expresiones sujeto-predicado-objeto,estos son llamados Triples. El Sujeto denota el recurso, el predicado denota aspectos del recurso y expresa una relación entre el sujeto y el Objeto. una forma de expresar que el Cielo es azul seria: Sujeto -> el cielo Predicado-> tiene el color Objeto->Azul RDF/XML provee una notación para las afirmaciones RDF y es la notación preferida en el contexto de agentes de software que intercambian información [Breitman2007] A continuación se presenta un ejemplo de afirmaciones RDF tomadas del libro Semantic Web: Concepts, Technologies and Applications 14

15 Ilustración 1: Ejemplos de Afirmaciones RDF y su presentación RDF/XML 1.<?xml version="1.0"?> 2.<rdf:RDF 3. xmlns:rdf=" 4. xmlns:dc=" 5. <rdf:description 6. rdf:about=" 7. <dc:creator 8. rdf:resource=" 9. </rdf:description> 10.<rdf:Description 11. rdf:about=" 12. <dc:title>karin Homepage</dc:title> 13. </rdf:description> 14.<rdf:Description 15. rdf:about=" 16. <dc:date> </dc:date> 17. </rdf:description> 18.</rdf:RDF> Texto 1: Listado RDF/XML 15

16 Ontologías Ya hemos visto que son los meta-datos y como los representamos. pero solo estos no crean una Web semántica aun necesitamos una forma de representar las relaciones y el significado de los meta-datos esto se logra a través de las ontologías. Una ontologia involucra descubrir categorias y encajar objetos dentro de estas de manera que tengan sentido, cuando hacemos una lista de cosas por hacer, o de discos y libreos que queremos comprar, o videos que rentaremos, estamos categorizando, estamos creando una ontologia rudimentaria. Al priorizar items en una lista, estamos asginando relaciones entre varias cosas. Una ontologia puede ser relativamente simple o muy compleja [koepsellcenterontology]. en las palabras de Tom Gruber [Gruber2008] una ontologia define un grupo de primitivas representacionales con las cuales modelar un dominio de conocimiento. Estas son tipicamente clases o grupos, atributos o propiedes y relaciones. Es decir. Las ontologías son un vocabulario y su significado, con semánticas explicias, expresivas y bien definidas, es una forma de especificar una conceptualizacion,el termino ontología ha sido tomado de la Filosofía, en esta ontología es el estudio de la naturaleza del ser, la existencia o la realidad en general y de sus categorías básicas y sus relaciones. tiene un énfasis especial en determinar que entidades existen o se puede decir que existen. en Tecnología de la información específicamente en Inteligencia artificial lo que Existe es aquello que puede ser representado [Gruber2008] Se requiere también una forma de expresar estas ontologías, una especie de lenguaje que nos permita pasarlas del plano teórico a uno mas practico, para esto existe OWL. OWL es una familia de lenguajes para definir ontologías web, esta patrocinado por el W3C. Las ontologías OWL son comúnmente serializadas usando sintaxis RDF/XML,de ahí la elección de esta, y es considerado como una de las tecnología fundamentales de la Web Semántica.. 16

17 2.3 Marco conceptual Agentes Inteligentes Un agente es una entidad que puede llevar a cabo algunas tareas que son, usualmente, para ayudar a un usuario humano. Los agentes pueden ser biológicos, robóticos o computacionales. [Coppin2004] Para el proposito de este proyecto se hace necesario el uso de agentes de software, estos seran los encargados de realizar las busquedas e indexar los documentos. De acuerdo con Tim Berners-lee2 los agentes de software seran responsables de coordinar busquedas, comparar y negociar en la Web y reducir considerablemente el esfuerzo del usuario. Los agentes se caracterizan por ser tener Inteligencia, Autonomía, habilidad para aprender, cooperación y versatilidad, entre otras características. Lenguajes de Ontologia Los lenguajes de ontología se utilizan para definir vocabularios que las máquinas puedan entender y que sean especificados con la suficiente precisión como para permitir diferenciar términos y referenciarlos de manera precisa. Los lenguajes de ontología utilizan la inteligencia artificial para la clasificación de la información y el tratamiento de la información como tal para facilitar así la búsqueda que es para lo que queremos aplicar en nuestro proyecto. OWL: OWL puede ser utilizado para representar explícitamente el significado de los términos en los vocabularios y las relaciones entre esos términos. Esta representación de los términos y sus interrelaciones que se llama una ontología. OWL tiene más facilidades para expresar el significado y la semántica de XML, RDF y RDF-S, OWL y, por tanto, va más allá de estas lenguas en su capacidad para representar a máquina interpretable contenido en la Web. OWL es una revisión de la DAML + OIL Owl la incorporación de lecciones aprendidas del diseño y la aplicación de DAML + OIL. 17

18 Sub - Lenguajes de OWL: OWL Lite se diseño originalmente para aquellos usuarios que necesitaban una jeaquia de clasificacion y restricciones simples. se esperaba fuera mas sencillo proveer soporte tecnico para OWL lite que para sus otras versiones mas Expresivas, permitiendo una migracion rapida para sistemas que usaran Thesauros y otras Taxonomias. En la practica sin embargo las restricciones impuestas colocaron en OWL Lite incoveniencias sintacticas y esto ha hecho que OWL Lite no sea tan ampliamente usado OWL DL Fue diseñado para proveer la maxima expresividad posible garantizando que todas la conclusiones fueran calculadas, que todos los calculos terminaran en tiempo finito y la disponibilidad de algoritmos de razonamiento practicos. OWL DL es llamado asi por su correspondencia con Description Logic un campo de investigacion que ha estudiado las logicas que forman las bases de OWL. OWL Full Esta basado en una semantica distinta de OWL lite y OWL Dl, fue diseñado para mantener alguna compatibilidad con RDF Schema. OWL Full permite a una ontologia aumentar el significado de un vocabulario pre-definido. es poco probable que cualquier programa de razonamiento pueda soportar completamente OWL Full JAVA : Java es un lenguaje de programación orientado a objetos creado por Sun MicroSystems, es un lenguaje multiplataforma el cual depende de una maquina virtual la cual interpreta el byte code al cual se compilan los programas java, java se caracteriza por ser el lenguaje de programación mas popular que existe ya que ofrece muchas alternativas de programación como son en móviles(j2me), desktop(j2se), Web(J2EE) entre otros. Por que hablar de java en nuestro proyecto? La importancia de java en nuestro proyecto se debe a que debido a que como su arquitectura es multi-plataforma nos da la seguridad de su ejecución en cualquier entorno o sistema operativo compatibles con la JVM. Framework: En el desarrollo de software, un framework es una estructura de soporte definida en la cual otro proyecto de software puede ser organizado y desarrollado. Típicamente, un framework puede incluir soporte de programas, bibliotecas y un lenguaje interpretado entre otros softwares para ayudar a desarrollar y unir los diferentes componentes de un proyecto. 18

19 Un framework representa una arquitectura de software que modela las relaciones generales de las entidades del dominio. Provee una estructura y una metodología de trabajo la cual extiende o utiliza las aplicaciones del dominio. Fuera de las aplicaciones en la informática, un framework puede ser considerado como el conjunto de procesos y tecnologías usados para resolver un problema complejo. Es el esqueleto sobre el cual varios objetos son integrados para una solución dada. El Framework elegido para trabajar en estre proyecto es: JADE JADE (Java Agent DEvelopment framework) es un framework desarrollado en Java. simplifica la implementación de sistemas MultiAgente a través de un middleware que cumple con las especificaciones FIPA y a través de un conjunto de herramientas gráficas, soporta la depuración y despliegue de fases. El agente puede ser distribuido a través de diferentes máquinas (que ni siquiera deber tener el mismo SO) y la configuración pueden ser controlada a distancia a través de una Interfaz grafica. url: Marco legal 19

20 3.1 Delimitación Financiera 3.2 Delimitación Tecnica 3 Delimitación 3.3 Delimitación Temporal y Espacial Delimitación Espacial: Este proyecto se llevará a cabo en la Universidad Autónoma del Caribe, dentro del programa de ingeniería de sistemas Delimitación Temporal: Búsqueda de información necesaria e Investigación de los conceptos. (Agosto 2008) Elaboración de un cronograma por etapas detallando el plan de trabajo (Septiembre 2008) Análisis, Diseño, Desarrollo ( Octubre Mayo 2009) 20

21 Bibliografía Breitman2007: Breitman, K. K., Casanova, M. A. & Truszkowski, W., Semantic Web: Concepts, Technologies and Applications, 2007 Berners-Lee1999: Berners-Lee, T. & Fischetti, M., Weaving the Web : The Original Design and Ultimate Destiny of the World Wide Web by its Inventor, 1999 Berners-Lee2001: Berners-Lee, T., Hendler, J. & Lassila, O., The Semantic Web A new form of Web content that is meaningful to computers will unleash a revolution of new possibilities, 2001 koepsellcenterontology: Koepsell, D. R., Center for Commercial Ontology, 2000 Gruber2008: Gruber, T. R., Ontology, 2008 Coppin2004: Coppin, B., Artificial Intelligence Illuminated,