Reduciendo la Complejidad de Búsqueda Web en Base a las Necesidades del Usuario

Transcripción

1 Reduciendo la Complejidad de Búsqueda Web en Base a las Necesidades del Usuario María R. Romagnano Instituto de Informática maritaroma@iinfo.unsj.edu.ar Pablo I. Dominguez ivandominguez@gmail.com Martín G. Marchetta FI, UNCu, Mendoza, Argentina. mmarchetta@fing.uncu.edu.ar Silvana V. Aciar Instituto de Informática saciar@iinfo.unsj.edu.ar Abstract The rapid evolution of technology and the widespread use of the Internet have provided a wealth of information sources available on the Web. Some estimates indicate that between 1999 and 2003 is been published a volume roughly equivalent to all the information generated by mankind from antiquity to Although the Web is huge repository of information; it represents a challenge to manipulate, search and retrieve information. However, there are more complex than other domains, where to find the solution is even more complex problem. In this paper, we propose a method to retrieve and group web information sources based on the information provided to allow users to get accurate answers, reducing complexity in the search. 1. Introducción La WWW se ha convertido en una de las mayores fuentes de información sobre prácticamente todas las áreas de interés. Sin embargo, si bien los motores de búsqueda actuales suelen ser muy eficientes, los resultados que proporcionan no suelen ser plenamente satisfactorios para los usuarios. Según Salton, McGill y Kowalsy un sistema de recuperación de información se define como el proceso que trata la representación, almacenamiento, organización y acceso a elementos de información. Es decir, un sistema capáz de almacenar, recuperar y mantener información [1, 2]. Uno de los factores que influye en la recuperación de la información tiene que ver con el usuario y su carencia a la hora de expresar lo que él necesita en la consulta. Así, cuando un usuario busca información en la web, debido a la diversidad del lenguaje natural e idiomas, quizás existan dos o más documentos que traten el mismo tema, lo cual es desconocido por el usuario. Por otra parte, aún, podría sumarse la problemática de que si éste no es experto realizando búsquedas obtenga un número importante de resultados. Esto puede deberse a que los usuarios pocas veces ocupan las herramientas provistas por los buscadores para filtrar resultados, realizar búsquedas avanzadas o simplemente realizar búsqueda con palabras específicas de la temática. Según Lam los principales problemas que afectan al usuario en su interacción con los buscadores son la forma en la que ellos especifícan su consulta y la forma en la que interpretan los resultados [3]. Por su parte, Cacheda y Viña mencionan que los usuarios, generalmente, realizan búsquedas muy por encima ; simplemente se limitan a abrir las páginas cuyos títulos y descripción se ajusten mejor a sus necesidades [4]. Ya en 1998 Florescu, Levy y Mendelzon (pp.59-74) mencionan: el gigantesco crecimiento de la web, principalmente el acceso a la información en Internet, se ha convertido en una cuestión que va más allá de determinar dónde está la información, pretendiendo saber de qué forma y cómo llegar a ella". Existen dominios más complejos que otros, donde estos problemas se acrecientan por el cúmulo y variedad de información que se maneja y porque la cantidad de fuentes que se consultan es considerable [5]. Por otra parte, considerando la naturaleza de la Web, los recursos o documentos disponibles en estas presentan algunas desventajas tales como: distribuidos, dinámicos, sin estructura, redundantes, heterogeneous, etc [6]. Ante los inconvenientes planteados, y aún sin resolver, se propone un método el cúal mediante un agente de filtrado localiza fuentes de información en la web, las agrupa de acuerdo a los servicios que ofrecen y luego brinda al usuario información precisa, acorde a sus necesidades; reduciendo la complejidad en la búsqueda. En la segunda sección de este paper se mencionan trabajos relacionados. En la tercera se presenta el nuevo método de recuperación y filtrado de la información. En la cuarta se presenta una aplicación concreta. Finalmente,

2 en la quinta sección, se presentan conclusiones y trabajos futuros. páginas de acuerdo a un criterio específico; y a la vez poder lograr un solapamiento de dichas páginas. 2. Trabajos Relacionados Para recuperar la información de una página se pueden tener en cuenta ciertas características de la misma. Estas características pueden ser de la propia página como su texto y etiquetas que pueden aparecer en el título, en el cuerpo de la página, etc. Cuando las páginas contienen poca información en sí mismas se puede usar información de páginas vecinas que están relacionadas con la página en cuestión [7]. Para realizar la tarea de recuperación, los trabajos [8,9 y 10] tienen en cuenta sólo el título y fragmentos de cada página recuperada. También trabajan con un listado de palabras vacías y con ciertos algoritmos de fragmentado. Berrocal, Figuerola, Zazo y Rodriguez (pp ) proponen el uso de agentes inteligentes para recuperar información, reduciendo la tasa de exhaustividad, y logrando resultados más precisos que los obtenidos cuando se utiliza la pertinencia, tesauros, redes neuronales, etc. [11]. En [12] se usó el texto anclado para la recuperación y en [13] se usó la interconectividad de páginas web a través de sus vínculos. En nuestra propuesta se plantea recuperar la información teniendo en cuenta los URLs y el texto anclado. Por otra, proponemos el uso de lógica difusa para determinar la relevancia de las páginas. En [14] se usa SOM (mapas auto-organizativos) para modelar la forma en que una persona observa una página web para determinar si su contenido le será útil. Se usan diferentes heurísticas por medio de una combinación borrosa de criterios. En [15] se usa lógica difusa como una tecnología inteligente para evaluar el desempeño de sitios web dinámicos. En [16] se propone un método para la extracción de información con el fin de responder a las consultas de los usuarios que utilizan el lenguaje natural. El sistema se basa en un motor de lógica difusa. El objetivo de este sistema es diseñar e implementar un agente inteligente para administrar cualquier conjunto de conocimientos, donde la información es abundante, vaga o imprecisa. El método se aplicó al caso de un portal web de una Universidad de Sevilla. Respecto al agrupamiento de páginas web, en [17] y [18] se usó información de las etiquetas para clusterizar, usando el método k-means. En [19] se propone un sistema que clusteriza páginas web usando un algoritmo de clustering fuzzy para permitir que una misma palabra pueda pertenecer a más de un cluster, con un cierto grado de pertenencia. Luego los clusters son etiquetados con su término más relevante, siguiendo una heurística simple. En nuestro trabajo se decidió elegir como base de agrupamiento un método fuzzy para lograr agrupar las 3. Propuesta El método propuesto consiste en un agente de filtrado, el cual en forma automática que cada un determinado tiempo selecciona, entre enormes cantidades de páginas, aquellas que serán útiles para los usuarios de un dominio específico. Dicho método se divide en cinco etapas, que se describen a continuación: En una primera etapa, el agente de filtrado es el encargado de realizar la búsqueda en la Web. Para esto, y a través de las APIs provistas por los buscadores generales, realiza la búsqueda de la información con las palabras claves: dominio, país y provincia. En una segunda etapa, se toman los resultados arrojados por los buscadores para determinar la relevancia de una página. Para realizar esta tarea, mediante lógica borrosa se define si una página es relevante o no; para lo cual se determina la frecuencia de cada término en el URL y en el texto anclado de cada página en cuestión. Se definen los conjuntos borrosos Relevantes Medianamente Relevantes e Irrelevantes. Con estos conjuntos se permite describir el grado de pertenencia de una página a un determinado conjunto. La frecuencia de los términos en la página serán las variables lingüisticas que se usan como entrada, antecedente o premisa. La salida o consecuente es una única variable lingüistica, Relevancia, que podrá tomar los valores: relevante, medianamente relevante o irrelevante. La base de reglas se ve reforzada con una bolsa de conceptos y sinónimos para cada uno de ellos; la cual es preestablecida por un experto del dominio. Luego, el conjunto de reglas que expresan las relaciones entre antecedentes y consecuentes es: Para cada resultado de la lista arrojada por los buscadores: - Cada término que aparece en el texto anclado y/o URL se busca éste o su sinónimo en la bolsa de conceptos. Si se encuentra se incrementa un contador CR (contador de relevantes); de lo contrario se incrementa un contador CI (contador de irrelevantes). - Si el CR es mayor que el CI la página debe ser colocada en la clase Relevantes. Si CR es igual a CI la página debe ubicarse en la clase Medianamente Relevantes. Por el contrario, si CR es menor a CI entonces la página debe ubicarse en la clase Irrelevantes. Las páginas que caigan en el grupo Relevantes o Medianamente Relevantes se almacenan en una base de datos de relevantes para seguir con las siguientes fases. La Figura 1 muestra la idea.

3 Tabla 1. Servicios con sus frecuencias para cada página relevante, en un determinado dominio P j URL S 1 S 2 S 3 S n P 1 URL 1 valor n valor n valor n valor n... P m URL m valor n valor n valor n valor n Figura 1. Conjuntos borrosos En la tercer etapa, el objetivo es obtener la cantidad de información que ofrece una página sobre un servicio solicitado. De las páginas seleccionadas como relevantes debe analizarse su contenido para determinar qué servicios ofrecen y cuál es la frecuencia de los mismos. Los valores resultantes deben almacenarse en registros que representan los valores de cada servicio para cada página. En la cuarta etapa, aquellas páginas que presenten información de un mismo servicio deben agruparse. Sin embargo las páginas pueden presentar información de varios servicios, por lo cual se requiere permitir que una página pueda pertenecer a uno o a más grupos con un cierto grado de pertenencia. Esta idea se muestra en la Figura 2, donde G j representa el grupo al cual pertenecen páginas similares; agrupadas en función del servicio predominante i y valor n es un número entero que representa la frecuencia del servicio i en la página P j. G 1 (P1, valor 1 ) (P2, valor 2 ) (P3, valor 3 ) G 2 (P1, valor 4 ) (P2, valor 1 ) (P3, valor 5 ) G 3 (P1, valor 4 ) (P4, valor 5 ) Figura 2. Agrupamiento de páginas web Para desarrollar el algoritmo se tomaron como base los métodos de clusters K-Means y Fuzzy C-Means [20]. Para cada grupo G i se calcula el máximo valor de cada columna de la Tabla 1 (centros). Luego por cada página se calculan las similitudes de ésta con cada centro. Si la similitud de la página p j con el centro c i es mayor o igual a un valor preestablecido como referente; entonces la página p j se selecciona y ubica en el grupo G i con su respectivo grado de pertenencia; es decir la frecuencia del término i. Se asume que a cada grupo G i se le asignará el nombre del servicio de cada columna de la Tabla 1 y que el mismo tendrá un valor central al cual se lo llama centro. Ante la consulta de un usuario, el sistema deberá determinar qué servicio o servicios se están solicitando. Así si solo se requiere un servicio específico, el sistema deberá acceder al grupo que contiene información de ese servicio. Si se solicita información de más de un servicio, el sistema deberá acceder a la intersección de los grupos implicados. El sistema otorgará una lista ordenada de acuerdo a la información de cada página. Se mostrará en primer lugar el o los centros involucrados, luego las páginas que estén en la intersección de los grupos, si es que hay más de un grupo implicado y por último el resto de las páginas que queden en el o los grupos involucrados. 4. Aplicación Como dominio de aplicación se eligió el turismo por el amplio espectro de información que presenta. La búsqueda que manifestó mejores resultados fue la que tenía las palabras claves turismo, Argentina y San Juan. Siguiendo el procedimiento establecido en el método propuesto, se tomó una muestra de 20 páginas relevantes y se almacenaron en una base de relevantes. Con la ayuda de un experto del turismo se establecieron los grupos: Hospedaje, Gastronomía, Actividades y Excursiones, Espectáculos, Transporte, Agencias de Viajes, Alquiler de vehículos y Productos Regionales y Comercios. Por cada una de las páginas almacenadas se determinó la frecuencia de cada término relevante; teniendo en cuenta la aproximación entre términos similares; como lo despliegan la Tabla 2 y la Figura 3.

4 Tabla 2. Frecuencia de términos relevantes 2 Servicios seleccionados Figura 4.b. Servicios seleccionados para realizar la búsqueda 3 Listado de páginas resultantes Frecuencia de Términos Figura 4.c. Listado de sitios web 5. Conclusiones y Trabajos Futuros Figura 3. Máxima frecuencia de cada servicio Posteriormente se calcularon las similitudes de las páginas con cada uno de los centros, a través de la distancia euclídea. Aquellas páginas cuya distancia euclídea sea mayor o igual al referente establecido (en este caso el promedio de similitudes) se ubican en cada cluster con su respectivo grado de pertenencia; osea la frecuencia. Las Figura 4.a, 4.b y 4.c muestran las fases de la consulta de un usuario al prototipo de la aplicación. 1 Figura 4.a. Selección de los servicios por parte del usuario En este trabajo se presentó una propuesta que permite obtener grupos de páginas web de un servicio en particular, según la cantidad de información que ofrecen. Esto permite responder de forma más precisa a las solicitudes de información. El usuario sólo debe realizar la consulta al sistema; el cuál como ya cuenta con información clasificada obtiene resultados más acordes a sus necesidades. Por lo tanto, nuestra principal contribución es un método que rápida y fácilmente agrupa páginas similares con lo cual se ofrece al usuario una vista unificada de la información solicitada; a la vez que se reducen la cantidad de respuestas logrando resultados más precisos y en menor tiempo; debido a que la búsqueda en la web se hace en tiempo diferido. Para mejorar aún más este aporte, en trabajos futuros se propone: Agregar a la búsqueda la opción de la localidad donde se desean ubicar los servicios, por ejemplo: "Espectáculos y Restaurantes en 25 de Mayo". Además, se prevé comparar la eficiencia de usar lógica difusa y de usar una ontología específica para determinar la relevancia de una página. Por último, se aspira aplicar el método propuesto a otros dominios.

5 6. Agradecimiento Este trabajo ha sido realizado en el marco del proyecto Desarrollo de Herramientas Tecnológicas de Soporte a la Educación Virtual CICITCA-UNSJ. 7. Referencias [1] Salton, G. and, McGill, M.H. (1983). Introduction to Modern Information Retrieval. New York: McGraw-Hill. [2] Kowalski, G. Information retrieval systems (1997). Theory and Implementation. Kluwer Academic Publishers. [3] Lam, S (2001). The Overview of Web Search Engines. [4] Cacheda, F. and Viña, A. (2001). Understanding how people use search engines: A statical analysis for E-Business. [5] Florescu D., Levy A. and, Mendelzon A. (1998). Database Techniques for the World Wide Web: A Survey. ACM SIGMOND Record, 27(3), Sept [6] Baeza-Yates, R. and, Ribeiro-Neto, B. (1999). Modern Information Retrieval. Essex, UK: Addison-Wesley. [7] Qi, X. Web Page Clasification and Hierarchy Adaptation. Pags Disponible en Enero de [8] Jiang, Z., Joshi, A., Krishnapuram, R. and, Yi, L., Retriever: Improving Web Search Engine Results Using Clustering. Disponible en Febrero de [9] Martins, B. and Silva, M. Web Information Retrieval with Result Set Clustering., Febrero de Proceedings of NLTR 2003 Natural Languaje and Text Retrieval Workshop asociado a EPIA 03, Diciembre. [10] Zamir, O. and Etzioni O. Web Document Clustering: A Feasibility Demonstration. Febrero de Proceedings of the 19th International ACM SIGIR 98. Conference on Research and Development of Information Retrieval. Pags Disponible en [11] Berrocal, J., García C., Zazo, Á., and, Rodríguez, E. (2003). Agentes inteligentes: recuperación automática de información en la web. Revista española de documentación científica, 26(1). [12] Eiron, N. and McCurley, K. Analysis of anchor text for web search Proceedings of SIGIR 03. Pags ISBN Disponible en: Febrero de [13] Chon, D. and Hofmann, T. The missing link a probabilistic model of document content and hypertext connectivity. Neural Information Processing Systems 13, [14] García-Plaza A., Fresno V., and, Martínez R. (2009). Una Representación Basada en Lógica Borrosa para el Clustering de Páginas Web con Mapas Auto-Organizativos. Procesamiento de Lenguaje Natural, Revista Nº 42, Pags Disponible en: SEPLN-Marzo-2009.pdf. Julio [15] Rekik R. and Kallel I. (2013). Fuzz-Web: A Methodology Based on Fuzzy Logic for Assessing Web Sites. Proceeding of International Journal of Computer Information Systems and Industrial Management Applications. ISSN Vol. 5. Pags Disponible en: df. Mayo [16] Ropero, J., Gómez, A., Carrasco, A., and León, C. (2012). A Fuzzy Logic intelligent agent for Information Extraction: Introducing a new Fuzzy Logic-based term weighting scheme. Expert Systems with Applications, 39(4), [17] Ramage, D., Heymann, P., and Garcia Molina, H. Clustering the tagged web. Proceeding of WSDM 09. Pags [18] Shelke, M, Sadavarte, K., Dhurjad R., and Pandit, N. Improved web page clustering using words and tags. 1 International Conference on Recent Trends in Enginneering & Technology, Mar Disponible en: Marzo de [19] Campos, R. and Dias, G. Automatic hierarchical clustering of web pages. Proceedings of ELECTRA 05, Workshop associated to the 28th Annual International ACM, SIGIR Conference, Salvador, Brazil, August 19, Pags [20] Han, J. and Kamber, M. Data Mining: Concepts and Techniques. Segunda Edición. Elsevier Pags. 383,384.