COMPUTACIÓN FLEXIBLE APLICADA AL WEB MINING

Transcripción

1 COMPUTACIÓN FLEXIBLE APLICADA AL WEB MINING José M. Benítez Juan L. Castro Ricardo Valenzuela G. Dpto. Ciencias de Computación Dpto. Ciencias de Computación Universidad Tecnológica Metropolitana Universidad de Granada Universidad de Granada Santiago-Chile. Resumen La unión de la Lógica Difusa (Fuzzy Logic), Redes Neuronales Artificiales, Algoritmos Genéticos, Conjuntos de Aproximación (Rough Set) y los Sistemas Neurodifusos, forman la denominada Computación Flexible. Estas herramientas nos permitirán establecer un método para la obtención de conocimiento a partir de la información generada por programas que registran la actividad y los eventos ocurridos en la navegación de un usuario sobre un sitio web; información que es almacenada en archivos de registro de eventos conocidos como archivos de logs. Dado que los datos a utilizar son del tipo numérico, se emplearan los conjuntos difusos para establecer variables lingüísticas que permitan crear un índice de comportamiento, por medio del cual se puedan obtener aquellas páginas más relevantes empleadas por los usuarios en su navegación a través del sitio. Se utilizara una red neuronal artificial con la finalidad de establecer un motor de proces amiento de patrones automatizado, motor que ordene la información de interés eliminando aquellas referencias sin importancia Palabras Clave : Lógica Difusa, Redes Neuronales Artificiales, Web Mining, Archivos Logs. 1 INTRODUCCION Es evidente que la eficiente recuperación de patrones y la obtención de conocimiento desde el Web se ha convertido en un tema de vital importancia para todos aquellos que emplean este dominio virtual. La información almacenada en distintas computadoras que están físicamente distribuidas en Internet, puede ser asociada conceptualmente con una gran base de datos distribuida que contiene información no estructurada. Esta base de datos conceptual o B_Internet, contiene distintos tipos de información la cual puede ser clasificada como: distribuida, sin etiquetas, heterogénea, medianamente mezclada, semi-estructurada, cambiante en el tiempo y de alta dimensionalidad; información disponible para un usuario en la forma de una ventana virtual a la cual se accede por algún programa de búsqueda y un medio físico o sistema de comunicación. Conceptualmente el análisis de los datos contenidos en B_Internet puede ser referido al desarrollo de técnicas basadas en sistemas inteligentes, que permitan determinar las necesidades potenciales de un cliente, su comportamiento, como también el descubrimiento de conocimiento desde el web, empleando como fuente de origen los datos proporcionados por los programas o procesos que registran los eventos ocurridos en la navegación por Internet, eventos que son almacenados en archivos de registro de eventos o web logs En este trabajo se estudiara un método para obtener tendencias de comportamiento de usuarios de un sitio web o Web Mining de Usuario, a partir de la información que es posible de generar a partir del empleo del sitio por parte de un usuario, información disponible en los archivos de registro de sucesos del sitio o web logs. 2 BASE TEORICA:WEB MINING Según Sankar, Varun, Mitra [7] El Web Mining puede ser definido en grandes rasgos como el descubrimiento y análisis de información útil desde el denominado Word Wide Web. Las principales tareas o procesos del web mining son descritas por Etzioni [8] de acuerdo a la Figura 1. La información o Web Data a analizar proviene de Internet o el web, y sus fuentes de origen pueden ser clasificadas desde la perspectiva de los XII CONGRESO ESPAÑOL SOBRE TECNOLOGÍAS Y LÓGICA FUZZY 497

2 servidores web, desde el lado de los clientes, o desde los servidores proxy utilizados para mejorar el rendimiento, desde los equipos de comunicación de datos u obtenidas desde bases de datos disponibles en el web que contienen información de negocios o datos consolidados de una empresa; es evidente por tanto que dependiendo de la fuente, la información a recolectar cambia Figura 1 Principales Tareas el Web Mining La principal fuente de información para nuestro estudio, corresponden a conjuntos de datos provenientes de los procesos que capturan y registran los eventos ocurridos sobre un Servidor Web, eventos almacenados en archivos denominados web logs. Estos datos son recopilados en distintos formatos y no son del todo confiables entre otras razones debido a los varios niveles de captura de información; por ejemplo, las páginas visitadas y almacenadas en cache no son registradas. Estos conjuntos de datos provenientes del cliente, pueden ser recopilados adicionalmente con el empleo de un agente remoto, modificando el código fuente del motor de búsqueda, por medio de técnicas colaborativas voluntarias basadas en incentivos a los usuarios del browser (gane ya..!!!.); técnicas que en su conjunto emplean applets java o códigos especializados y están orientadas a una mejor identificación del usuario permitiendo realizar un seguimiento de uso del sitio web, una desventaja de estos métodos es que consumen recursos en el equipo del usuario afectando el rendimiento del mismo. Un browser modificado y aceptado voluntariamente por el usuario tiene una mayor eficacia dado que aumenta la versatilidad de registrar distintos tipos de información del uso del sitio web, teniendo la desventaja de que debe de ser aceptado por el usuario. Esta variedad de tipos de datos disponibles en el web permiten clasificar su explotación o Web Mining de acuerdo a lo planteado por Srivastava, Cooley, Deshpande y Tan [8]; en tres tipos: explotación minera del contenido, explotación minera del uso y explotación minera de la estructura. La explotación minera del contenido, apunta a los datos reales que contienen las páginas que fueron diseñadas para satisfacer a los usuarios. Estos datos consisten generalmente en texto y gráficos., pero no se limitan tan solo a este tipo de información. En la explotación minera de la estructura; la información a emplear es aquella que describe la organización del contenido de la pagina web. La información de la estructura interna de una página incluye por ejemplo el arreglo de las varias etiquetas HTML o de XML dentro de esta. Esto se puede representar como una estructura de árbol en donde una etiqueta (HTML) se convierte en la raíz de este. La clase principal de información en la estructura interna de una página son los hyper-links que conectan una página con otra. La explotación minera del uso esta orientada a descubrir el uso de las páginas web, direcciones IP, referencias a páginas, la fecha y la hora de accesos, datos que proporcionan la información demográfica sobre los usuarios del Sitio Web. Esto incluye a información de datos que permita determinar comportamiento de clientes o información de perfil del cliente. Sankar, Talwar, Mitra [7] Lee, Kim, Cheng y Kwon [4] definen a la explotación minera de datos en el web en tres categorías generales a partir de la definición anterior denominadas Web Content Mining (WCM), Web Structure Mining (WSM) y Web Usage Mining (WUM), con una topología similar a la de la Figura 2 Figura 2 Tipos de Web Mining Web Content Mining (WCM) asocia el concepto de descubrir información útil desde el contenido de los documentos en el web, el contenido de un documento no es solo texto, como es fácil intuir para cualquier persona que utilice Internet; en la red global se encuentran documentos cuyos contenidos son del más variado tipo, audio, video, símbolos, datos, meta-datos, link, hiperlink, textos y otros. Si nos detenemos en el análisis de datos cuyo formato es texto, encontraremos tres tipos: datos no estructurados en textos libres, datos semi-estructurados como el código HTML y estructurados como las bases de datos y tablas. Web Structure Mining (WSM) en cambio explora la estructura de los hiperenlaces contenidos en una página web, estructuras similares a la indicada en el ejemplo de la Figura 3, ejemplo que se refiere al URL wharton.upenn.edu, esta estructura posee siete niveles de anidamiento, siendo posible determinar por ejemplo; el documento de mayor uso por parte de los usuarios asignándolo a un conjunto difuso, con la finalidad de establecer reglas de inferencia para un sistema inteligente de adecuación de la estructura de búsqueda del sitio web. El denominado Web Usage Mining (WUM), extrae información de datos secundarios generados por los usuarios en su interacción por un sitio web (navegación). 498 XII CONGRESO ESPAÑOL SOBRE TECNOLOGÍAS Y LÓGICA FUZZY

3 WUM incluye datos provenientes de accesos a servidores web registrados en archivos del tipo logs, logs de servidores proxy, logs de motores de búsqueda, perfiles de usuario, archivos de enrolamiento o registro, sesiones de usuarios y transacciones, consultas de usuarios, carpetas marcadas, clic del ratón, desplazamientos (scroll) y otros tipos de información. Figura 3 Estructura de una página Web 3 APLICACIONES RELACIONADAS CON WEB MINING Se describen a continuación algunos proyectos relativos a la Minería de Uso Web o Web Usage Mining que emplean técnicas tradicionales a fin de establecer un parámetro de comparación con respecto a las ventajas de modelar con técnicas de la computación flexible. En el proyecto WebSIFT [3], Chen introduce el concepto medida máxima de referencias en la entrega, que caracterizan el recorrido de patrones en un episodio, esta medida de las referencias en el envío de paquetes, se refiere a las secuencias de páginas requeridas por un usuario en una sesión en un servidor web. El proyecto denominado The SpeedTracer de IBM [10], está construido para trabajar con el índice creado por Chen, SpeedTracer emplea estas referencias y adiciona un agente de pre-procesamiento para identificar usuarios y sesiones en el servidor, en ausencia de información del lado del cliente. Agrawal y Srikant en Mining Sequential Patters (IBM A. Research Center) [1], proponen dos algoritmos, para minar patrones secuénciales desde una base de datos de transacciones, base que contiene información como la identificación del cliente, el matasellos de la transacción o base de tiempo, y los productos de la compra realizada por el cliente. A partir de esta información Agrawal y Srikant, proponen un método algorítmico para resolver el problema de la explotación minera de patrones, el cual se refiere a determinar el comportamiento de un cliente para una posterior toma de decisión. El comportamiento puede ser entendido como una tendencia de compra; por ejemplo aquellos clientes hombres que compran pañales también compran cerveza en una sola transacción. La solución esta planteada por medio de dos algoritmos que denominan AprioriSome y AprioriAll. Estos algoritmos consideran de manera general las fases o sub-procesos siguientes: (1) Fase De ordenamiento: La base de datos es ordenada. (2) Fase de fijación de limites para conjuntos: Se determinan grandes conjuntos de productos y se fijan sus limites. (3) Fase de transformación: Se determina cuales de los conjuntos de secuencias, están contenidos en una secuencia de cliente. (4) Fase de secuencias: Se encuentran las secuencias deseadas; se repite proceso. En cada pasada se analizan los conjuntos determinados. (5) Fase de determinación de Máximos. Este algoritmo en sus pasadas, solo cuenta secuencias de un cierto largo, adicionalmente se emplea una función next; función que cumple el trabajo de tomar como parámetro el largo de las secuencias que contó en la última pasada, para retornar este largo en la próxima pasada. Esta función debe de ser aplicada en conjunto con una heurística que es el porcentaje de los candidatos contados en la pasada actual que tiene incrementos mínimos.. Es posible concluir de esta solución que el tiempo de procesamiento es critico dado que el solo hecho de determinar aquellos ítems o grandes conjuntos y relacionarlos con el id del cliente, consume una gran cantidad de recursos como cpu y memoria, recurso que es proporcional al tamaño de los registros a analizar contenidos en la base de datos de transacciones del servidor de retail. 4 COMPUTACION FLEXIBLE APLICADA AL WEB MINING Plantearemos un caso de estudio similar en características a los trabajos de Data Mining referidos como [1][2][9], siendo nuestro interés establecer una comparación en las soluciones crisp y las soluciones que emplean técnicas asociadas a la computación flexible para el problema de: obtener conocimiento, obtener patrones lingüísticos u obtener secuencias de patrones. La lógica difusa reduce la complejidad del problema de detección de patrones de manera significativa al emplear variables lingüísticas cuantificadoras como al menos, la mayoría, cerca de la mitad, variables que permiten establecer una arquitectura para analizar información y determinar por ejemplo grados de relevancia de los patrones minados o extraídos. Un trabajo que emplea lógica difusa para la detección de patrones lingüísticos, corresponde al desarrollado por Hong, Lin y Wang [5], en donde se emplean conjuntos XII CONGRESO ESPAÑOL SOBRE TECNOLOGÍAS Y LÓGICA FUZZY 499

4 difusos para detectar patrones lingüísticos en un proceso de Data Mining orientado a archivos web logs. Esta solución emplea los denominados archivos logs, depurándolos previamente para su posterior análisis, reduciendo el tamaño del conjunto de datos a analizar a solo aquellos ítems de interés, reflejados en este caso en una selección de aquellos eventos que contengan archivos del tipo.asp,.jva,.htm,.html. De estos ítems se obtiene la información como la fecha, tiempo, archivo empleado, dirección ip del cliente, y por medio de la utilización de conjuntos difusos se obtiene una solución que comparativamente reduce la complejidad de las soluciones algorítmicas, como las planteadas en [1][2][9]. La solución planteada por Hong, Lin y Wang tiene como base definir tres conjuntos difusos que expresen la duración de la navegación en un sitio web por parte de un usuario, y asociar este tiempo al archivo empleado y cliente. Estos conjuntos referidos a la navegación en el sitio se definen como se indica en la Figura 6: usabilidad de un sitio web y mostrar datos en tiempo real extraídos desde diversas fuentes; provoca desventajas al momento de analizar los datos contenidos en los archivos logs, dado que estos contienen información de eventos que están cambiando en el transcurso del tiempo. El planteamiento anterior establece la necesidad de disponer de una arquitectura que permita el análisis en línea o simultáneo de los eventos que se generan en la navegación de un sitio web, eventos que son capturados y almacenados por un programa activo en la memoria del servidor (proceso). Una arquitectura posible se indica en la Figura 8, en donde se emplea una red neuronal y un sistema difuso, operando de manera colaborativa, con la finalidad de construir un motor de procesamiento automático que opere en línea. La finalidad de este sistema es ordenar la información de interés, eliminando aquellas referencias sin importancia. Clasificar aquellos datos filtrados previamente dando un formato de mejor calidad a la información recopilada. Sincronizar la captura de la información desde distintas fuentes o procesos, a fin de reducir el tiempo de limpieza de los datos capturados. Figura 6 Conjuntos difusos usados por Hong, L y W Hong, Lin y Wang emplean el concepto de máxima cardinalidad aplicados a los conjuntos difusos definidos para obtener una secuencia de patrones lingüísticos empleados por un usuario (asp, htm u otra). Si bien este planteamiento reduce significativamente la complejidad, plantea nuevos problemas al considerar como fuente de los datos a analizar los referidos archivos logs crudos, archivos que contienen variada información y son de difícil depuración o preparación para un proceso de minería de datos. 5 UN EJEMPLO DE COMPUTACIÓN FLEXIBLE APLICADO AL WEB USAGE MINING Un problema no considerado en la solución de Hong, Lin y Wang para minar patrones relacionados con páginas web y construir secuencias de empleo de las mismas o comportamiento de un usuario, corresponde a que la mayoría de los sitios disponibles en Internet son generados dinámicamente; esta técnica que reporta grandes beneficios al momento de explotar la Figura 8 Sistema para Análisis Simultáneo en Línea De la Figura 8, se puede observar que la entrada de datos proviene de un proceso que registra la actividad del sitio web. Este proceso genera datos del tipo numérico y almacena la información recopilada en archivos de registros de eventos, también conocidos como archivos logs, información disponible para su análisis estático [5]. En nuestro caso se modificara este proceso con la finalidad de conectar la captura de los eventos a una arquitectura similar a la indicada en la figura 8, sistema que permite un análisis dinámico de los datos de manera similar a la disposición de páginas en el lado del cliente. La arquitectura planteada, tiene por misión básica determinar secuencias de empleo de los elementos dispuestos en el sitio web dinámico, elementos representados en este caso en el lado del cliente como zonas X 0-->N de la ventana virtual. El objetivo de este sistema es realizar un seguimiento del usuario durante su interacción con el sitio web e inferir las secuencias de patrones empleados en su interacción con el sitio, guardando las zonas empleadas por el usuario de forma de aplicar sobre cada una de estas heurísticas que determinen su comportamiento o preferencias 500 XII CONGRESO ESPAÑOL SOBRE TECNOLOGÍAS Y LÓGICA FUZZY

5 5.1. DETERMINACION DE LAS SECUENCIAS DE PATRONES En general un sitio web dinámico es construido a partir de lenguajes como JSP/ASP, JAVA, XML, HTML y otros, en conjunto con herramientas de software especializadas; la finalidad de esta técnica es disponer (agregar) en una ventana virtual objetos en tiempo real factibles de ser desplegados o activados por los usuarios del sitio. Un ejemplo de una ventana virtual que contiene elementos C i agregados dinámicamente a ciertas zonas X J delimitadas de la ventana se indica en la Figura 9; estos elementos u objetos C i pueden ser agrupados en clases de archivos, imágenes, link u otros objetos factibles de ser contenidos en el diseño del sitio y ser agregados a zonas previamente mapeadas con algún diseño preestablecido. Figura 9 Zonas o Regiones de Ventana Virtual Se puede observar de la figura, que cada región en la cual a sido subdividida la ventana virtual del sitio, puede ser asociada con una clase de ítems agregados de forma dinámica. Un usuario al recorrer el sitio dejara un rastro de navegación similar al de la Figura 10, rastro que se establece por medio del monitoreo de la navegación del usuario. CX A,..., CX z }, construidas a partir de los elementos requeridos por el usuario sobre la ventana virtual en una sesión de navegación. El problema puede ser entendido por tanto como la necesidad de determinar un mapa o topología de usabilidad del sitio en referencia, este mapa puede ser precisado por medio de una red neuronal Kohonen. La arquitectura planteada considera dos etapas que son el núcleo del sistema: un motor de procesamiento, constituido por una red neuronal autoorganizada y un motor de inferencia conformado por un sistema difuso. La misión de la red neuronal es actuar como un clasificador de los datos entrantes provenientes del proceso que monitorea el trafico en el servidor web; los datos de entrada a esta red son vectores (x, y) asociados a la zona activada por el cliente en la ventana virtual y la salida corresponde a una zona, vecindad o clase previamente establecidas en la etapa de aprendizaje de la red neuronal. En la etapa de aprendizaje la red neuronal artificial se entrena con aquellos espacios vectoriales que corresponden a los objetos a estudiar, generando un mapa similar al de la figura 11; se puede entender por tanto que al recibir un patrón de entrada en la etapa de funcionamiento, se asocia este patrón a una clase o primitivas que cumplan con pertenecer a ciertos grupos posibles de archivos u objetos agregados dinámicamente a zonas mapeadas del sitio. Figura 10 Objetos de una Sesión de Usuario El monitoreo referido, puede ser realizado desde el lado del cliente por medio de un proceso que capture los movimientos del puntero de navegación (mouse), del teclado u otros dispositivos; o por programas especiales que revisen u olfateen (sniffers programs) los paquetes usados en el servidor; estos programas o sniffers capturan y analizan el tráfico de la red; examinando los paquetes TCP/IP hacia el servidor y generando distintos reportes. El comportamiento del usuario queda determinado por tanto por aquellas secuencias de patrones SP = {CX 0, Figura 11 Mapa Estandarizado de una Ventana Virtual La etapa constituida por el sistema difuso permite establecer reglas de asociación entre los patrones seleccionados sean estos archivos, link, objetos, etc.; dependiendo de la clase de conocimiento que se desea obtener. Es posible por ejemplo crear conjuntos difusos y reglas de inferencia que permitan determinar por ejemplo las zonas de la ventana virtual con mayor preferencia de los usuarios, con la finalidad de disponer en aquellas zonas los objetos. La arquitectura planteada opera de acuerdo a las siguientes etapas: A. Entrenamiento del motor de procesamiento (fuera de línea o stand alone ) 1. Suministro de conjuntos de patrones de entrenamiento. XII CONGRESO ESPAÑOL SOBRE TECNOLOGÍAS Y LÓGICA FUZZY 501

6 2. Determinación del mapa o topología, 3. Aprendizaje de red, ajustes y adaptación al mapa o topología requerida. B. Estudio de los eventos suministrados por el proceso de captura de información (en línea o procesamiento simultáneo) 1. Captura de datos en tiempo real y filtrado de los mismos. 2. Procesamientos de datos filtrados por Red Neuronal Artificial Autoorganizada (Kohonen) 3. Se obtienen secuencias de patrones empleados por un cliente en una sesión. C. Descubrimiento de Conocimiento: utilización del motor de inferencia. 1. Análisis de las secuencias de patrones. 2. Agregación a vistas: Índices de zonas, objetos de mayor utilización, otros índices. o refinación de las funciones de pertenencia de los conjuntos difusos y las reglas de inferencia asociadas.. Un sistema integrado por una red neuronal y un sistema difuso operando en línea, permite reducir la dimensionalidad del problema, adecuar la solución a distintas necesidades como por ejemplo estudiar el comportamiento de una parte del portal o sitio web, detectar ataques a la seguridad del sitio, predecir carga. La redes neuronales autoorganizadas constituyen un pilar básico en el análisis de información en línea o tiempo real, un caso especial de estas redes corresponde a la arquitectura de red de Kohonen o en palabras simples Red de Kohonen, la cual permite construir mapas o topologías, mapas que pueden ser aplicados en soluciones como las expuestas en este trabajo. Agradecimientos Al cuerpo de profesores del programa de Doctorado en Informática de la Universidad de Granada España. 6 CONCLUSIONES Un problema del análisis estático de archivos logs y en términos generales de cualquier archivo de reportes de eventos, corresponde a la alta dimensionalidad de los sucesos que forman parte de los mismos; el estudio de estos archivos con la finalidad de obtener conocimiento con técnicas algorítmicas tradicionales es una tarea compleja, de alto costo computacional y no ajena a conclusiones sesgadas, ya sea por fallas en el almacenamiento de los eventos o por algoritmos que impiden abordar de manera global los datos almacenados. La aplicación de la lógica difusa al análisis de estos archivos con la finalidad de obtener conocimiento, simplifica de manera significativa las tareas a realizar sobre el conjunto de datos, por medio de la utilización de conjuntos difusos y variables lingüísticas como MEDIO, ALTO, BAJO. Un problema que no resuelve esta técnica estática de análisis de archivos de registro de eventos, corresponde a las crecientes necesidades de disponer de herramientas de análisis en tiempo real con la finalidad por ejemplo, de mejorar el rendimiento de un servidor web, predecir carga, adaptar el sitio de acuerdo a las preferencias de los usuarios o detectar ataques a la disponibilidad del sitio web. Desde este punto de vista la utilización de herramientas como las redes neuronales artificiales, junto a la lógica difusa en un sistema integrado tiene por objetivo dotar de inteligencia y adaptabilidad a las urgentes necesidades de análisis en tiempo real de los sucesos y eventos relacionados con la navegación sobre un sitio web, permitiendo simplificar las tareas de monitorización dinámica del sitio web de; como también mejorar el ajuste Referencias [1] Agrawal R., Srikat R.; Mining Sequential Patterns. IBM Almaden Research Center. [2] Bayardo R.; Gunopulus D.; Agrawal R. Constraint Based Rule Mining in Large, Dense Databases. IBM Almaden Research Center. [3] Chen M.S., Jan J., Yu P.S. Data Mining for path traversal patterns in a web environment. [4] Cooley R, Tan P-N, Srivastava J; Discovery of interesting usage patterns from web data. [5] Hong T.-P.,Lin K.-Y., Wang S.-L.; Mining linguistic browsing patterns in the world wide web. Springer-Verlag Soft Computing 6 ( ) [6] Piramuthu S., On learning to predict Web traffic. Elsevier Decision Support System 35 (2003), [7] Sankar K. Pal, Varun Talwar, Pabitra M.; Web Mining in Soft Computing Framework [8] Srivastava J, Cooley R., Deshpande M., Tan P-N., Web Usage Mining [9] Swami A.; Imielinsh T.; Agrawal R. Mining Association Rules between Sets of Items in large Database. IBM Almaden Research Center. [10] Wu K-L, Yu P. S., Ballman A. SpeedTracer: A web usage mining and analysis tool. IBM Systems Journal, 37(1), XII CONGRESO ESPAÑOL SOBRE TECNOLOGÍAS Y LÓGICA FUZZY