Texto, imágenes, video Hiperenlaces Archivo log

Transcripción

1 Web Mining

2 Web Mining Aplicación técnicas data mining sobre datos que Web Descubrimiento automático información útil de documentos y servicios Web Texto, imágenes, video Hiperenlaces Archivo log

3 Netcraft survey Páginas Infinito (técnicamente) Mucha Duplicación (30-40%) Estimación páginas estáticas únicas HTML Google = 8 billones(?), Yahoo = 20 b Número sitios web (Junio 2007) Netcraft :124 millones de sites 12.8 millones de sitios nuevos en 2007 ( ver_survey.html)

4 Netcraft survey

5 Top Developers

6 Web: Grafo Nodos: páginas (sin contenido), Arcos: links Diferenciar páginas importantes de no importantes Page rank Comunidades de páginas relacionadas Hubs and Authorities Detectar web spam Trust rank

7 Web Mining Clasificación de datos en el WWW Texto, imágenes, video Web Content Hiperenlaces Web Structure Archivo log Web Usage

8 Web Mining Taxonomy Web Content Mining Web Mining Web Structure Mining Uses interconnections between web pages to give weight to pages Web Usage Mining Web Page Content Mining Search Result Mining General Access Pattern Tracking Customized Usage Tracking Identify information within given web pages Categorizes documents Understand access patterns and trends to improve structure Analyzes access patterns of a user to improve response

9 Web Content Mining Proceso de extraer información útil de los contenidos de los documentos Web Extraer texto de los documentos HTML Eliminar sufijos y conservar la raíz (stemming) Eliminar palabras que no aportan información (stop words) Determinar la colección de palabras con frecuencia de aparición alta Calcular la frecuencia de tipos o conceptos, por documento

10 Web Content Mining Document classification Dadas categorías (dependen del contenido del sitio web analizado) clasificar el contenido de una nueva página Web Document clustering Agrupar documentos basados en métricas (función de similitud)

11 Web Content Mining:Utilidad Identificar tópicos representados por un documento Web Categorizar documentos Web Encontrar páginas Web mediante búsquedas por tópicos de interés Mostrar/Ocultar documentos basados en un puntaje de relevancia

12 Preprocesamiento del texto (Stemming, Eliminar stop words) Extraer Características Selección de Características Extraer conocimiento con algoritmos de minería Interpretar los resultados de los algoritmos de minería

13 Web Content Mining

14 Web Content Mining

15 Web Structure Mining Encuentra estructura de página Web que sería apropiada para un propósito de navegación Permite conocer la frecuencia de uso de un camino específico en un sitio Web Secuencia mas utilizada Determinación enlaces poco utilizados

16 Web Usage Mining Utiliza un archivo log como entrada :huella de navegación de usuario en el Web Analiza el comportamiento de los usuarios Descubre patrones de uso Permite llevar a cabo el diseño de un sitio Web según perfiles de usuario identificados

17 Archivo Log Estructura Dirección IP del usuario Tiempo de acceso Método solicitado (Get ó Post) URL de la página accesada Protocolo (http/1.0) Código retornado Número de bytes transmitidos

18 Web mining [01/Jun/1999:03:09: ] "GET /Calls/OWOM.html HTTP/1.0" " pursuit?query=advertising+psychology&maxhits=20&cat=dir" "Mozilla/4.5 [en] (Win98; I)" [01/Jun/1999:03:09: ] "GET /Calls/Images/earthani.gif HTTP/1.0" " "Mozilla/4.5 [en] (Win98; I)" [01/Jun/1999:03:09: ] "GET /Calls/Images/line.gif HTTP/1.0" " "Mozilla/4.5 [en] (Win98; I)" [01/Jun/1999:03:09: ] "GET /Calls/Images/red.gif HTTP/1.0" " "Mozilla/4.5 [en] (Win98; I)" [01/Jun/1999:03:32: ] "GET / HTTP/1.0" "" "Mozilla/4.06 [en] (Win95; I)" [01/Jun/1999:03:32: ] "GET /Images/line.gif HTTP/1.0" " "Mozilla/4.06 [en] (Win95; I)" [01/Jun/1999:03:32: ] "GET /Images/red.gif HTTP/1.0" " "Mozilla/4.06 [en] (Win95; I)" [01/Jun/1999:03:32: ] "GET /Images/earthani.gif HTTP/1.0" " "Mozilla/4.06 [en] (Win95; I)" [01/Jun/1999:03:33: ] "GET /CP.html HTTP/1.0" " "Mozilla/4.06 [en] (Win95; I)"

19 Web Mining: Proceso

20 Modelo de Web Mining

21 Web Usage Mining: Limitaciones El servidor proxy guarda una copia local de las páginas accedidas en la sesión, por lo que usar back o forward accede al archivo local y el servidor no se da cuenta

22 Web Mining

23 Web Mining

24 Web Mining(Cooley)

25 Web Mining: Aplicación Utiliza software comercial (Clementine e IBM Intelligent Miner) para encontrar relaciones entre los tipos de secciones temáticas Público: periódico on-line en donde cada edición se construye por medio de un programa que, teniendo todos los artículos, aplica formatos y construye una estructura Web navegable con artículos agrupados en secciones temáticas

26

27 Web Mining: Aplicación Si accede artículo de Sociedad también accede a articulo de política( s=72%, c=85%) Si accede artículo de temas Internacionales también accede articulo de deportes (s=51%, c=79%) Si accede artículo Educación también accede a uno de Ciencias (s=81%, c=92%)

28 Web Mining: Aplicación Clasificación Difusa Basado en el algoritmo Robust Fuzzy c-medoids (RCMdd) 1. Preprocesamiento del archivo log. 2. Identificación de sesiones de usuario a partir del archivo log. 3. Identificación de los grupos de usuarios de manera difusa. 4. Cálculo de la pertenencia difusa de un nuevo usuario a cada grupo identificado

29 Web Mining Permite definir valores de expresiones sin hacerlo de manera precisa (lógica clásica utiliza sólo dos valores 0 y 1) Valores permitidos Lógica bivaluada Lógica difusa {0,1} [0,1]

30 Web Mining Conjunto de personas jóvenes Conjunto de personas adultas mayores

31 Web Mining Para cuáles valores del nivel del agua el vaso está lleno, medio lleno, vacío y medio vacío?

32 Web Mining

33 Web Mining Lógica bivaluada

34 Web Mining Lógica difusa

35 Web Mining Grupo 1 Grupo 2 Grupo 3 Grupo 4 Usuario Usuario desconocido

36 Web Mining Grupo 1 Grupo 2 Grupo 3 Grupo 4 Usuario Usuario desconocido 0.3

37 Web Mining Grupo 1 Grupo 2 Grupo 3 Grupo Usuario Usuario desconocido

40 Web Mining Preprocesamiento de archivo log Eliminar registros acceso archivos de imágenes Código retornado indica que el URL solicitado no se pudo acceder Identificación n sesiones usuario Sesión de usuario: conjunto de URLs accesados desde el mismo IP en un tiempo dado Identificación n de los grupos de usuarios de manera difusa Aplicación de técnica de clustering (Medidad de similitud: exactas (crisp) y difusas (fuzzy))

41 Web Mining Qué tipo de medida usar en web usage mining? Medidas exactas consideran valores 0 y 1. Medidas difusas consideran valores en el rango [0-1].

42 Web Mining Cálculo de la pertenencia difusa de un nuevo usuario a cada grupo identificado: Aplicación técnica de clasificación Se basa en el algoritmo Robust Fuzzy c-medoids (RCMdd) que utiliza la medida de similitud: S u ( i, j) = min 1, max 1, p i p ( ( ) ) max p, 1 i p j j

43 Pruebas y resultados Web Mining % 50% 75% 100% Técnica Difusa Técnica Exacta El gráfico indica la cantidad de casos (de un máximo de 10), en los que la clasificación difusa y exacta acertaron. Esto para cada porcentaje

44 Aplicaciones Web Mining

45 Comercio electrónico Web Mining Diseñar estrategias de ventas Evaluar campañas promocionales Anuncios electrónicos "target" y cupones a grupos de usuarios Predecir el comportamiento de los usuarios basado en las reglas aprendidas y los perfiles de usuarios Presentar información dinámica a los usuarios basados en sus intereses y perfiles

46 Web Mining Presencia Web efectiva Determinar la mejor forma para la estructura de un sitio Web Identificar "enlaces débiles" Diseñar un "Web site specific" Pre-cargar archivos más probables acceso

47 Web Mining

48 Web Mining

49 Web Mining

50 Web usage mining Descubrimiento patrones significativos a partir de datos del servidor Transacciones sobre uno o mas servidores Fuentes de datos típicas datos generados automáticamente en archivos log Cookies en el cliente, agentes orientado a e-commerce Cambios en compras perfiles de usuarios y raitings utilización de metadatos: contenidos de paginas, tipos de páginas

51 Web mining: Preprocesamiento Remover referencias irrelevantes Remover referencias erroneas Integración de datos Etiquetas de contenido Información demográfica Transformación de datos Identificación de usuarios Identificación de sesiones Identificación de paginas visitadas

52 Web mining: Preprocesamiento Reducción de Datos Muestreo y reducción de dimensionalidad Ignorar ciertas paginas visitadas Identificar transacciones de usuario Sesionización Calidad de patrones dependiente de calida de datos Datos relacionados con visitas( entrada site-salida site)

53 Estrategias de sesionización Reconstrucción de sesiones Asignación correcta de actividades a individuos diferentes Separación de actividades pertenecientes a diferentes visitas del mismo usuario

54 Sesionización:Mecanismos IP address+ Agent: se asume que cada par (ip, agente) corresponde a un usuario Registro Cookies: almacena IP sobre máquina del cliente Agentes de soft: Programas cargados en el browser que envian datos de uso

55 Estrategias de sesionización Heurísticas orientadas al tiempo Definición de umbral H1: duración total de sesión no excede limite H2: tiempo de permanencia en página no debe exceder máximo Heuristicas orientadas a la navegación Una página debe haberse alcanzado desde una página previa en la misma sesión

56 Integrando contenido Asociar con cada página pedida uno o mas conceptos del dominio Entendimiento del proceso de navegación Facilita detallar conducta de grupos de usuarios Personas que compran chaquetas tienden a compara zapatos Util en sistemas de recomendación

57 Integrando Estructura Identificadión páginas iniciales que visita usuario Posibilidad de reestructura el site Remosión de páginas poco visitadas

58 Identificación de conceptos Taxonomias basadas en conceptos Grupos de atributos Clases de entidades Servicios basados en taxonomias Posibilidad de representar documentos similares

59 Metricas de éxito Métricas basadas en usuario Solicitud de producto Satisfacción de objetivos Usabilidad del web Decisiones de diseño que afectan uso Diseño de páginas Facilida de navegación Tiempos de carga Falta de soporte a la navegación

60 Aplicaciones KDD Calibración de web servers Predicción de página a seleccionar por un grupo de usuarios ( sequencias, cadenas de Markov) Productos de venta ( cross-selling of products) Transformación de páginas web en productos Descubrimiento de productos asociados Productos asociados en una página

61 Aplicaciones Ventas de productos por grupos Identificación de grupos de clientes Identificación de productos de la misma categoría Recomendación al usuario final

62 Web mining Analisis de visitas Recuperacion de inversión en compras Perfiles de navegación de usuarios Validez de resultados dependiente de reconstruccion de sesiones de navegacion