Proceso del KDD (minería de datos o DataMining)

Transcripción

1 Qué es el KDD? Es un proceso no trivial que identifica patrones validos, previamente desconocidos, potencialmente utiles y fundamentalmente entendibles en los datos. es como se reconoce de manera teoria a la minería de datos (DataMining). Proceso del KDD (minería de datos o DataMining) Selección: obtencion de los datos de diversas fuentes. Preprocesado: limpieza de datos. Transformación: convertir todos los datos a un formato común. DataMining: obtenr los resultados deseados. Interpretación: presentar los resultados al usuario de manera adecuada. Pablo Alberto Fernandes Fernandes, alumno de Recuperación y Acceso a la Información, UC3M.

2 Qué es el WebMining? Consiste en la aplicacion de las tecnicas de DataMining a datos en la Web, con el proposito de extraer el conocimiento de la Web (recuperación y acceso a la información). Tipos de Datos en la WEB para aplicar WebMining -- Datos de Contenido ---> son los datos relacionados con los textos las imagenes, el contenido propio de la pagina Web.

3 -- Datos de Estructura ---> son los datos relacionados con las etiquetas, y los hiperenlaces. -- Datos de Utilización ---> son los datos de los logg de http, logg del servidor, de utilizacion de la web, de accesos y sus forma de acceder a las diferentes partes de la Web. WebMining: Investigación. En la investigacion de esta Tecnica convergen varias disciplinas: Bases de Datos (BD). Recuperación de la Informacion (IR). Inteligencia Artificial (AI). Procesado Lenguaje Natural (NLP). Pablo Alberto Fernandes Fernandes, alumno de Recuperación y Acceso a la Información, UC3M.

4 Qué es el WebMining de Contenido? Es un proceso de extración de informacion util, del contenido de las paginas Web, tal como texto, imagenes, audio, listas, tablas y otros. En este campo podemos encontrar tecnicas como Recuperacion de la Informacion (IR) y Procesado Lenguaje Natural (NLP). Preprocesado del contenido: se realiza una extraccion del texto del documento HTML, se calculan las palabras frecuentes "StopWord", se calculan la Frecuencia de palabras en una coleccion(df), por ultimo se calcula la frecuenciade terminos por el documento (TF). Por ultimo se crea el Vector de pesos asociado a la pagina, utilizando la tecnica de TF-IDF. Técnicas del WebMining: las técnicas mas comunes en el WebMining del Contenido de una Web son: la

5 clasificacion, el Clustering, y las Asociaciones. Otras ideas significativas son: identificacion de un tema,relevancia del contenido de la web. Clasificación de Documentos: es parte del aprendizaje supervisado, las categorías o clases existen a priori, y los documentos Web se asignana a esta clases previas. El entrenamiento se realiza a traves de documentos previamente clasificados. Agrupación de documentos: es parte del aprendizaje no supervisado, los documentos se agurpan basandose en la medida de similaridad, en este caso no existen clases definidas previamente, para la similitud se utiliza los vectores calculados en el preprocesado. Aplicaciones: el WebMining en el contenido tiene diferentes aplicaciones, entre ellas podemos destacar: Identificación de temas en el documento Web. Categorizar el documento. Encontrar Web similares. Relevancia Contenido. Qué es el WebMining de Estructura? Es un proceso de extración de informacion util, de la estructura de las paginas Web, este proceso se puede llevar a cabo a nivel de documento (intra-page) como a nivel de hiperenlaces (inter-page). Estudio de Hiperenlaces: los hiperenlaces sirven para la navegacion, y poder apuntar a paginas con autoridad, que hablan del mismo tema que nuestra pagina. Utilizando los hiperenlaces se puede Recuperar informacion util de la web.

6 Tecnicas HITS: Hiperlink Induced Topic Seach. La idea de esta tecnica es si un documento A tiene un enlace al Documento B, entonces el autor de A piensa que el documento B tiene informacion Valiosa. Tecnicas PageRank: Prioriza los resultados de busqueda, es utilizado por Google, es el rango de una pagina, este rango depende de las paginas que te apuntan. WebMining estructura Resumen: en este apartado podemos destacar 3 puntos importantes: -- Calidad de las paginas Web: Autoridad(hub & authotities), Valoracion (pagerank Google). -- Estructura interna: representacion de patrones graficamente de promociones. -- Clasificación de las paginas Web: identificar comunidades Web. Qué es el WebMining de Utilización? Es un proceso de extración de informacion util, de la actividad de los usuarios en linea, ademas exhibe un amplio rango de patrones de comportamiento. el WebMining de utilizacion es el descubrimiento de patrones utiles a partir de los datos generados por las transacciones entre clienteservidor en uno o en mas sitios Web. Datos de registro del servidor: por cada sesion de navegacion se registran datos como, el registro de acceso, el registro de errores, el registro de cookies. Descubrimiento patrones uso: Dependiendo de los datosse aplican diferentes tecnicas: --Analisis estadistico

7 --Descubrimiento regla asociaión --Agrupamiento --Clasificación --Patrones secuenciales WebMining Ejemplos: Podemos destacar los siguientes ejemplos: -- Reglas de Asociación: "los clientes accedieron a productos tambien accedieron a productos/deporte" -- patrones secuenciales: "el 80% de los clientes acceden a la web a traves de productos/deportes" -- Clustering y Clasificacion: "los clientes descargan software entre las 16:00 y las 19:00" Pablo Alberto Fernandes Fernandes, alumno de Recuperación y Acceso a la Información, UC3M.