Extracción e Integración de Información en una Arquitectura de Web Warehouses

Transcripción

1 Extracción e Integración de Información en una Arquitectura de Web Warehouses Verónica Giaudrone Marcelo Guerra Marcelo Vaccaro Proyecto de Grado CSI Facultad de Ingeniería

2 Agenda λ Motivación λ Arquitectura λ Caso de estudio λ Testeo λ Conclusiones λ Trabajo futuro

3 Motivación Promedio de duración de películas aptas para todo público, del año 2004, de aventuras, con algún actor de Leo

4 Motivación Duración de películas aptas para todo público, del año 2004, de aventuras, con algún actor de Leo

5 Motivación

6 Motivación Varias páginas como resultado de la consulta No todas las páginas tienen que ver con el tema Las páginas no contienen toda la información solicitada Promedio?

7 Herramienta Promedio de duración de películas aptas para todo público, del año 2004, de aventuras, con algún actor de Leo DATAWAREHOUSE Web Web Actua PK,FK1 PK,FK2 Titulo Nombre PK,FK1 Pelicula Titulo Clasificacion Genero Duración Año PK Actor Nombre Signo

8 Arquitectura Wrappers y Mediadores DATAWAREHOUSE Pelicula Actor WAREHOUSE PK,FK1 Titulo PK Nombre Clasificacion Genero Duración Año Actua PK,FK1 Titulo PK,FK2 Nombre DATA Signo

9 Caso de estudio DATAWAREHOUSE Actores Actua PK,FK1 Titulo PK,FK2 Nombre Pelicula PK,FK1 Titulo Clasificacion Genero Duración Año Actor PK Nombre Signo Películas

10 Caso de estudio λ Requerimiento de información: Esquema XML con la información solicitada para resolver posibles consultas sobre el DW Clave: título λ Necesidad de ontología del dominio, para enriquecer el vocabulario

11 Enriquecimiento del conocimiento del dominio Pedido de información Sinónimos Enriquecedor de dominio Dominios Ontología

12 Wrapper Mediator DATAWAREHOUSE Actores Actua PK,FK1 Titulo PK,FK2 Nombre Pelicula PK,FK1 Titulo Clasificacion Genero Duración Año Actor PK Nombre Signo Películas

13 Wrapper Clasificador λ Clasificación de páginas Web relevantes para el dominio Clasifica dor Páginas Web Sinónimos Reutilización de tesis de maestría

14 Wrapper Clasificador λ Se descartan las páginas no relevantes Clasifica dor Sinónimos

15 Wrapper Clasificador λ Se seleccionan las relevantes Extractor Clasifica dor Sinónimos

16 Wrapper Extractor λ De cada página relevante se extrae la información solicitada Salida de información extraída Filtro Extracción de información Dominio enriquecido Reglas Metadata Reglas aplicadas a cada atributo con el sinónimo encontrado y la información extraída

17 Reglas de extracción λ Especificadas en forma independiente en archivo XML λ Lenguaje: Xpath λ Generadas de acuerdo a características de las páginas web del dominio utilizado λ Conocimiento de XML y Xpath para generarlas

18 Mediador Wrap per Media tor DATAWAREHOUSE Actores Actua PK,FK1 Titulo PK,FK2 Nombre Pelicula Actor PK,FK1 Titulo PK Nombre Wrap per Media tor Clasificacion Genero Duración Año Signo Películas

19 Mediador λ Integración de datos de la información extraída Dominio enriquecido Salida de información integrada Mediador Metadata Confiabilidad de las fuentes Opciones de información extraída para cada atributo, nombre de la página web de donde proviene con su valor de confiabilidad y la opción elegida

20 Resultado λ Archivo con la información solicitada del dominio de películas obtenida de varias fuentes λ Archivos de metadata independientes que mantienen la trazabilidad del proceso, para soportar evolución de las páginas Web

21 Testeo λ λ λ Desarrollo guiado por caso de prueba de aceptación planteado previamente al desarrollo dominio de las películas de cine Se seleccionaron nuevos dominios Dominio cine (en español): λ Actores Dominio medicina (en inglés): λ Hospitales λ Médicos Agregado de funcionalidades y correcciones paralelo al aumento de casos de prueba, realizando testeos de regresión. Se utilizaron métricas propias.

22 Conclusiones λ λ Trabajo realizado Estudio del estado del arte y tecnologías Implementación de arquitectura de wrappers/mediadores Elección de dominio de trabajo Decisiones de diseño Generación de reglas Generación de metadata Metodología: Iterativa e incremental (2 fases acorde al cronograma) Testing (2da fase)

23 Trabajo Futuro λ Aplicación a mayor cantidad de dominios, creando nuevas reglas de extracción en caso de ser necesario λ Implementación del soporte a la evolución, a partir de la metadata y el análisis realizado λ Completar la arquitectura hasta llegar al Data Warehouse

24 Preguntas