Metamodelo de una Bodega de Datos para el Descubrimiento de Conocimiento

Transcripción

1 Metamodelo de una Bodega de Datos para el Descubrimiento de Conocimiento Claudia Jiménez Ramírez Fernán Villa Garzón Martín Rico Herrera Universidad Nacional de Colombia Sede Medellín Bogotá, 14 y 15 de Agosto de 2008

2 CONTENIDO Inteligencia de Negocios y Sistemas de Bodegas de datos. Inteligencia de Negocios. Descubrimiento de Conocimiento en Bases de Datos (KDD). Sistemas de Bodegas de Datos. Los Metadatos y su papel en todas las fases del descubrimiento de conocimiento. Metamodelo Common Wharehouse Metamodel. Metamodelo de la Bodega de Datos Propuesto. Conclusiones.

3 Inteligencia de Negocios (Business Intelligence) Conjunto de estrategias y herramientas con miras a la administración y creación de conocimiento a partir del análisis de los datos existentes. El propósito del enfoque BI es dar soporte a la toma de decisiones. Es un enfoque orientado por los datos (data driven).

4 Inteligencia de Negocios Inteligencia de Negocios

5 Sistemas de Bodegas de Datos e Inteligencia de Negocios

6 Descubrimiento de Conocimiento en Base de Datos (KDD) Es el proceso de análisis de los datos disponibles en una base o bodega de datos con el objetivo de extraer conocimiento útil (Mitra y Acharya, 2003). Datos Conocimiento

7 El Proceso de KDD (Fases) Transformación Integración de datos Limpieza de datos Selección de datos Selección técnicas Minería de los datos Bodega de datos Visualización e Interpretación Metadatos Conocimiento

8 Metamodelo de una Bodega de Datos Es una descripción explícita de cómo está construida una bodega de datos (conceptos, relaciones, propiedades). Espeficada con un lenguaje de modelamiento. Usalmente se usa el estándar UML. Metadatos (metadata) son "datos acerca de los datos", es un tipo especial de metamodelo.

9 Los metadatos y su uso convencional

10 Metadatos de los Atributos en SQL Server

11 El papel de los metadatos en la fase de integración de los datos ETL: Extracción Transformación Carga Problemas de Conciliación: Convenciones para especificar los datos en los archivos fuente (coma o punto para los decimales, por ejemplo). Formatos de las fechas. Convenciones para los valores nulos (-9999, Nan, Na,Null).

12 Los metadatos en la fase de limpieza o depuración de los datos Grado de Corrección. Datos de calidad? Validez o Vigencia (cambios de significado o formato en los datos) Consistencia Integridad de dominio y referencial Información y conocimiento confiable

13 Errores comunes en los datos Valores por fuera del dominio. Valores faltantes. Valores extremos (no siempre son errores).

14 Los metadatos en la selección de los datos, para la minería de los datos En la etapa de preparación para la minería de datos, se deben seleccionar los datos requeridos y realizar posibles transformaciones para ajustarlos a los supuestos de los modelos teóricos. Dificultades principales: Nombres usados para los objetos. Tipos de las variables Unidades de medida desconocidas.

15 Selección de los Datos para un Análisis en la herramienta Matlab

16 Los metadatos en la minería de los datos Las técnicas aplicables a un conjunto de datos dependen de la naturaleza de los mismos (variables categóricas, nominales, ordinales..) Dificultades principales: Números que representan variables nominales. Por ejemplo, la naturaleza jurídica de los establecimientos industriales. Variables de tipo nominal que representan rangos. Por ejemplo, el tamaño de la empresa. Desconocimiento de cumplimiento de supuestos como la normalidad en la distribución de los datos.

17 Los metadatos en la visualización de los resultados Dificultades: nombres completos de las variables, unidades de medida y fechas de las fuentes de datos, suelen ser desconocidos.

18 Parte del Modelo del Estándar CWM (Common Warehouse Metamodel)

19 Metamodelo de la Bodega de Datos Propuesto (1/2)

20 Metamodelo de la Bodega de Datos Propuesto (2/2)

21 Conclusiones El metamodelo de la bodega de datos propuesto: Enriquece los metadatos de las herramientas comerciales actuales, pero simplifica el metamodelo estándar propuesto por la OMG. Permite una mayor automatización de los procesos inmersos en el KDD como la limpieza de los datos. Los datos propuestos en el metamodelo, tienen una utilidad que va más allá del proceso de descubrimiento de conocimiento actual por conservar la historia de los análisis realizados.

22 Los Autores: Claudia Jiménez Ramírez (4) Fernán Villa Garzón Martín Rico Herrera Expresan sus agradecimientos a: COLCIENCIAS y la UNIVERSIDAD NACIONAL y al OCyT