Por: Fabiola del Toro Osorio

Transcripción

1 BODEGA DE DATOS Por: Fabiola del Toro Osorio

2 La toma de decisiones se facilita cuando se cuenta con información En un mercado que cambia, las decisiones se deben tomar con base al conocimiento.

3 Las bodegas de datos en la actualidad En el 1994, Howard Dresdner de Gartner Group predijo lo siguiente: En el 1996, el uso de las soluciones de inteligencia de negocio cambiará dramáticamente de analistas dedicados a todos los gerentes y profesionales como la manera preferida de entender el negocio. En lugar de un pq pequeño número de analistas invirtiendo el cien por ciento de su tiempo analizando datos, todos los gerentes y profesionales invertirán el diez por ciento de su tiempo utilizando herramientas de inteligencia de negocio

4 Algunas motivaciones para la implementación de DW Visualizar detalladamente su negocio Optimizar sus procesos Alcanzar sus metas y objetivos a partir de toma de decisiones basadas en conocimiento Interés en manejar grandes volúmenes de datos en la toma de decisiones Manejo de múltiples y variadas fuentes de información Eliminar la dispersión de la información Minimizar las inconsistencias en la información Facilitar el acceso a la información histórica

5 Algunas definiciones de DW "Yo considero al DW como algo que provee dos beneficios empresariales reales: Integración y Acceso de datos. DW elimina una gran cantidad de datos inútiles y no deseados, como también el procesamiento desde el ambiente operacional clásico". 1993, Susan Osterfeldt

6 Las bodegas de datos ponen a su disposición conocimiento Es una colección de datos para soporte al proceso de toma de decisiones. i W. H. Inmon

7 La construcción y uso de la bodega de datos para generar dicho conocimiento La Bodega de Datos NO es un producto, es un proceso Extracción Transformación Carga Visualización El proceso de unir datos de diferentes fuentes, para extraer conocimiento

8 El almacenamiento de datos debe ser usado según sus propias caracteríscas Bases de datos operacionales Orientación. al proceso Sistema de Bodega de Datos Orientación a Toma de decisiones

9 Los datos a incluir en la bodega potencian su uso Los datos a incluir en la bodega están asociados a información relevante en la organización Facturas Ventas Conocimiento (Toma decisiones) Recursos Humanos Definición productos

10 Los datos unificados Integrada. La base de datos contiene los datos de todos los sistemas operacionales de la organización, y dichos datos deben ser consistentes Fuente1 Fuente2 Ventas Fuentes Externas Fuentes Internas Definición productos Almacen de Datos

11 Los datos reflejan fotos momento a momento Variable en el tiempo

12 Los datos permanecen en el tiempo No volátil. La información no se modifica ni se elimina, una vez almacenado un dato, éste se convierte en información de sólo lectura, y se mantiene para futuras consultas.

13 Otras visiones de las bodegas de datos Un almacén de datos es una copia de las transacciones de datos específicamente estructurada para la consulta y el análisis. Un data warehouse no es más que la unión de todos los Data marts de una entidad. Definición de Ralph Kimball

14 Los Data mart como un medio para para consolidar una bodega de datos Los Data marts son subconjuntos de datos de un data warehouse para áreas especificas. Entre las características de un data mart destacan: Usuarios limitados. Área especifica. Tiene un propósito especifico. Tiene una función de apoyo.

15 La visualización de la información se puede hacer a partir de cubos

16 Componentes de la bodega de datos Tomado de The Data Warehouse Toolkit Second Edition The Complete Guide to Dimensional Modeling. Ralph Kimball, Margy Ross

17 Los mismos componentes pueden verse de diferentes df maneras BD 1 Fuentes Internas Herramientas de consultas e informes Herramientas EIS BD 2 Fuente1 ETL Almacen de Datos Herramientas OLAP Herramientas Minería Fuente2 Fuentes Externas

18 El motor de la bodega de datos maximiza el potencial de los demás componentes de la solución Gartner MQ 2001 Gartner MQ 2007

19 Diversidad de herramientas para Extracción, Trasformación y Carga Suite de herramientas de Teradata Integration Services Microsoft Suite de herramientas de Oracle Data Integrator & Services Suite de herramientas de IBM Pentaho DataIntegration (Softwarelibre)

20 Algunos tips de las herramientas de ETL Rápido acceso a los datos Actualización de la información oportuna Escalabilidad d Capacidades de reinicio Integración con plataformas líderes

21 Diversidad de herramientas para Visualizar la información Gartner 2007 Fuente: Gartner

22 Desarrollo incremental y metodología clara de implementación

23 Definición de preguntas Hacia dónde d se orienta la organización Visión Metas Objetivos Estrategias Factores de Éxito Preguntas de Negocio

24 Se parte del análisis de los requerimientos de la DW Visión Meta 1 Meta. Meta n Objetivo 1 Objetivo. Objetivo n Estrategia 1 Factor de Éxito 1 Activos de Información Factor de Éxito n Estrategia Estratengia n

25 A c t i v i d a d L a b o r a l A c t iv id a d L a b o r a li D A c t iv id a d L a b o r a ld e s c C a u s a l R e t ir o C a u s a l R e t i r o ID C a u s a l R e t i r o D e s c E s t a d o C l i e n t e E s t a d o C li e n t e ID E s t a d o C li e n t e D e s T i p o R e la c i o n T i p o R e l a c io n I D A g e n c i a T i p o R e l a c io n D e s c A g e n c ia ID C l a s e A g e n c ia ID ( F K ) C i u d a d I D ( F K ) C o d i g o A g e n c i a A g e n c ia D e s c F e c h a i n i c i o C la s i fi c a c i o n C o m e r c i a l F e c h a F i n C l a s i f ic a c i o n C o m e r c i a li D C l a s i f ic a c i o n C o m e r c i a ld e s c A l e r t a A l e r t a I D A l e r t a D e s c E m p r e s a E m p r e s a I D ( F K ) Id e n t ific a c io n D ir e c c i o n T e l e f o n o E m p r e s a D e s c P a g i n a W e b C o d i g o E m p r e s a C a lific a c io n ID (F K ) T a m a ñ o I D ( F K ) I n d E m p r e s a R e c o n o c i d a N a t u r a le z a J u r i d i c a I D ( F K ) R a n g o A v i s o s D i r e c t o I D ( F K ) T ip o N o m i n a I D ( F K ) A c t i v id a d E c o n o m ic a I D ( F K ) I n d In d u s t r i a y C o m e r c i o R a n g o S a l a r i o P r o m e d io A d m o n ID ( F K ) R a n g o S a l a r i o P r o m e d io O p I D ( F K ) I n g r e s o E m p le a d o ID ( F K ) R a n g o N u m e r o E m p l e a d o s I D ( F K ) F e c h a I n i c i o F e c h a F i n T ip o R i e s g o I D ( F K ) C a l if i c a c io n E m p r e s a s I D ( F K ) T ip o C o n v e n i o I D ( F K ) T ip o A l i a n z a I D ( F K ) E n t i d a d P r e p a g o s I D ( F K ) E n t i d a d P r e p a g a d I D ( F K ) F u e r z a ID ( F K ) In d C o n ve n io A le rta C lie n te A le r t a I D ( F K ) E s t a d o A s o c i a d o E s t a d o A s o c i a d o I D E s t a d o A s o c i a d o D e s c C l i e n t e C li e n t e ID T i p o C l i e n t e I D ( F K ) In d C l ie n t e N u e v o T i p o R e la c i o n I D ( F K ) In d V e h ic u l o In d P r o p i e d a d R a iz In d C a m a r a C o m e r c i o In d C l ie n t e B u e n o P e rfilr ie s g o ID (F K ) A n t ig u e d a d I D ( F K ) E s t a d o A s o c ia d o I D ( F K ) C la s i fi c a c i o n C o m e r c i a l I D ( F K ) E s t a d o C li e n t e ID ( F K ) C a u s a l R e t ir o I D ( F K ) C a l if i c a c i o n C l i e n t e I D ( F K ) A c t iv i d a d L a b o r a li D ( F K ) T i p o A s o c i a d o I D ( F K ) A g e n c i a I D ( F K ) C a lific a c io n C o n fia rid (F K ) F e c h a I n i c i o F e c h a F i n A le r t a I D ( F K ) E n t id a d I n f o r m a n t e ID ( F K ) E n t id a d F in a n c ie r a ID ( F K ) E m p r e s a ID ( F K ) P e r s o n a I D ( F K ) T i p o L o c a li D ( F K ) T i p o C u e n t a I D ( F K ) B ie n e s ID ( F K ) C la s i fi c a c i o n M e r c a d e o I D ( F K ) E n t id a d F in a n c ie r a E n t i d a d F i n a n c i e r a I D E n t i d a d F i n a n c i e r a D e s c B i e n e s B i e n e s I D B i e n e s D e s c P e r s o n a P e r s o n a I D N u m e ro Id e n t ific a c io n T i p o I d e n t if i c a c io n I D ( F K ) N o m b r e A p e l l i d o e m a i l C a r g o I D ( F K ) D ir e c c i o n C a s a D ir e c c i o n T r a b a j o T e l e f o n o T r a b a j o T e l e f o n o c a s a N u m e r o H i j o s In d C o n y u g u e T r a b a j a F e c h a N a c i m ie n t o P a s a t i e m p o I D ( F K ) T i p o I n g r e s o I D ( F K ) A n t ig u e d a d L a b o r a li D ( F K ) S e x o ID ( F K ) E s t a d o C iv i li D ( F K ) N ive le d u c a tivo ID (F K ) E s t r a t o S o c i a l I D ( F K ) T i p o V i v ie n d a ID ( F K ) M u ltip lic a d o rin g re s o ID (F K ) E s t a d o C li e n t e I D (F K ) T i p o C o n t r a t o ID ( F K ) C iu d a d L a b o r a l ID ( F K ) C iu d a d R e s id e n c ia ID ( F K ) In d C r e d i t o P r o v e e d o r e s P e r s o n a s a C a r g o I D ( F K ) F e c h a I n i c i o F e c h a F i n E m p r e s a ID ( F K ) P r o fe s i o n I D ( F K ) C a l i f ic a c i o n d e C l i e n t e s C a l if i c a c io n C l i e n t e I D C a l if i c a c io n C l i e n t e D e s T i p o C l i e n t e T i p o C l ie n t e I D T i p o C l ie n t e D e s c P e rfilr ie s g o P e r f il R i e s g o I D P e r f il R i e s g o D e s c T i p o A s o c ia d o T ip o A s o c i a d o ID T ip o A S s o c i a d o D e s c A n t i g u e d a d A n t i g u e d a d I D C a li f ic a c i o n C o n fi a r A n t i g u e d a d D e s c C a lific a c io n C o n fia rid C a lific a c io n C o n fia rd e s T i p o C u e n t a T i p o C u e n t a I D T i p o C u e n t a D e s c E n t i d a d In fo rm a n t e E n t i d a d I n f o r m a n t e I D T i p o L o c a l E n t i d a d I n f o r m a n t e D e s c T ip o L o c a l I D T ip o L o c a l D e s c C l a s i f ic a c i ó n M e r c a d e o C l a s if i c a c io n M e r c a d e o ID C l a s if i c a c io n M e r c a d e o D e s c Modelando el negocio se validan los requerimientos y se inicia proceso

26 Llevan el modelo de negocios al modelo dl físico de datos P ersona P ersonaid E m presa N u m e ro Id e n tific a c io n E m presaid (FK ) TipoIdentificacionID (FK ) Nom bre Id e n tific a c io n A pellido Direccion em ail T e l e fo no CargoID (FK) E m presadesc DireccionCasa PaginaW eb DireccionTrabajo CodigoE m presa TelefonoTrabajo CalificacionID (FK) Telefonocasa Tam añoid (FK ) Num erohijos IndE m presareconocida IndConyugueTrabaja NaturalezaJuridicaID (FK) FechaNacim iento RangoA visosdirectoid (FK ) P asatiem poid (FK ) TipoNom inaid (FK ) TipoIngresoID (FK ) A ctividade conom icaid (FK ) A ntiguedadlaboralid (FK ) IndIndustriayCom ercio SexoID (FK) RangoS alariop rom edioa dm onid (FK ) E stadocivilid (FK ) RangoS alariop rom edioo pid (FK ) N ivele duc ativoid (F K ) IngresoE m pleadoid (FK ) E stratos ocialid (FK ) RangoNum eroe m pleadosid (FK ) TipoV iviendaid (FK ) FechaInicio M u ltip lic a d o rin g re s o ID (F K ) FechaFin E stadoclienteid (FK ) TipoRiesgoID (FK ) TipoContratoID (FK ) CalificacionEm presasid (FK) CiudadLaboralID (FK ) Tip oconvenioid ( FK) CiudadResidenciaID (FK ) TipoA lianzaid (FK ) IndCreditoP roveedores E ntidadp repagosid (FK ) P ersonasacargoid (FK ) E ntidadp repagadid (FK ) FechaInicio FuerzaID (FK) FechaFin IndConvenio E m presaid (FK ) P rofesionid (FK ) A ctividadlaboral A ctividadlaboralid CalificaciondeClientes CalificacionClienteID CalificacionClienteDes A ctividadlaboraldesc Cliente ClienteID E s t a d o Client e E stadoclienteid E stadoclientedes Agencia AgenciaID ClaseA genciaid (FK ) CiudadID (FK ) CodigoA gencia A genciadesc Fechainicio FechaFin Alerta AlertaID AlertaDesc CausalRetiro TipoClienteID (FK ) CausalRetiroID IndClienteNuevo TipoRelacionID (FK ) CausalRetiroDesc IndV ehiculo In dp ro p i e d a dra i z IndCam aracom ercio IndClienteB ueno P erfilriesgoid (FK ) TipoRelacion A ntiguedadid (FK ) TipoRelacionID EstadoAsociadoID (FK) ClasificacionCom ercialid (FK ) TipoRelacionDesc E stadoclienteid (FK ) CausalRetiroID (FK) CalificacionClienteID (FK ) A ctividadlaboralid (FK ) TipoA sociadoid (FK ) AgenciaID (FK) CalificacionConfiarID (FK ) ClasificacionCom ercial FechaInicio FechaFin ClasificacionCom ercialid A lertaid (F K ) ClasificacionCom ercialdesc E ntidadinform anteid (FK ) E ntidadfinancieraid (FK ) E m presaid (FK ) P ersonaid ( FK) TipoLocalID (FK ) A lerta Cliente TipoCuentaID (FK ) A lertaid (F K ) B ienesid (FK ) ClasificacionM ercadeoid (FK ) E stadoa sociado B ienes E stadoa sociadoid B ienesid E stadoa sociadodesc B ienesdesc TipoCliente TipoClienteID TipoClienteDesc P erfilriesgo P erfilriesgoid P erfilriesgodesc TipoA sociado TipoA sociadoid TipoA S sociadodesc A ntiguedad A ntiguedadid CalificacionConfiar A ntiguedaddesc CalificacionConfiarID CalificacionConfiarDes TipoCuenta TipoCuentaID TipoCuentaDesc E ntidadinform ante E ntidadinform anteid TipoLocal E ntidadinform antedesc TipoLocalID TipoLocalDesc ClasificaciónM ercadeo ClasificacionM ercadeoid ClasificacionM ercadeodesc E ntidadfinanciera E ntidadfinancieraid E ntidadfinancieradesc

27 Se hace necesario identificar cuáles datos pueden llevarse al DW En dónde se encuentran los datos? Bases de datos internas Bases de datos Externas Cuáles son las transformaciones necesarias para llevar los datos? Cómo se encuentran los datos? Limpieza (data cleansing) Criba (selección) de datos Volúmen de datos

28 A partir del modelo físico se especifican los procesos Extracción. Tomando los datos de las fuentes Transformación. Ajustes a los datos para que sean definidos según el modelo físico Carga. Carga de datos en el DW LIMPIEZA DE DATOS

29 Las consultas son definidas y especificadas técnicamente Definición de consultas predefinidas df d a nivel de dimensiones y métricas Cubos o Disponibilidad de dt datos para generación de consultas ad hod Definición de consultas estáticas como complemento en implementación mixta Minería de datos Qué paso? Por qué Paso? Qué pasará? Cómo hago que pase? IMPLEMENTACION DE CONSULTAS EXITOSAS

30 Las pruebas minimizan los riesgos Como cualquier solución la implementación de una bodega de datos debe ser probada La calidad de los datos es vital para una buena implementación Una bodega de datos debe ser confiable La información almacenada en la bodega de datos debe ser relevante La disponibilidad de los datos en la bodega de datos debe estar acorde a los lineamientos de la organización Se debe garantizar que la integración de los datos es precisa y completa Los recursos necesarios para el uso de la bodega de datos son claves para el éxito del proceso La información debe estar disponible según el plan definido Los procesos de extracción, transformación y carga deben ser probados

31 Debemos partir de la historia Cargas históricas. El proceso de cargar la información histórica es uno de los pilares del inicio de la bodega de datos

32 El proceso apenas inicia Tiene sentido tener una bodega de datos sin actualizar? Qué tan frecuente se debe actualizar? Se deben actualizar los datos o se deben reemplazar?

33 Cómo ha sido el avance de DW? Miles de organizaciones alrededor del mundo hoy tienen la fortuna de tomar sus decisiones basados en el conocimiento a partir de la implementación de sus bodegas de datos En Colombia, desde grandes hasta pequeñas empresas están obteniendo los mejores resultados después de haber implementado su bodega de datos

34 Preguntas