Enfoques de desarrollo DW Kimball/Inmon.

Transcripción

1 Enfoques de desarrollo DW Kimball/Inmon. 1

2 Antecedentes Sistemas de Información Los procesos a automatizar son repetibles y previsibles. Modelado Entidad Relación. Atención en una rápida modificación en línea de los datos. Data Warehouse El uso de los datos es exploratorio y menos predecible. Modelado multidimensional. Enfocado en la carga y la presentación de los datos DWH no es solamente crear un conjunto de reportes. Se trata de preguntas que hay que alcanzar y que puede llevar a lugares imprevistos. 2

3 Algunas Metodologías Top-Down Bottom-Up Hybrid Federated Profesional Inmon Kimball Muchos profesionales Doug Hackney Énfasis DWH DataMarts DWH y DataMarts Integrado a entornos BI heterogéneos Diseño Modelo normalizado basado en la empresa. El modelo dimensional de datamarts, usa esquema de estrella Modelos locales y uno o mas esquemas de estrella Una arquitectura de arquitecturas; comparte dimensiones, hechos, reglas, definiciones a través de la organización Arquitectura Compuesto de varios niveles de áreas de interés y datamarts dependientes Área de interés y datamarts Modelo empresarial normalizado de alto nivel; datamarts iníciales. Realidad del cambio en organizaciones y sistemas Data set DWH datos a nivel atómico; datamarts datos sumarizados Contiene datos atómicos y sumarizados 3 Carga datamarts con datos atómicos y sumarizados vía un área de interés no persistente Uso de cualquiera significado posible para integrar las necesidades de negocio

4 Historia Bill Inmon: 1990!Publica Building the Data Warehouse Mejora su libro y define una arquitectura como una colección de fuentes dispares en almacenes de datos y variantes en el tiempo. Top-Down Ralph Kimball: 1996!Publica The Data Warehouse Toolkit. 2002!Mejora su libro y define múltiples bases de datos llamados datamarts que son organizados por procesos de negocio. Bottom-Up 4

5 Top-Down Bottom-Up 5

6 Paradigma Inmon - Corporate Information Factory (CIF). - Orientado a temas. - Integrado. - No volátil. - Variante en el tiempo. - Nivel de detalle (Atómico). - Iterativo. 6

7 Enfoque Inmon 7

8 Enfoque Kimball 8

9 Enfoque Kimball. - El modelo se inicia con tablas: - De hechos. - De dimensiones. - Los hechos contienen métricas. - Las dimensiones contienen atributos. - Los datos no están normalizados. 9

10 Ciclo de vida Kimball. 10

11 El ciclo de vida. - Ilustra el flujo general de implementación de un DW. - Identifica secuencia de tareas ordenadas y actividades principales. - No todos los detalles de las tareas del ciclo de vida deben ser ejecutados en todos los proyectos. 11

12 #$% &'()*+,&&-.(% /0%,($% )'1,&-.(% /0% 23 72$*$8$+09',)045,)-(0))% 6(*011-:0(&0;% 0)% ),<$<0(*0% &'<=10>$ &'<=10>-/$/F%#$)%*$+0$)%/0%0)*$%<0*'/'1':C$%7&-&1'%/0%G-/$;%)0%<,0) Ciclo de vida Kimball. 0(%1$%E-:,+$%HF% % 2-)0L'%20%#$% $+D,-*0&*,+$% *M&(-&$ N010&&-.(%/0% I+'/,&*')%0% 6<=10<0(*$&-.( S+0&-<-0(*' I1$(-E-&$&-.(% /01%I+'@0&*' 20E-(-&-.(%/0% J0D,0+-<-0(*')%/01% K0:'&-' O'/01$/'% 2-<0()-'($1 2-)0L'%QC)-&' 2-)0L'%0% 6<=10<0(*$&-.( /01%N,B)-)*0<$% /0%PR# 6<=10<0(*$&-.( P)=0&-E-&$&-.(% /0%$=1-&$&-'(0)% /0%56 20)$++'11'%/0% $=1-&$&-'(0)%/0% 56 O$(*0(-<-0(*' T/<-(-)*+$&-.(%/01%I+'@0&*'%/0%23456 % Q-:F%HU%R$+0$)%/0%1$%<0*'/'1':C$%/0%A-<B$11?%/0('<-($/$%5")6'%) 768%')6('#+*96:%-;-+%*7A-<B$11%0*%$1%"V?%WV?%O,(/@%X%R9'+(*98$-*0% 12

13 - Planificación del proyecto. - Requerimientos del negocio. - Linea tecnológica: Ciclo de vida. - Arquitectura. - Selección e instalación de productos. - Línea de datos: - Modelo dimensional. - Modelo físico. - ETL. - Linea de aplicación de BI: - Diseño del BI. - Desarrollo del BI. - Despliegue: - Despliegue. - Crecimiento. - Mantenimiento. 13

14 Planificación - Proyectos y programas de kimball: - Proyecto: - Iteración desde el lanzamiento hasta el despliegue - Programa: - Coordinación progresiva de recursos, infraestructura, tiempos y comunicación a traves de múltiples proyectos. 14

15 Planificación - Definir el alcance. - Identificar tareas. - Programación de tareas. - Planear el uso de recursos. - Asignar la carga de trabajo a los recursos. - Plan de proyecto. 15

16 Roles Recursos - Front Office. - Ejecutivos. - Linea regular: - Analista de sistema de negocio. - Modelador de datos. - DBA. - Recursos: - Humanos. - Equipamiento. - Servicios de terceros. - Tiempo. - Diseñador ETL. - Desarrollador de aplicaciones. - Equipos especiales. 16

17 Requerimientos del negocio. - Requerimientos de uso de información. - Tipo de información. - Tipo de análisis. - Requerimientos de datos: - Fuente de datos. - Calidad de datos y limpieza. - Almacenamientos. - Carga de datos. 17

18 Procesis de Calidad de datos y Limpieza de datos Almacenamiento de datos. Definición Procesos de carga de datos. de requerimientos. Proceso de definición de requerimiento. Figura 2.2: Proceso de Definición de requerimientos de Kimball 18

19 El resultado de las entrevistas y el data profile nos ayudan a identificar los procesos de nego son importantes y las dimensiones que participan en el proceso. Es importante resaltar que destacan los Matriz procesos de de toda lanegocio organización, si no(bus los procesos matrix). que se encuentran dentro bito de información externa de mercado del banco. Figura 5.1: Matriz de Negocio de Kimball 19

20 Linea de desarrollo. - Luego de definir los requerimientos del negocio se enfoca el proyecto a tres lineas (tracks) - Tecnología. - Datos. - Aplicaciones. 20

21 Ciclo de vida Kimball. % Tecnología 2-)0L'%20%#$% $+D,-*0&*,+$% *M&(-&$ N010&&-.(%/0% I+'/,&*')%0% 6<=10<0(*$&-.( S+0&-<-0(*' I1$(-E-&$&-.(% /01%I+'@0&*' 20E-(-&-.(%/0% J0D,0+-<-0(*')%/01% K0:'&-' O'/01$/'% 2-<0()-'($1 Datos 2-)0L'%QC)-&' 2-)0L'%0% 6<=10<0(*$&-.( /01%N,B)-)*0<$% /0%PR# 6<=10<0(*$&-.( P)=0&-E-&$&-.(% /0%$=1-&$&-'(0)% /0%56 20)$++'11'%/0% $=1-&$&-'(0)%/0% 56 O$(*0(-<-0(*' Aplicaciones T/<-(-)*+$&-.(%/01%I+'@0&*'%/0%23456 % Q-:F%HU%R$+0$)%/0%1$%<0*'/'1':C$%/0%A-<B$11?%/0('<-($/$%5")6'% 21

22 Linea Tecnológica. - Plataforma de hardware. - DBMS. - Herramienta ETL. - Herramientas de consultas. - Herramientas de reportes. 22

23 Linea de datos. - Modelo dimensional. 1. Elegir proceso de negocio. 2. Establecer el nivel de granularidad (drill down). 3. Elegir las dimensiones. 4. Identificar medidas y tablas de Hechos. - Modelo Físico: } Iterativo - Tuning (indexación y agregación). - Seguridad. - ETL (Fase mas importante 70% del riesgo y esfuerzo de un proyecto). - Extracción. - Limpieza y conformidad. - Entrega y administración. 23

24 Modelo dimensional. # $%&'#()#*%+&,+-+#./#01234#./1#5,46/74#.%-/87%48+1#./#9%-:+11#;<28.=#># 24

25 Buble Chart. E,-(6' I'$-+% :1'+#74' :1'('7,'$-* F1+-$-* :1'3,$7,%* J-3-$+-+'1- * H2,-$4-* G(62-%+'* & K,0.&DL&G>-(62'&+-&I'+-2'&<,$%2&+-&%24'&$,3-2&+-&2%&*-*,M$&,$,7,%2&+-& Modelo dimensional. 25

26 Linea de aplicación. - Diseño de aplicaciones. - Aplicaciones candidatas. - Interfaces de navegación. - Desarrollo de aplicaciones. - Configuración Metadatos del negocio. - Infraestructura de herramientas. - Analíticas. - Operacionales. - Portal Navegación. 26

27 Aplicaciones BI. - Aplicaciones que consultan, analizan y presentan información desde el modelo dimensional. - Entregar capacidades al negocio para soportar y mejorar la toma de decisiones: - Diseño de aplicaciones. - Desarrollo de aplicaciones. 27

28 Aplicaciones BI. - Diseño: - Identifica las aplicaciones de BI candidatas y interfaces de navegación. - Orienta las necesidades de los usuarios. - Desarrollo - Configuración de los metadatos del negocio. - Construcción y validación de aplicaciones. 28

29 29

30 29

31 29

32 29

33 Despliegue. - Despliegue. - Crecimiento. - Mantenimiento. 30

34 Despliegue. - Debe ser sincronizado. - Se deberá aplazar si todas las piezas no estan listas para producción: - Entrenamiento. - Documentación. - Validación de datos. 31

35 Mantenimiento. - Cuando el sistema este en producción. - Tareas operacionales: - Monitoreo. - Tunning del desempeño. - Mantenimiento de Indices. - Backups. - Apoyo permanente, capacitación y comunicación con los usuarios finales. 32

36 Crecimiento. - Los DW tienden a expandirse. - Es considerado un signo de éxito. - Nuevos requerimientos deben ser prioridad. - Empezar el ciclo de nuevo: - Construir sobre las bases ya establecidas. - Enfoque en los nuevos requerimientos. 33