DATAWAREHOUSE. M. en C. Erika Vilches

Transcripción

1 DATAWAREHOUSE M. en C. Erika Vilches

2 GENERALIDADES DE LA INTELIGENCIA DE NEGOCIOS (BI) BI, en el contexto de data warehouse La habilidad de una empresa para estudiar comportamientos y acciones pasadas para entender en dónde ha estado la organización, determinar su situación actual y predecir o cambiar lo que ocurrirá en el futuro. La curva de adopción de la tecnología tiene la forma de una curva de bell tradicional Las primeras compañias en adoptar una nueva tecnología son llamadas innovadores La siguiente categoría son llamados adoptadores tempranos Después se encuentran la mayoría temprana

3 Mayoría tardía Y al final los rezagados Ejemplo: teléfonos celulares El Data WareHousing es otro ejemplo de la curva de adopción Es un excelente momento para iniciar un Data Warehouse Los ejecutivos hoy en día esperan tener la mayor parte de la buena información, en tiempo, que necesitan para tomar decisiones informadas para llevar a sus compañías a la siguiente década. Hace una década, esos mismos ejecutivos sancionaban el desarrollo de EIS's (Executive Information Systems) para cubrir sus necesidades. La mayoría de esos sistemas se quedaron cortos en sus objetivos Mayormente porque la arquitectura que los soportaba no podía responder lo suficientemente rápido al ambiente cambiante de las empresas.

4 Otro problema significativo El esfuerzo requerido para proveer a los ejecutivos con la información que ellos querían. La adquisición de datos El proceso de extraer, transformar y cargar datos(etl) Su propósito es conseguir la información mas adecuada e integrada posible Hacerla accesible para la empresa a través de Data WareHouse o Data Store (ODS). El proceso completo comenzaba como un conjunto de actividades manualmente intensivas. "Data Suckers" codificados eran el único medio de obtener datos de los sistemas operacionales para acceso de los analistas de negocios.

5 Este proceso es similar a los primeros días de la telefonía Los operadores tenían que conectar su teléfono con el teléfono al que se deseaba llamar corriendo y conectando manualmente los cables correctos. Ha pasado mucho tiempo desde aquello y la industria del Data WareHouse ha desarrollado una amplia variedad de herramientas y tecnologías para soportar el proceso de adquisición de datos. El progreso ha permitido a la mayoría de estos procesos ser automatizados, como en el mundo de la telefonía actual. Este proceso se mantiene aún difícil, incluso temperamental y complicado

6 No existen dos compañías que tengan las mismas actividades de adquisición de datos o inclusive el mismo conjunto de problemas Hoy en día, las compañías que tienen esfuerzos significativos de Data WareHousing dependen fuertemente de sus herramientas ETL para el diseño, construcción y mantenimiento de sus ambientes BI. Otro cambio mayor La introducción de herramientas y técnicas de modelado que traen la frase "fácil de utilizar" a la vida. Los conceptos de modelado dimensional desarrollados por el Dr. Ralph Kimball y otros son mayormente responsables del amplio uso de datos multidimensionales para soportar el procesamiento analítico en línea.

7 Además de los análisis multidimensionales, otras tecnologías sofisticadas han evolucionado para soportar Data Mining, Análisis Estadístico y necesidades de exploración. Ahora los ambientes de BI maduros requieren mucho más que esquemas de estrella Archivos planos, subconjuntos estadísticos de datos imparciales, estructuras de datos normalizadas, además de esquemas de estrella, todos son requisitos importantes de datos que deben ser soportados por nuestro Data WareHouse No debemos subestimar el impacto de Internet en el Data WareHousing. El internet ayudo a remover el misterio de la computadora Los ejecutivos utilizan el Internet en sus vidas diarias y ya no tienen miedo de tocar el teclado

8 Los desarrolladores de herramientas para el usuario final reconocieron el impacto de Internet y muchos de ellos tomaron medidas a partir de dicho descubrimiento Desarrollar su interface de modo que replique algunas de las características look-and-feel de los browsers y search engines populares. La sofisticación y simplicidad de dichas herramientas ha llevado a un amplio uso del BI por analistas de negocios y ejecutivos. Otro cambio importante La transformación de la tecnología cazando a los negocios a los negocios demandando tecnología. En los primeros días del BI, el grupo de tecnologías de Información (IT) reconocieron su valor y trataron de vender sus méritos a la comunidad de negocios.

9 En algunos casos desafortunados, las personas de IT construían un Data WareHouse con la esperanza de que la comunidad de negocios lo utilizara. Hoy en día, el valor de un ambiente sofisticado de soporte a las decisiones es en bien reconocido en los negocios. Por ejemplo, un programa de manejo efectivo de relación con el cliente no podría existir sin capacidades de toma de decisiones estratégicas (Data Warehouse con marts asociados) y tácticas (Un almacen de datos operacionales y un oper mart)

10 Organización jerárquica y departamental de una empresa

11 Porciones tácticas y estratégicas de un ambiente TI

12 ARQUITECTURA BI Uno de los desarrollos mas importantes Introducción de una arquitectura ampliamente aceptada para soportar todas las necesidades tecnológicas del BI. La aproximación EIS tenia varias fallas mayores La más significativa Las estructuras de datos de los EIS se alimentaban directamente desde sistemas fuente Adquisición de datos muy compleja que requería recursos computacionales y humanos significativos difíciles de mantener.

13 Fabrica de información corporativa (CIF) La arquitectura utilizada en la mayoría de los ambientes de soporte a las decisiones hoy en día Resolvió dicha deficiencia mediante la segregación de datos en cinco bases de datos principales Sistemas operacionales Data WareHouse Almacen de datos operacionales Data marts Oper marts E incorporando procesos para mover datos efectiva y eficientemente desde los sistemas fuente hacia los usuarios de negocios.

14 La Fábrica de Información Corporativa

15 Estos componentes fueron separados en dos grupos mayores de componentes y procesos: Meter los datos Consiste en los procesos y bases de datos involucradas en la adquisición de los datos de los sistemas operacionales, integrarla, limpiarla y ponerla en la base de datos para su uso fácil. Los componentes del CIF que se encuentran en esta función son: Los sistemas de bases de datos operacionales (sistemas fuente) contienen los datos utilizados para correr el negocio día a día de la compañía. Estos son aún la mayor fuente de datos para el ambiente de soporte a las decisiones. El Data Warehouse es una colección de repositorios de datos integrados, detallados e históricos para soportar la toma de decisiones estratégica.

16 El almacén de datos operacionales es una colección de datos integrados, detallados y actuales para soportar la toma de decisiones táctica. La adquisición de datos es un conjunto de procesos y programas que extraen datos para el Data WareHouse y el almacén de datos operacionales desde los sistemas operacionales. Los programas de adquisición de datos llevan a cabo el limpiado y la integración de los datos, así como su transformación en formato empresarial. Formato empresarial Refleja un conjunto integrado de reglas de negocio que frecuentemente causan que la capa de adquisición de datos sea el componente mas complejo del CIF

17 La capa de adquisión de datos también incluye procesos de control y auditoría y programas para asegurar la integridad de los datos conforme estos entran al Data WareHouse o al Almacén de datos operacionales Sacar información Consta de los procesos y bases de datos involucradas en entregar BI al consumidor de negocio o analista. Los componentes de esta función son: Los data marts son derivados del Data WareHouse Utilizados para proveer a la comunidad de negocios con acceso a varios tipos de análisis estratégico Los oper marts son derivados del Almacén de datos operacionales utilizados para proveer a la comunidad de negocios con acceso dimensional a los datos operacionales actuales

18 La entrega de datos (data delivery) es el proceso que mueve los datos desde el Data WareHouse a los data marts y oper marts. Manipula los datos conforme los mueve En este caso, el origen es el Data WareHouse o Almacén de datos operacionales, que ya contienen datos integrados de alta calidad que conforman las reglas del negocio

19 STEPS FOR GETTING DATA INTO THE DATA WAREHOUSE

20 DATA EXTRACTION Not all data elements in the transactional data bases are relevant to be included in the data warehouse Use of commercial software or customized one, specifying the following: Which files or tables are to be accessed in the source data base? Which fields are to be extracted from them? What are those fields to be called in the data warehouse? What is the target machine and database format of the output? On what schedule should the extraction be repeated? Initial loading is a one-time operation. However regular updates are a common practice

21 DATA TRANSFORMATION It is likely that there will be inconsistencies among the different data sources Transformation is the process to deal with inconsistencies and improve data quality

22 NAMING INCONSISTENCY the same data element has different names in different sources: employee name may be EMP_NAME in one DB and name in another. the same name is used to refer to different data elements in different data bases: name may refer to a product name in one DB and to an employee name in another

23 STEPS FOR TRANSFORMATION Correct naming inconsistencies Character sets must be converted ASCII to EBCDIC Mixed-case text should be converted to all uppercase for consistency Numerical data should be converted to one consistent data type Additional required reformatting like dates: DDMMYY, MMDDYY, MMDDYYYY Convert measures to a standard unit: miles to km, pounds to kg Common form for coded data (binary values: F/M, 0/1) Other transformations: Separating parts of a field into two or more fields Combining two or more fields into one Combining fields from multiple records into one record

24 DATA CLEANSING We have talked about this one

25 LOADING A high-speed communication link is recommended Magnetic tapes are acceptable second choices Close access to data warehouse when loading is in process Data marts can be alternatives for use when the data warehouse is not available

26 SUMMARIZATION Which summaries should be stored? Many: Faster response time to queries Few: Lesser use of computer time and resources for calculation Better use of space Definition of summaries for storage may be a lot of work

27 customer store Sales transactions supplier time Summary of product by store product