PONTIFICIA UNIVERSIDAD CATOLICA DEL ECUADOR TEMA: AUTOR: DIRECTOR:

Transcripción

1 PONTIFICIA UNIVERSIDAD CATOLICA DEL ECUADOR FACULTAD DE INGENIERIA ESCUELA DE SISTEMAS TEMA: PRINCIPIOS Y TÉCNICAS PRÁCTICAS PARA LA IMPLEMENTACIÓN DE UN PROTOTIPO DE DATA WAREHOUSE EN SQL SERVER 2000 Y ORACLE 10 g. AUTOR: REBECA MARGARITA MIDEROS ROMERO DIRECTOR: ING. FABIO PUENTE QUITO, 06 DE JULIO DEL 2007

2 AGRADECIMIENTO A la facultad de Ingeniería representada por su decano, Ing. Estuardo Páez, mi Director, Ing. Fabio Puente, mis revisores Ing. Alfredo Calderón e Ing. Jorge Alarcón, por su paciente labor de revisión, mi esposo David por su apoyo incondicional y a todas aquellas personas que de una u otra manera colaboraron en el transcurso de mi vida universitaria y la culminación de este trabajo.

3 DEDICATORIA A mis madres Gloria y Luz María por su amor, ejemplo y dedicación. Como agradecer lo que has hecho Señor por mí. Sin yo merecer, Tantas pruebas de tu amor por mí. Mil voces no expresarían el gran amor Que siento por ti. Lo que yo soy y lo que puedo ser Lo debo todo a ti Señor.

4 PRINCIPIOS Y TÉCNICAS PRÁCTICAS DE LA IMPLEMENTACIÓN DE UN PROTOTIPO DE DATA WAREHOUSE EN SQL SERVER 2000 Y ORACLE 10 g INTRODUCCIÓN: En la actualidad toda empresa necesita tomar decisiones certeras sobre sus negocios, por ello es necesario contar con cifras reales, que permitan realizar un análisis y posible visión de futuro en un corto tiempo. De esta manera la empresa puede crecer y mantenerse dentro de un mercado competitivo. Sin embargo, uno de los inconvenientes al momento de tomar una decisión de negocios es la gran cantidad de datos que se maneja a nivel empresarial. Ya que sin contar con las herramientas adecuadas, tomaría mucho tiempo analizarlos y dar una solución que implique poco riesgo en la próxima inversión. Es por esta razón que actualmente, existen empresas que se van sumando en el mecanismo de inversión de tecnología nueva, que permita dar soluciones eficaces para la toma de decisiones empresariales. Data Warehouse aparece entonces como una alternativa de ayuda rápida al momento de recolectar, procesar, limpiar y transformar grandes cantidades de información, para luego en corto tiempo entregar resultados confiables y reales.

5 OBJETIVO GENERAL Describir e implementar un prototipo de datos multidimensionales Warehouse en SQL Server 2000 y Oracle 10g y analizar cada uno de sus componentes. OBJETIVOS ESPECÍFICOS Describir los componentes básicos de un Data Warehouse. Describir los modelos básicos que se utilizan para la construcció n de un Data Warehouse. MOLAP, ROLAP, HOLAP. Describir las herramientas de SQL Server 2000 y Oracle 10g, para construir un Data Warehouse. Implementar un Data Warehouse en SQL Server Implementar un Data Warehouse en Oracle 10g. Verificar el rendimiento de procesamiento de un Data Warehouse en SQL Server 2000 y Oracle 10g. Analizar la arquitectura de un Data Warehouse. Describir las tendencias o estándares internacionales para la implementación de un Data Warehouse. JUSTIFICACION Con la globalización, cada vez las empresas necesitarán tomar decisiones rápidas y efectivas para poder enfrentar retos y mantenerse o posicionarse en el mercado. Ante esta necesidad la implementación de un Data Warehouse en una empresa aportará beneficios claros, como por ejemplo poder disponer de una forma rápida y sencilla de toda la información histórica presente en los sistemas operacionales, buscar nuevas formas de estructuración y tendencias de mercado con un acceso a estos datos de forma eficiente y rápida, para así conseguir una ventaja sobre sus competidores.

6 ÍNDICE GENERAL CAPÍTULO 1 MARCO TEÓRICO 1. HISTORIA DE DATA WAREHOUSE QUÉ ES DATA WAREHOUSE? CONCEPTOS ASOCIADOS A UN DATA WAREHOUSE QUÉ ES UNA TRANSACCIÓN QUÉ ES UN MODELO MULTIDIMENSIONAL FACT TABLE DIMENSION TABLES ESQUEMA ESTRELLA (STAR SCHEMA) ESQUEMA COPO DE NIEVE (SNOWFLAKE SCHEMA) ESQUEMA PADRE HIJO (PARENT CHILD SCHEMA) CUBO DE DATOS (DATA CUBE) MEDIDAS DIMENSIONES MODELO ENTIDAD RELACIÓN DIFERENCIAS ENTRE MODELO ENTIDAD RELACIÓN Y MODELO MULTIDIMENSIONAL DIFERENCIA ENTRE BASES DE DATOS MULTIDIMENSIONALES Y BASES DE DATOS RELACIONALES QUE ES OLTP DIFERENCIAS ENTRE DATA WAREHOUSE Y OLTP QUE ES OLAP (On Line Analytical Processing) ORIGEN DE DATOS ÁREA DE TRÁFICO DE DATOS DATA MART DATA WAREHOUSE ACCESO DE DATOS AL USUARIO SERVIDOR DE PRESENTACIÓN ALMACENAMIENTO OPERACIONAL DE DATOS PROCESOS DE UN DATA WAREHOUSE 18

7 EXTRACCIÓN TRANSFORMACIÓN CARGA DE DATOS TIPOS DE MODELOS DE DATA WAREHOUSE ROLAP MOLAP PRESTACIONES DE UN DATA WAREHOUSE DATA MINING (MINADO DE DATOS) BUSINESS INTELIGENT METAS DE DATA WAREHOUSE FUTURO DE DATA WAREHOUSE..25 CAPÍTULO 2 2. PASOS A SEGUIR PARA LA IMPLEMENTACIÓN DE UN DATA WAREHOUSE 2.1 DESCRIPCIÓN DEL ANALISIS DE UN DATA WAREHOUSE ESTABLECER UNA RELACIÓN ENTRE USUARIOS Y DESARROLLADORES REALIZAR UNA CRONOGRAMA DE TRABAJO DEL FUTURO DATA WAREHOUSE DESCRIPCIÓN DEL DISEÑO DE UN DATA WAREHOUSE FACILIDAD DE ACCESO A INFORMACIÓN Y SEGURIDAD ALCANCE DEL DATA WAREHOUSE REDUNDANCIA DE DATOS DATA WAREHOUSE VIRTUAL O POINT TO POINT DATA WAREHOUSE CENTRAL DATA WAREHOUSE DISTRIBUÍDOS TIPO DE USUARIO FINAL ELEMENTOS CLAVES PARA EL DESARROLLO DE UN DATA WAREHOUSE ARQUITECTURA DEL DEPÓSITO ARQUITECTURA CENTRALIZADA ARQUITECTURA GLOBAL ARQUITECTURA POR NIVELES ARQUITECTURA DEL SERVIDOR SERVIDORES DE UN SOLO PROCESADOR..33

8 MULTIPROCESAMIENTO SIMÉTRICO PROCESAMIENTO EN PARALELO MASIVO ELECCIÓN DE HERRAMIENTAS DESCRIPCIÓN DE LA IMPLEMENTACIÓN DE UN DATA WAREHOUSE IMPLEMENTACIÓN DE UN PROYECTO TOTAL IMPLEMENTACIÓN DE UN PROYECTO EN FASES MODELO LÓGICO DE DATOS ESTRATEGIAS EN LA IMPLEMENTACIÓN DEFINIR LOS PROCESOS DEFINIR LAS FORMAS DE CONSULTA DESCRIPCIÓN DEL TESTING EN UN DATA WARE HOUSE ANALIZAR LOS DATOS DE LA EMPRESA ASEGURAR LA INTEGRIDAD REFERENCIAL PRODUCIR LA METADATA LIMPIEZA O FILTRO DE DATOS MODERADO PROGRAMAR FUNCIONES DE LIMPIEZA DE DATOS ADQUIRIR SOFTWARE DE GESTIÓN DEL DATA WAREHOUSE LIMPIEZA DE DATOS INTENSA ENTERPRISE/INTEGRATOR INTEGRITY DATA REENGINEERING DESCRIPCIÓN DEL PASO A PRODUCCIÓN DE UN DATA WAREHOUSE CICLO DE DESARROLLO DE UN DATA WAREHOUSE 39 CAPITULO 3 3. REQUERIMIENTO DE HARDWARE Y SOTFWARE PARA IMPLEMENTAR UN DATA WAREHOUSE 3.1. ARQUITECTURA DE UN DATA WAREHOUSE EN SQL SERVER ELEMENTOS DE UN DATA WAREHOUSE EN SQL SERVER DATA TRANSFORMATION SERVICES (DTS) DEPOSITO DE DATOS (DATA WAREHOUSE) ANALYSIS SERVICES INTERFACES DE CLIENTES 43

9 APLICACIONES PARA CLIENTES COMPONENTES DE ANALYSIS SERVICES ARQUITECTURA DE ANALYSYS SERVICES ANALYSIS SERVICES MANAGER CARACTERISTICAS DE ANALYSIS SERVER REPOSITORIO DE METADATA OPCIONES DE ALMACENAMIENTO DE CUBOS MODELOS DE ALMACENAMIENTO ALMACENAMIENTO MOLAP ALMACENAMIENTO ROLAP ALMACENAMIENTO HOLAP PARTICIONES ARQUITECTURA DE LA BASE DE DATOS LIMITES DE ANALYSIS SERVER ARQUITECTURA DEL CLIENTE PIVOTTABLE SERVICE ARQUITECTURA PTS INTELLIGENCECACHING EXPRESIONES MULTIDIMENSIONALES INTERNET PARA SOPORTE A CLIENTES COMPONENTES OLAP DE OFFICE EXCEL PIVOTTABLES CUBOS LOCALES (LOCAL CUBES) WEB PIVOT CONTROL ARQUITECTURA DE UN DATA WAREHOUSE EN ORACLE 10g ORACLE HTTP SERVER ORACLE APPLICATION SERVER CONTAINERS PARA J2EE ORACLEAS WEB CACHE ARQUITECTURA DE ORACLE APPLICATION SERVER ORACLEAS METADATA REPOSITORY ORACLE IDENTITY MANAGEMENT ORACLE INTERNET DIRECTORY ORACLE DIRECTORY PROVISIONING INTEGRATION SERVICE ORACLE DELEGATED ADMINISTRATION SERVICES ORACLE SINGLE SIGN-ON. 57

10 ORACLEAS CERTIFICATE AUTHORITY APPLICATION SERVER CONTROL CARACTERISTICAS DE UN DATA WAREHOUSE EN ORACLE SISTEMAS OPERATIVOS PARA ORACLE PORQUE CREAR UN DATA WAREHOUSE EN ORACLE?...58 CAPÍTULO 4 4. IMPLEMENTACIÓN DE UN PROTOTIPO DE DATA WAREHOUSE EN SQL SERVER CREACION DE LAS TABLAS DE DIMENSION Y FACT TABLE EN SQL SERVER CÓMO ACCEDER A ANALYSIS MANAGER? CÓMO EMPEZAR LA CONSTRUCCIÓN DEL PROTOTIPO DE DATA WAREHOUSE EN SQL SERVER 2000? CONFIGURAR EL ORIGEN DE DATOS (DATA SOURCE) CREACIÓN DE CUBOS DE DATOS CUBO DE DATOS EN EXCEL FUTURO DE DATA WAREHOUSE EN SQL ARQUITECTURA DE SQL SERVER INTEGRATION SERVICES ANALYSIS SERVICES REPORTING SERVICES DATABASE ENGINE SQL SERVER 2005 Y DATA WAREHOUSE SQL SERVER MANAGEMENT STUDIO SQL SERVER BUSINESS INTELLIGENCE DEVELOPMENT STUDIO.78

11 CAPÍTULO 5 5. IMPLEMENTACIÓN DE UN PROTOTIPO DE DATA WAREHOUSE EN ORACLE 10g 5.1 CONSTRUCCIÓN Y CARGA DE DATOS PARA LAS DIMENSION TABLES Y FACT TABLE CONSTRUCCIÓN DE DIMENSIONES, MEDIDAS Y CUBOS POR MEDIO DE ORACLE ENTERPRISE MANAGER FUTURO DE DATA WAREHOUSE EN ORACLE 11i ORACLE INVENTORY OPTIMIZATION ORACLE BILLS OF MATERIAL ORACLE PURCHASING ORACLE COST MANAGEMENT ORACLE PROJECT MANUFACTURING ORACLE QUALITY VENTAJAS DE UTILIZAR E-BUSINESS ORACLE 11i.96 CAPITULO 6 6. CONCLUSIONES Y RECOMENDACIONES DE UN PROTOTIPO DE DATA WAREHOUSE EN SQL SERVER 2000 Y ORACLE 10G 6.1 CAPITULO CAPITULO CAPITULO CAPITULO CAPÍTULO RECOMENDACIONES SQL SERVER RECOMENDACIONES ORACLE 10g.101

12 ÍNDICE DE TABLAS 1. TABLA N.- 1.1: Diferencias entre Modelo Entidad Relación y Modelo Multidimensional. FUENTE: Rebeca Mideros TABLA N.-1.2: Diferencia entre bases de datos multidimensionales y bases de datos relacionales. FUENTE: Data Warehouse Funcionalidad y Servicios de José Luis Díaz Caprino TABLA N.- 1.3: Diferencia entre Data Warehouse y OLTP.15 FUENTE: Qué es un Data Warehousing?- monografias.com 4. TABLA N.- 1.4: Prestaciones de un DATA WAREHOUSE 22 FUENTE: 5. TABLA N.-3.1: Límites de Analysis Server.50 Fuente: Microsoft Training and Certification. 6. TABLA 4.1: Diferencias y equivalencias entre SQL Server 2000 y SQL Server Fuente: 7. TABLA 5.1:Cuadro Comparativo entre SQL SERVER 2000 y Oracle 10g..97 Fuente: Rebeca Mideros.

13 ÍNDICE DE GRÁFICOS PÁGINA 3: FIG. N.- 1.1: Bodega de Datos. FUENTE: PÁGINA 6: FIGURA. N.- 1.2: Componentes de una Fact Table. FUENTE: CD De Entrenamiento de Data Warehouse en SQL Server PÁGINA 7: FIGURA. N.- 1.3: Características de las Tablas de Dimensión (dimension table). FUENTE: CD De Entrenamiento de Data Warehouse en SQL Server PÁGINA 8: FIGURA. N.- 1.4: Esquema Estrella. FUENTE: CD. De Entrenamiento de Data Warehouse en SQL Server PÁGINA 9: FIGURA. N.- 1.5: Esquema Copo de Nieve. FUENTE: CD De Entrenamiento de Data Warehouse en SQL Server PÁGINA 10: FIGURA. N.- 1.6: Cubo de datos. FUENTE: CD De Entrenamiento de Data Warehouse en SQL Server PÁGINA 16: FIGURA. N.-1.7: Componentes de un Data Warehouse. FUENTE: CD De Entrenamiento de Data Warehouse en SQL Server PÁGINA 19: FIGURA. N.-1.8 Tipos de Modelos OLAP. FUENTE: CD De Entrenamiento de Data Warehouse en SQL Server 2000.

14 PÁGINA 20: FIGURA. N.- 1.9: ROLAP (Relational OLAP). FUENTE: CD De Entrenamiento de Data Warehouse en SQL Server PÁGINA 21: FIGURA. N : MOLAP. FUENTE: CD De Entrenamiento de Data Warehouse en SQL Server PÁGINA 26: FIGURA. N : Esquema para el Análisis de un Data Warehouse. FUENTE: Rebeca Mideros. PÁGINA 28: FIGURA. N : Esquema para el Diseño de un Data Warehouse. FUENTE: Rebeca Mideros. PÁGINA 31: FIGURA. N : Arquitectura Centralizada. FUENTE: PÁGINA 32: FIGURA. N.- 2.4: Arquitectura Global. FUENTE: PÁGINA 33: FIGURA. N.- 2.5: Arquitectura por Niveles. FUENTE: PÁGINA 35: FIGURA. N : Esquema para la Implementación de un Data Warehouse. FUENTE: Rebeca Mideros. PÁGINA 39: FIGURA. N.- 2.7: Ciclo de Desarrollo de un Data Warehouse. FUENTE: Rebeca Mideros.

15 PÁGINA 41: FIGURA. N : DTS (Data Transformation Services). FUENTE: Microsoft Training and Certification. PÁGINA 41: FIGURA. N.- 3.2: Elementos de un Data Warehouse en SQL Server FUENTE: Microsoft Training and Certification. PÁGINA 42: FIGURA. N.- 3.3: Depósito de datos Data Warehouse. FUENTE: Microsoft Training and Certification. PÁGINA 43: FIGURA. N.- 3.4: Analysis Services. FUENTE: Microsoft Training and Certification. PÁGINA 44: FIGURA. N.- 3.5: Interfases de Clientes. FUENTE: Microsoft Training and Certification. PÁGINA 45: FIGURA. N.- 3.6: Arquitectura de Analysis Services. FUENTE: Microsoft Training and Certification. PÁGINA 49: FIGURA. N.- 3.7: Modelos de OLAP. FUENTE: Microsoft Training and Certification. PÁGINA 52: FIGURA. N.-3.8: Arquitectura PTS. FUENTE: Microsoft Training and Certification. PÁGINA 61: FIGURA. N.-4.1: Creación de las tablas de dimensión o dimension tables. FUENTE: Captura de pantalla tomada de SQL Server Enterprise Manager.

16 PÁGINA 62: FIGURA. N.-4.2: Importación para llenado de datos en la Fact Table. FUENTE: Captura de pantalla tomada de SQL Server Enterprise Manager. PÁGINA 63: FIGURA. N.-4.3: Especificación de Origen de datos para la importación. FUENTE: Captura de pantalla tomada de SQL Server Enterprise Manager. PÁGINA 64: FIGURA. N.-4.4: Especificación de Destino de datos y vista previa de los mismos. FUENTE: Captura de pantalla tomada de SQL Server Enterprise Manager. PÁGINA 65: FIGURA. N.-4.5: Confirmación de copia de los datos. FUENTE: Captura de pantalla tomada de SQL Server Enterprise Manager. PÁGINA 66: FIGURA. N.-4.6: Pantalla principal de Analysis Services. FUENTE: Captura de pantalla tomada de SQL Server 2000, Análisis Services. PÁGINA 67: FIGURA. N.-4.7: Creación de nueva base de Datos. FUENTE: Captura de pantalla tomada de SQL Server 2000, Análisis Services. PÁGINA 68: FIGURA. N.-4.8: Atributos de la nueva base de datos. FUENTE: Captura de pantalla tomada de SQL Server 2000, Análisis Services. PÁGINA 69: FIGURA. N.-4.9: Configuración del origen de datos. FUENTE: Captura de pantalla tomada de SQL Server 2000, Análisis Services. PÁGINA 71: FIGURA. N.-4.10: Creación de dimensiones. FUENTE: Captura de pantalla tomada de SQL Server 2000, Análisis Services.

17 PÁGINA 72: FIGURA. N.-4.11: Edit Cube. FUENTE: Captura de pantalla tomada de SQL Server 2000, Análisis Services. PÁGINA 73: FIGURA. N.-4.12: Elegir el modelo de almacenamiento. FUENTE: Captura de pantalla tomada de SQL Server 2000, Análisis Services. PÁGINA 74: FIGURA. N.-4.13: Visualización del cubo de información en SQL Server FUENTE: Captura de pantalla tomada de SQL Server 2000, Análisis Services. PÁGINA 75: FIGURA. N Conexión con Cubos OLAP desde Excel. FUENTE: Captura de pantalla tomada de Excel. PÁGINA 76: FIGURA. N Visualización de Cubos OLAP desde Excel. FUENTE: Captura de pantalla tomada de Excel. PÁGINA 77: FIGURA. N Integration Services. FUENTE: PÁGINA 81: FIGURA. N.-5.1 Creación de archivos planos. FUENTE: Captura de pantalla tomada de globallfirst_install. PÁGINA 82: FIGURA. N.-5.2 Archivos planos. FUENTE: Captura de pantalla tomada SQL Plus. PÁGINA 83: FIGURA. N.-5.3 Creación de las tablas de dimensión o dimension tables, Fact table y carga de datos.

18 FUENTE: Captura de pantalla tomada SQL Plus. PÁGINA 84: FIGURA. N.-5.4 Oracle Enterprise Manager. FUENTE: Captura de pantalla tomada Oracle Enterprise Manager 10g. PÁGINA 85: FIGURA. N.-5.5 Entorno de Bases de Datos orcl en Oracle Enterprise Manager. FUENTE: Captura de pantalla tomada Oracle Enterprise Manager 10g. PÁGINA 86: FIGURA. N.-5.6 Definición de dimensiones. FUENTE: Captura de pantalla tomada Oracle Enterprise Manager 10g. PÁGINA 87: FIGURA. N.-5.7 Definición del Cubo. FUENTE: Captura de pantalla tomada Oracle Enterprise Manager 10g. PÁGINA 88: FIGURA. N.-5.8 Definición de dimensiones en el Cubo. FUENTE: Captura de pantalla tomada Oracle Enterprise Manager 10g. PÁGINA 89: FIGURA. N.-5.9 Definición de medidas en el Cubo. FUENTE: Captura de pantalla tomada Oracle Enterprise Manager 10g. PÁGINA 90: FIGURA. N Vista de Analytic Workspace Manager. FUENTE: Captura de pantalla tomada Analytic Workspace Manager. PÁGINA 91: FIGURA. N Visualización de Dimensiones del Cubo en Analytic Workspace. FUENTE: Captura de pantalla tomada Analytic Workspace Manager.

19 PÁGINA 92: FIGURA. N Visualización de Medidas del Cubo en Analytic Workspace. FUENTE: Captura de pantalla tomada Analytic Workspace Manager. PÁGINA 93: FIGURA. N Visualización de Datos de un Cubo Ejemplo en Oracle Bi Beans. FUENTE: Oracle OLAP Application Developer`s Guide 10g Release 1(10.1). Part No. B PÁGINA 95: FIGURA. N Oracle Inventory FUENTE: