Otra Otr s a técni n c i a c s a de Diseño: BDD, Datawarehouse

Transcripción

1 Otras técnicas de Diseño: BDD, Datawarehouse

2 Índice Bases de Datos Distribuidas Definición Objetivo Técnicas de Diseño Almacenes de Datos

3 Definición de BD Distribuida BD que no esta almacenada en una única posición física, sino que esta repartida en distintos lugares geográficamente dispersos y conectados vía enlaces decomunicación, pudiendo los usuarios de cada nodoacceder a todos los datos. Colección de datos que pertenecen lógicamente al mismo sistema pero físicamente están dispersos en distintos lugares de una red. 3

4 Ejemplo de BDD (fragmentación y asignación) MADRID (sede central) EMPLEADOS (todos) PROYECTOS (todos) BARCELONA EMPLEADOS (Barcelona) PROYECTOS (Barcelona) Red de Comunicaciones BILBAO EMPLEADOS (Bilbao) PROYECTOS (Bilbao) SEVILLA EMPLEADOS (Sevilla) PROYECTOS (Sevilla) 4

5 Objetivo de las BD Distribuidas Transparencia: Separación del nivel semántico del sistema (nivel alto) de los aspectos de implementación (bajo nivel) Proporcionar INDEPENDENCIA DE DATOS Tipos de transparencia: en la distribución (o en la red) en las copias en la fragmentación 5

6 Transparencia en ladistribución El usuario no debe conocer detalles operacionales de la red. Se divide en: Transparencia en la localización: li ió El comando usado para realizar la tarea es independiente de la localización de los datos y del lugar donde se escriba el comando. Transparencia en los nombres. Cuando se asignan nombres a los objetos, estos se pueden acceder de forma no ambigua. Un esquema de localización describe el lugar donde está almacenados los dt datos (fragmentos) 6

7 Transparencia en las copias Todos los detalles para localizar y mantener copias deben ser tratados por el sistema. Se duplican los fragmentos. Ventajas: Seguridad (disponibilidad), menor nº de comunicaciones (aumento de paralelismo) Inconvenientes: Modificaciones, más espacio de almacenamiento 7

8 Copias de los Datos Diferentes situaciones: a) Copiar toda la BD en cada nodo. Se crea una BDD totalmente repetida. Ventajas: El sistema funciona mientras funciona alguno de los nodos (Disponibilidad). Paralelismo Incrementado. Las recuperaciones de los datos son más rápidas para las preguntas globales. Desventajas: Modificaciones mas costosas. Mecanismos de control de concurrencia y recuperación ante fallos mas complejas. 8

9 Copias de los Datos b) No tener ninguna copia de los datos, solo los originales. Cada fragmento está en un solo sitio. Distribución no redundante. 9

10 Copias de los datos c) Repeticiones i parciales. il Algunos fragmentos se duplican y otros no. Se duplican en un nodo, dos,... o en tantos como existan. Unadescripción de losfragmentosduplicadosse se denomina esquema de duplicación. La selección de los lugares y el grado de duplicación depende: de los objetivos deseados en cuanto a rendimiento y disponibilidad dl del sistema it y de los tipos y frecuencias de las preguntas enviadas a cada nodo 10

11 Tipos de fragmentación Fragmento: Unidad lógica de BD (ejemplo relación) Tipos de Fragmentación: Horizontal Vertical Mixta 11

12 Fragmentación La fragmentación de una relación R es correcta si son válidas las siguientes propiedades: Completitud: cada elemento de R debe aparecer en alguno de los fragmentos Ri. Restauración: el contenido de R se debe poder obtener a partir de los fragmentos de Ri. 12

13 Por qué Fragmentar? Ventajas: Mejorar el rendimiento de las aplicaciones al trabajar con subconjuntos de relaciones Poder dar una respuesta eficiente a aplicaciones que trabajan con los mismos datos (subconjuntos de relación) en diferentes nodos Los fragmentos permiten aumentar el número de ejecuciones concurrentes. Desventajas: Disminuye la eficiencia en las aplicaciones que trabajan con varios fragmentos La comprobación de las restriccionesde integridad puede ser más costosa. 13

14 Fragmentación Horizontal Una fragmentación horizontal de una relación lo constituyen un subconjunto de tuplas de dicha relación. Las tuplas que pertenecen al fragmento horizontal se especifican por una condición en uno o más atributos de la relación. Operador: Selección. (Condición de guardia) 14

15 Fragmentación Horizontal Propiedades: Completa. Cada tupla de la relación original R está en alguno de los fragmentos (C1 or C2 or Cn) Disjunta. Para cualquier i # j ninguna tupla esta en Ci and Cj Si es completa y disjunta se puede utilizar la operación UNION para reconstruir la relación original. 15

16 Fragmentación Vertical Un fragmento vertical de una relación contiene solo ciertos atributos de la relación que están relacionados entre si de alguna forma. Operador: Proyección Es necesario incluir en cada fragmento el atributo clave primaria. 16

17 Fragmentación Vertical La fragmentación vertical es completa si se cumple que: el conjunto de fragmentos verticales incluyen todos los atributos de la relación original y comparten el atributo clave primaria. L1 U L2...U Ln = Atributos (R) y Li and Lj = Pk(R) para todo i # j clave primaria de R Para reconstruir la relación original se debe aplicar la operación OUTER UNION. 17

18 Fragmentación Fragmentación horizontal: basada en encontrar condiciones de selección Fragmentación vertical: basada en encontrar conjuntos de atributos a proyectar 18

19 Fragmentación Mixta Combinación de los tipos de fragmentación Horizontal y Vertical. 19

20 Fragmentación En general un fragmento de relación se puede especificar por la combinación de las operaciones SELECT PROJECT. Si C = true and L # ATR(R) Fragmento vertical Si C # true and L =ATR(R) Fragmento horizontal Si C #true and L # ATR(R) Fragmento Mixto Si C =true and L = ATR(R) Relación Original 20

21 Fragmentación Un esquema de fragmentación de una BD contiene la definición del conjunto de fragmentos que incluyen todos los atributos y tuplas de la BD y que cumple la condición de que toda la BD puede ser reconstruida a partir de los fragmentos mediante alguna secuencia de operaciones 21

22 Objetivo Transparencia en la localización + Transparencia en las copias + Trasparencia en la fragmentación Permiten que el sistema distribuido parezca al usuario un sistema centralizado 22

23 Objetivos Además, la transparencia en la localización permite desplazar relaciones entre nodos sin alterar las aplicaciones la transparencia en las copias permite incrementar el factor de disponibilidad de los datos y el del rendimiento del sistema la transparencia en la fragmentación también permite incrementar el factor de rendimiento del sistema. 23

24 Diseño de BDs Distribuidas Hay que decidir en qué nodos deben residir 1) los datos Diseño de BD Distribuidas No si ilas BD ya existen (SBDF). En ese caso hay que integrarlas para obtener el esquema global. En otro caso (SBDD), tras obtener el esquema conceptual global se debe fragmentar y asignar 2) las aplicaciones que trabajan con los datos Es necesario un sistema de gestión de BD Distribuidas que realice lo siguiente: procesamiento de preguntas, mantenimiento de la consistencia si hay replicación de datos, control de transacciones, etc. 24

25 Diseño 25

26 Diseño de BD Distribuidas Cómo distribuir los datos entre diferentes sitios? Objetivos del Diseño: Procesamiento Local Distribución de la carga de trabajo Costo de almacenamiento y disponibilidad Problemas: Fragmentación Asignación 26

27 Diseño top-down de BDD (Rel.) Esquema Global Información de Acceso (transacciones) FRAGMENTACION Esquema Global Fragmentado ASIGNACIÓN Esquema Local 1 DISEÑO FÍSICO Esquema Local N DISEÑO FÍSICO Esquema Físico 1 Esquema Físico N 27

28 Diseño Bottom Up de BDD Esquema Local 1 Esquema Local N TRADUCCIÓN Esquema Local 1 en un modelo canónico TRADUCCIÓN Esquema Local N en un modelo canónico INTEGRACIÓN Esquema Global en un modelo canónico 28

29 Diseño top-down de BDD (Rel.). Etapas 1. Diseño Esquema Global 2. Fragmentar y Asignar 3. Diseños Físicos 29

30 Diseño Top Down El problema de obtener los esquemas locales a partir del global se divide en dos: Fragmentación: partir las tablas en fragmentos. Asignación: distribuir los fragmentos entre los esquemas locales. El fragmento es la unidad a distribuir ventaja: incrementa el nivel de concurrencia de transacciones. desventaja: algunas transacciones se degradarán si tienen que trabajar con varios fragmentos. 30

31 Fragmentación Con el fin de realizar una fragmentación adecuada es necesario trabajar con la siguiente información: Sobre el significado de los datos Sobre las aplicaciones que los usan Acerca de la red de comunicaciones 31

32 Diseño. Asignación Cómo asignar los fragmentos a los nodos? La elección de los lugares y el grado de repetición de los datos dependerá: del rendimiento que se quiera obtener del sistema del grado de disponibilidad de los datos que se desee y del tipo y frecuencia de las transacciones en cada nodo. 32

33 Asignación En la fase de asignación se necesita conocer información cuantitativa relativa a: la BD, las aplicaciones que se usaran, la red de comunicación, lascapacidades de procesamiento y de almacenamiento de cada nodo en la red. 33

34 Ai Asignaciónió Asignar fragmentos a los esquemas locales Sin replicación: todo fragmento reside en un único nodo bueno para actualizaciones, malo para preguntas Con replicación total: todos los fragmentos residen en todos los nodos bueno para preguntas, malo para actualizaciones Con replicación parcial: algunos fragmentos pueden residir en más de un nodo compromiso entre actualizaciones y preguntas Si hay más actualizaciones que preguntas entonces la replicación será menos ventajosa 34

35 Formulación del problema Asignación Dados N fragmentos y M nodos, encontrar la matriz X (Xij = true) el fragmento i se aloja en el nodo j tal que minimiza el costo total suma de los costos de procesamiento de todas las preguntas, actualizaciones (multiplicando cada costo por el nº de veces que se pregunta / actualiza) y costos de almacenar todos los fragmentos. sujeto a las siguientes restricciones: tiempo de respuesta máximo para cada pregunta existe un almacenamiento máximo en cada nodo no superar la carga de procesamiento en cada nodo El problema es NP-completo. Pero se pueden usar heurísticos: problema de la mochila, técnicas de ramificar y acotar, etc... 35

36 Ai Asignaciónió PROCESAMIENTO DE PREGUNTAS REPLICACIÓN REPLICACIÓN SIN COMPLETA PARCIAL REPLICACIÓN Más fácil Más Difícil Más difícil CONTROL DE CONCURRENCIA Difícilil Más Difícil Más fácil DISPONIBILIDAD DE LOS DATOS Muy alta Alta Baja 36

37 Diseño Donde almacenar el catálogo global? a) Centralizado. En un único nodo b) Totalmente repetido. En cada nodo c) Distribuido. En cada nodo se almacena la información necesaria para el nodo. Combinación de a y c. 37

38 Ejemplo Diseño ESTUDIANTE (Dni, Nombre, Centro, Campus) AMONESTACION (coda, Fecha, Periodo, Dni) LIBRO (ISBN, Titulo, Editorial, BibliotecaCampus) PRESTAMO (Dni,, ISBN, Fecha,, Tipo) 38

39 Ejemplo Diseño El dominio corresponde a la gestión del servicio de bibliotecas de la Universidad (existe una biblioteca por campus). En este servicio se anotan datos acerca de los estudiantes matriculados en la universidad, los libros con los que cuentan las bibliotecas, los préstamos que se realizan y las amonestaciones que se hacen a los estudiantes cuando incumplen las normas de préstamo establecidas El sistema distribuido a construir está compuesto de 3 nodos, uno por cada campus (Donostia, Bilbo, Gasteiz). Además de las aplicaciones que introducen los datos de estudiantes, libros, préstamos y amonestaciones se ejecutan otras aplicaciones para hacer informes estadísticos, etc. Estas aplicaciones que se han desarrollado cumplen las siguientes condiciones o restricciones: En cada nodo se gestionan los datos relacionados con los estudiantes del campus correspondiente. En cada biblioteca se pueden realizar préstamos de libros propios o prestamos de libros que pertenecen a las otras bibliotecas. La gestión de préstamos se realiza en cada caso con una aplicación diferente (la aplicación del campus de Donostia es diferente de la aplicación del campus de Bilbo, etc.) Cada biblioteca gestiona los datos de las amonestaciones relacionados con los estudiantes de su campus 39

40 BD Distribuidas y ORACLE Cada BD en una BDD es diferente del resto de BDs y tiene su propio nombre global. nombrebd.nombre BDN b dominio i Ej. ERREALA.GI.EHU.ES EHU ES Todas las BD Oracle de un SBDD utilizan el software de red OracleNet8 para la comunicación entre las Bases de Datos. 40

41 DB LINK. ORACLE Un DB LINK define un camino desde una BD ORACLE a otra BD (pero no viceversa). Se almacena en el catálogo (SELECT db_link FROM user_db_links;) Por qué usar un links? Un usuario local puede acceder a través de un link a una BD remota sin ser usuario de dicha base remota. Permite limitar el acceso a base de datos remotas a usuarios locales. Permiten a los usuarios acceder a las BDs como si se tratara de una única BD lógica. Es transparente para los usuarios. Cuando GLOBAL_NAMES= true el nombre del LINK debe coincidir con el nombre de la BD a la que señala el link. Si GLOBAL_NAMES A = fl false el DB LINK puede tener otro nombre 41

42 Sintaxis de DB LINK CREATE [GLOBAL][PUBLIC]DATABASE LINK nombre [CONNECT TO {CURRENT USER usuario IDENTIFIED BY password}] [USING nombre conexión] Se obtiene de MiPC/C:/Oracle/NETWORK/ADMIN/tnsnames.ora.) 42

43 Servicio (service) ERREALA11G = (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = u gi.ehu.es)(port = 1521))) (CONNECT_DATA = (SERVICE_NAME = erreala.gi.ehu.es) ) 43

44 TIPOS DE DB LINK Private. Sólo lo puede usar el que lo crea (CREATE DATABASE LINK...) Public. Lo podrán usar todos los usuarios de la BD (CREATE PUBLIC DATABASE LINK...) Global. Lo podrán usar todos losusuarios de cualquier BDen la red ORACLE Se deben definir en ORACLE NAME SERVER 44

45 TIPOS DE USUARIOS Fixed. Hay que indicar en la definición el usuario y el password Connected User (sin CONNECT). Válido para el usuario conectado. td Db Debe tener en la BD remota una cuenta con el mismo nombre de usuario que en la cuenta de la base de datos local. Current User. Un usuario local se puede conectar como usuario global a través de un procedimiento almacenado. 45

46 Almacenes de Datos (Data Warehouses)

47 Índice Características Generales Modelado de Datos Construcción de Almacenes de Datos Servidores

48 Motivación En la actualidad los directivos de nivel medio con poder para tomar decisiones necesitan manejar información a un nivel de detalle tal que les facilite la toma de decisiones. El almacenamiento de datos, OLAP (Online Analytical Processing) ) y la minería de datos dt ofrecen esta funcionalidad. OLAP. Término usado para describir el análisis de datos complejos desde el almacén de datos.

49 Interés de usar Almacenes de Datos Cuál es el margen mayor/menor de los productos? Cuál es el mejor canal de distribución? Qué tipo de clientes tenemos y qué productos compran? Qué tipo de promociones de productos funcionan mejor? Pérfil de los clientes que pueden ir a la competencia? Cómo influirán los nuevos productos en el balance? 49

50 Almacenes de Datos. Definición Colección de datos orientada al sujeto, integrada, no volátil y de tiempo variable para el soporte de las decisiones de los directivos. Colección de tecnologías de soporte a las decisiones, i que tiene como objetivo que el trabajador del conocimiento (ejecutivo, (j director, analista) tome decisiones mejores y más rápidas. E ió d dt i t d d t d Es una agrupación de datos integrados procedentes de varias fuentes, procesados para su almacenamiento en un modelo multidimensional.

51 Diferencia entre BD y Almacenes de Datos BD. Son transaccionales (gestionan inserciones, borrados, actualizaciones además de las consultas para la recuperación de la información) Soportan OLTP AD. Oi Orientados a aplicaciones i de toma de decisiones. i Optimizadas i para la recuperación de datos, no para el procesamiento de transacciones rutinarias. No admiten modificaciones. Soportan OLAP Soportan análisis de series temporales (datos por años,..) y los datos son no volátiles. Los usuarios sólo necesitan realizar operaciones de consulta pero el acceso debe ser rápido para grandes volúmenes de datos provenientes de diferentes fuentes.

52 OLTP Diferencias OLTP / OLAP Transacciones cortas Preguntas simples Trabajan con porciones pequeñas de la BD Actualizaciones frecuentes OLAP Transacciones largas Preguntas complejas Trabajan con porciones grandes de la BD Actualizaciones poco frecuentes

53 Tipos de Almacenes de Datos AD de empresas. Suconstrucción requiere mucho tiempo y dinero. AD virtuales. Se reflejan como vistas materializadas sobre BD operativas. Data marts. Enfocadas a una parte concreta de la organización (ej. Dpto compras)

54 Modelado de Datos para los Almacenes Se usan modelos multidimensionales. Estos modelos se benefician de las relaciones inherentes de los datos para rellenar unas matrices multidimensionales llamadas cubos de datos (o hipercubos) Ventas Producto Región Africa América Europa Asia Laptop Camara LCD monitor Q1 Q2 Q3 Q4 Tiempo

55 Modelado de Datos para los Almacenes Los datos pueden solicitarse en cualquier combinación de dimensiones. Existen herramientas que permiten visualizar los datos según las dimensiones elegidas por el usuario. El cambio desde una aorientación acó dimensional so a otra en un cubo de datos se logra fácilmente gracias a la técnica de pivotaje (o rotación).

56 Modelado de Datos para los Visualización: Almacenes Roll up compactar). Mueve hacía arriba la orientación, agrupando en unidades más grandes a lo largo de una dimensión. Drill down (descomponer).proporciona una vista más fina

57 Modelado de Datos para los Almacenes Los AD pueden usar índices para mejorar el tiempo de acceso a los datos (tipo bitmap) Cada cierto tiempo hay que refrescar los AD (ej. Para trabajar con periodos históricos diferentes)

58 Modelado de Datos para los Almacenes El modelo multidimensional implica dos tipos de tablas: de dimensión y de hechos. Tabla de dimensión. Consta de tuplas de atributos de la dimensión. Tabla de hechos. Agrupación de tuplas. Una por cada hecho registrado.

59 Ejemplo

60 Modelado de Datos para los Almacenes Esquemas multidimensionales comunes: Estrella. Consiste en una tabla de hechos con una única tbl tabla por cada dimensiónió Copo de Nieve. Variación del esquema en estrella en el que las tablas dimensionales de éste están organizadas en una jerarquía.

61 Construcción de un Almacén de Datos Pasos: 1. Los datos deben ser extraídos de fuentes múltiples y ht heterogéneas (jbd (ej. B.D, ficheros, etc.) 1. Los datos deben estar formateados de forma que sean coherentes dentro del almacén. 2. Los datos deben estar limpios para garantizar la validez. 3. Los datos procedentes de distintas fuentes deben acomodarse al modelo de datos del almacén. 4. Los datos deben cargarse en el almacén.

62 Arquitectura Monitorización & Administración Repositorio i de metadatos Servidores OLAP Análisis Fuentes externas Extraer Almacén de Datos Consultas/Informes BD operacionales Transformar Cargar Refrescar Servir Minería de datos Fuentes de datos Data Marts Herramientas de consulta

63 Fuentes de datos: procesos y herramientas Monitorización & Administración Repositorio i de metadatos Servidores OLAP Análisis Fuentes externas Extraer Almacén de Datos Consultas/Informes BD operacionales Transformar Cargar Refrescar Servir Minería de datos Fuentes de datos Data Marts Herramientas de consulta

64 Fuentes de datos Bases de datos externas Ficheros planos Datos en formato tradicional: documentos, facturas, albaranes, etc. Internet

65 ETL: Extraction, Transformation & Loading Extraction Loading Transformation 80% of total cost of building warehouse

66 ETL Oracle Extract, transform, load (ETL) Cube building

67 Herramientas de limpieza. Tipología Data migration (Migración de datos) Permiten reglas de transformaciones simples Ej. Reemplazar género por sexo Data Scrubbing (Limpieza de datos) Utilizan conocimiento específico del dominio Ej. Direcciones postales Data Auditing tools (Auditoría de datos) Escanean datos para descubrir reglas y relaciones y lanzar señales de violaciones si es necesario

68 Servidores de consultas En la mayoría de las arquitecturas se utiliza un servidor distinto al del almacén de datos Rendimiento y mantenimiento Dos tecnologías ROLAP MOLAP

69 Servidores de consultas ROLAP Utilizan tecnología Rl Relacional l(relational l OLAP) Métodos de implementación adecuados para representar los datos multidimensionales en tecnología relacional Utilizan extensiones del SQL estándar para soportar el acceso multidimensional a los datos Ventaja: Basado en un estándar Algunos de los más extendidos Oracle (Oracle 9i/10g) IBM (DB2 y Business solutions)

70 Servidores de consultas MOLAP Utilizan tecnología Multidimensional i l(multidimensional i l OLAP) Los datos están almacenados directamente en matrices Operacionesdeconsulta consulta estánimplementadasdirectamentesobre directamente sobre estas matrices Ventaja: Suelen ser más rapidos que los ROLAP Inconveniente: No están basados en SQL estándar Ejemplos comerciales Essabse (Arbor), Accumate (Kenan)

71 AD versus Vistas AD soportan un almacenamiento persistente en las vistas sólo en determinados casos. AD no son relacionales sino multidimensionales En los AD se pueden definir índices en las vistas No Los AD proporcionan funcionalidades de anális especiales Los AD contienen datos de varias BD las vistas sólo contienen datos de una BD