Hasta ahora: Entorno Centralizado. Gestión Distribuida de los Datos. Aspectos de Administración. Entornos Distribuidos.

Transcripción

1 Aspectos de Administración Seguridad Hasta ahora: Entorno Centralizado Concurrencia En adelante: Entorno Distribuido Recuperación 2 Gestión Distribuida de los Datos Entornos Distribuidos 3 Bases de Datos Distribuidas Arquitecturas Cliente/Servidor Aspectos sobre Paralelismo y Movilidad 4 Bases de Datos Distribuidas. Precisan al menos dos servidores de Bases de Datos Cliente/Servidor. Separan el rol del servidor del rol del cliente. Base de Datos Paralelas. Usan máquinas multiprocesadores y varios dispositivos de almacenamiento de datos. Computación Móvil. Se trabaja con dispositivos fijos y móviles. Bases de Datos Distribuidas Bibliografía Elmasri, Navathe Fundamentals of Database Systems (4.edición 2004). Fundamentos de Sistemas de Bases de Datos (3.edición, 2002) Addisson Wesley Ozu, Valduriez Principles of Distributed Database Systems (2. edici ón) Prentice Hall International Inc. T. Connolly, C. Begg Sistemas de Bases de Datos. Un enfoque práctico para diseño, implementación y gestión. (4. edici ón, 2005) Addison-Wesley 5 6 1

2 Índice 1. Motivación 7 1. Motivación 2. Nociones generales de las BDD 3. Organización de los sistemas de BDD 4. Objetivo de las BDD 5. Ventajas y Desventajas de BDD 6. Componentes de un SBDD 7. Diseño en las BDD 8. Procesamiento de Preguntas 9. Modelo de Transacciones Distribuidas y Control de Concurrencia. RESTRICCIONES DE INTEGRIDAD en Bases de Datos Distribuidas. SEGURIDAD en Bases de Datos Distribuidas. Clasificación de SBDD 13. BDD en ORACLE 8 Reggie comentó: Pienso que estamos haciendo un buen trabajo. Nosotros tenemos en casa la última tecnología relacional, hemos educado a los usuarios en cada área funcional del negocio y hay evidencias de que nuestros sistemas de información se usan cada vez más para apoyar la toma de decisiones en todas partes dentro de la compañía. En general, estoy de acuerdo contigo, respondió Cordelia. Pero siento que aún hay mucho por hacer. Muchos de nuestros jefes se encuentran en sitios remotos en todas partes del país y he oído rumores de que a ellos les gustaría tener control sobre las partes del sistema de base de datos que tienen que ver con sus operaciones. De hecho, una de l as jefas me comentó que no entendía por qué los datos deben mantenerse en la base de datos colectiva cuando era principalmente actualizada y usada por ella. Suena como si nosotros debi éramos examinar la distribuci ón de nuestra base de datos, sugirió Reggie. Qué tipo de cambios habría que hacer si nos movemos en esa dirección? Bueno, dijo Cordelia, Como primera medida, tendríamos que decidir qué datos pueden mantenerse localmente y qué datos deberían hacerse centralmente. Y si aún quisiéramos hacer que ciertos datos corporativos estén disponibles en sitios remotos, nuestros sistemas para controlar el acceso a los datos tendrían que ser más sofisticados para permitir que sean ejecutadas consultas que requieran datos de más de un sitio. 1. BD Distribuidas: Motivación 1. BD Distribuidas v.s BD Centralizadas Tecnología de Bases de Datos (tradicional) Centralización de datos Varios Ficheros Una Base de Datos Redes de Computadores Distribución/Compartición de recursos BD centralizada BD distribuida ( varias BDs?) BD Distribuidas: unión de estas dos aproximaciones (aparentemente opuestas) La diferencia principal entre los sistemas de bases de datos centralizados y los distribuidos es que en los primeros los datos residen en una sola ubicación, mientras que en los últimos los datos residen en varias ubicaciones. Esta distribuci ón de los datos es causa de muchas dificultades en el procesamiento de transacciones y preguntas 9 La tecnología de BD busca la INTEGRACIÓN de los datos y no la CENTRALIZACIÓN 2. Definición de BD Distribuida Ejemplo de BDD (fragmentación y asignación) BD que no esta almacenada en una única posición física, sino que esta repartida en distintos lugares geográficamente dispersos y conectados vía enlaces de comunicación, pudiendo los usuarios de cada nodo acceder a todos los datos. MADRID (sede central) EMPLEADOS (todos) PROYECTOS (todos) BARCELONA EMPLEADOS (Barcelona) PROYECTOS (Barcelona) Colección de datos que pertenecen l ógicamente al mismo sistema pero físicamente están dispersos en distintos lugares de una red. Red de Comunicaciones BILBAO EMPLEADOS (Bilbao) PROYECTOS (Bilbao) SEVILLA EMPLEADOS (Sevilla) PROYECTOS (Sevilla) 2

3 DB LINK. ORACLE (enlace) 2. SGBDD Un DB LINK define un camino desde una BD ORACLE a otra BD (pero no viceversa). Se almacena en el catálogo (SELECT db_link FROM user_db_links;) Por qué usar un links? Un usuario local puede acceder a trav és de un link a una BD remota sin ser usuario de dicha base remota. Permiten a los usuarios acceder a las BDs como si se tratara de una única BD lógica. Permite limitar el acceso a base de datos remotas a usuarios locales Un sistema de gestión de bases de datos distribuidas (SGBDD) es el software que permite el manejo de bases de datos distribuidas y que hace dicha distribución transparente al usuario. Transparente significa: las aplicaciones trabajaran, desde un punto de vista l ógico, como sí un solo SGBD ejecutado en una sola máquina, administrara esos datos. Es transparente para los usuarios Formulación de Preguntas 2. Arquitectura de un Sistema de BDD SELECT * FROM TABLA@NOMBREDB LINK del usuario que hace la pregunta SELECT * FROM Usuario.tabla@NOMBREDBLINK Conjunto de nodos que operan con SBD locales que pueden participar en la ejecución de transacciones que acceden a datos de varios nodos Cada servidor tiene capacidad para manejar las aplicaciones independientemente. PA. Procesador de Aplicaciones. Software encargado de las funciones de distribución. SGBD PA BD SGBD PA BD SGBD PA BD NODO RED DE COMUNICACIONES 15 de otro usuario 16 SBDD = BDD + SGBDD Configuraciones en Red 2. Configuraciones de la red Las configuraciones pueden compararse entre si basándose en los siguientes criterios : Coste de instalaci ón: el costo de enlazar físicamente los nodos del sistema Coste de comunicaciones: coste en tiempo y dinero de enviar un mensaje desde el nodo A al B Disponibilidad: grado en que se puede tener acceso a los datos a pesar del fallo de algunos enlaces o nodos

4 2. Nodos de la arquitectura 2. BD remotas vs BD distribuidas En los nodos pueden existir: Usuarios locales. Solo acceden a datos de su nodo BD remotas: El usuario especifica los comandos de comunicación Usuarios globales. Necesitan acceder a datos almacenados en distintos nodos. BD distribuidas: Proporcionan transparencia de la distribución. Los usuarios formulan las preguntas como si se tratara de una BD centralizada Organización de los sistemas de BDD 3. Organización de los sistemas de BDD Tradicionalmente se ha clasificado la organización de los sistemas de bases de datos distribuidos sobre tres dimensiones: el nivel de compartición, las características de acceso a los datos y el nivel de conocimiento de esas características de acceso El nivel de compartición presenta tres alternativas: 1. Inexistencia, cada aplicación y sus datos se ejecutan en un ordenador con ausencia total de comunicación con otros programas u otros datos; 2. Se comparten sólo los datos y no los programas, en tal caso existe una réplica de las aplicaciones en cada máquina y los datos viajan por la red (BDD) 3. Se reparten datos y programas, dado un programa ubicado en un determinado sitio, éste puede solicitar un servicio a otro programa localizado en un segundo lugar, el cual podrá acceder a los datos situados en un tercer emplazamiento Organización de los sistemas de BDD 3. Organización de los sistemas de BDD Respecto a las características de accesoa los datos existen dos alternativas principalmente: 1. Estático, el modo de acceso a los datos que solicitan los usuarios es estático, es decir, no cambiará a lo largo del tiempo 2. Dinámico (BDD) Resulta difícil encontrar sistemas distribuidos reales que puedan clasificarse como estáticos. Sin embargo, lo realmente importante radica, estableciendo el dinamismo como base, cómo de dinámico es, cuántas variaciones sufre a lo largo del tiempo. Esta dimensión establece la relación entre el diseño de bases de datos distribuidas y el procesamiento de consultas. El nivel de conocimiento de las características de acceso presenta dos alternativas: 1. Los diseñadores carecen de información alguna sobre cómo los usuarios acceden a la base de datos. Es una posibilidad teórica, pero sería muy laborioso abordar el diseño de la base de datos con tal ausencia de información. 2. Los diseñadores conocen con detenimiento la forma de acceso de los usuarios o, en el caso una información parcial de ésta. (BDD)

5 4. Objetivo de las BD Distribuidas 4. Transparencia en la distribución 25 Transparencia: Separación del nivel semántico del sistema (nivel alto) de los aspectos de implementación (bajo nivel) Proporcionar INDEPENDENCIA DE DATOS Tipos de transparencia: en la distribución (o en la red) en las copias en la fragmentación 26 El usuario no debe conocer detalles operacionales de la red. Se divide en: Transparencia en la localización: El comando usado para realizar la tarea es independiente de la localización de los datos y del lugar donde se escriba el comando. Transparencia en los nombres. Cuando se asignan nombres a los objetos, estos se pueden acceder de forma no ambigua. Un esquema de localización describe el lugar donde está almacenados los datos (fragmentos) 4. Transparencia en las copias 4. Copias de los Datos Todos los detalles para localizar y mantener copias deben ser tratados por el sistema. Se duplican los fragmentos. Ventajas: Seguridad (disponibilidad), menor nº de comunicaciones (aumento de paralelismo ) Inconvenientes: Modificaciones, mas espacio de almacenamiento Diferentes situaciones: a) Copiar toda la BD en cada nodo. Se crea una BDD totalmente repetida. Ventajas: El sistema funciona mientras funciona alguno de los nodos (Disponibilidad). Paralelismo Incrementado.Las recuperaciones de los datos son más rápidas para las preguntas globales. Desventajas: Modificaciones mas costosas. Mecanismos de control de concurrencia y recuperaci ón ante fallos mas complejas Copias de los Datos 4. Copias de los datos b) No tener ninguna copia de los datos, solo los originales. Cada fragmento está en un solo sitio. Distribución no redundante. c) Repeticiones parciales. Algunos fragmentos se duplican y otros no. Se duplican en un nodo, dos,... o en tantos como existan. Una descripción de los fragmentos duplicados se denomina esquema de duplicación. La selección de los lugares y el grado de duplicación depende: de los objetivos deseados en cuanto a rendimiento y disponibilidad del sistema y de los tipos y frecuencias de las preguntas enviadas a cada nodo

6 4. Tipos de fragmentación Fragmentación Fragmento: Unidad lógica de BD (ejemplo relación) Tipos de Fragmentación: Horizontal Vertical Mixta La fragmentación de una relación R es correcta si son válidas las siguientes propiedades: Completitud: cada elemento de R debe aparecer en alguno de los fragmentos Ri. Restauración: el contenido de R se debe poder obtener a partir de los fragmentos de Ri Por qué Fragmentar? 4. Fragmentación Horizontal 33 Ventajas: Mejorar el rendimiento de las aplicaciones al trabajar con subconjuntos de relaciones Poder dar una respuesta eficiente a aplicaciones que trabajan con los mismos datos (subconjuntos de relación) en diferentes nodos Los fragmentos permiten aumentar el número de ejecuciones concurrentes. Desventajas : Disminuye la eficiencia en las aplicaciones que trabajan con varios fragmentos La comprobación de las restricciones de integridad puede ser más costosa. 34 Una fragmentación horizontal de una relación lo constituyen un subconjunto de tuplas de dicha relación. Las tuplas que pertenecen al fragmento horizontal se especifican por una condición en uno o más atributos de la relación. Operador: Selección. (Condición de guardia) 4. Fragmentación Horizontal 4. Fragmentación Vertical Propiedades: Completa. Cada tupla de la relación original R está en alguno de los fragmentos (C1 or C2 or Cn) Disjunta.Para cualquier i # j ninguna tupla esta en Ci and Cj Un fragmento vertical de una relación contiene solo ciertos atributos de la relación que están relacionados entre si de alguna forma. Operador: Proyección Si es completa y disjunta se puede utilizar la operación UNION para reconstruir la relación original. Es necesario incluir en cada fragmento el atributo clave primaria

7 4. Fragmentación 4. Fragmentación Vertical Fragmentación horizontal: basada en encontrar condiciones de selección La fragmentaci ón vertical es completa si se cumple que: el conjunto de fragmentos verticales incluyen todos los atributos de la relaci ón original y comparten el atributo clave primaria. L1 U L2...U Ln = Atributos (R) y Li and Lj = Pk(R) para todo i # j clave primaria de R Para reconstruir la relaci ón original se debe aplicar la operaci ón OUTER UNION. Fragmentación vertical: basada en encontrar conjuntos de atributos a proyectar Fragmentación Mixta 4. Fragmentación Combinación de los tipos de fragmentación Horizontal y Vertical. En general un fragmento de relación se puede especificar por la combinación de las operaciones SELECT-PROJECT. Si C = true and L # ATR(R) Fragmento vertical Si C # true and L =ATR(R) Fragmento horizontal Si C #true and L # ATR(R) Fragmento Mixto Si C =true and L = ATR(R) Relación Original Fragmentación 4. Objetivos Un esquema de fragmentación de una BD contiene la definición del conjunto de fragmentos que incluyen todos los atributos y tuplas de la BD y que cumple la condición de que toda la BD puede ser reconstruida a partir de los fragmentos mediante alguna secuencia de operaciones Transparencia en la localización + Transparencia en las copias + Trasparencia en la fragmentación Permiten que el sistema distribuido parezca al usuario un sistema centralizado

8 4. Objetivos Ejemplo Además, la transparencia en la localización permite desplazar relaciones entre nodos sin alterar las aplicaciones la transparencia en las copias permite incrementar el factor de disponibilidad de los datos y el del rendimiento del sistema la transparencia en la fragmentación también permite incrementar el factor de rendimiento del sistema. EMPLEADO (DNI, ENombre,Apellido, FechaNac,Dir,Sexo,Salario,DNIJefe,Ndpto.) DEPARTAMENTO (NDpto, Dnombre, DNIJefe,FechaIniJefe) LUGARES_DPTOS (NDpto, LugarDpto) PROYECTO (NPro, Pnombre,Plugar,NDpto) TRABAJA_EN (DNI,Npro,Horas) DEPENDIENTE (DNI,Dnombre,Sexo,FechaNac,Parentesco) Tres nodos. Nodo 1: Oficina Central. Acceso con regularidad a todos los datos de EMPLEADO y PROYECTO, además de utilizar la información de DEPENDIENTE para cuestiones relacionadas con el seguro. Nodo 2: Departamento 5 Nodo 3: Departamento 4 En los nodos 2 y 3 existe un acceso frecuente a los datos EMPLEA DO (sobre los atributos ENombre, DNI, Salario, DNIJefe) Y PROYECTO ( de los empleados que trabajan en ese departamento y sobre los proyectos controlados por ese departamento) Ventajas 5. Ventajas y Desventajas de BDD 45 Manejo de datos distribuidos con diferentes niveles de transparencia. Mejorar la seguridad y disponibilidad de los datos. Permitir la expansión incremental con el m ínimo impacto en las aplicaciones Incrementar el rendimiento del sistema. Permitir compartir datos manteniendo al mismo tiempo un control local de los datos utilizados mas frecuentemente en el nodo. 46 Ventajas Autonomía local (establecer políticas locales de acceso a datos) Más eficiencia al acceder a los datos localmente (en cada nodo) Mayor fiabilidad / disponibilidad de datos (hay datos replicados ) Economía (mejor varios PC en red que un mainframe) Más posibilidades de expansión (añadir más recursos a la red) Compartición de datos (debido a que se encuentran en red) Desventajas Falta de experiencia (al diseñar SBDD) Complejidad (todos los problemas de las BD centralizadas y otros) Costo (se necesita hardware / software de comunicaciones) Distribución de control (también era ventaja: autonomía) Seguridad (se añaden los problemas de seguridad en redes) Dificultad de cambio (las empresas ya tienen BD centralizadas) 6. Componentes de un SBDD 6. Nuevas funciones del SGBDD Elemento de Comunicación de Datos SGBD locales de cada nodo SGBDD Manejar un catálogo global que contiene los esquemas de localización, duplicación y fragmentación. Obtener estrategias de ejecución para preguntas globales. Transmitir preguntas y datos entre varios nodos a través de la red. Decidir a qué copia duplicada acceder Mantener la consistencia entre copias duplicadas. Recuperación ante fallos en los nodos o en la red

9 7. Diseño de BDs Distribuidas Diseño Hay que decidir en qué nodos deben residir 1) los datos Diseño de BD Distribuidas No si las BD ya existen (SBDF). En ese caso hay que integrarlas para obtener el esquema global. En otro caso (SBDD), tras obtener el esquema conceptual global se debe fragmentar y asignar 2) las aplicaciones que trabajan con los datos Es necesario un sistema de gestión de BD Distribuidas que realice lo siguiente: procesamiento de preguntas, mantenimiento de la consistencia si hay replicación de datos, control de transacciones, etc. 49 en algunos casos (determinados SBDD) se podrá comprar pero no todos (la mayoría de SBDI/F) 50 Diseño de BD Distribuidas 7. Diseño top-down de BDD (Rel.) Esquema Global Información de Acceso (transacciones) 51 Cómo distribuir los datos entre diferentes sitios? Objetivos del Diseño: Procesamiento Local Distribuci ón de la carga de trabajo Costo de almacenamiento y disponibilidad Problemas: Fragmentación Asignación 52 FRAGMENTACION Esquema Global Fragmentado ASIGNACIÓN Esquema Local 1 DISEÑO FÍSICO Esquema Físico 1 Esquema Local N DISEÑO FÍSICO Esquema Físico N Diseño Bottom-Up de BDD 7. Diseño top-down de BDD (Rel.). Etapas Esquema Local 1 TRADUCCI Ó N Esquema Local 1 en un modelo canónico Esquema Local N TRADUCCI Ó N Esquema Local N en un modelo canónico 1. Diseño Esquema Global 2. Fragmentar y Asignar 3. Diseños Físicos INTEGRACI ÓN Esquema Global en un modelo canónico

10 7. Diseño Top-Down 7. Fragmentación El problema de obtener los esquemas locales a partir del global se divide en dos: Fragmentación: partir las tablas en fragmentos. Asignación: distribuir los fragmentos entre los esquemas locales. El fragmento es la unidad a distribuir ventaja: incrementa el nivel de concurrencia de transacciones. desventaja: algunas transacciones se degradarán si tienen que trabajar con varios fragmentos. Con el fin de realizar una fragmentación adecuada es necesario trabajar con la siguiente información: Sobre el significado de los datos Sobre las aplicaciones que los usan Acerca de la red de comunicaciones Diseño. Asignación 7. Asignación Cómo asignar los fragmentos a los nodos? La elección de los lugares y el grado de repetición de los datos dependerá: del rendimiento que se quiera obtener del sistema del grado de disponibilidad de los datos que se desee y del tipo y frecuencia de las transacciones en cada nodo. En la fase de asignación se necesita conocer información cuantitativa relativa a: la BD, las aplicaciones que se usaran, la red de comunicación, las capacidades de procesamiento y de almacenamiento de cada nodo en la red Asignación 7. Formulación del problema Asignación 59 Asignar fragmentos a los esquemas locales Sin replicación: todo fragmento reside en un único nodo bueno para actualizaciones, malo para preguntas Con replicación total: todos los fragmentos residen en todos los nodos bueno para preguntas, malo para actualizaciones Con replicación parcial: algunos fragmentos pueden residir en más de un nodo compromiso entre actualizaciones y preguntas Si hay más actualizaciones que preguntas entonces la replicación será menos ventajosa 60 Dados N fragmentos y M nodos, encontrar la matriz X (Xij = true) el fragmento i se aloja en el nodo j tal que minimiza el costo total suma de los costos de procesamiento de todas las preguntas, actualizaciones (multiplicando cada costo por el nºde veces que se pregunta / actualiza) y costos de almacenar todos los fragmentos. sujeto a las siguientes restricciones: tiempo de respuesta máximo para cada pregunta existe un almacenamiento máximo en cada nodo no superar la carga de procesamiento en cada nodo El problema es NP-completo. Pero se pueden usar heurísticos: problema de la mochila, técnicas de ramificar y acotar, etc...

11 7. Asignación 7. Diseño PROCESAMIENTO DE PREGUNTAS CONTROL DE CONCURRENCIA REPLICACIÓN COMPLETA REPLICACIÓN PARCIAL SIN REPLICACIÓN Más fácil Más Difícil Más difícil Difícil Más Difícil Más fácil Donde almacenar el catálogo global? a) Centralizado. En un único nodo b) Totalmente repetido. En cada nodo c) Distribuido. En cada nodo se almacena la información necesaria para el nodo. DISPONIBILIDAD DE LOS DATOS 61 Muy alta Alta Baja 62 Combinación de a y c. 8. Procesamiento de Preguntas 8. Procesamiento de Preguntas El sistema debe: descomponer la pregunta original en subpreguntas que se puedan ejecutar en nodos individuales. generar la estrategia que combine los resultados de las subpreguntas para obtener la respuesta final. Maneja los esquemas de localización, copias y fragmentación. El álgebra relacional no es suficiente para expresar la ejecución de estrategias. Debe ser completada con operaciones para intercambio de datos entre nodos diferentes. Además de elegir el orden de las operaciones del álgebra relacional, el procesador de consultas distribuidas debe seleccionar los mejores sitios para procesar los datos Procesamiento de Preguntas 8. Procesamiento de Preguntas Transformar la pregunta formulada por el usuario en un conjunto de operaciones sobre las bases de datos locales (se deben transferir ficheros intermedios entre nodos) Costo Total = E/S+CPU+Comunicaciones Objetivo más extendido: Minimizar los costos de comunicación. (sobre todo en WAN) Es necesario trabajar con técnicas de optimización. Regla: Seleccionar el nodo que envía la mayor cantidad de datos al nodo de operación como lugar para ejecutar la operación 65 66

12 8. Procesamiento de preguntas utilizando la operación Semi-Join 8. Procesamiento de pregs. en BDD Pregunta inicial 67 Idea: Reducir el nº de tuplas en una relación antes de transferirla a otro nodo. Enviar los atributos de una relación R necesarios para hacer el join al nodo donde este almacenada la relación S. Hacer el join. Proyectar los atributos necesarios para el resultado y enviar al nodo donde este R. 68 DESCOMPOSICIÓN DE CONSULTAS Pregunta inicial en álgebra relacional LOCALIZACIÓN DE DATOS Pregunta sobre fragmentos Estadísticas sobre OPTIMIZACIÓN GLOBAL Fragmentos Pregunta sobre fragmentos y operaciones de comunicación OPTIMIZACIÓN LOCAL Preguntas locales optimizadas Esquema Global Esquema de Fragmentos Esquema Local Descomposición de Preguntas Análisis. Ejemplo 69 Transforma la pregunta en otra pregunta en álgebra relacional que opera sobre relaciones globales. Consiste de cuatro partes: Normalización: transformar una consulta a una forma normalizada (conjuntiva o disyuntiva) para facilitar su procesamiento posterior. También verifica la validez de la expresi ón (análisis sintáctico) Análisis. Se detectan y rechazan consultas incorrectas Simplificación. Elimina predicados redundantes aplicando reglas de idempotencia (p and p p) Reestructuración.Rescribe la pregunta en el álgebra relacional para mejorar la eficiencia (transformar productos cartesianos en joins) 70 Si el predicado de selección se contradice con la definición de un fragmento, el resultado es una relación intermedia vacía y la operación se puede eliminar. Reestructuración. Ejemplo Reestructuración. Ejemplo Staff (DNI,Nom,Apel,cargo,sexo,salario) Obtener los nombres y apellidos de todos los miembros del staff S1: Proyección [DNI,cargo,sexo,salario] S2: Proyección [DNI,Nom,Apel] Proyección(Nom,Apel) Proyección(Nom,Apel) SELECT Nom, Apel FROM Staff Join DNI S1 S2 (Se eliminan los fragmentos verticales que no contienen los atributos proyectados) S

13 Localización de Datos Optimización Global Localiza los datos de la consulta usando la información sobre la distribución de datos. Determina que fragmentos están involucrados en la consulta y transforma la consulta distribuida en consulta sobre fragmentos. (E se ha dividido en tres fragmentos, E1, E2 y E3) Ejemplo: Se transforma en: SELECT * FROM E WHERE ENO = E5 SELECT * FROM E2 WHERE ENO = E5 Calcula una estrategia de ejecución para la consulta cercana a la óptima. La salida es una consulta algebraica optimizada con primitivas de comunicación para transferir datos entre nodos. El factor principal que afecta la eficiencia de la ejecución de una estrategia es el tamaño de las relaciones intermedias que son producidas durante la ejecución. (las relaciones intermedias se deben transmitir por la red) Optimización Local 9. Modelo de Transacciones Distribuidas Se efectúa en todos los nodos con fragmentos involucrados en la consulta. La optimización local usa los algoritmos de sistemas centralizados. Las transacciones deben conservar las propiedades ACID Tipos de transacciones: locales: tienen acceso y actualizan datos s ólo en una BD local. globales: tienen acceso y actualizan datos en varias BD locales Propiedades de la Transacción 9. Modelo de Transacciones Distribuidas. Arquitectura del sistema Principio ACID (su cumplimiento debe estar asegurado por el SGBD) Cada nodo del sistema contiene dos elementos: Se ejecuta como unidad (Atomicity) Gestor de transacciones, Gestor de recuperación Preserva la consistencia(consistency) Gestor de Rest. de integridad Una transacción no muestra los cambios que produce hasta que finaliza (Isolation) Gestor de Control de Concurrencia Gestor de transacciones: gestiona la ejecución de las transacciones que tienen acceso a datos almacenados en un nodo local. Si termina correctamente, sus cambios permanecen (Durability) Gestor de Recuperaciones Coordinador de transacciones: coordina la ejecución de las diferentes transacciones iniciadas en ese nodo

14 9. Coordinador de transacciones 9. Protocolos Responsable de : Iniciar la ejecución de la transacción Dividir la transacción en una serie de subtransacciones y distribuir estas subtransacciones para su ejecución en los nodos adecuados Coordinar la terminación de la transacción Si hay que asegurar la atomicidad, todos los nodos en los que se ejecutó la transacción T deben ponerse de acuerdo sobre el resultado final de la ejecución: COMMIT en todos los nodos donde se ejecute T o se debe abortar en todos. Para asegurar esta propiedad, el coordinador de transacciones de T debe ejecutar un protocolo Protocolos: de dos fases, de tres fases Protocolo de COMMIT en dos fases Protocolo de 2 fases FASE 1(VOTACION) El coordinador de transacciones del nodo Ci envía un mensaje a todos los nodos donde se ejecuta T. Al recibir ese mensaje, el gestor de transacciones de cada nodo determina si está dispuesto a comprometer su parte de T (no hace el COMMIT). Puede enviar ABORTAR o COMMIT. FASE 2 (DECISION) Cuando Ci recibe la respuesta de todos los nodos, o cuando ha transcurrido un intervalo de tiempo predeterminado desde su env ío, Ci determina si puede hacer COMMIT o ABORTAR la transacción T. COMMIT si recibe COMMIT de todos los nodos. Una vez tomada la decisión Ci env ía un mensaje a todos los nodos participantes para que ejecuten el COMMIT o el ROLLBACK Protocolo de 2 fases Protocolo de 2 fases La estructura de comunicaciones para el protocolo de dos fases puede ser: Centralizada. Comunicaci ón entre el coordinador y los participantes. Lineal. Los participantes se pueden comunicar unos con otros. Existe un ordenamiento entre los nodos del sistema. Distribuida. Comunicaci ón entre todos los participantes durante la primera fase del protocolo. Esta versi ón no requiere la segunda fase. Cada participante envía su decisión a todos los otros participantes. P P C P C P C Centralizada P P Preparado VC/VA GC/GA COMMIT/ABORT

15 Protocolo de 2 fases Protocolo de 2 fases Preparado VC/VA VC/VA N Lineal GC/GA GC/GA GC/GA C Preparado P P VC/VA P P GC/GA Distribuida Protocolo de dos fases. Tratamiento de los fallos 9. Elección de un nuevo sitio coordinador en caso de fallo 87 Fallo de un sitio participante. Si el sitio falla antes de responder al coordinador C, el coordinador da por supuesto que ha respondido con el mensaje ABORTAR. Si el sitio falla después de que el coordinador haya recibido el mensaje COMMIT, el coordinador ejecuta el resto del protocolo de manera normal, ignorando el fallo. Fallo del coordinador. Si el coordinador falla durante la ejecución del protocolo para la transacción T, los sitios participantes deben decidir el destino de T. Si no pueden decidir sobre T deben esperar a la recuperación del coordinador. 88 Algoritmo de elección: Cualquier sitio Y que trata de contactar con el coordinador varias veces y falla, asume que el coordinador esta inactivo e inicia el proceso de elección enviando un mensaje a todos los sitios activos en el cual propone que Y se convierta en el nuevo coordinador. Tan pronto como Y reciba una mayoría de votos afirmativos, puede declarar que es el nuevo coordinador. 9. Control de concurrencia. Nuevos problemas que no se encuentran en los entornos de SGBD centralizados. 9. Control de concurrencia. Nuevos problemas.. Trabajar con múltiples copias El mecanismo de control de concurrencia responsable de mantener la consistencia entre copias. El mecanismo de recuperación ante fallos debe cuidar que una copia sea consistente con todas las dem ás si el sitio en el que la copia estaba almacenada falla y se recupera posteriormente. Fallos en los nodos El SGBDD debe continuar trabajando con los nodos activos cuando fallen uno o mas nodos individuales. Cuando un nodo se recupere, su BD local se deberá poner al día con los dem ás nodos antes de que se reincorpore al sistema

16 9. Control de Concurrencia. Nuevos problemas... Deadlock Distribuido Fallos en los enlaces de comunicación. El sistema deberá ser capaz de trabajar cuando fallen algunos en laces de comunicaci ón COMMIT Distribuido. Pueden aparecer problemas al realizar el COMMIT de una transacción que accede a BD almacenadas en distintos nodos, si alguno de ellos falla al hacer el COMMIT DEADLOCK Distribuido. Pueden ocurrir bloqueos entre varios nodos. Tres transacciones: T1 se inicia en el nodo S1 T2 se inicia en el nodo S2 T3 se inicia en el nodo S3 Time S1 S2 S3 t1 read(t1,x1) write(t2,y2) read(t3,z3) t2 write(t1,y1) write(t2,z2) t3 write(t3,x1) write(t1,y2) write(t2,z3) Deadlock Distribuido 9. Control de concurrencia Distribuido basado en una copia distinguida de un elemento de información 93 T3 T1 T1 T2 T2 T3 s1 s2 s3 T1 T3 T2 Para detectar un Deadlock NO basta con construir un grafo de precedencia en cada nodo 94 Métodos que se basan en la extensión de las técnicas de control de concurrencia en las BD centralizadas. Idea: Designar una copia determinada de cada elemento de información como copia distinguida. Las reservas para ese elemento de información se asocian a la copia distinguida y todas las solicitudes de reservas y liberaciones se envían al nodo que contiene esa copia. 9. Control de concurrencia Distribuido basado en una copia distinguida de un elemento de información 9. Sitio Primario Los métodos difieren en la forma en la que escogen las copias distinguidas: Sitio Primario Sitio Primario con Sitio Respaldo Copia Primaria Un sitio que incluye una copia distinguida de un elemento de informaci ón actúa como sitio coordinador para el control de concurrencia de ese elemento Se designa un solo sitio primario como sitio coordinador para todos los elementos de la BD. Todos las reservas se mantienen en ese sitio y todas las solicitudes de bloqueo y desbloqueo se envían a ese sitio

17 9. Sitio Primario 9. Sitio Primario con Sitio de Reserva Ventaja: Extensión del enfoque centralizado Desventaja: Se origina un cuello de botella en el sistema (se sobrecarga el sitio). Un fallo del sitio primario paraliza el sistema. Aunque el acceso a todos las reservas es en el sitio primario, el acceso a los elementos puede realizarse en cualquier nodo en el que residan. Objetivo: Eliminar segunda desventaja del método de Sitio Primario. Idea: Se designa un segundo sitio como sitio de respaldo. Toda la información de bloqueo se mantiene tanto en el sitio primario como en el de respaldo Sitio Primario con Sitio de Reserva 9. Copia Primaria 99 Ventaja: En el caso de fallar el sitio primario, el de respaldo puede asumir las funciones de sitio primario y se puede escoger un nuevo sitio de respaldo. Desventaja: Proceso de adquisición de reservas más lento. El sistema se hace mas lento (sitios sobrecargados) 0 Idea: Almacenar las copias distinguidas de diferentes elementos de información en distintos sitios. El fallo de un sitio afecta a las transacciones que accedan a reservas sobre elementos cuyas copias primarias residan en ese sitio pero las demás transacciones no resultan afectadas. 9. Control de Concurrencia Distribuido basado en Votación 9. Control de Concurrencia Distribuido basado en Votación Idea: No hay copia distinguida. Cada solicitud de reserva se envía a todos los sitios que incluyan una copia del elemento de información. Cada copia mantiene su propia reserva y puede conceder o rechazar la solicitud. Si la mayoría de las copias otorgan una reserva a la transacción que lo solicita, ésta poseerá la reserva e informará a todas las copias que le ha sido concedido. Si una transacción no recibe la mayoría de los votos de concesión de la reserva durante un cierto periodo de tiempo predefinido, cancelará su solicitud e informará de ello a todos los sitios. Trafico alto de mensajes

18 9. Marcas Temporales 9. Marcas temporales 3 Idea en los sistemas centralizados: se da a cada transacción una marca temporal única que el sistema utiliza para decidir el orden de secuenciación. Para generalizar a un entorno distribuido hay que desarrollar un esquema para generar marcas temporales únicas. 4 Existen dos métodos para generar marcas temporales únicas: Esquema centralizado: se escoge un único nodo para distribuir las marcas temporales Esquema distribuido: cada nodo genera una marca temporal local única. La marca temporal global única se obtiene concatenando la marca temporal local única con el identificador de nodo (que también debe ser único). RESTRICCIONES DE INTEGRIDAD en Bases de Datos Distribuidas. Definición de restricciones de Integridad Distribuidas Un estado de la BD es consistente si la BD satisface las restricciones de integridad. Se distinguen tres tipos de restricciones: Restricciones individuales (una relación- una variable) La definici ón se envía a todos los nodos que contienen fragmentos de la relaci ón. (ej. Salario.Empleados <.000). 5 Problemas a solucionar al diseñar un subsistema de integridad: 1. Definición y almacenamiento de restricciones 2. Comprobación 6 Orientadas a Objetos (una relación- varias variables, varias relaciones-varias variables) La definici ón se envía a todos los nodos que almacenan fragmentos relacionados con las variables. (ej una relaci ón- varias variables dependencia funcional) Contienen funciones agregadas.. Comprobación de las Restricciones. Comprobación de las Restricciones Hay que decidir DONDE comprobar las restricciones. La elección depende del: Tipo de restricción Tipo de modificación De la naturaleza del nodo donde se produce la modificación (nodo master) Ejemplo (restricción individual): insertar tuplas proporcionadas por el usuario. Las restricciones individuales se verifican en los nodos donde tienen lugar las insercciones. Objetivo: disminuir el costo de transferencia de mensajes y el costo de procesamiento

19 . Comprobación de las restricciones de Integridad Distribuidas. SEGURIDAD en Bases de Datos Distribuidas Las comprobaciones de las Restricciones de Integridad pueden comenzar en cualquier nodo que contenga relaciones que participan en la restricción. La restricción se verifica globalmente. La seguridad incluye dos aspectos: Protección de datos (encriptación) Control de autorizaciones (sólo personas autorizadas realizan operaciones permitidas en la BD) 9 0.Control de autorizaciones distribuido.control de autorizaciones distribuido Problemas adicionales en el entorno distribuido: Autentificación de usuarios remotos Manejo de las reglas de autorización distribuidas Manejo de vistas Manejo de grupos de usuarios Autentificación de usuarios remotos. Es necesario porque cualquier nodo puede aceptar transacciones iniciadas en otros nodos. Soluciones: 1.La información sobre la autentificación de los usuarios se almacena en todos los nodos. (las transacciones deben indicar el usuario y password) 2. Se identifican y autentifican los nodos.se usan password de nodo. 1 2 La primera soluci ón es más costosa en términos de gestión del directorio pero los usuarios pueden acceder de cualquier nodo..control de autorizaciones distribuido. Clasificación de SBDD 3 Manejo de las reglas de autorización distribuidas Se expresan de la misma forma que las centralizadas. Se pueden almacenar en cada nodo o en los nodos de los objetos referenciados. Manejo de vistas Permitir el acceso a una vista se traduce en permitir el acceso a los objetos subyacentes. Sencillo cuando las definiciones de las vistas y las reglas de autorización están replicadas. Manejo de grupos de usuarios Corresponde a la noción de role de los sistemas centralizados. Si la información de roles y las reglas de autorizaci ón se duplican en todos los nodos se pueden usar las técnicas del sistema centralizado. 4 Grado de Homogeneidad HOMOGENEAS. Si todos los SGBD locales son del mismo tipo. HETEROGENEAS. En caso contrario 19

20 . Clasificación de SBDD. Clasificación de SBDD 5 Grado de Autonomía a) Sin autonom ía local. Todas las preguntas sobre el esquema global b)con autonom ía local. FEDERADOS (fuertemente acoplados). Existe un esquema global único y todas las preguntas globales se realizan sobre este esquema. Existe autonomía local. FEDERADOS (débilmente acoplados). No existe un esquema global pero si un lenguaje que permite hacer preguntas sobre datos de otros nodos. 6 Grado de transparencia en la distribución. a)transparencia en la localización. Los usuarios ven un esquema global sin información sobre fragmentación, duplicación ó distribución. b) Sin transparencia en la localización. El usuario ve la información sobre fragmentación, duplicación y distribución y es responsable de su manejo.. Factores que influyen en las arquitecturas de Bases de Datos. Factores que influyen en las arquitecturas de BDs 7 Distribuci ón Una BD (o varias) es distribuida si se encuentra en más de un nodo. (No si hay varias BDs en el mismo nodo) Heterogeneidad: Distinto hardware, SO, software comunicaciones. Distinto modelo de datos (relac., jerárquico, red, OO,..) Distintos SGBDs (aunque sean del mismo modelo) Heterogeneidad semántica (aun con el mismo SGBD) sinonimia: elementos iguales con distintos nombres homonimia: elementos distintos con igual nombre el mismo elemento del mundo real puede ser representado como entidad / atributo / tabla / clase / con tipo diferente,... 8 Autonomía Se refiere al control que los SGBD tienen sobre cada BD local (en cada nodo) Autonomía de diseño: existe si los administradores de la BD (ABD) pueden cambiar el esquema conceptual de sus BDs independientemente de si forman parte del sistema distribuido. Autonomía de comunicaci ón: si puede decidir cuándo comunicarse con los otros SGBD locales. Autonomía de ejecuci ón: si puede ejecutar transacciones globales y locales en el orden en que quiera. Autonomía de participaci ón: si pueden decidir cómo participar en el sistema distribuido.. Factores que influyen en las arquitecturas de BDs. Arquitecturas de BD distribuidas 9 Existencia o no de esquema global Si se proporciona un esquema global entonces es como si se trabajara con una única base de datos. Las preguntas se realizan sobre dicho esquema global: SELECT * FROM VUELOREAL, BILLETES WHERE VUELOREAL.ID=BILLETES.ID En el esquema global aparecerá que VUELOREAL está en BD1 y BILLETES en BD2 pero es transparente al usuario. Si no, se necesita un lenguaje de acceso a distintas BDs. SELECT * FROM BD1@VUELOREAL, BD2@BILLETES WHERE VUELOREAL.ID=BILLETES.ID 0 Sistemas de Bases de Datos Distribuidas (SBDD) Formados por BDsno autónomas. Proporcionan un esquema global. El esquema global se obtiene de arriba a abajo: primero se define el esquema conceptual global y luego se fragmenta en varias BDs. Sistemas de Bases de Datos Interoperantes (SBDI) Formados por BDs autónomas. No proporcionan esquema global sino lenguajes de acceso a BDs. El usuario es consciente de que trabaja con varias BDs. Sistemas de Bases de Datos Federadas (SBDF) Formados por BDs autónomas. Proporcionan un esquema global. El esquema global se obtiene de abajo a arriba: los esquemas locales son pre-existentes y se integran en un esquema global. No se decide fragmentar: la redundancia probablemente ya existe. 20