Bases de Datos Paralelas. Carlos A. Olarte BDII

Transcripción

1 Carlos A. Olarte BDII

2 Contenido 1 Introducción 2 Paralelismo de I/O 3 Paralelismo entre Consultas 4 OPS

3 Introducción Por qué tener bases de datos paralelas? Tipos de arquitecturas: Memoria Compartida Disco Compartido Sin Compartimento Jerárquica

4 Paralelismo de I/O División de las relaciones en varios discos (particiones) Aumento de la velocidad en el acceso a los datos Técnicas de división Turno Rotatorio: Asignar la i-esima tupla al Disco i mod n. Asegura distribución homogénea División por Asociación: Definir una función F (a 1,..a n ) Particion División por Rangos: Dado un atributo partirlo en rangos y cada rango se almacena en un disco.

5 Comparación entre las técnicas de división Exploración Completa Consulta Concreta Consulta Rangos Turno Rotatorio Ok Deficiente Deficiente D. Asociación Ok Ok si coinciden Deficiente con los atributos de F D. Rangos Ok Ok si coinciden con el Ok si coinciden con el atributo de atributo de división división

6 Sesgo La división entre los discos no es equitativa Clasificación: Sesgo de valores de los atributos: Un determinado valor para un atributo es mas frecuente que otro Sesgo de la división: Desequilibrio en la carga de la distribución aunque no haya sesgo en los atributos La operación mas larga en paralelo es la que determina el tiempo total de la operación

7 Paralelismo entre Consultas Varias transacciones al tiempo El tiempo de una transacción es el mismo pero se incrementa la productividad (throughput) Consideraciones de implementación: Coherencia del cache Evitar que dos procesadores modifiquen al tiempo un mismo dato (Protocolos de Bloqueo)

8 Paralelismo en Consultas Los conjuntos son parte constitutiva de las bases de datos y por tanto son susceptibles a ser paralelizables Se pueden hacer en paralelo cada uno de los nodos del árbol de operaciones. Puede presentare paralelismo en o entre operaciones

9 Paralelismo en Operaciones Ordenamiento: Realizar una partición de los datos para cada procesador (depende del esquema de particionamiento utilizado). Hacer merge de cada una de las partes ordenadas Reunión: Por división: Solo para equireuniones y los atributos de reunión deben ser los mismos del particionamiento. Las dos relaciones deben particionarse con la misma función o rango. Cada procesador se encarga de seleccionar las tuplas que concuerdan Reunión con fragmentos y réplicas: Para reuniones con condiciones de desigualdad Se parte una de las relaciones y se replica la otra en cada procesador. La relación pequeña suele replicarse. En general, se pueden dividir ambas relaciones y construir una matriz de procesadores

10 Continuación Por División Fragmentos y Réplicas

11 Paralelismo en otras Operaciones Selección: Si la condición es una condición de particionamiento, cada procesador puede seleccionar algunas tuplas y luego reunirlas Eliminación de duplicados: Utilizar un ordenamiento paralelo y luego realizar la eliminación Agregación: Calcular resultados parciales y luego calcular el resultado total

12 Paralelismo entre operaciones Paralelismo de encauzamiento: Una operación consume el resultado de otra No siempre es útil pues una operación puede requerir la totalidad de las tuplas y no bastarle resultados parciales No siempre las operaciones son tan largas para esperar Paralelismo Independiente: Cada operación se realiza por separado y luego otra operación las reune

13 Tiempo de ejecución en Paralelo Problemas del Paralelismo Sesgo Cuello de botella en los recursos Costo de reunión y de inicio Tiempo de ejecución T i = T inicio + max(op 0,..., op n ) + T reunion

14 ORACLE PARALLEL SERVER Es un ambiente de computo robusto que permite que varios nodos (cluster) trabajen como un solo equipo. 1 Todos los nodos pueden ejecutar transacciones al mismo tiempo sobre la base de datos Se encarga de mantener la consistencia y la integridad en los datos sin importar la concurrencia de las transacciones Es un componente importante para los sistemas que requieren tolerancia a fallos y un corto tiempo de caída 1 Tomado de Oracle8i Parallel Server Concepts Real Application Cluster 9i

15 Ventajas Mejoramiento del Throughput y la velocidad de procesamiento Visualización del cluster como si fuera una única máquina Escalabilidad: Adición de nuevos nodos para mejorar el desempeño Alta disponibilidad: Rápida recuperación ante fallos y redistribución de la carga para seguir funcionando Transparencia: Las aplicaciones ve el OPS como una única instancia de base de datos Manejo del Buffer de Cache: Control del cache de cada uno de los nodos sin perder las ventajas de los mismos

16 continuación... Escrituras diferidas: Solo escribe cuando: Los bloques en memoria ppal no se han utilizado frecuentemente o se termina el espacio Durante los puntos de chequeo Cuando otra instancia necesita dichos bloques Control multiversión de los datos por registro

17 Arquitecturas de Hardware Paralelas Nodo: Equipo de computo con CPU, memoria, almacenamiento e intercomunicación. Uniform Memory Access: Todos los procesadores acceden a la memoria a la misma velocidad. (Symmetric Multi-Processing System) Non-Uniform Memory Access: El acceso a memoria tiene un costo dependiendo del nodo

18 Tightly Coupled Shared Memory System Acceso a memoria menos costoso Mas sencillo que administrar que un cluster Capacidad limitada al ancho de banda del bus de memoria

19 Acceso a Disco en Clusters Uniform Disk Access: o Acceso a disco compartido, el costo de acceso es igual para todos los nodos (granjas de discos) Los datos son compartidos y están disponibles así un nodo falle Pueden crecer fácilmente

20 continuación...

21 continuación... Non-Uniform Disk Access: El costo de los accesos varía entre los nodos Los requerimientos de lectura pasan por una capa de software que se encarga del control Conocidos como sin-compartimento Ventaja: El número de nodos no está limitado

22 continuación...

23 Tendencia La tendencia es disminuir el número de nodos del cluster, cada nodo con un potente sistema SMP y el acceso a disco compartido

24 Arquitectura del OPS

25 Cluster Manager Control de los miembros del cluster Visión global del cluster Provisto por otros proveedores Detecta fallas en los nodos y termina todos los procesos asociados al mismo (lo marca como inactivo)

26 Node Monitor Informa el estado de los recursos de un nodo Informa al Oracle Server cuando se inician y apagan instancias de Oracle Detecta cambios en el estado de los nodos

27 Distributed Lock Manager Mantener la consistencia de los datos que son accedidos simultáneamente. Transparencia: Las aplicaciones siguen utilizando los mismos mecanismos de bloqueo que para una arquitectura no paralela Cada nodo participa en el control de los candados y este componente tiene control sobre todos los candados Detecta Dead Locks Se apoya en el Cluster Manager para obtener información de los nodos. Si no obtiene la información necesaria, apaga la instancia (cada instancia debe preocuparse de las otras instancias para controlar el acceso a los recursos).

28 Interconexión del Cluster IPC (Inter-Process Communication): Definición de interfaces y protocolos para el paso de mensajes Basado en un modelo asíncrono y por colas Los servicios de comunicación son implementados sobre estos

29 Escalabilidad del OPS Aumento de la velocidad distribuyendo los procesos en los diferentes nodos Mas procesos por unidad de tiempo (throughput) Aumentar y disminuir el número de instancias de acuerdo al número de usuarios concurrentes sobre el sistema

30 Medidas de la Eficiencia Scale-Up: Cuanto trabajo puede ser hecho en el mismo tiempo por un sistema mas potente Scale Up = Vol Paralelo/Vol Original Speed-up: El sistema puede realizar la tarea en menos tiempo

31 Aplicaciones apropiadas para el OPS Data Warehousing: Muchas consultas concurrentes y los bloques pueden residir en los buffers Departmentalized Application: Cada nodo puede tomar a cargo un departamento de la compañía (importante que las tablas a actualizar no sean comunes)

32 Niveles de Escalabilidad Escalabilidad de HW y RED: La interconexión entre los nodos es de vital importancia (latencia en el B.W. Y en el I/O) Escalabilidad del S.O: Manejo de la memoria compartida, sincronización y acceso a los recursos Escalabilidad del DBMS: El motor paraleliza las consultas o un agente externo