Grandes de Bases de Datos. Alto desempeño Clústers

Transcripción

1 Grandes de Bases de Datos Alto desempeño Clústers

2 Introducción

3 Clústers 2 o más equipos trabajando en conjunto para la obtención de un fin común

4 Clústers No todos son iguales Clúster de balanceo de carga Clúster con conmutación en falla Clúster de alto desempeño Sin compartir Memoria compartida disco compartido

5 Application Server Clústers Sin compartir RAM RAM BD BD RAM RAM BD BD

6 Clústers Sin compartir Clúster de alto desempeño Cada nodo se interconecta con todos los demás Los nodos se agrupan lógicamente Los datos se replican sincrónicamente entre los nodos de un grupo Se pueden distribuir los datos en particiones para evitar replicas completas

7 Clústers Sin compartir Clúster de alto desempeño Existe una red interna (heartbeat) que permite la comunicación entre los nodos Existe un balanceo round robin de las transacciones hacia los servidores Las transacciones que se comprometen (commit), lo hacen con un protocolo de 2 fases entre todos los grupos de nodos

8 Clústers Sin compartir Clúster de alto desempeño Es necesario una cantidad de RAM adicional para mantener consistencia entre datos compartidos Existe detección de fallas a nivel de nodos y de red. Se genera un consenso para determinar si el clúster sigue funcionando Es necesario generar mayoría entre las particiones para continuar funcionando

9 Clústers Sin compartir Clúster de alto desempeño Para el manejo del registro de transacciones, se mantienen 2 bitácoras: Local Global Una transacción registra los cambios en la bitácora local y posteriormente propaga dichos cambios

10 Clústers Sin compartir Clúster de alto desempeño Cada nodo sondea el estatus de los restantes nodos y determina si sus transacciones se han completado

11 Application Server Clústers Falla de un nodo RAM RAM BD Log BD Log T 1 RAM RAM BD Log BD Log

12 Clústers Falla de un nodo Las transacciones hacen permanente sus cambios vía Checkpoint locales o globales. Si un nodo falla, entonces al unirse, consulta el último Global Checkpoint de los nodos que comparte datos Con esa información y tomando su último GC y LC, promueve transacciones que quizá hayan quedado pendientes en él

13 Application Server Clústers Partición de datos RAM RAM nidcliente Nombre Ap Edad BD RAM BD RAM BD BD

14 Fragmentación horizontal Application Server Clústers Partición de datos nidcliente Nombre Ap Edad * * PR SR * * * * PR SR * * * * PR SR * * * * SR PR * * F 1 F 2 F 3 F 4 Grupo 1 PR: Replica primaria SR: Replica secundaria Grupo 2

15 Fragmentación horizontal Clústers Partición de datos SR PR PR SR nidcliente Nombre Ap Edad F 1 F 2 F 3 F 4 PR Grupo 1 SR SR PR PR: Replica primaria SR: Replica secundaria Grupo 2

16 Clústers Partición de datos La distribución de datos, asegura que estos serán disponibles mientras exista por lo menos un nodo en el grupo El clúster define particiones lógicas y estará disponible, mientras exista una mayoría (quorum) dentro de cada grupo lógico Considera el siguiente escenario

17 Fragmentación horizontal Clústers Partición de datos Cuál contendrá las replicas primarias? SR PR PR SR nidcliente Nombre Ap Edad * * Arbitro * * F 1 F 2 F 3 F 4 PR Grupo 1 SR SR PR PR: Replica primaria SR: Replica secundaria Grupo 2

18 Clústers Partición de datos El arbitro decide si el estatus del quorum Dado que no es posible aceptar transacciones sincrónicas entre los datos, por lo menos un nodo deja el clúster hasta sincronizarse con otro nodo del grupo al que pertenece

19 mysql - Clúster

20 mysql - Clúster Un nodo es un proceso, no un equipo Al menos son necesarios 3 nodos El servidor de administración puede no ser tan potente Nodos de datos: Mucha memoria Alto requerimiento de IO

21 mysql - Clúster Nodos de SQL: Mayor consumo de CPU Mayor cantidad de estos nodos impacta en la disponibilidad Las selecciones son evaluadas en los nodos de datos, no en los de SQL Se integra limpiamente con mysql Replication

22 Clústers Sin compartir Detalles específicos Alcance a nivel de instancia Balanceo de carga El almacenamiento puede ser un SPF tomando en cuenta un grupo de nodos Se puede combinar con otras implementaciones de Alta Disponibilidad (Replicación)

23 Clústers Sin compartir Conmutación por error Nada

24 Clústers Sin compartir Conmutación contraria controlada - razones Contratos y servicios dictan ejecución en un equipo en particular Los equipos difieren y existe degradación en el desempeño Aplicación controlada de actualizaciones

25 Clústers Sin compartir Conmutación contraria controlada Finalizar el proceso de ndbd en el nodo deseado Nada mas!

26 Clústers Sin compartir Ambientes donde se recomienda aplicar Es necesario una conmutación automática a nivel de base de datos Se cuentan con medios confiables de transferencia de datos (red) Aplicaciones con muy poco tiempo de pérdida de servicio

27 Clústers Sin compartir Consideraciones Velocidad de red. Desempeño de servidores para los nodos de mysql Capacidad de almacenamiento para los nodos de datos.

28 Clústers Sin compartir Consideraciones de diseño Seguridad. Especificar los roles adecuados (nivel de base de datos). Mala implementación planeación deja inaccesible los recursos

29 Clústers Sin compartir Consideraciones de diseño Tiempo de promedio de pérdida de datos 2 veces la tasa de transferencia por el tiempo máximo de recuperación entre nodos de distintos grupos Dicho tiempo, dependerá de las transacciones locales que no se han replicado

30 Clústers Almacenamiento compartido Application Server Red pública X RAM RAM RAM Instancia 1 Instancia 2 Instancia 3 Red privada Interconnect BD Almacenamiento compartido

31 Clústers Almacenamiento compartido Múltiples instancias se ejecutan simultáneamente Comparten la misma BD física Pueden ejecutar transacciones simultáneamente

32 Clústers Almacenamiento compartido Es necesario mantener la coherencia de cache Los datos están compartidos Cambios hechos por un nodo, no se sobrescriben por otro No se comprometen las propiedades ACID Los nodos se comunican entre si, por una red privada interconnect

33 Clústers Almacenamiento compartido Compartido Acceso a disco Archivos de configuración No compartido Memoria local Sistema Operativo Instancia de BD Archivos de bitácora Segmentos de rollback

34 Clústers Almacenamiento compartido Application Server Red pública X Listener Listener Listener RAM RAM RAM Instancia 1 Instancia 2 Instancia 3 Red privada Interconnect BD Almacenamiento compartido

35 Clústers Almacenamiento compartido Los procesos listener censan el estatus de cada nodo Dependiendo del CPU, se valida quien toma la siguiente transacción Esto permite aumentar la disponibilidad y el rendimiento de la aplicación

36 Clústers Almacenamiento compartido Application Server Red pública X RAM Instancia 1 RAM Instancia 2 RAM Instancia 3 Red privada Interconnect BD Almacenamiento compartido

37 Clústers Almacenamiento compartido Si un nodo falla, los demás toman su carga dinámicamente Se utiliza la red interna para monitoreo del estatus de cada nodo Es necesario un mecanismo de coordinación para el acceso de datos compartidos entre transacciones en distintos nodos

38 Cache-Fusion Cache de datos Buffer Pool SGA PGA RAM RAM RAM RAM Instancia 1 Instancia 2 Instancia 3 Cache Cache Cache Interconnect BD Almacenamiento compartido

39 Cache-Fusion Mantiene la concurrencia a nivel del clúster Asegura la integridad de los datos compartidos En principio, los bloques de datos son sincronizados cuando los nodos del clúster: Adquieren bloqueos Liberan bloqueos

40 Cache-Fusion Se utiliza la totalidad de los caches de todos los nodos del clúster para las solicitudes Se pueden enviar datos de un nodo a otro, por medio de la red dedicada Operaciones en disco sólo si ningún cache local posee los datos o bien, se hace un COMMIT explícito.

41 Cache-Fusion Inicialmente las solicitudes se hacen a los caches compartidos Todas las solicitudes son atendidas por procesos sincrónicos conocidos como Global Cache Services Si no está en algún cache, se pide a disco el bloque de datos

42 Servicio de cache global Responsable de: Seguimiento de los bloques de datos Recibir solicitudes de las instancias por bloques de datos Informar a la instancia en cuestión, para liberar el bloqueo en el bloque de datos o enviar una imagen CR Coordinar el envío de bloques de datos Informar a las instancias para mantener o descartar las PI

43 Cache-Fusion T 1 T 2????

44 Cache-Fusion T 1 T 2??

45 Cache-Fusion Si la solicitud es de lectura y el bloque tiene cerrojo exclusivo, se envía el bloque conocido como CR (Consistent Read) Similar a versiones para evitar bloqueos entre lectores y escritores Se sobre carga la bitácora de transacciones, dado que para cada nueva CR creada, su segmento de UNDO debe ser leído en cada bitácora local

46 T 3? Cache-Fusion T 1 T 2??

47 Cache-Fusion Primero debe leer todas las bitácoras donde haya estado el bloque de datos. Si en alguna bitácora encuentra un COMMIT, entonces crea una marca local de REDO Si no lo encuentra, crea una marca local de ROLLBACK

48 Cache-Fusion Si la solicitud es de escritura y el bloque tiene cerrojo exclusivo, se envía el bloque y se mantiene una copia conocida como PI (Past Image) Esta copia garantiza que el trabajo realizado por la transacción local, no se rehaga en caso de fallo del nodo solicitante Cuando termina la transacción, esta información se plasma en disco

49 Cache-Fusion En el caso de una falla, se puede generar la transacción leyendo todos los posibles PI que se encuentren en las instancias disponibles

50 T 3? Cache-Fusion T 1 T 2??

51 Cache-Fusion Dividir las tareas entre los nodos, generando la menor sincronización posible Minimizar la sincronización inter-nodos es esencial, por los tiempos de acceso: Páginas en cache local 0.01ms Páginas en cache remoto 2.5ms Páginas en disco 14 ms+