Deduplicación en el backup de datos

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Deduplicación en el backup de datos"

Elena Espejo de la Fuente
hace 8 años
Vistas:

1 Deduplicación en el backup de datos OpenExpo Day de junio 2015 Martín Domínguez Fernández Responsable de Consultoría y Preventa en WhiteBearSolutions

2 Objetivos del taller Entender qué es la deduplicación y porque se necesita Entender qué opciones tecnológicas tenemos y cuál debemos elegir Dimensionar correctamente un sistema de backup con deduplicación Presentar alternativas Open y sus ventajas frente a las soluciones cerradas

elegir Dimensionar correctamente un sistema de backup con

3 La deduplicación

4 El escenario... Las organizaciones almacenan gran cantidad de datos. El respaldo de los datos es necesario, pero es caro. Los datos siguen creciendo, entre un % anual!! Se hace necesario recurrir a cintas para el almacenamiento de grandes cantidades de datos, pero... Las cintas son lentas!! Las cintas fallan!! Las cintas ocupan espacio!!

Los datos siguen creciendo, entre un 50 60 % anual!

La deduplicación La deduplicación es una tecnología que elimina los datos duplicados reduciendo considerablemente el tamaño de los datos almacenados.

5 La deduplicación La deduplicación es una tecnología que elimina los datos duplicados reduciendo considerablemente el tamaño de los datos almacenados. Se mantiene un listado de referencias a los bloques con datos No es compresión ni thin provisioning, pero tiene un poco de ambas y se puede combinar con ellas Reduce los costes de almacenamiento El backup es un candidato ideal!!

Se mantiene un listado de referencias a los bloques con datos No es compresión ni thin

Qué puede hacer por mi Nuestra organización tiene 20TB de datos almacenados Mensualmente se crean 2TB de datos nuevos Cuanto almacenamiento necesitamos?

6 Qué puede hacer por mi Nuestra organización tiene 20TB de datos almacenados Mensualmente se crean 2TB de datos nuevos Cuanto almacenamiento necesitamos? Sin deduplicación: tamaño = (datos almacenados + cambio semanal) x retención Con deduplicación: tamaño = (datos almacenados + cambio semanal) x retención 150 TB 100 TB 50 TB 0 TB with dedup without dedup 120 TB 92 TB 66 TB 42 TB 20 TB 20 TB 22 TB 24 TB 26 TB 28 TB Week 1 Week 2 Week 3 Week 4 Week 5 Datos en 5 semanas de retención: Información única: 28TB Información duplicada: 92TB

Sin deduplicación: tamaño = (datos almacenados + cambio semanal) x retención Con deduplicación: tamaño = (datos almacenados + cambio

7 Cómo funciona?

La unidad A nivel de fichero: A nivel de software Mejor rendimiento general Falta de granularidad Peores ratios de deduplicación SOLUCIÓN: Dividir los ficheros en pequeñas partes:

8 La unidad A nivel de fichero: A nivel de software Mejor rendimiento general Falta de granularidad Peores ratios de deduplicación SOLUCIÓN: Dividir los ficheros en pequeñas partes: chunks A nivel de bloque: A nivel de filesystem Necesidad de más recursos Buenos ratios de dedupliación menor tamaño de bloque + ratio + recursos MEJORA: Bloque de tamaño variable

partes: chunks A nivel de bloque: A nivel de filesystem Necesidad de más recursos Buenos

9 El momento deduplicación off-line: no afecta al rendimiento R/W requiere espacio para alojar los datos antes de ser deduplicados requiere más I/O deduplicación in-line aporta el ahorro de espacio de forma instantánea puede afectar al rendimiento R/W Más trabajo en RAM, menos I/O 9

requiere más I/O deduplicación in-line aporta el ahorro de espacio de

10 El lugar en origen source : la carga está en el cliente su objetivo es enviar la mínima cantidad de datos, pero hay que tener cuidado con el proceso en destino target la carga está en el servidor permite deduplicar los datos de varios clientes, lo cual hace que se consigan mejores ratios 10

proceso en destino target la carga está en el servidor permite

11 Qué elegir (File-level + chunks) Block-level (in-line + recursos) > off-line target vs source? Lo ideal sería contar con ambas tecnologías Global data deduplication Deduplica en el origen Antes de enviar un bloque, comprueba si está en destino Deduplica entre varios clientes Maximiza el uso del ancho de banda Mejora los tiempos de restauración Reparte el trabajo entre clientes y servidor 11

de enviar un bloque, comprueba si está en destino Deduplica entre varios clientes Maximiza el uso

12 Dimensionando el sistema 12

13 Información clásica que recopilar Datos de origen: conoce cuanta información vas a respaldar, eso te dará un punto de partida para dimensionar el sistema. Numero de copias a guardar: establece tu RPO y tu RTO para tus necesidades y define una retención. Incremento de datos por copia: te dará el dato definitivo de dimensionamiento teórico del sistema. 150 TB 100 TB 50 TB with dedup without dedup 20 TB 42 TB 66 TB 92 TB 20 TB 22 TB 24 TB 26 TB 28 TB 120 TB Estimación para 5 semanas: Tamaño necesario: 28TB Con compresión (2:1): 14TB 0 TB Week 1 Week 2 Week 3 Week 4 Week 5 13

Incremento de datos por copia: te dará el dato definitivo de dimensionamiento teórico del sistema.

14 Es suficiente? NO. Muchos sistemas de backup con deduplicación fracasan y las principales causas son dos: las tasas de deduplicación no son las esperadas y el almacenamiento dimensionado no es suficiente, haciéndonos invertir más dinero del esperado el rendimiento de la solución es muy bajo, tanto en backup como en restauración y hace que incumplamos nuestras ventanas 14

tasas de deduplicación no son las esperadas y el almacenamiento dimensionado no es

15 Cuál es el problema La deduplicación no es gratis, tiene unos costes: Posibilidad de colisiones: corrupción de datos Uso intensivo de CPU: hashing, indexación Uso de grandes cantidades de memoria: tablas de referencia a bloques Fragmentación de la información: bloques dispersos en disco Planificación de sistemas en función de los datasheets comerciales de los fabricantes: dimensionamiento erróneo 15

tablas de referencia a bloques Fragmentación de la información: bloques dispersos en disco

16 Conoce la tecnología El hashing consume CPU Las tablas de índices consumen memoria Los sistemas de caché consumen memoria Los accesos a disco son lentos. Si algo no cabe en memoria, mejor en SSD El tamaño del bloque importa: Muy grande, baja deduplicación Muy pequeño, bajo rendimiento Opciones de bloque variable 16

Si algo no cabe en memoria, mejor en SSD El tamaño del bloque importa: Muy

17 El tipo de dato Qué deduplica bien? En general, conjuntos de datos que cambian poca información Directorios de usuarios, sistemas de log, Directorios de OS, sistemas de archivado Qué deduplica mal? Conjuntos de datos muy cambiantes, comprimidos o cifrados. BBDD relacionales, Datawharehouses / BI, Sistemas de correo maildir, Sistemas que comprimen o cifran datos Backups incrementales A mayor numero de copias, mejor tasa de deduplicación Es importante es probar que los datos deduplican tal como esperamos 17

sistemas de archivado Qué deduplica mal? Conjuntos de datos muy cambiantes, comprimidos o cifrados.

18 WBSAirback & Bacula Enterprise Edition 18

19 WBSAirback: ZFS on Linux... ZOL es un porting de ZFS de SUN para Linux Deduplica a nivel de bloque, de tamaño variable Ofrece deduplicación in-line y compresión LZ4 Utiliza un sistema de caché multinivel que hace que el rendimiento del sistema sea muy alto Es un appliance de backup que ofrece target deduplication. Integra Bacula Enterprise como motor de backup y su plugin Aligned volumes 19

Ofrece deduplicación in-line y compresión LZ4 Utiliza un sistema de caché multinivel que hace que

20 WBSAirback: ZFS on Linux... 20

21 Bacula Global Endpoint Dedup. Permite aplicación en origen y destino Trabaja con chunks de ficheros de tamaño variable Mantiene una tabla de hash por chunk, residente en SSD Utiliza sistemas de caché en memoria para más rápido acceso Implementa la funcionalidad Client Rehydration que permite utilizar los datos residentes en el cliente para no enviarlos de nuevo. 21

22 Bacula Global Endpoint Dedup. 22

23 Preguntas?

24 Muchas

Documentos relacionados

MANUAL COPIAS DE SEGURIDAD

MANUAL COPIAS DE SEGURIDAD Índice de contenido Ventajas del nuevo sistema de copia de seguridad...2 Actualización de la configuración...2 Pantalla de configuración...3 Configuración de las rutas...4 Carpeta