NUEVA VISION DEL ALMACENAMIENTO con.. Software Defined Storage & IBM FlashSystem

Transcripción

1 NUEVA VISION DEL ALMACENAMIENTO con.. Software Defined Storage & IBM FlashSystem FlashSystem 900 FlashSystem V9000 (Jose Luis Llorente Movil : ) Storage Sales & Business Development 2012 IBM Corporation

2 Infrastructure Matters Pensar en NUEVAS OPORTUNIDADES DE NEGOCIO y ser mas COMPETITIVOS 80% de las nuevas aplicaciones se desarrollan y despliegan en entornos Cloud Nuevos modelos de negocio 2.5 billion GB de datos se generan cada dia Necesidad de saber lo que dicen nuestros datos en forma rápida 500 million Tweets al dia; 95% del tráfico de los móbiles son datos Explosión de los datos noestructurados: ficheros, objetos IBM Corporation

3 Infrastructure Matters La transformación Digital de los modelos de negocio Big Data Big Data permite a las empresas recolectar, organizar y analizar datos en cualquier formato con el objetivo de extraer inteligencia de los mismos para ayudar a las empresas a ser mas competitivas e incluso acometer nuevas lineas de negocio por el studio de los datos Nuevas aplicaciones para Mobiles, e-commerce Call Center Social Business Omnichannel Etc 3.. Aplicaciones tradicionales: Infraestructura inteligente, optima, eficiente, de maximo rendimiento Seguridad inteligente Aplicaciones Enterprise : VMWARE, Exchange, ERP, DB, etc IBM Corporation

4 El Almacenamiento se está transformando a un nuevo paradigma más económico, más flexible y más ágil Aplicaciones Tradicionales (Spectrum Virtualize SVC/V7000) Aplicaciones de Nueva Generación (Spectrum Scale GPFS,LTFS) C C Storage Virtualization Elastic Storage V1 V2 V3 V4 V5 V5.... Vn ALMACENAMIENTO DEFINIDO POR SOFTWARE Según un estudio de Gartner Inc. (US, 2012) el coste medio de adquisición de almacenamiento tradicional varía entre 0,9 $/GB y 5 $/GB. En comparación el coste promedio de una solución de Almacenamiento Elástico es de 0,4 $/GB IBM Corporation

5 IBM Storage Software Defined Storage encaja dentro de la construcción del Software Defined Data Center Software Defined Data Center Data Center Fabric Compute Storage Networking Environmental Software defined compute (compute hardware virtualization) Software defined storage Software defined networking Software defined facilities Evolución del data center 5

6 IBM Storage IDC: Definición de Software Defined Storage Software-defined storage es cualquier stack de Almacenamiento de Software que permite ser instalado en cualquier en HW commodity (x86 hardware, hypervisors, o en la cloud) y pueda ser utilizado para proporcionar una full suite de servicios de Almacenamiento que ademas soporte la federación de datos y su movilidad entre todos los recursos definidos en la propia federación Atributos clave del SDS : Se ejecuta en HW commodity : no necesita ningún HW o componente especial Proporciona una full suite de servicios de almacenamiento equivalentes a los tradicionales inherentes a cualquier cabina Soporta la federación de multiples recursos de Almacenamiento: disco interno, almacenamiento en Cloud otras cabinas externas o soluciones para almacenamiento de objetos en la propia Cloud, etc.. Soporta: Arquitectura Shared nothing y compartida y Modelos del tipo Scale-up or scale-out Se agrupan en tres sabores/buckets : File-based, Object-based and block-based 6

7 IBM Storage Una nueva aproximación al Almacenamiento IBM Software Defined Storage Securely Unbox From Traditional Storage Devices (separa con seguridad la inteligencia del Almacenamiento de su HW) Agilidad Solución Enterprise que permite el despliegue de Almacenamiento en minutos (Cloud on premise, off premise) Control Monitorización de Almacenamiento onpremise y offpremise seguridad, bajo coste, rendimiento via analytics, etc Eficiencia Posicionamiento del dato en forma automática en cualquier tier, nube incluida, para cumplir con los SLAs y reducir los costes de Almacenamiento en un 90%, Compresión de Datos in-line 7

8 IBM Spectrum Scale IBM Software Defined Storage Capabilities : IBM Spectrum Storage Family Storage and Data Control Storage Management Policy Automation Analytics & Optimization Snapshot & Replication Management Integration & API Services Self Service Storage Data Backup and Archive Spectrum Control Virtual Storage Center Spectrum Protect Tivoli Storage Manager Aplicaciones Tradicionales Data Access La nueva generación de aplicaciones alrededor del Dato Digital Virtualized SAN Block Hyperscale Block Global File & Object Active Data Retention Spectrum Virtualize SAN Volume Controller Spectrum Accelerate Based on XIV Software Spectrum Scale GPFS/Elastic Storage Spectrum Archive LTFS IBM Corporation

9 V7000 Unified V7000 Unified IBM Storage La infraestructura de Almacenamiento importa : economía del dato hoy y en el futuro Storage Systems Tier 0 Acceleration Enterprise Storage Systems: Tier 1 XIV HW DS8000 Midrange & Entry Storage Systems FlashSystem 900 FlashSystem V9000 IBM Spectrum Storage Family Software Defined Storage IBM Spectrum Control (VSC) IBM Spectrum Protect (TSM) IBM Spectrum Virtualize (SVC) IBM Spectrum Accelerate (XIV SW) IBM Spectrum Scale (GPFS) - SW IBM Spectrum Archive (LTFS) Integrated Solutions Storwize V7000 Unified Tape and Virtual Tape Systems Virtualization Engine TS7700 Storwize V7000 ProtecTIER Deduplication Storwize V5000 Tape Library and Automation Storwize V3700 Tape drives for Enterprise and LTO6 VersaStack IBM Elastic Storage Server 9

10 rquitectura en Grid del XIV HW o Spectrum Accelerate SW Data Toda la IO en paralelo! Totalmente balanceado: Paths, CPUs, Caches, Discos Sin cuellos de botella! Data Module Data Module Data Module Data Module Data Module Data Module Switching Switching Infiniband Data Module Data Module Data Module Data Module Data Module Data Module 2009 IBM Corporation - IBM Confidential

11 Arquitectura tradicionales Todas las operaciones pasan por una u otra controladora No hay acceso paralelo -> Es necesario utilizar discos muy rápidos! Ocurren cuellos de botella por el layout manual Raid configuration/formatting Striping Pools para snapshots etc. Incluso cabinas High-End tradicionales, son grupos de parejas de controladoras Interface Interface Interface Controllers Cache JBOD JBOD 2010 IBM Corporation

12 Infrastructure Matters Nuevo miembro de la familia SDS: XIV as Software IBM Spectrum Accelerate IBM Spectrum Accelerate Almacenamiento High End desplegable en minutos para implementar Clouds Privadas o hablar con Clouds Públicas Soporte de Self-tuning - casi sin administración (with low management overhead) Reaprovechar servidores intel tipo commodity Se despliega on premise o en la Cloud Basado en la probada tecnologia en grid (grid-scale) del XIV System ,000 servidores instalados WW IBM Corporation

13 IBM Storage Configuración de los Servidores: VM resources Min Max Data HDD count 6 12 Data HDD capacity 1 TB 4 TB Hypervisor boot device 1 1 SSD count 0 1 SSD capacity 500 GB Capped at 800 GB RAM 24 GB 48 GB CPU 4 cores 16 cores Network 1 to 6 x 10GbE X86 servers ( nodes ) 3 15 Additional considerations Today: 1xServer -> 1xHypervisor (ESXi 5.5) -> 1xXIV-VM 10GbE para la conexión entre los nodos que componen el grid (de 3 hasta 15) iscsi para la conexión con los servidores Todos los nodos actúan como nodos de interface con los host X86 server support Homogeneous server configuration across the grid

14 Infrastructure Matters Próximos miembros de la familia SDS: futuro Storage Insights Multi-Cloud Storage Gateway Beta Gestión de mi Almacenamiento en la Cloud. Extraer información de mis datos alojados en la Cloud y en mi propio CPD onpremise Tiempo de despliegue en 30 minutos Alpha Preview Movimiento de datos entre clouds y con mi cloud on-premise En forma Segura, fiable, siempre disponible y en forma eficiente Posibilidad de usar la Cloud para backup, disaster recovery, archiving y para data sharing-compartición de datos IBM Corporation

15 IBM Storage Multi-Cloud Storage Gateway: The Future of Storage Economics Multi-cloud Storage Gateway Private Cloud Spectrum Virtualize : SAN Volume Controller Spectrum Scale : Elastic Storage Note: The Multi-cloud Storage Gateway is planned for the future; plans may change Alpha preview in 1Q15 with planned beta for select Elastic Storage clients in 2Q15 15 Backup DR Tiering Archive Data sharing Elastic Storage Software-defined cloud storage gateway Estará embebido en el software de almacenamiento actual y en otras offering futuras. Flexibility Los datos podrán ser replicados a multiples Clouds IBM y no-ibm Sin CAPEX para el Almacenamiento consumido en Cloud Basado en Apache jclouds open source Microsoft Azure Rackspace Amazon S3

16 El Almacenamiento se está transformando a un Nuevo Paradigma Más económico, más flexible y más ágil Aplicaciones Tradicionales (Spectrum Virtualize) Aplicaciones de Nueva Generación (Spectrum Scale) C C Storage Virtualization ALMACENAMIENTO DEFINIDO POR SOFTWARE Elastic Storage V1 V2 V3 V4 V5 V5.... Vn Según un estudio de Gartner Inc. (US, 2012) el coste medio de adquisición de almacenamiento tradicional varía entre 0,9 $/GB y 5 $/GB. En comparación el coste promedio de una solución de Almacenamiento Elástico es de 0,4 $/GB IBM Corporation

17 IBM Spectrum Scale Exploring IBM Software Defined Storage Capabilities IBM Spectrum Storage Family Storage and Data Control Storage Management Policy Automation Analytics & Optimization Snapshot & Replication Management Integration & API Services Self Service Storage Data Backup and Archive Spectrum Control Virtual Storage Center Spectrum Protect Tivoli Storage Manager Traditional Applications Data Access New Generation Applications Virtualized SAN Block Hyperscale Block Global File & Object Active Data Retention Spectrum Virtualize SAN Volume Controller Spectrum Accelerate Based on XIV Software Spectrum Scale GPFS/Elastic Storage Spectrum Archive LTFS IBM Corporation

18 Platform Computing Almacenamiento Tradicional para Objetos: NAS? Filer 1 Filer IBM Corporation

19 Platform Computing Escalabilidad del Almacenamiento NAS: Filer 1 Filer 2 Filer 3 Filer 4 Filer 5 Filer 6 Filer 7 Filer IBM Corporation

20 Platform Computing Solucion IBM: Global workload sharing, resource balanced storage Filer 1 Filer 2 Filer 3 Filer 4 Global Namespace with automated storage tiering IBM Corporation

21 Platform Computing IBM Spectrum Scale con GPFS : escalabilidad en rendimiento y capacidad ilimitada (desde 1 nodo hasta ) Global Namespace with automated storage tiering IBM Corporation

22 Scalable I/O development Spectrum Scale - Vision Cloud para la Nueva generación de aplicaciones Elastic Storage se convierte en la solución única para todo el Data Center Unifica datos de imágenes virtuales, datos para analytics, datos de dispositivos tipo bloque, objetos, ficheros, etc.. Un espacio de almacenamiento con un unico nombre, unico FyleSystem, alla donde resida Con soporte de GPFS RAID native, tiering (etc..) y todo definido por software, Alojamiento automático del datos según requerimientos de rendimiento, coste, etc All in software: Single Name Space GPFS NFS iscsi POSIX CIFS OpenStack Nova Swift Cinder Manila Glance VMWare VADP SRM VAAI vsphere Hadoop GPFS Active File Manager Spectrum Scale (GPFS/LTFS) Cloud Storage GPFS SSD Fast Disk GNR Tape Cinta vista como un disco Tiering definido por políticas para distribución de datos : migración a cinta, a Cloud 2014 IBM Corporation

23 System x3650 M4 System x3650 M4 EXP System x3650 M4 System x3650 M4 EXP3524 EXP3524 EXP3524 EXP3524 EXP3524 EXP3524 Presentando el Servidor Elastic Storage basado en tecnología POWER8 Servidor Elastic Storage Paquete optimizado hardware con el ultimo software Elastic Storage Comience pequeño y crezca de modo transparente bajo el mismo espacio de nombres Huella pequeña: Escala a Petabytes en un único rack Resiliencia eficiente en coste con RAID Software y redundancia de hardware Nuevo 5x 100% Mejor escalabilidad que EMC Isilon Mejor precio rendimiento que servidor ficheros Netapp IBM Corporation

24 Performance scalability for parallel applications 400 GB/sec Throughput to storage architecture Mira System 786,432 cores, 768 terabytes of memory 10 petaflops peak performance 49,152 compute nodes Applications: Biological and Environmental Systems: climate change and its impacts, Alternative Energy and Efficiency: Solar Nuclear Energy: advanced fuel-cycle technologies that maximize the efficient use of nuclear fuel, reduce proliferation concerns and make waste disposal safer and more economical. National Security: threat decision science, sensors and materials, emergency response, cyber security Energy Storage: high performance batteries for all-electric vehicles, storage for the national electric Materials and Molecular Design and Discovery IBM Corporation

25 Tecnología Flash : IBM FlashSystem 900 & V9000 Acelerador de Aplicaciones sin funciones avanzadas Cabina All-Flash con funciones avanzadas FlashSystem en todo el mundo! (junio 2013 a Mayo 2015) 2012 IBM Corporation

26 IBM Systems Technical University, April , Istanbul Solid State IBM Corporation

27 Individual IBM Systems Technical driver: University, April Travel , Istanbul quickly Latency Autobahn designer: Put through many vehicles IO per sec Best performance (use faster car) More vehicles per second: IOPS (buy more lanes) Microlatency 27 Image: autozeitung.de Flash Memory Discussion Classic Storage IOPS 2014 IBM Corporation

28 Latencia trasladada hacia el uso de una aplicación mas eficiente Servers, aplicaciones y Bases de Datos aumentan su rendimiento!!!!! Tiempo de proceso de la aplicación Los beneficios del Flash superan a los del disco tradicional Uso de CPU 4% Uso de CPU y eficiencia de la aplicación 50% Total Application Processing Time 5,200us (5.2ms) Que hacemos con el tiempo extra que nos sobra? Total Application Processing Time 400us (.4ms) Sin cambios en el aplicativo ni en su arquitectura. Totalmente transparente!!!! 5,000us (5ms) Tiempo de espera por el I/O (Waiting for Array) 200us (.2ms) Reduccion de la huella de cpd, consumo energético y ventilación Flash ofrece mas rendto que una cabina de mas de 5000 discos fisicos de 15K rpm 200us (.2ms) Disk/Hybrid/SSD Tiempo para Procesar el dato (Server CPU) IBM FlashSystem 200us (.2ms) IBM Corporation

29 Flash (SSD) vs HDD: mejor precio/io! - peor precio/gb! 100% 80% 60% 40% SSD HDD 20% 0% 29

30 IBM Flash - Areas de Foco : Do More, Do it Faster Transact More Business OLTP Databases Financial, gaming, facturación en tiempo real, trading, monitorizacion en tiempo real, aceleración de queries Oracle (AWR), DB2, etc.. Cloud-scale Infrastructures VDI projects, VDI tormenta log-ons y logoffs, consolidación de infraestructuras virtualizadas, resolución de hot-spots de acceso al disco, Computational Apps, HPC Simulaciones, modelados, rendering, video on demand, video transcoding, etc.. Analytical Apps. OLAP Business intelligence, Procesos batch, sistemas ERP (SAP, etc..), alimentación masiva de datos - OLAP Virtual Infrastructures On-demand computing, Distribución de contenidos, web caching, metadata, active file management, etc IBM Corporation

31 Ejemplo. 700 maquinas virtuales sobre ESX Cliente: Aseguradora 4000 IOps en media Desplego 100 inicialmente para comprobar respuesta cabina tradicional con tiempos de 4.5 millisegundos que lo hacian inviable para 700 VDIs Despliegue diario de maquinas virtuales

32 Ejemplo. 700 maquinas virtuales sobre ESX Lectura media: 0,4ms RT, 400us Escritura media: 0,15ms, 150us Uso de CPU de la solución: 6,5% de pico Pero aún hay más.. Comprimiendo el entorno VDI Online. 76,9% de ahorro en espacio, incrementando solo 100us el tiempo de respuesta medio

33 2014 IBM Corporation

34 IBM Systems Technical University, April , Istanbul La elección de IBM para Almacenamiento tier-1 : IBM FlashSystem V9000 Cabina All-Flash, totalmente integrada, gestión única y con funciones avanzadas de cabinas de Almacenamiento tradicionales Features: Powered by IBM FlashCore Technology Hasta 1.2M IOPS aplicando Compresión de Datos in-line y sin perdida de rendimiento Hasta 57TB netos y hasta 171TB de capacidad efectiva, vista por las aplicaciones, en tan solo 6 Us (compression 3:1) Scale up hasta 456TB usable and up to 1.3 PB de capacidad efectiva en tan solo 34U Certificado para IBM SmartCloud Virtual Storage Center (VSC) Gestión integrada desde una única consola FlashSystem Tier 1 Guarantee axel.koester@de.ibm.com 2014 IBM Corporation

35 V9000 Flexible Configurations Minimum configuration: 1 V9000 building block 57TB usable, 171TB effective capacity (3:1) Up to 300K IOPS with compression Up to 4.8 GB/s bandwidth <500µs minimum response time 6U (optional switches not included) 5 Years prepaid maintenance Technical Advisor 57TB 171TB IBM and BP Internal Only IBM Corporation

36 V9000 Flexible Configurations 456TB usable, 1.3PB effective capacity (3.1) 4 V9000 controllers, 8 FlasSystem Up to 1.2M IOPS with compression Up to 19.2 GB/s bandwidth <500µs minimum response time 34U including switches (not shown) 5 Years prepaid maintenance Technical Advisor 4 V9000 building blocks + 4 additional enclosures 456TB 1.3PB IBM and BP Internal Only IBM Corporation

37 IBM Systems Technical University, April , Istanbul Gestión totalmente integrada - Agile Integration Se aumenta la productividad y se reduce los OPEX Agile Integration Gestión Simplificada axel.koester@de.ibm.com 2014 IBM Corporation

38 IBM FlashCore Technology El DNA de la familia FlashSystem Durabilidad de MLC + FlashCore = Program/Erase Cycles emlc = P/E Cycles cmlc/mlc = P/E Cycles Engineered for Flash Calculo del RAID por HW Non-blocking Crossbar Switch Industry Standard Interface Technology Powered by IBM FlashCore Technology Hardware Accelerated I/O IBM MicroLatency Module Advanced Flash Management Industry Standard Chip Technology IBM Enhanced Micron Technology Hardware Only Data Path Single Box Highly Available Architecture Concurrent Code Load & Maintenance IBM Engineered Massively Parallel Design FPGAs in the Data Path (= cores) Distributed RAM High Speed Interface Line Speed Data at Rest Encryption IBM Variable Stripe RAID IBM Engineered ECC IBM Optimized Overprovisioning Wear Levelling Write Buffer & Hardware Offload Garbage Collection IBM Corporation

39 IBM Systems Technical University, April , Istanbul "Native" FlashSystem devices vs SSDs Obsoletos? 1.- El mas rápido en tiempo de acceso (no RAID adapter) 2.- Reparto automático de la carga entre todos los Chips: = mayor longevidad del chip 1. Se instala en slots diseñados para discos tradicionales 2. Puede saturar los buses y adaptadores 3. Reemplazo de todo el SSD si se quema, rompe un solo chip 4. Barato TCA pero caro TCO : costes mas altos de mantenimiento IBM Storwize V axel.koester@de.ibm.com 2014 IBM Corporation

40 IBM s premier all-flash offering!!! : IBM FlashSystem 900 IBM MicroLatency con hasta 1.1 million IOPS 40% de mas capacidad que la anterior cabina FlashSystem hasta 57 TB netos en 2Us! IBM FlashCore technology, el DNA de la arquitectura FlashSystem Technical collaboration with Micron Technology flash chips IBM mejora la tecnología Flash y la convierte en Enterprise Basada en chips MLC NAND fy ofreciendo Flash Wear Guarantee del chip. Improved integration with VMware via IBM Storage Integrated Server Module type 1.2 TB 2.9 TB 5.7 TB Modules Minimum latency Write 90 µs Performance at-a-glance Read 155 µs Maximum IOPS 4 KB Read (100%, random) 1,100,00 Read/write (70%/30%, random) 800,000 Write (100%, random) 600,000 Maximum bandwidth 256 KB Read (100%, sequential) 10 GB/s Write (100%, sequential) 4.5 GB/s RAID 5 capacity Raw Capacity IBM Corporation

41 Implementación como Flash Preferred Read Main DC LVM or ASM (HPUX,Linux,AIX) Poco impacto en la instalación POC sin parada de Producción Trasladando IOs de lectura desde la cabina tradicional al FlashSystem 100 us NO VMWARE, NO WINDOWS (SI con Virtualización por encima ) 70%,80%,90%???? READS SAP WRITES SAN DB Servers SAN DR DC Copy:Flash Copy:Actual Storage IBM Flash System ACTIVE DATA ACTIVE DATA Replica Mirror LVM/ASM 20 TB 20 TB TRANSITIONAL DATA TRANSITIONAL DATA < 70% IOPS 41 5 TB 2013 IBM Corporation

42 Otra implementación: Flash virtualizado por SVC o V7000 SAP production DB server ERP SCM SRM CRM BW SAP non-prod DB server Flash only pool Easy Tier pool HDD only pool ERP SCM SVC storage pools (managed disk groups) SV nodes Alojar BD o tablas demandantes de IOs en un pool de tecnologia solo Flash Alojar la BD de SAP de Producción en un pool de Flash y HDD tradicional usando EasyTier IBM FlashSystem IBM Corporation Storwize / XIV / o cabinas soportadas Resto de BD no productivas en HDD tradicional 42

43 , con soporte para soluciónes Activo-Activo SAP production DB server ERP SCM SRM CRM BW SAP non-prod DB server SAP non-prod DB server SV nodes stretched cluster SVC nodes IBM FlashSystem IBM FlashSystem Storwize / XIV IBM Corporation 43

44 aprovechando las funciones avanzadas y los servicios de copia del Virtualizador SVC o V7000 SAP production DB server ERP SCM SRM CRM BW FlashCopy Spectrum Virtualize nodes stretched cluster Spectrum Virtualize nodes IBM FlashSystem IBM FlashSystem Storwize / XIV IBM Corporation 44

45 IBM All-Flash, el mas competitivo! Según IDC: IBM #3 en facturación en 1H14, pero lideres en PBs vendidos y en precio/gb mas PBs vendidos que EMC y PureStorage juntos! Según Gartner: IBM fue num. 1 en facturación en 2013 y uno de los 3 fabricantes situados en el Leader Quadrant for Solid State Arrays (2014) Vendor IDC 1H14 All-Flash Array Data Revenue ($M) TB Shipped Average $/Raw TB IBM $ ,773.0 $3,640 EMC $ ,404.5 $8,378 Pure Storage $90.9 7,557.9 $12,027 SolidFire $35.6 7,525.7 $4,730 Nimbus Data $34.3 7,501.3 $4,573 Violin (in Other) 5,583.9 $4,584 Other $ ,130.0 $4,982 IDC source: IDC #252304e, 11/2014, calculated from Tables 1 and 2; Gartner source: Gartner #260420, 8/ IBM Corporation

46 Previsiones de ventas de tecnología Flash WW Market Opportunity Application Acceleration Server-Based Performance Focused Server Storage Tier 0 Shared Performance Focused Shared Storage I/O Intensive Storage Tier 1 SAN Replacement Function Rich, I/O Intensive Shared Storage (Software Defined Flash) $7B I/O intensive storage market in 2017¹ Flash Adapter 90 FlashSystem 840 Top 1% Workloads Top 10% Workloads TODAY FlashSystem V840 Top 50% Workloads Time All flash array market is expected to grow at 58.5% CAGR and reach $1.6 billion by 2015² 2013 all flash array market was ~$670M with IBM leading the pack at 25% market share³ ¹ Source: IDC #244293, Worldwide Enterprise Storage Systems Forecast Update, November 2013; ² Source: IDC #240424, Worldwide Enterprise All-Solid State Storage Array Forecast, April 2013; ³ Source: Gartner #258537, Market Share Analysis: SSDs and Solid-State Arrays, Worldwide, 2013, June IBM Corporation

47 V9000 vs. VMAX

48 Muchas gracias IBM Corporation