Data Lake: La evolución da paso a la Revolución. César Tapias Herranz Isilon Regional Territory Manager

Transcripción

1 Data Lake: La evolución da paso a la Revolución César Tapias Herranz Isilon Regional Territory Manager Copyright 2015 EMC Corporation. All Todos rights los reserved. derechos reservados. 1

2 El poder de la información Porque necesitamos Data Analytics Eficiencia del negocio No cometer errores y hacer las cosas lo mejor posible Expectativas Nuestros clientes/usuarios demandan servicios más rápido que nunca Queremos una experiencia/negocio personalizado Que las hacen rentables? Conseguir información veraz accediendo a la mayoría de datos posible Acelerando la toma de decisiones al menor coste *2015 Information Generation Report Vanson Bourn Research Findings 2

3 Un vistazo a los inicios de la Segunda Plataforma Aplicaciones Servidores DAS Finance Marketing Operations Sales CRM ERP SCM CRM Retos Escalabilidad limitada Protección Compleja Baja utilización Silos de almacenamiento Gestión compleja Sin análisis de información cruzada 3

4 Un vistazo a los inicios de la Segunda Plataforma Aplicaciones Servidores Area DAS Network (SAN) Finance Marketing Operations Sales CRM ERP SCM CRM Retos Escalabilidad limitada Protección Compleja Baja utilización Silos de almacenamiento Gestión compleja Sin análisis de información cruzada 4

5 Un vistazo a los inicios de la Segunda Plataforma Aplicaciones Bare Virtualización Metal Area Network (SAN) Finance Marketing Operations Sales CRM ERP SCM CRM Consolidación Retos Escalabilidad limitada Protección Compleja Baja utilización Silos de almacenamiento Gestión compleja Sin análisis de información cruzada 5

6 Un vistazo a los inicios de la Segunda Plataforma Aplicaciones Virtualización Area Networks (SAN) Data Analytics Finance Marketing Operations Sales CRM ERP SCM CRM Enterprise Data Warehouse Datos estructurados (Block) BBDD Retos Relacionales Aplicaciones Escalabilidad limitada tradicionales Protección Compleja Baja utilización Silos de almacenamiento Gestión compleja Sin análisis de información cruzada 6

7 Analíticas en la Tercera Plataforma Aplicaciones Dispositivos Almacenamiento en Red Hadoop Tradicional Finance Marketing Engineering Sales Retos Escalabilidad Limitada Protección Compleja Baja Utilización Silos de información Gestión compleja Sin análisis de información cruzada Migraciones desde & hacia DAS 300% Capacidad utilizada Bajos ratios de Computación 7

8 HDFS: Entorno Tradicional Hadoop NFS Web Click data Name Node reply Compute Data Decision Support Databases EDW OLAP HTTP CIFS FTP NFS Paso 1: Los datos son copiados a la landing zone Landing Zone file info HDFS Paso 2: Los datos se copian al 3X file copy2 copy3 info file copy2 copy3 info file copy2 copy3 info file copy2 copy3 info cluster (3 veces) Paso 3: Se ejecutan los jobs de Hadoop 8

9 DAS Hadoop=al menos 5 copias 1 2 Unstructured Data Datos primarios Copia de los datos Copias HDFS Existing Primary Se tarda +24h en transferir 100TB a un Hadoop DAS en una red 10G Existing Virtualized Data Center DAS Hadoop Infrastructure 9

10 Analíticas en la Tercera Plataforma Retos Finance Marketing Engineering Sales Escalabilidad Limitada Protección Compleja Aplicaciones Dispositivos Almacenamiento en red Hadoop Tradicional Fase 1 Data Lake Baja Utilización Silos de información Gestión compleja Sin análisis de información cruzada Migraciones desde & hacia DAS 300% Capacidad utilizada Bajos ratios de Computación Fase 1 = Consolidación 10

11 EMC Isilon - Consolidación sin Límites Single Pool For Application Consolidation Muy sencillo de escalar Gestiona 50+ PBs como 50TBs Prestaciones predecibles Crece linealmente Más eficiente cuanto más grande Ratios de utilización por encima del 80% Crecer no impacta a la fiabilidad La protección se adapta al crecimiento Su automatización no supone una pérdida de control Blindado ante refrescos tecnológicos 11

12 Cloud Nuevas fuentes y Nuevos repositorios INTEGRACIÓN INTELIGENTE CON LA NUBE Características Soporte Openstack Swift Clients SMB NFS HTTP SWIFT Service Provider Integración de la nube como un tier más Compatible con todas las funciones de la plataforma Soporte a compresión, cifrado OneFS SmartPool -> CloudPool Private Cloud Compatible* con Amazon S3, Isilon (REST), Azure blob, ECS Beneficios Integramos nuevas fuentes de datos Public Cloud Adaptamos aun más los recursos al dato Totalmente transparente para las aplicaciones *Q

13 Analíticas en la Tercera Plataforma Aplicaciones Dispositivos Almacenamiento en red DAS Bare Metal Compute for Hadoop Fase = 12 Finance Marketing Engineering Sales Fase 2 Data Lake Retos Escalabilidad Limitada Protección compleja Baja Utilización Silos de información Gestión compleja Sin análisis de información cruzada Migraciones desde & hacia DAS 300% Capacidad utilizada Integramos Hadoop en el NAS Bajos ratios de Computación 13

14 HDFS: Entorno Dalake Compartido Web Click data Decision Support Compute Cluster info info info info OLAP EDW Hadoop Paso 1: Analizar 14

15 Isilon Enterprise Hadoop 1 Primary Data Unstructured Data Comenzamos el análisis inmediatamente No necesitamos >24h para empezar Existing Primary Use Native HDFS Protocol No necesitamos mover/replicar información Single copy of truth Existing Virtualized Data Center New Hadoop Compute Nodes Control de acceso y protección del dato 15

16 Soporte para múltiples distribuciones NFS SMB Node reply NameNode Data SMB NFS SMB, NFS, HTTP, FTP, HDFSv1, HDFSv2,.. name name name name data 16

17 Y además rendimiento Fase 1: Ingesta Runtime [s] x faster ,2x faster Isilon DAS Cluster NFS Write 10 GB NFS Read 10 GB Isilon: 4x x410 Nodes + 7 Compute Nodes DAS: 7x (Compute+DAS Nodes) 17

18 Y además rendimiento Fase 1 y 2: Ingesta y análisis Runtime [s] ,6x faster 1,5x faster ,5x faster Isilon DAS Cluster Isilon: 4x x410 Nodes + 7 Compute Nodes 0 TeraGen TeraSort TeraValidate DAS: 7x (Compute+DAS Nodes) 18

19 Datalake - Analíticas en la Tercera Plataforma Retos Finance Marketing Engineering Sales Escalabilidad Limitada Protección compleja Aplicaciones Dispositivos Almacenamiento Virtualización Bare Metal Compute Baja Utilización Silos de información Gestión compleja Sin análisis de información cruzada Migraciones desde & hacia DAS 300% Capacidad utilizada Bajos ratios de Computación Fase = 23 Virtualizamos Computación 19

20 HDaaS - vhadoop para entornos escalables catálogo de servicio eficiencia escalabilidad acceso a todos los datos ROI y TCO comparables a Nube pública 20

21 EMC Datalake Foundation Enterprise Open Source Hadoop Un repositorio para todos tus datos Capacidad de análisis cuando y donde se crea el dato Escalabilidad independiente de proceso y almacenamiento Acceso nativo Hadoop múltiple Utiliza Cloudera, SAS Grid, Teradata, Splunk, o lo que necesites Resultados más rápidos: menos tiempo y con menor coste 21

22 Nos adaptamos Appliance Utility e IAAS Hoy! Hoy! Hoy! OneFS Próximamente Infraestructura convergente Software Defined 22 22

23 VCE - ESG Performance validation 23

24 Revolución Datalake - Bring Analytics to data NFS NFS Log Files BLOBS Ticker Data SMB NFS NFS SMB SMB name name name name data NFS NFS HDFS Call SMB Recording REST Mobile 24

25