Abril 1, 2017 Santiago, Chile

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Abril 1, 2017 Santiago, Chile"

Ángela Barbero Mendoza
hace 6 años
Vistas:

1 Abril 1, 2017 Santiago, Chile #606 SANTIAGO 2017 #sqlsatsantiago

2 Presentación Speaker Marco Antonio Ramírez Melcherts Cargo y empresa: Head of Learning and Talent Development marco@metricarts.com Blog:

3 Patrocinadores del SQL Saturday PASS Colabora Sponsor 3

4 Azure Data Lake Analytics y U-SQL 4

5 Motivación Big Data ya no es moda Es necesidad! Ergo, tarde o temprano tendremos que competir en ese terreno 5

6 Motivación Cada vez hay más datos relevantes fuera de nuestras BD de siempre BD relacionales Transaccionales Data Warehouses Las 4 V Volumen Velocidad Variedad Veracidad 6

7 Motivación Ok lo asumo qué hago? Ahí entran las capacidades tecnológicas para lidiar con Big Data 7

8 Evolución del Big Data Sistemas ad-hoc Empresas con espalda podían invertir en sistemas ad hoc para tratar con datos Algunos frameworks Globus Toolkit, por ejemplo Difíciles de usar 8

9 Evolución del Big Data Iniciativas privadas tuvieron éxito y la comunidad Open Source se inspiró en ellas Google MapReduce Hadoop y HDFS BigTable Hbase (Tablas graaaandes, queries realtime) Chubby Zookeper (Coordinación distribuida confiable) etc 9

10 Evolución del Big Data Todavía armar un cluster Hadoop requería harto conocimiento Distribuciones empaquetadas de Hadoop MAPR Cloudera HortonWorks Etc Se facilita mucho la labor de armar el cluster con los servicios disponibilizados 10

11 Evolución Actualmente tenemos mayor abstracción incluso AZURE ofrece Clústeres Hadoop como Servicio 11

12 Evolución Qué? 12

13 HDinsight Clúster basado en Hortonworks + azúcar Microsoft Se configura con clicks y de despliega en minutos en la nube Quiero un cluster con X nodos, con X potencia cada nodo etc. Bueno, y? Provisionar un cluster Hadoop a mano no es trivial! Una tarde configurando! 13

14 Big Data is Big La parte más obvia del Big es el almacenamiento HDFS Sistema de archivos distribuido que soluciona más de un problema 14

15 Azure Data Lake Almacenamiento en Azure Bajo costo Basado en HDFS Listo para ser enchufado a HDInsight 15

16 Azure Data Lake Almacenamiento en Azure Bajo costo Basado en HDFS Listo para ser enchufado a HDInsight Datos en Data Lake HDInsight los procesa 16

17 Azure Data Lake Analytics (ahora sí con apellido) Un nivel de abstracción más allá! Yo no tengo que provisionar un clúster HDInsight YO PUEDO ENVIAR SCRIPTS A LA NUBE A SER PROCESADOS! Sin clústeres!!! Sólo scripts!!! Es cierto!!!! 17

18 U-SQL Lenguaje de procesamiento de datos similar a SQL Basado en SCOPE, lenguaje interno de Microsoft Parece una mezcla entre SQL Tradicional y C# Es extensible con funciones en C# Con U-SQL podemos procesar datos de distintas fuentes archivos de nuestro Data Lake Leer, aplicar transformaciones, grabar Datos provenientes de Bases de datos relacionales 18

19 U-SQL: Modelo de procesamiento Obtener datos de alguna locación En formato rowset (filas con datos) Transformar el set de filas Almacenar el resultado En archivos En Tablas 19

20 U-SQL: anatomía string = "/Samples/Data/SearchLog.tsv"; string = = EXTRACT UserId Start Region Query Duration Urls ClickedUrls USING Extractors.Tsv(); int, DateTime, string, string, int?, string, string Variable Extractor: Función en C# que sabe leer un formato de archivo 20

21 U-SQL: = SELECT Start, Region, Duration WHERE Region == = SELECT Start, Region, Duration WHERE Start >= DateTime.Parse("2012/02/16") AND Start <= DateTime.Parse("2012/02/17"); USING Outputters.Tsv(); Statement (instrucción) Outputter: Función en C# que sabe escribir a un formato de archivo 21

22 U-SQL: Archivos Archivos de texto Csv, txt, etc Incluso si están dentro de un = EXTRACT UserId int, Start DateTime, Region string, Query string, Duration int?, Urls string, ClickedUrls string FROM "/Samples/Data/SearchLog.tsv" USING Extractors.Tsv(); TO "/output/searchlog-first-u-sql.csv" USING Outputters.Csv(); 22

23 U-SQL: Archivos IMÁGENES!!!! REFERENCE ASSEMBLY ImageCommon; REFERENCE ASSEMBLY FaceSdk; REFERENCE ASSEMBLY ImageEmotion; REFERENCE ASSEMBLY ImageTagging; REFERENCE ASSEMBLY = EXTRACT FileName string, ImgData byte[] USING new Cognition.Vision.ImageExtractor(); // Extract the number of objects on each image and tag = PRODUCE FileName, NumObjects int, Tags string READONLY FileName USING new Cognition.Vision.ImageTagger(); 23

24 Bases de Datos U-SQL Bases de Datos U-SQL Podemos definir BD y tablas como si fueran tablas de una BD relacional En realidad no son exactamente eso. 24

25 Cómo lo hacemos? Portal de Azure (mostrar Data Lake Analytics en portal) Visual Studio Ambiente totalmente integrado con los servicios de Azure 25

26 Visual Studio Qué necesito? Visual Studio 2015, 2013u4 ó 2012 (2017 no todavía) Microsoft Azure SDK para.net 2,7,1 o superior (Instalar con Web Platform Installer) Conexión a internet naturalmente pero no para hacer todo 26

27 Demo Algunos ejemplitos 27

28 Links Data Lake Analytics Introducción U-SQL Introducción Referencia del lenguaje Tablas U-SQL 28

29 Sea cual sea su pasión hay un capítulo virtual para usted! 29

30 #606 SANTIAGO 2017 Gracias!

Documentos relacionados

Tabla de Contenido. iii

Tabla de Contenido. iii Tabla de Contenido 1. Introducción... 1 1.1. Contexto... 1 1.2. Oportunidad de mejora... 2 1.3. Objetivos de la tesis... 3 1.4. Propuesta de solución... 3 2. Marco teórico... 4 2.1. Big Data... 4 2.1.1.