Marco Tulio Gómez. Business Intelligence Consultant Soluciones Computarizadas. #sqlsatmexico. Data Factory

Transcripción

1 Marco Tulio Gómez Business Intelligence Consultant Soluciones Computarizadas #sqlsatmexico Data Factory

2 Agradecimiento a nuestros patrocinadores #sqlsatmexico

3 Introducción

4 La plataforma de datos de Microsoft Microsoft nos presenta una colección de productos y/o servicios que permiten realizar las operaciones requeridas para construir soluciones analíticas confiables, escalables, seguras, modernas, económicas, etc. Recolectar y gestionar Relacional No Relacional NoSQL Streaming Interno y Externo Transformar y Analizar Orquestado Gestión de la informacion Manejo de eventos complejos Modelado Machine Learning Visualizar y decidir Aplicaciones Reportes Dashboards Consultas en lenguaje natural Móvil

5 On premise o en la nube?

6 Que es Azure Data Factory? Azure Data Factory es un servicio de integración de datos que permite automatizar las tareas de movimiento y transformación de datos. Permite crear pipeline (tuberías) para procesamiento, almacenamiento, análisis y movimiento de datos. Ofrece servicios de monitoreo de extremo a extremo.

7 Azure Data Factory Artifact Overview

8 Linked Services Linked services contiene la informacion necesaria para que ADF pueda conectarse a fuentes externas. Se utilizan con dos propósitos: Para acceder a un repositorio de informacion : Azure Storage, Azure SQL, Azure SQL Data Warehouse, Azure DocumentDB SQL Server, Oracle, File System, DB2, MySQL, Teradata, PostgreSQL, Sybase Para acceder a un recurso de procesamiento que pueda realizar la ejecución de alguna Activity. Por ejemplo ejecutar una tarea de HDInsight en un cluster de Hadoop.

9 Datasets Son referencias hacia una entrada o salida de datos para una Activity. Identifican estructuras dentro de los diferentes almacenamientos de datos como por ejemplo, tablas, archivos, carpetas y documentos.

10 Activities Definen acciones que vamos a realizar con los datos. Cada actividad puede o no requerir de un dataset como entrada de datos y puede producir uno o mas datasets como resultado. Data Movement Activities Copy Transformation Activities Hive Pig MapReduce Hadoop Streaming Machine Learning Batch Execution Stored Procedure DotNet Ambiente en donde se ejecuta HDInsight [Hadoop] HDInsight [Hadoop] HDInsight [Hadoop] HDInsight [Hadoop] Azure VM Azure SQL HDInsight [Hadoop] or Azure Batch

11 Pipelines Son agrupaciones logicas de Activities. Se agrupan para que puedan ejecutarse, calendarizarse o administrarse como una sola tarea. dently.

12 Data Management Gateway Permite realizar conexiones seguras hacia fuentes de informacion que están onpremise No require modificaciones en el firewall ya que utiliza conexiones basadas en http Encripta credenciales hacia los repositorios de datos que están on-premise Realiza transferencia de datos en paralelo, soporta fallas de conectividad en red. Consideraciones: Un gateway solamente puede atender a un Azure Data Factory Solamente un Data Management Gateway puede estar instalado en una computadora

13 Construir e implementar proyectos de Azure Data Factory Una suscripción a Azure ADF puede ser desarrollado de tres formas: Visual Studio Azure Portal editor PowerShell

14 Data Factory en una solución de business intelligence 100% cloud Azure Data Lake Store Azure Data Factory Azure SQL Database Azure Analysis Services Power BI

15 Analisis Descriptivo 100% Cloud Recolectar y gestionar Azure Data Lake Store Almacena los archivos que genera la SAT con el detalle de los vehículos Importados Azure SQL Database Almacena la informacion en un diseño de star schema que se puede aprovechar en diversas aplicaciones Transformar y Analizar Azure Data Factory Lee los archivos y los inserta en la base de datos posteriormente genera un star schema. Azure Analysis Services Modelo tabular que facilita a los usuarios la interacción con los datos Visualizar y decidir Power BI Construcción de dashboard

16 PREGUNTAS Y RESPUESTAS Marco Tulio Gómez Reyes mgomez@solcomp.com