Introducción a Big Data
Quiénes somos? Gorka Armen+a Developer garmen+a@consultec.es @joruus Iñaki Elcoro Developer ielcoro@consultec.es @iceoverflow
Índice 1. Introducción 2. Qué no es Big Data? 3. Qué es Big Data? 4. Utilidades 5. Ejemplo real: Walmart 6. Características Técnicas 7. Markets de Datos 8. Hadoop 9. Microsoft HDInsight 10.Demo
Introducción Big Data es desde hacer un par de años una de las grandes tendencias dentro del mundo de la tecnología y del marketing, uno de esos buzzwords que en un momento dado empiezan a propagarse y aparecer por todo internet, las grandes empresas se interesan por ello, se crea una industria alrededor y, de repente, todo el mundo sabe lo que es Big Data. O no BIG DATA
Qué no es Big Data? Antes de empezar, lo primero es desengañarnos. Big Data no es una base de datos enorme Big Data no es un data warehouse enorme Big Data no es una nueva forma de Business Intelligence Big Data no es llevar las base de datos a la nube
Qué es Big Data? - Situación actual emails Información generada por apps móviles GPS Bases de Datos Relacionales Archivos (XML, Logs, ) Redes Sociales RFID Información generada por máquinas Big Data Bases de Datos Analí+cas (Data Warehouse) ERP/CRM APIs Sensores Y mucho más. Y lo que está por venir Base de Datos NoSQL Internet de las Cosas
Qué es Big Data? - Definiciones Definiciones encontradas en internet Información que tiene un orden de magnitud más grande de lo que estamos acostumbrados. Información que es muy grande y no se ajusta a las estructuras de las bases de datos actuales. Es un conjunto de datos cuyo tamaño está más allá de la capacidad de la mayoría de los software utilizados para capturar, gestionar y procesar la información dentro de un lapso tolerable de tiempo.
Qué es Big Data? - Las 3 Vs Volume: grandes volúmenes de información Se está pasando de hablar en Gigabytes o Terabytes a tamaños de datos de Petabytes, Exabytes o Zettabytes. Volúmenes que se nos escapan.
Qué es Big Data? - Las 3 Vs Variety: información de tipos muy diversos Ya no solo tenemos información estructurada en Bases de Datos o Archivos. Ahora empezamos a tener información con tipos diferentes y totalmente desestructurada.
Qué es Big Data? - Las 3 Vs Velocity: velocidad con la que se genera la información La velocidad a la que se genera esta información hace imposible gestionarla con sistemas de base de datos convencionales. Las empresas y las personas ya no quieren estar al día, quieren estar al segundo.
Qué es Big Data? Retos actuales Dar sentido al gran volumen de datos Necesitamos las herramientas adecuadas para dar sentido de la abrumadora cantidad de datos generados por la disminución de los costos de hardware y de las fuentes de datos complejas. La comprensión de una variedad cada vez mayor de datos Debemos poder analizar datos tanto relacionales como no relacionales. Más del 85% de los datos capturados son desestructurados. Habilitación de análisis en tiempo real de los datos Los nuevos grandes generadores de datos (Twitter, Facebook, ) están produciendo volúmenes de datos sin precedentes y en tiempo real, lo que no se puede analizar eficazmente mediante procesos por lotes normales.
Qué es Big Data? - Entendimiento: de los datos a la sabiduría Sabiduría Experiencia Contexto Conocimiento Información Datos
Utilidades Toma de decisiones El valor del Big Data no es la información, sino la nueva forma de toma de decisiones basada en evidencias y datos empíricos. Tomar decisiones en base a datos empíricos y tendencias Tomar decisiones en base a corazonadas, instinto o experiencias pasadas
Utilidades Transparencia Compartir y hacer accesible grandes volúmenes de datos a las partes interesadas y de manera oportuna puede crear un enorme valor y aumentar la eficiencia.
Utilidades Experimentación Una vez recopilados los datos que nos interesan, la experimentación y la exploración de los mismos puede mostrarnos información que a primera vista nunca hubiésemos encontrado o que nunca se nos hubiese ocurrido buscar.
Utilidades Innovación Permite crear nuevos productos y servicios, mejorar los existentes e, incluso, crear nuevos modelos de negocio.
Ejemplo real: Walmart Walmart es una multinacional de grandes almacenes Es la segunda mayor empresa del mundo por ingresos
Ejemplo real: Walmart Algunos datos: 200 millones de clientes a la semana 10700 tiendas 27 países 2 millones de trabajadores 1,5 millones de transacciones por hora Varios Terabytes de información generada en tiempo real Base de datos de 3 Petabytes
Ejemplo real: Walmart Guardando todas las compras de todos los clientes se dieron cuenta que en época de huracanes los Walmart de las zonas afectadas vendían más cajas de Pop-Tarts que en otras épocas. Se indicó a los gerentes de las tiendas que en esas épocas pusiesen los Pop-Tarts en la entrada de las tiendas. Resultado: Aumento extraordinario de las ventas A quién se le hubiese ocurrido cruzar los datos de ventas con los datos meteorológicos o con los calendarios de huracanes?
Ejemplo real: Walmart Hanna twitea: I love Salt!. En unos segundos el Tweet llega a los sistemas de Walmart, se analiza y unos minutos más tarde le llega a una amiga suya el siguiente email: Buenos días! Nos pediste que te avisásemos cuando fuese el cumpleaños de Hanna. Pues ya está aquí y acaba de tweetear algo bueno sobre la película Salt de Angelina Jolie. Quieres regalarle algo relacionado con ello? Tenemos algunas sugerencias que hacerte
Ejemplo real: Walmart Social Genome Base de conocimiento que captura entidades y relaciones del mundo social. Obtiene entidades de su base de datos, de otros datos tanto públicos como privados y de redes sociales.
Ejemplo real: Walmart Social Genome Se identifican las entidades interesantes y las relacionan entre sí, consiguiendo toda la información de la que son capaces. Es un sistema vivo, en constante evolución. Una persona interesada en un tema Una persona que asiste a un evento Un evento sobre un tema Una asociación entre empresa y producto
Ejemplo real: Walmart Resumiendo
Características Técnicas Arquitectura Alta escalabilidad Procesamiento paralelo Baja latencia Datos no estructurados y estructurados NoSQL By-pass de datos
Características Técnicas Key-Value Pair La forma más sencilla de almacenamiento de datos en un entorno de Big Data y NoSQL Los datos no están controlados por el sistema, por lo tanto los desarrolladores deberán pensar muy bien donde y como almacenan los datos
Markets de Datos Además de las fuentes de datos que tengamos en nuestra organización: bases de datos, emails, logs, documentos, etc Podemos acceder a grandes volúmenes de datos (Data Sets) en los markets. Hay gratuitos y de pago.
Hadoop Es una plataforma diseñada para almacenar y analizar grandes volúmenes de datos de diferentes tipos. Basada en Google Map/ Reduce y Google Filesystem. Map/Reduce: Map: trabajos desarrollados por nosotros. Se distribuyen las tareas en diferentes nodos y se ejecutan en paralelo. Esto genera una información intermedia. Reduce: fusiona la información intermedia y se la ofrece al usuario. HDFS (Hadoop Distributed File System): Sistema de archivos distribuidos, con replicación automática y optimizado para lectura. Cada fichero se partición y se distribuye en todos los servidores.
Hadoop Otros proyectos alrededor de Hadoop Hive: Data Warehouse sobre Hadoop con lenguaje HiveQL ( SQL ). Pig: Lenguaje de script para consulta y análisis de la información. Desarrollado por Yahoo!. Sqoop: Framework para la integración de bases de datos relacionales. Flume: Servicio para recolectar, agregar y mover grandes volúmenes de datos de eventos/logs.
Microsoft HDInsight Servicio basado en Hadoop. Dos versiones: Windows Azure HDInsight (on-demand) HDInsight Server (on-premise)
Microsoft HDInsight Acceso a todo tipo de usuarios, incluidos desarrolladores y profesionales IT. Fácil instalación, administración y configuración. Integración con herramientas conocidas como Excel, PowerPivot, PowerView, SQL Server Analysis Services o Reporting Services..NET SDK para Hadoop (a través e NuGet): Map/Reduce LINQ to Hive WebHDFS Client
DEMO
Gracias!
Dudas? Gorka Armen+a Developer garmen+a@consultec.es @joruus Iñaki Elcoro Developer ielcoro@consultec.es @iceoverflow