INTRODUCCION. Cátedra Electiva: "Big Data: Arquitecturas y Estrategias de Análisis de Datos Masivos 1

Transcripción

1 INTRODUCCION Cátedra Electiva: "Big Data: Arquitecturas y Estrategias de Análisis de Datos Masivos 1

2 Context Contexto Crecimiento descomunal de los datos 1 ZB= 10 3 EB = 10 6 PB = 10 9 TB = GB = MB = KB = Bytes En la actualidad, estimaciones de la empresa EMC indican que el volumen de datos en esta década el universo digital crecerá de los 0.9 Zetta Bytes en 2010 a 35,2 Zetta Bytes (1 ZB equivale a millones de TB) y que de esa masa de datos el 90% no está estructurada para ser almacenado en Tablas relacionales o en sistemas multidimensionales. Según un estudio de IBM, el tráfico mundial de información de los data center (centros de datos) en la nube en los últimos 5 años se ha multiplicado por 12 y el tráfico tradicional al usuario final se multiplicó 4 veces. Eso significa que hay 4.8 ZB, circulando por internet. Esto equivale a 4600 billones de enviados, 1800 billones de consultas web y 2.3 billones de fotos subidas a Facebook diariamente. Cátedra Electiva: "Big Data: Arquitecturas y Estrategias de Análisis de Datos Masivos 2

3 Contexto Cátedra Electiva: "Big Data: Arquitecturas y Estrategias de Análisis de Datos Masivos 3

4 Big Data y su influencia En la actualidad las organizaciones están desconcertadas sobre cómo sacar provecho del crecimiento masivo de datos almacenados en distintos dispositivos o en la nube (internet). En la imagen, los sectores de industrias de Australia y como impactará BD en su desarrollo Fuse ( puede leerse como adopción, compenetración) Cátedra Electiva: "Big Data: Arquitecturas y Estrategias de Análisis de Datos Masivos 4

5 El problema El problema para las organizaciones no sólo es la cantidad de datos y su soporte de procesamiento IT, sino también falta de estructuras adecuadas No es lo mismo un registro de un reclamo de un cliente almacenado en un sistema transaccional, en un o en un tweet de la red social twitter. Las estructuras de la información son tan variadas que pueden provenir desde un audio en mp3, un sensor de clima, un GPS, hasta datos financieros del mercado. Cátedra Electiva: "Big Data: Arquitecturas y Estrategias de Análisis de Datos Masivos 5

6 Cómo gestionar estos datos? Big Data Big Data se refiere a los conjuntos de datos cuyo tamaño está más allá de las capacidades de las herramientas típicas de software de bases de datos para capturar, almacenar, gestionar y analizar. Hablamos de Big Data cuando los volúmenes superan la capacidad del software habitual para ser manejados y gestionados. Identificamos al Big data a través de las tres 'Vs': Volumen, Variedad y Velocidad (3Vs) Cátedra Electiva: "Big Data: Arquitecturas y Estrategias de Análisis de Datos Masivos 6

7 Para qué? Análisis de datos no estructurados que estén: Bullendo por las redes sociales. En Internet de las cosas. Y obtener información oculta en Montañas, no, mejor en Cordilleras de datos! Catedra Electiva: "Big Data: Arquitecturas y Estrategias de Análisis de Datos Masivos 7

8 Dónde Almacenar? En arquitecturas especiales empecemos con un File System uno de los que hay (Más tarde veremos otra ) Cátedra Electiva: "Big Data: Arquitecturas y Estrategias de Análisis de Datos Masivos 8

9 Qué es Hadoop? Un HDFS de Hadoop Distributed File System ó Sistema de Archivos Distribuido listo para almacenar grande volúmenes de datos Cátedra Electiva: "Big Data: Arquitecturas y Estrategias de Análisis de Datos Masivos 9

10 Eco sistema de Big Data Cátedra Electiva: "Big Data: Arquitecturas y Estrategias de Análisis de Datos Masivos 10

11 Dos minutos para Preguntas Paciencia!!! Que faltan 4 expositores! Cátedra Electiva: "Big Data: Arquitecturas y Estrategias de Análisis de Datos Masivos 11

12 Muchas Gracias! Ing. Calixto Maldonado Cátedra Electiva: "Big Data: Arquitecturas y Estrategias de Análisis de Datos Masivos 12

13 Catedra Electiva: "Big Data: Arquitecturas y Estrategias de Análisis de Datos Masivos 13