Big Data: retos a nivel de desarrollo. Ing. Jorge Camargo, MSc, PhD (c) jcamargo@bigdatasolubons.co

Transcripción

1 Big Data: retos a nivel de desarrollo Ing. Jorge Camargo, MSc, PhD (c) jcamargo@bigdatasolubons.co Cámara de Comercio de Bogotá Centro Empresarial Chapinero

2 Agenda Introducción Bases de datos NoSQL Procesamiento a gran escala Visualización y análisis Computación en la nube (IaaS) y Big Data Desarrollo de software para Big Data Implementaciones comerciales

3 Qué es Big Data? Introducción Volumen de datos de una magnitud más grande de lo tradicional Doug Laney, Gartner Un conjunto de avances tecnológicos que han hecho que la adquisición y análisis de datos se haga a una velocidad muy alta y de maneara eficiente Dave Feinleb, Forbes

4 Caracterización de Big Data Introducción Fuente:

5 Convergencia en teminología Introducción

6 Big Data en Gartner Hype-Cycle 2013 Introducción Fuente: Emerging Technologies Hype Cycle for 2013: Redefining the Relationship, Gartner 2013

7 XXXIII Salón de Informática ACIS Literatura Científica Introducción

8 Libros Introducción

9 Impacto de Big Data Introducción

10 Introducción Fuente: Big data a growing torrent - McKinsey & Company

11 Introducción Fuente: Big data a growing torrent - McKinsey & Company

12 Tecnologías Big Data Introducción Infraestructura: Amazon WS, Google Big Query, Cloudera, etc. Almacenamiento: HBase, Cassandra, MongoDB, etc Acceso: Lucene, Solr, etc Procesamiento: Map-reduce, Hadoop, Pig, Hive, etc Análisis: Mahout

13 XXXIII Salón de Informática ACIS Data base technology Bases de datos NoSQL Fuente:

14 Características Bases de datos NoSQL Sistema de gestión de datos Generalmente no usan SQL Escalabilidad y desempeño Almacenamiento y acceso a grandes cantidades de datos, no sus relaciones

15 Tipos de bases de datos NoSQL Bases de datos NoSQL Orientadas a documentos Orientadas a grafos Almacenamiento clave-valor

16 Documentos Bases de datos NoSQL El concepto central es un documento Los documents encapsulan y codifican datos usando algún mecanismo estándar Codificación XML, YAML, JSON and BSON También formatos binarios como PDF y otros Los documentos son accedidos usando una única llave (key)

17 Grafos Bases de datos NoSQL Diseñados para datos cuyas relaciones son representadas como un grafo Redes sociales, redes de transporte público, topologías de red Basado en teoría de grafos: nodos y arcos

18 BD NoSQL: clave-valor Bases de datos preparadas para permitir operaciones de escritura y lectura a gran escala. La clave es el identificador único El valor puede ser un objeto, tipo de dato, información no estructurada Los registros pueden tener diferentes columnas Discos de estado sólido Caché en memoria

19 Modelo Map-Reduce Procesamiento a gran escala Modelo de programación para procesar grandes conjuntos de datos Tipicamente utilizado para hacer computación distribuida en cluster de computadores (Google) Inspirado en las funciones map y reduce usadas en el paradigma programación funcional Implementación libre: Apache Hadoop

20 Modelo Map-Reduce Procesamiento a gran escala

21 Apache Hadoop Procesamiento a gran escala Implementación abierta del modelo Map-Reduce Sistema de archivos distribuido (HDFS) Desarrollado en Java

22 Hive Procesamiento a gran escala Fuente:

23 Pig Procesamiento a gran escala Fuente:

24 XXXIII Salón de Informática ACIS Visualización y análisis Análisis de redes Fuente:

25 Información geográfica Visualización y análisis Fuente:

26 Inteligencia de drogas Visualización y análisis Fuente: Jorge Camargo, Pierre Esseiva, Fabio González, Julien Wist, Luc Patiny, Monitoring of illicit pill distribution networks using an image collection exploration framework, Forensic Science International, Volume 223, Issues 1 3, 30 November 2012, Pages , ISSN

27 Análisis: Apache mahout Visualización y análisis Algoritmos Clasificación Agrupamiento Regresión Reducción de la dimensionalidad Algoritmos evolutivos Recomendación, filtro colaborativo

28 Amazon Web Services: web console Cloud computing y big data

29 Amazon Web Services: EC2 Cloud computing y big data

30 Amazon Web Services: EC2 Cloud computing y big data

31 Cloud computing y big data Amazon Web Services: Elastic Map-Reduce

32 Amazon Web Services: S3 Cloud computing y big data

33 Amazon Web Services: DynamoDB Cloud computing y big data

34 Conocimientos técnicos Desarrollo de software para big data Prototipado: R, Matlab Programación: Java, C++ Scripting: Perl, Python Computación: aprendizaje computacional, minería de datos, estadística, visualización, computación paralela, computación distribuida Grado académico: maestría y doctorado

35 Perfil del data scientist Desarrollo de software para big data

36 Implementaciones comerciales IBM Cloudera EMC Microsoft Oracle

37 Big Data: retos a nivel de desarrollo Ing. Jorge Camargo, MSc, PhD (c) jcamargo@bigdatasolubons.co Cámara de Comercio de Bogotá Centro Empresarial Chapinero