Viviendo la Era del Big Data Rogelio Ferreira Escutia
Data is the new oil! Clive Humby
Crecimiento de la Información
Primera Biblioteca - Alejandría Biblioteca de Alejandría, https://es.wikipedia.org/wiki/biblioteca_de_alejandr%c3%ada 2015 4
Castillos Edad Media http://musicayocio.com/noticias/fin-de-semana-medieval-en-el-castillo-de-manzanares-el-real/, 2015 5
Mi Biblioteca Tec de Morelia 6
Computadora Thiane 2 (China) 3,120,000 Cores 54,902 Teraflops Top500, http://top500.org/lists/2015/11/, 2015 7
Crecimiento de los 2 últimos años 90% de la información existente a lo largo del planeta en toda su historia se ha generado en los últimos dos años Aitor Moren Responsable de Inteligencia Artificial de Ibermática Big Data, http://www.ibermatica.com/sala-de-prensa/opinion/big-data-el-termino-de-moda-en-el-mundo-de-lainformatica 8
Crecimiento estimado Se estima un crecimiento del 4300% en la generación de datos anuales para 2020. http://www.winshuttle.es/big-data-historia-cronologica/ 9
Concepto
Qué es Big Data? Big Data es una cantidad de datos muy grande, que excede las capacidades convencionales de los sistemas de Base de Datos. Big Data Now, O'Reilly Media 2012 11
Características del Big Data Difícil de recolectar (distribuidos en toda la red) Difícil de almacenar (zetabytes = 1 x 10 E21). Difícil de analizar (gran cantidad de información). Difícil de procesar (se buscan patrones) Big Data Now, O'Reilly Media 2012 12
Procesamiento del Big Data DATOS MODELADO Big Data Now, O'Reilly Media 2012 SIMULACION OPTIMIZACION INFORMACION 13
Procesamiento del Big Data Big Data, Judith Hurwitz2013 14
Internet y Big Data Cada cosa que se conecta a Internet Internet está lleno de datos. Por lo tanto, cada cosa que conectamos es parte del Big Data. Big Data Now, O'Reilly Media 2012 15
Tipos de Datos Estructurados: como las bases de datos (fáciles de recolectar). Datos sin estructura: Como la mayoría de las páginas Web (complejos de recolectar). Datos SemiEstructurados: Como los documentos, que llevan un cierto formato (difíciles de recolectar). Data Science, Lillian Pierson, Jhon Wiley & Sons 2015 16
Origen de los Datos Data Science, Lillian Pierson, Jhon Wiley & Sons 2015 17
Anatomía de la Web Cómo funciona La Web, http://www.ciw.cl/libroweb, 2008 Data Science, Lillian Pierson, Jhon Wiley & Sons 2015 18
Motor de búsqueda completo Web Information Retrieval 20
La Deep Web Web Information Retrieval 21
Búsqueda de Palabras Web Information Retrieval 22
Indexado del contexto Web Information Retrieval 23
Ordenamiento y Ranking Web Information Retrieval 24
Page Rank de Google Web Information Retrieval 25
Reducción de los Datos Data Science, Lillian Pierson, Jhon Wiley & Sons 2015 26
Fusión e Interpretación de los Datos Data Science, Lillian Pierson, Jhon Wiley & Sons 2015 27
Visualización de los Datos Data Science, Lillian Pierson, Jhon Wiley & Sons 2015 28
Origen de los Datos Data Science, Lillian Pierson, Jhon Wiley & Sons 2015 29
La Era del Big Data
Caso Walmart: Detección de Tendencias Se detectó un patrón de compra en la década de los 90s en las tiendas Walmart: Hombres casados y con hijos pequeños compraban cervezas y pañales 31
32
Avión Airbus A380 33
Avión Airbus A380 1000 millones de líneas de código. Cada motor genera 10 TB cada 30 minutos. 640 TB en un vuelo Londres Nueva York. 34
Conclusiones
Ya me dió el dolor de caballo Si hubiera entrenado mas No vuelvo a cenar enchiladas Ya no voy a ir al antro cuánto quedó el Morelia? Ahorita le meto un codazo Competitividad Mundial 36
By 2018, the United States will experience a shortage of 190,000 skilled data scientists, and 1.5 million managers and analysts capable of reaping actionable insights from the big data deluge. McKinsey Report
Nunca dejar de Soñar... Cuando me sacaré la lotería?
Tu puedes ser el mejor!!! Sí se pudo!!! 39
Rogelio Ferreira Escutia Instituto Tecnológico de Morelia Departamento de Sistemas y Computación Correo: rogelio@itmorelia.edu.mx rogeplus@gmail.com Página Web: http://dsc.itmorelia.edu.mx/~rogelio/ http://www.xumarhu.net/ Twitter: Facebook: http://twitter.com/rogeplus http://www.facebook.com/groups/xumarhu.net/