BIG Big Data Public Private Forum

Transcripción

1 DATA TENDENCIAS TECNOLÓGICAS Primer taller para la construcción de la hoja de ruta de Big Data para Europa 16/04/2013 Tomás Pariente Atos Research and Innovation

2 SABEMOS LO QUE ES DATA, NO? Small DATA Hola, brother DATA 2 Primer taller para la construcción de la hoja de ruta de Big Data para Europa 16/04/

3 DATA NO ES SOLO POR TAMAÑO: LA DIVERSIDAD IMPORTA 3 Vs: Volumen, Velocidad, Variedad Gran tamaño No estructurado MULTIMEDIA Datos tradicionales estructurados + = Tiempo real Exhaustivo Datos enlazados Social Open Data DATA 3 Primer taller para la construcción de la hoja de ruta de Big Data para Europa 16/04/

4 EL DILUVIO DE DATOS CRECIMIENTO EXPONENCIAL DE DATOS IBM: El 90% de los datos existentes hoy en el mundo se ha creado en los últimos dos años Data mgmt Data is the new gold 1 Una definición para Big Data Cuando los datos se convierten en El Problema Data 1 Neelie Kroes Vice-Presidente de la Comisión Europea responsible de la Agenda Digital de Datos Kick Off meeting 10-11/09/

5 MAPA DE TECNOLOGÍAS Procesamiento histórico Procesamiento en tiempo real 5 Primer taller para la construcción de la hoja de ruta de Big Data para Europa 16/04/

6 ALMACENAMIENTO EN DATA NOSQL Y MÁS ALLÁ Sistemas de ficheros distribuidos Hadoop File System (HDFS). Capacidad para almacenar grandes cantidades de datos no estructurados de forma distribuida y fiable Bases de datos NoSQL : Utiliza modelos de datos alternativos al SQL para reducir complejidad y aumentar rendimiento No se adhiere necesariamente a las propiedades del modelo ACiD (Atomicity, Consistency and Isolation and Durability). Bases de datos NewSQL: Nombre dado a las nuevas bases de datos SQL altamente escalables y de alto rendimiento. Expectativa: 50 veces más rápido que las bases de datos SQL tradicionales SQL como mecanismo primario de búsqueda Soporte transaccional y modelo ACID Mecanismo de control de concurrencia no bloqueante Nueva arquitectura proporciona más alto rendimiento en cada nodo Escalabilidad en número de nodos sin compartición Alto número de nodos sin sufrir cuellos de botella 6 Primer taller para la construcción de la hoja de ruta de Big Data para Europa 16/04/

7 DATA EL MUNDO NOSQL Sin esquema No estructurado Apache HBase Modelo Fila Columna - Timestamp Valor = String Varias columnas Voldemort Documentos Almacenamiento en JSON o XML Accesible pro clave o por contenido CouchDB, MongoDB Estructura de grafos Altamente asociativa, redes sociales Grafo navegable Neo4j 7 Primer taller para la construcción de la hoja de ruta de Big Data para Europa 16/04/

8 HERRAMIENTAS DE CÓDIGO ABIERTO DE APACHE PARA DATA Courtesy of Michael Hausenblass 8 Kick Off meeting 10-11/09/

9 DATA; LA CLAVE ESTÁ EN ELEGIR LA CONFIGURACIÓN CORRECTA n- tructured Map-Reduce (Hadoop) Plataforma analítica Paralelización de algoritmos Fiabilidad Batch / Historical Batch processing Almacenamiento masivo distribuido Hadoop File System (HDFS) NoSQL (Hbase, Cassandra, CouchDB ) Algoritmos analíticos de larga duración Proceso iterativo puede tardar días Grandes volúmenes y variada Data curation Social Linked 3 V s Acquisition Query facade Corporate Events Software de adquisición Apache Kafka Mensajería Publicación-subscripción Centenares de miles de eventos Apache Flume Eventos y logs Push Real-time Real-time processing Plataformas de procesamiento Storm/Apache S4 Procesamientos de eventos y streams Paralelización de algoritmos Topologías flexibles y robustas Búsqueda de Alto rendimiento Cloudera Impala Apache HIVE Apache Solr (Lucene) RDBMS (SQL) Algoritmos encadenados en tiempo real Logs Foco en rapidez Alta eficiencia (ratio I-O) No necesita habitualmente almacenamiento Primer taller para la construcción de la hoja de ruta de Big Data para Europa 16/04/

10 TENDENCIAS Tendencias en Big Data Análisis en Big Data Nuevas técnicas de búsqueda y visualización Cada vez más tiempo real Data Management Data curation Nuevos modelos de negocio Nuevos algoritmos eficientes y escalables Equipos multidisciplinares (data scientists) Entender las nuevas plataformas Algoritmos de agregación y correlación Big Data vs small eyes Tener en cuenta el tiempo Búsquedas más rápidas sobre grandes volúmenes Procesamiento de eventos y streams Queries en tiempo real Nuevos paradigmas de visualización de datos Rendimiento y escalabilidad Minimizar costes (almacenamiento, procesamiento) Cloud vs. centros de cálculo Cómo seleccionar los datos Evaluación de la validez, eliminación de basura Confianza y procedencia de los datos Modelos de negocio de venta de datos Privacidad, propiedad de los datos, IPR Mecanismos para reutilizar datasets Adopta Big Data antes que la competencia 10 Primer taller para la construcción de la hoja de ruta de Big Data para Europa 16/04/

11 PERO ATENTOS A LOS RIESGOS Demasiadas soluciones Miedo a la página en blanco Nuevas políticas Seguridad Privacidad, IPR Obtener los datos Evitar silos Minería Inversión Legacy, Almacenamiento, CPDs vs Cloud Curation Confianza Procedencia Calidad Pocos profesionales Data scientists 11 Primer taller para la construcción de la hoja de ruta de Big Data para Europa 16/04/

12 DATA AND THE PUBLIC SECTOR ENCUESTA DE TECHAMERICA Y SAP 1 Agregando grandes volúmenes de datos entre agencias gubernamentales, es posible proporcionar 2 nuevos y mejores servicios a los cuudadanos 3 4 Big Data is Here to Stay: 82% Say Real-Time Big Data is the Way of the Future Real-Time Big Data Could Save Government 10% or More Annually Real-Time Big Data Could Save Significant Number of Lives Big Data is Helping Improve the Quality of Citizens Lives Investigadores médicos pueden agregar datos acerca del cuidado de pacientes para revelar patrones y encontrar mejores tratamientos o detección de epidemias. 5 6 State IT Officials Agree Big Data Can Improve Social and Welfare Services Big Data Advances in Medicine, Public Safety Seen as Most Important Privacy and Policy Concerns Remain La policía a Barrier está actualmente to Utilizing Big Data desarrollando modelos predictivos acerca de cuándo y dónde pueden producirse crímenes, reduciendo así los crímenes en determinadas localizaciones Public Sector IT Officials Frustrated With Multiple Data Formats, Leadership Changes Many Public Sector IT Officials Say Database queries Take Too Much Time Nearly All Government IT Officials Would Opt For Real Time Access to Data Over Backward Looking Queries 12 Primer taller para la construcción de la hoja de ruta de Big Data para Europa 16/04/

13 Ejemplos aplicación en el Sector Público Toma de decisiones Proyección de tendencias en base a la información disponible. Planificación de medidas Reducción del fraude Mediante analíticas avanzadas de datos de diferentes ámbitos Big Data en el SP Mejoras en la eficacia Acceso a la información disponible entre organismos públicos Mejoras en la eficiencia Adecuar los servicios públicos a las necesidades reales de los ciudadanos Información a los ciudadanos Para que puedan tomar decisiones en base a la información pública 13 Primer taller para la construcción de la hoja de ruta de Big Data para Europa 16/04/

14 Foros sectoriales y grupos de trabajo técnicos 14 Kick Off meeting 10-11/09/

15 Roadmap sectorial Identificación de requisitos por sector Requirimientos y objetivos de todos los sectores (grupos de trabajo con foco industrial) Aplicabilidad de Big Data White papers técncos por Sector Elaboración del Roadmap del Sector Introducir tecnologías y tendencias a los actores industriales para comprender mejor las tecnologías de Big Data y su aplicabilidad Roadmap (elaborar un roadmap por sector). Contribuciones para el roadmap integrado cros-sectorial 15 Kick Off meeting 10-11/09/

16 - Entregables más importantes 04/2013 D º version of Technical white papers D2.2.1 D /2013 D º version of Sector s requisites 10/2013 D4.3.1-First draft of the Big Data Public-Private Forum 01/2014 D2.2.2-Final version of Technical white paper 04/2014 D4.2.2-Final version of IPR, Standardization recommendations D4.3.1 D4.2.2 D4.2.1 D2.2.2 D2.4.1 D /2013 D ºversion of IPR, Standardization recommendations 09/2013 D ª version of Sector s Roadmap 04/2014 D2.3.2-Final version of Sectors requisites D2.5 10/2014 D2.5-Cross-sectorial roadmap consolidation 16 Kick Off meeting 10-11/09/

17 MUCHAS GRACIAS Tomás Pariente Lobo Atos Research & Innovation Atos Spain