Javier Arratíbel Hernández

Transcripción

1 Javier Arratíbel Hernández Gerente Septiembre 2014

2 Pasos prácticos en Big Data (III) Vig Data empresarial Del concepto de Big Data al Vig Data empresarial Sociedad de la Información Fundación Socinfo

3 Agenda Sobre Acciona Energía Proyecto SHARP Las 3 V típicas del Big Data Volumen Velocidad Variedad La V crítica del Big Data La V más importante del Big Data La V más bonita del Big Data

4 Sobre Acciona Energía Actividad exclusiva las energías renovables (eólica, hidráulica, termosolar, fotovoltaica, y biomasa) Casi MW 000MW de potencia implantados (8.500 MW en propiedad) d) Más de 22 TWh de producción anual Energía limpia para 6 millones de hogares Más de 20 años de experiencia Más de profesionales

5 Una compañía global

6 Proyecto SHARP: SCADA Historian Analysis and Reporting Platform Map Reduce ETL DWH Servicio Carga HDFS Hadoop HIVE Almacén Nube Ofimática Análisis Informes

7 Las 3 V típicas del Big Data Volumen

8 La realidad El boom de los datos Volumen es la característica que da nombre a Big Data pero es la consecuencia de la Velocidad y la Variedad Algunos números: 300 millones de fotos nuevas agregadas diariamente a Facebook 7 PB en fotos agregadas mensualmente a Facebook (239 TB diarios) Twitter genera 8 TB al día (o casi 90MB por segundo) La Bolsa de Nueva York genera un terabyte de datos al día En 2020 el volumen de datos almacenados en el mundo será 44 veces mayor que el de 2010 Pero no somos conscientes de lo que significa!!!

9 La teoría Nombre Símbolo Factor Potencia Byte B 1 10^0 Kilobyte KB ^3 Megabyte MB ^6 Gigabyte GB ^9 Terabyte TB ^12 Petabyte PB ^15 Exabyte EB ^18 Zettabyte ZB ^21 Yottabyte YB ^24

10 Trabajar con volumen físico ayuda a entender El volumen físico son 3 dimensiones El volumen nos sirve para contar de en de manera sencilla El volumen ou deu una aeseaes esfera proporcional al cubo de su radio

11 1 Byte Perdigón del 9 Radio 1 mm Volumen = 1 = 10^0 1 = 1 perdigón

12 1 KiloByte = 1 KB Canica Radio 1 cm Volumen = 1K = 10^3 1K = perdigones

13 1 MegaByte = 1 MB Balón de fútbol Radio 10 cm Volumen = 1M = 10^6 1M = perdigones 1M = canicas

14 1 GigaByte = 1 GB Hinchable acuático Radio 1 m Volumen = 1G = 10^9 1G = perdigones 1G = canicas 1G = balones

15 1 TeraByte = 1 TB Globo aerostático Radio 10 m Volumen = 1T = 10^12 1T = perdigones 1T = canicas 1T = balones 1T = hinchables

16 1 PetaByte = 1 PB Torrespaña ( El pirulí ) Radio 100 m Volumen = 1P = 10^15 1P = perdigones 1P = canicas 1P = balones 1P = hinchables 1P = globos aerostáticos

17 1 ExaByte = 1 EB Doble T4 Barajas Radio 1 km Volumen = 1E = 10^18 1E = perd 1E = canicas 1E = balones 1E = hinchables 1E = globos aerostáticos 1E = Torrespañas

18 1 ZettaByte = 1 ZB Medio Madrid Radio 10 km Volumen = 1Z = 10^21 1Z = perd 1Z = canicas 1Z = balones 1Z = hinchables 1Z = globos aerostáticos 1Z = Torrespañas 1Z = Dobles T4

19 Volumen en SHARP Simplificando el modelo de datos son registros con: Timestamp Id Variable Valor Calidad El tamaño del registro son bytes = 160 bytes

20 En SHARP en sencillo Periodo Registros bytes KB MB GB TB PB Año , Día , Hora , Minuto , Segundo , Grabando 1 registro al segundo no llega a 5GB al año

21 Si son 200 variables distintas Periodo Registros bytes KB MB GB TB PB Año ,00 0 Día ,00 0 Hora ,00 0 Minuto ,02 0 Segundo ,92 0 Grabando 200 variables al segundo ya es casi 1 TB al año

22 Y si son aerogeneradores? Periodo Registros bytes KB MB GB TB PB Año ,00 0,00 Día ,11 0,00 Hora , ,00 Minuto ,97 0,15 Segundo ,18 8,96 Grabando 200 variables al segundo para aerogeneradores ya es son casi 9 PB al año

23 Proyecto SHARP tiende a Big Data De momento está en formato piloto avanzado y en crecimiento para comprobar todos los procesos: 300 aerogeneradores 200 variables Datos agregados 10 minutales y cada 50 milisegundos cuando ocurre 1 alarma Futuro: Ampliaremos a todos los aerogeneradores (9.000) Todas las variables del aerogenerador Datos segundales, aunque para ciertos datos de Ingeniería será mayor Pero seguramente activaremos políticas de eliminación de datos antiguos

24 SHARP Datos Históricos MAGUS MAGUS Central Origen 1 Cargador Origen 2 Cargador Origen 3 Cargador Origen 4 Origen 6 Centros de Producción NoSQL Export DAT DAT DAT DAT Cargador Origen DAT Cargador DAT 5 DAT Cargador DAT Origen 7 Central Cargador Nube Hadoop DWH

25 Las 3 V típicas del Big Data Velocidad

26 Dos conceptos de velocidad Generación de datos Procesado de datos

27 La velocidad de generación de datos La velocidad de generación de datos aumenta cada año Cualquier gráfica que se dibuje tendrá forma casi exponencial Volumen de datos y Velocidad de adquisición i ió suelen ir muy relacionados

28 Qué ocurre en 1 minuto en internet? Cada 48 horas generamos tantos datos en Internet, como los que ha producido la humanidad desde el inicio de la civilización hasta el año 2003 La mayor parte de los datos existentes hoy en día se han generado en los últimos años BBVA Innovation Center Big Data Núm. 6 Junio 2013

29 La velocidad de procesado de datos Debemos ser capaces de analizar los datos cada vez más rápido, y en ciertos escenarios en tiempo real Se tiende a analizar todo, sin muestras, sin ETL Lanzar hipótesis contra los datos La capacidad de proceso de 1 máquina es limitada, por lo que es necesario paralelizar

30 Velocidad en SHARP De momento no es un factor crítico Generación: En fase inicial está pensado para trabajo en modo batch, con cargas diarias El crecimiento será progresivo, integrando nuevos modelos de aerogeneradores, y decidiendo d la frecuencia de grabación de cada variable La generación de datos será muy distribuida entre los aerogeneradores y será el punto central el que tenga que asumir el crecimiento Procesado: En el momento en que enlace con el proyecto MAGUS (Multi Assets Global Unified SCADA) interesará analizar en tiempo real Incluiremos un Procesador de Eventos Complejo (CEP)

31 Impacto de Volumen y Velocidad en la empresa La necesidad de manejar datos siempre ha existido, pero ahora la tecnología actual permite almacenar más datos y más rápido y procesarlos a costes menores. Ha llegado el momento del Big Data Quizás ahora no somos capaces de analizarlo, o no sabemos qué analizar, pero si lo almacenamos, en el futuro podremos explotarlo

32 La solución para la empresa Se satisface una necesidad a la vez que se genera otra, ya que deja de ser manejable el crecimiento on premise La solución es la nube porque permite un dimensionamiento elástico tanto en almacenamiento como en proceso, sin gran inversión inicial

33 Las 3 V típicas del Big Data Variedad

34 Adiós a los datos estructurados puros Los orígenes de datos se han multiplicado Se analiza lo no estructurado La llegada de aplicaciones i de gran consumo ha acelerado el proceso, y el resto nos aprovechamos Internet de las Cosas (IoT) es ya el próximo empujón BBVA Innovation Center Big Data Núm. 6 Junio 2013

35 Variedad en SHARP En SHARP seguimos trabajando en el área conocida: Datos estructurados Internos Pero con mezcla de bases de datos relacionales y nosql BBVA Innovation Center Big Data Núm. 6 Junio 2013

36 La V crítica del Big Data Veracidad

37 La Calidad del dato Disponer del dato correcto y fiable en el momento adecuado es clave De qué sirve tener mucho si no tiene calidad? Lo primero que ocurre siempre en un proyecto de análisis es la detección de errores en los datos (nulos, valores por defecto, errores en la aplicación origen ) Aunque de un gran volumen de datos podemos inferir relaciones, correlaciones, asociaciones de poco nos sirve si los datos de partida no son veraces

38 Veracidad en SHARP Al ser una generación automática el proceso está más controlado, al no haber factor humano En la fase inicial del proyecto se ha trabajado mucho en mejorar la calidad del dato Trabajo de meses depurando los procesos de validación ya que la casuística es muy variada Como ocurre siempre, detectamos errores llevando incluso a modificar el firmware de control de la turbina

39 La V más importante del Big Data Valor

40 Cómo se obtiene valor de los datos? Siendo capaces de aprovechar la experiencia pasada, basada en hechos, para tomar decisiones que afectan al futuro de la empresa Suele decirse: El encanto del Big Data es que con suficientes datos, la intuición humana deja de importar y los datos toman el control Dejemos hablar a los datos y dejemos de buscar la causalidad mientras los datos revelan las correlaciones Teniendo muchos datos es posible extraer información del conjunto, no del individuo Pero no es del todo cierto!!!

41 Qué pregunto a los datos? Ante esta potencia de análisis de gran volumen de datos, es muy importante el papel de quien los analiza. Quien analiza debe ser capaz de hablar el lenguaje de la empresa, por lo que es más fácil encontrarlos dentro que fuera. Cuanto más familiarizado esté con el negocio, más capaz será de hacer las preguntas correctas a los datos, y así encontrar las respuestas que necesita la empresa La sabiduría a está en los datos pero la inteligencia en las preguntas que se les hacen Nace el Científico de Datos

42 La toma de decisiones Los ordenadores analizan los datos, pero las personas deciden qué hacer con ellos El Big Data es un medio, no un fin en si mismo Algunas citas: Los datos son petróleo, pero hay que refinarlo Los datos son al nueva fiebre del oro pero es necesario minería para encontrar la información Datos + Análisis + Intuición = Acción

43 SHARP Análisis y Reporting Eventos BI CEP DWH Ofimática OLAP Tabular OLAP Tabular Informes Análisis Informes dinámicos Informes programados Distribución automática Multiformato (PDF, XLS, etc.) Centros de Producción Nube Central

44 Valor en SHARP Maximizar la producción minimizando los costes de fabricación y operación Analizar comportamientos de aerogeneradores, detectando automáticamente desviaciones del funcionamiento estándar Predicción de fallos mediante inteligencia artificial Mejorar el diseño de los aerogeneradores Optimización de operaciones de O&M

45 La V más bonita del Big Data Visualización

46 Cómo se presentan los resultados? Con tantos datos, caer en la infoxicación es fácil Presentar datos de manera visual y clara es tan importante como hallarlos Una visualización clara, efectiva y bonita puede acelerar la comprensión y la respuesta rápida ante los distintos escenarios Las nuevas tecnologías permiten cada vez gráficos más dinámicos i e interactivos, ti como cuadros de mando en tiempo real

47 Visualización en SHARP Dashboards Visualización dinámica Capacidad de análisis en manos de usuario final Muy gráfico Integrado con herramientas conocidas por el usuario Suscripción a informes: el usuario no necesita ir a buscar, si no que recibe cuando es necesario

48 BigDataseescribecon V escribe con

49 Gracias!