Madrid Python Meetup PYTHON Y FLINK

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Madrid Python Meetup PYTHON Y FLINK"

Jorge Duarte Iglesias
hace 6 años
Vistas:

Madrid Python Meetup PYTHON Y FLINK GMV, 2016

2 ÍNDICE INTRODUCCIÓN APACHE FLINK EXPERIENCIA PYTHON CONCLUSIONES Madrid Python Meetup 2016/03/10 Página 2

3 QUIÉNES SOMOS? GMV

QUIÉNES SOMOS UN GRUPO TECNOLÓGICO GLOBAL Grupo multinacional

100 empleados Aeronáutica, Espacio, Defensa, Seguridad,

Información y la Comunicación Fundado en 1984 Capital privado

defensa Ingeniería, desarrollo e integración de sistemas,

4 QUIÉNES SOMOS UN GRUPO TECNOLÓGICO GLOBAL Grupo multinacional tecnológico Sede principal en España (Madrid) Más de empleados Aeronáutica, Espacio, Defensa, Seguridad, Sanidad, Transporte, Banca y finanzas, y Tecnologías de la Información y la Comunicación Fundado en 1984 Capital privado Oficinas en 10 países Origen vinculado al sector espacial y defensa Ingeniería, desarrollo e integración de sistemas, software, hardware, servicios y productos especializados Madrid Python Meetup 2016/03/10 Página 4

5 INTRODUCCIÓN

6 INTRODUCCIÓN ACLARACIONES Apache Flink no es un servidor web ni un jefe indio No vamos a contar palabras Qué sabéis de Big Data? Madrid Python Meetup 2016/03/10 Página 8

7 POR QUÉ APACHE FLINK? MADUREZ DEL BIGDATA Streaming Procesar Almacenar Descartar Madrid Python Meetup 2016/03/10 Página 9

8 POR QUÉ APACHE FLINK? ARQUITECTURA TÍPICA Data adquisition Stream Processing Serving DB Es común almacenar también la información en crudo La base de la arquitectura suele ser un clúster con HDFS Madrid Python Meetup 2016/03/10 Página 10

9 POR QUÉ APACHE FLINK? DESPLIEGUE Clúster de Kafka Clúster de HDFS + Flink K1 K2 Kn C1 C2 C3 M1 W4 W1 W2 W5 W3 W6 C4 C5 C6 Wn Clúster de Cassandra Madrid Python Meetup 2016/03/10 Página 11

10 POR QUÉ APACHE FLINK?

11 POR QUÉ APACHE FLINK? APACHE FLINK El core de Flink es un motor de procesamiento de flujos de datos en streaming. Proporciona distribución de los datos, comunicación y tolerancia a fallos para realizar computación distribuida con streams de datos. Sobre ese core se han desarollado dos API y varias librerías en Scala, Java y Python Madrid Python Meetup 2016/03/10 Página 13

12 FLINK: CARACTERÍSTICAS DIFERENCIADORAS VENTANAS 2s s Ventanas temporales stream.timewindowall(time.seconds(1)). sum(); Ventanas deslizantes stream.timewindowall(time.seconds(1),t ime.milliseconds(500)).sum(); Madrid Python Meetup 2016/03/10 Página 14

13 FLINK: CARACTERÍSTICAS DIFERENCIADORAS VENTANAS POR CLAVE 2s 1s (A,5) (B,2) (A,6) (C,3) (C,7) (A,5) (B,3) (C,8) (B,2) (A,1) (C,9) (B,4) Ventanas fijas por clave (A,5) (A,6) (A,5) (A,1) (B,2) (B,3) (B,2) (B,4) (C,3) (C,7) (C,8) (C,9) (A,11)(B,2)(C,3) (A,5)(B,3)(C,15) (A,1)(B,6)(C,9) stream.keyby(0).timewindow (Time.seconds(1)).sum(1) Ventanas por número de elementos (A,5) (A,6) (A,5) (A,1) (B,2) (B,3) (B,2) (B,4) (C,3) (C,7) (C,8) (C,9) (A,11)(B,5) (C,10) (A,6) (C,17) (B,6) stream.keyby(0).countwindow( 2).sum(1) Madrid Python Meetup 2016/03/10 Página 15

14 DATASTREAM API TRIGGERS Y EVICTORS Triggers A Pueden cancelar el procesado de los elementos de una ventana Permiten adelantar el procesado de una ventana Evictors Podemos controlar los elementos que llegan de las ventanas antes de evaluarlos Madrid Python Meetup 2016/03/10 Página 16

15 DATASTREAM API EL TIEMPO ES IMPORTANTE Qué tiempo utilizar para construir las ventanas? El momento en el que se generó el evento El momento en que se procesa el evento El momento en que se recibe el evento Flink maneja relojes diferentes para cada uno de ellos Madrid Python Meetup 2016/03/10 Página 17

16 COMPARATIVA RENDIMIENTO Lo deseable es mantener un alto caudal con una latencia baja Flink permite ajustar los tamaños de los buffers internos para aumentar el caudal a costa de aumentar la latencia y viceversa. Madrid Python Meetup 2016/03/10 Página 18

COMPARATIVA FUNCIONALIDADES Streaming true mini batches true API low-level high-level high-level Fault tolerance tuple-level ACKs RDD-based (lineage) coarse checkpointing State not built-in

17 COMPARATIVA FUNCIONALIDADES Streaming true mini batches true API low-level high-level high-level Fault tolerance tuple-level ACKs RDD-based (lineage) coarse checkpointing State not built-in external internal Exactly once at least once exactly once exactly once Windowing not built-in restricted flexible Latency low medium low Throughput medium high high Madrid Python Meetup 2016/03/10 Página 19

18 EXPERIENCIA CON PYTHON

19 EXPERIENCIA CON PYTHON SEGÚN LA DOCUMENTACIÓN La mayoría de las API no están disponibles. No está disponible la API para Streams!! El API para procesado en batch tiene todas las operaciones (alguna más que en scala) Los conectores de E/S son muchos menos y con menos opciones Madrid Python Meetup 2016/03/10 Página 21

20 EXPERIENCIA CON PYTHON PRUEBA BÁSICA class Adder(GroupReduceFunction): def reduce(self, iterator, collector): count, event = iterator.next() count += sum([x[0] for x in iterator]) collector.collect((event, count)) data \.map(lambda x: (1, x[5])) \.group_by(1) \.reduce_group(adder()) \.map(lambda x: 'Event: %s. Freq: %s' % (x[0],x[1]))\.write_text(output_file,write_mode=writemode.overwrite) if name == " main ": output_file = 'out.txt' env = get_environment() data = env.read_csv("/home/jordi/development/pythonflink/final-dataset.csv",\ (INT, STRING, STRING, STRING, STRING, STRING, STRING, STRING, BOOL, BOOL, INT, INT, INT, INT, STRING, INT, INT, STRING, STRING, FLOAT, FLOAT, STRING)) env.execute(local=true) El rendimiento es más bajo que el mismo programa en scala. Levanta un intérprete Python que envía el código al core de Flink Madrid Python Meetup 2016/03/10 Página 22

21 EXPERIENCIA CON PYTHON POCA ACIVIDAD El último commit de la parte de Python fue hace varios meses: En proporción, hay muy poco código Python: Madrid Python Meetup 2016/03/10 Página 23

22 EXPERIENCIA CON PYTHON CONCLUSIONES Madrid Python Meetup 2016/03/10 Página 24

23 GRACIAS José Carlos Baquero Pablo González Jordi Redondo

24 BACKUP SLIDES GMV

25 PERFORMANCE TERASORT Terasort es una prueba para medir el rendimiento de tecnologías BigData. Se trata de ordenar 1 Tb de datos (o más) en el menor tiempo posible Madrid Python Meetup 2016/03/10 Página 51

PERFORMANCE TERASORT http://eastcirclek.blogspot.com.

26 PERFORMANCE TERASORT Madrid Python Meetup 2016/03/10 Página 52

PERFORMANCE STREAMING - YAHOO The job of the benchmark is to read various JSON events from Kafka, identify the relevant events, and store a windowed count of

27 PERFORMANCE STREAMING - YAHOO The job of the benchmark is to read various JSON events from Kafka, identify the relevant events, and store a windowed count of relevant events per campaign into Redis. Madrid Python Meetup 2016/03/10 Página 53

PERFORMANCE STREAMING - YAHOO https://yahooeng.tumblr.

28 PERFORMANCE STREAMING - YAHOO Madrid Python Meetup 2016/03/10 Página 54

29 PERFORMANCE STREAMING - YAHOO Madrid Python Meetup 2016/03/10 Página 55

30 VENTANAS CONSTRUCCIÓN DE VENTANAS Madrid Python Meetup 2016/03/10 Página 56

31 VENTANAS CONSTRUCCIÓN DE VENTANAS Madrid Python Meetup 2016/03/10 Página 57

Documentos relacionados

BIG DATA: Una mirada tecnológica

BIG DATA: Una mirada tecnológica Dr. Rubén Casado ruben.casado@treelogic.com @ruben_casado AGENDA 1. Qué y cómo es Big Data? 2. Batch processing 3. Real-time processing 4. Hybrid computation model 5. Casos