Comparando M2M Roaming Data con Map-Reduce

Transcripción

1 Comparando M2M Roaming Data con Map-Reduce Ana Flores 20-May-2014

2 What is M2M M2M o Machine to Machine: tecnologías que permiten a sistemas y dispositivos comunicarse con otros dispositivos con la misma habilidad. transformando el mundo con un nuevo concepto: Internet de las cosas (IOT) 2

3 ..Todo estará conectado a Internet. Connected car Fleet management Point of sales PoS in new business. Cost savings and mobility E-call ; b-call Personal Navigator Devices Pay-as-you-drive More control, tracking and less fuel consumption Utilities & Smart Metering More control and efficiency Less operating costs (telemetering) E-Health Tele-diasgnostics M2M Consumer electronics Mobility and unbiquity of contents and services (books, etc) Security Better services (real time, backup lines) Smart City Better prublic transport, more efficiency Vending machines Improves management and generates new oportunities. 3

4 Retos de M2M y Big- data En 2020 habrá más de 50 Billones de dispositivos conectados Big-data se focalizará más en el procesamiento de datos de dispositivos que en el de personas 4

5 Cual era nuestro problema? Visited MSC- VLR Operator Network Local CDRs Local CDRs Rating for Account invoices Jasper Control Center TAP Files Roaming OUT Litigados DB SOTA Mediation System ROA files Voice Roaming OUT CDRs How Compare CDRS Roaming? Voice Usage JPO files Local + Roaming CDRs SORO Mediation System Minerva DB SORO-SOTA BBDD Manual CDRs selection Telefónica Billing Platforms

6 Cual era nuestro problema (II)? Problema 2 =pos de ficheros de CDRS de M2M de roaming Out JPO (Jasper) y Minerva (ROA) Formato de los ficheros CDRS es dis=nto Campos dis=ntos Orden de los campos es dis=ntos Campos comunes no siguen el mismo esquema ObjeEvo: CDRS de M2M procesados por Minerva y no por Jasper y viceversa? CDRS procesados por duplicado?

7 Big- data: Map- Reduce Paradigma de programación de procesamiento de datos en paralelo Aplica la técnica de divide y vencerás. Dividir un problema grande en pequeñas tareas independientes ejecutables en paralelo (en diferentes procesos y en una o múl=ples máquinas). Combinación de operaciones Map y Reduce.

8 Map- Reduce: Nuestra solución (I) Cómo: DUMBO: Implem Python de Map Reduce Procesamiento en una única máquina Sin Usar Hadoop Volumen de datos: 1 GB por Mes Campos comunes (IMSI, Duración llamada, Fecha.). Clave de comparación - > Reducer Pero campos comunes no tenían mismo esquema Fecha: JPO formato UTC, ROA formato CET Duración llamada : JPO duración en segundos, ROA formato HHMMSS Normalización de la datos- > en 2 Mapper

9 Ficheros ROA (Minerva) Map- Reduce: Nuestra solución (II) Key =Date-Imsi-duration Key =Date-Imsi-duration REDUCE+ SPLITFILES OUTPUT Key en F_ROA=1 y en F_JPO=1? IGNORE MAP ROA In.roa.not.in.jpo.txt: REDUCE+ fila fichero SPLITFILES Key en F_ROA y no en F_JPO? fila fichero fila fichero Mover Datos REDUCE+ SPLITFILES Ficheros JPO (Jasper) MAP JPO Key=Date-Imsi-duration REDUCE + SPLITFILES REDUCE + SPLITFILES in.jpo.not.in.roa.txt: Key en F_JPO y no en F_ROA? fila fichero Key en F_ROA>1 o en F_JPO>1? Repeat.txt Área Razão Social 9

10 Preguntas? Gracias por su atención Preguntas / Comentarios Información de Contacto: Ana Flores Cuadrado Telefónica Investigación y Desarrollo