XDR. Big Data solution.

Transcripción

1 XDR Big Data solution.

2 Objetivo Principal Xdr es una solución que utiliza una arquitectura sencilla, de bajo costo y totalmente integrada a la infraestructura de los negocios de las empresas de Telecomunicaciones. Las empresas de Telecomunicaciones y actividades de Internet están siendo requeridas con gran frecuencia con pedidos de reportes de los XDRs (registros de comunicaciones y servicios de Internet) abarcando largos intervalos de tiempo (puede abarcar muchos meses o incluso años) lo que demanda la disponibilidad inmediata de los datos históricos. Estos pedidos son efectuados por el órgano del gobierno (poder Judicial, Policía, etc.) y son soportados por la reglamentación. Ante eso las empresas necesitan estar preparadas para ofrecer: Detalles del tráfico de informaciones (VOZ, MMS, GPRS) de los clientes. En algunos casos proveer la retención de hasta 10 años de datos históricos. Proveer informaciones de servicios basados en IP (IP- Services). Todos estos pedidos necesitan ser hechos con seguridad y estar disponibles para auditorias en las requisiciones. El costo de adaptación de los sistemas para la retención de datos históricos de los clientes es substancial mientras la implementación de soluciones genéricas cumples los objetivos y los requerimientos casi de inmediato minimizando cualquier penalidad potencial. Abajo la secuencia y lógica de procesamientos de los XDRs: Los XDR s son convertidos en un formato único que contiene la información requerida incluyendo los diversos tipos de archivos (SMS/MMS, GPRS, VOZ FIXO, VOZ MÓVIL, IP-SERVICES). En seguida los archivos son transferidos a un Servidor Windows. Un programa batch que se ejecuta en el servidor Windows comienza la compresión de los datos utilizando algoritmos con alta tasa de compresión (disminuyendo en cerca de 87% el tamaño de los archivos originales). En modo batch estos archivos continúan siendo manipulados con acciones como eliminación de XDR s duplicados y agrupamiento por cliente disminuyendo aún más el tamaño de los archivos. Los archivos compactados están en un formato ilegible lo que hace imposible la consulta fuera del módulo de Consulta xdrsearch. 02

3 características principales Que sería lo más importante para un producto que busca tera o incluso petabytes de datos históricos? Podemos afirmar que es la tasa de compresión y en seguida, la velocidad para buscar dichos datos (ruptura del secreto). Xdr tiene las siguientes características en cuanto estos requisitos sean concernientes: La compresión puede alcanzar el 87% del tamaño original del archivo, esto es, un archivo de 100 bytes es guardado con tan solo 13 bytes. Esto es una relevante reducción en cuanto a consumo de espacio de almacenamiento, lo que significa ganancias. La velocidad de búsqueda de un mes de archivos XDR para cualquier año o período para cualquier cliente es siempre cercano a 1 segundo, esto significa que el resultado de la búsqueda es inmediata. Aparte de eso, la solución fue desarrollada usando algoritmos robustos que se ejecutan en pequeños servidores, máquinas no demandantes de procesadores muy poderosos o cientos de gigas de memoria RAM. Por lo tanto, la estructura del programa es simple, lo que resulta en bajos costos de mantenimiento e implementación. Esto combinado con un una alta tasa de compresión ayuda a bajar los costos aún más en términos de almacenamiento, y de tiempo ya que la aplicación no demandará el uso frecuente del disco duro. Toda el histórico de datos de los XDR s, no importando el número de años almacenados, siempre estará en línea. La administración de datos más recientes (o datos antiguos) con cierto tipo de compresión (o incluso sin compresión) no es necesaria. Toda la información está comprimida y lista para ser consultada independientemente del período. 03

4 overview de la arquitectura Mediacion XdrWeb Traslado por FTP Voz Fija GSM MMS SMS GPRS Consulta y visualiza XdrStorer 1 - Compacta 2 - Ordena y Agrupa 3 - Checa Duplicidad 4 - Indexa 5 - Transfiere Storage El sistema Xdr está formado por los siguientes tres componentes: XdrSender XdrStorer XdrWeb Mediación es típicamente la interfaz principal en cual XdrStore trabaja y suministrará los distintos tipos de archivos requeridos a ser almacenados. Módulos XdrSender The XdrSender software is the one that searches directly in the compacted data (in the Application Server itself or in Storages) bringing it to the Client station and then processing the de-compressing process in the local station. So, it does not carry out the de-compacting process in the server that stores the files. Security: The system does the management of the users (including the Administrator) and of the researched data with a simple and intuitive interface which includes: Login validation. Search of results and demonstration of the values by profile (some of the users may see all the fields, others may not). Trace reports by users including researches carried out and criteria used. 04

5 Módulos XdrStorer El programa XdrStorer es el que efectuará la compresión y manejo de los archivos transferidos y convertidos a una estructura individual por el LOADER. Después de comprimir el archivo, será almacenado en el mismo Servidor de Aplicación o en distintos Storages. Este programa no solamente aplica la compresión y almacena los archivos, también los modifica. Este proceso está dividido en tres fases: Fase 1: En esta fase, el programa solo comprime y transfiere los archivos al directorio destino. Fase 2: En esta fase, el programa recoge los archivos comprimidos y ordena los clientes dentro del archivo para mejorar la rapidez de las búsquedas. Todos los procesos hechos en estas etapas son guardadas en un log y pueden ser evaluadas e impresas. Aparte de esto, el sistema puede mostrar señales de alerta si hay algún problema en una de estas fases dando un reporte detallado de que ocurrió. Undup: En esta fase, el programa valida las duplicidades (las reglas de duplicidad son hechas por la operadora), y las organiza en bloques (esto usualmente es hecho por las noches). Pero aún teniendo esta opción activada, el programa xdrsearch evalúa en línea si hay duplicidad de CDR s y no los muestra si llega a encontrar alguna. XdrWeb El programa XdrWeb recibirá todos los archivos del mediador, los validará conforme a la estructura de cada tipo de archivo y los transformará en un estructura individual. A continuación, transferirá estos archivos al servidor de Aplicación. El programa LOADER es capaz de procesar simultáneamente varios archivos al ejecutarse en paralelo. 05

6 CONCLUSIóN El software Xdr fue desarrollado en orden de alcanzar los requerimientos de las compañías de telecomunicaciones para la retención de datos. Es una solución que ofrece un rendimiento inigualable con una tasa de compresión incomparable. También requiere baja inversión en equipos y ejecución. Es definitivamente la solución certera y completa que alcanzará las metas y requerimientos deseados en una única vez. Rua DOS Timbiras, andar Belo horizonte - Minas Gerais - Brasil contacto@telecomassociates.com.br tel.: