ANÁLISIS DE SOLUCIONES PARA LA IMPLEMENTACIÓN DE UNA PLATAFORMA BIG DATA

Transcripción

1 ANÁLISIS DE SOLUCIONES PARA LA IMPLEMENTACIÓN DE UNA PLATAFORMA BIG DATA Autora: Lizaso Barrera, Natalia. Directores: Mario Tenés y Sonia García. Entidad Colaboradora: VASS. RESUMEN DEL PROYECTO Hoy en día, los datos generados por humanos y por máquinas están siendo creados a un ritmo inimaginable. En los próximos años, millones de usuarios estarán conectándose a Internet con dispositivos inteligentes y por tanto, generando nueva información digital. En esta nueva era es donde nace el concepto del Big Data. Es por ello, que en este proyecto se ha tratado de analizar las diferentes soluciones que se pueden adoptar en una empresa para la implementación de una plataforma Big Data que permita analizar toda esta enorme cantidad de información de una manera más eficaz y obteniendo un valor relevante para el negocio. Palabras clave: Arquitectura, Big Data, Datos, Hadoop, Plataforma, Análisis 1. Introducción En este proyecto se realiza una aproximación al Big Data, llevando a cabo un estudio de las diferentes soluciones posibles en las distintas situaciones que pueden sucederse en el negocio. Por último, se ofrecen tres escenarios con una plataforma Big Data que incluye herramientas Hadoop, siendo más adecuada la utilización de cada uno según los requisitos de la empresa. 2. Descripción del trabajo realizado A lo largo del desarrollo del proyecto, se ha realizado un estudio exhaustivo del Big Data, comenzando por una aproximación a esta nueva forma de analizar datos, comprendiendo, en primer lugar, el método tradicional utilizado en las empresas.

2 La siguiente fase consistió en identificar los principales problemas existentes hoy en día para poder entender las ventajas que Big Data podría proporcionar. A continuación, se estudiaron los seis casos de uso del Big Data de manera genérica, puesto que puede ser aplicable a cualquier tipo de negocio o entorno. Tras la finalización de las secciones anteriores, se procede a definir las adaptaciones necesarias en una empresa para migrar el BI al Big Data. Pero para llevar a cabo lo anteriormente descrito, es necesario conocer las fases e hitos que deben seguirse con el fin de lograr los objetivos con éxito. Por ello, se definió una guía de buenas prácticas y pasos a seguir. Como parte principal del desarrollo, se compararon las diferentes soluciones existentes para implementar una arquitectura Big Data, definiéndola más en detalle según las necesidades del negocio, así como un estudio de las principales herramientas Hadoop. Por último, para concretar unos resultados más específicos, se crearon tres escenarios en los que se exponen tres situaciones distintas pero comunes en los negocios, para proponer una solución abierta según los requisitos de la empresa. 3. Resultados Los resultados obtenidos se resumen en tres escenarios diferentes. Escenario 1: Implementación con Cloudera Este escenario tratará de recrear una situación en la que los requisitos clave del negocio son la búsqueda de una solución bien posicionada en el mercado, con experiencia de varios años y que, por tanto, asegura a la empresa que funcionará de manera correcta. Además, la fuente de datos será proveniente de redes sociales, una característica propia del Big Data hoy en día. Por último, como todas las soluciones en este proyecto, el coste debe ser nulo. Escenario 2: Implementación con Hortonworks En este caso la situación se va a tratar de un entorno en el que lo primordial es la capacidad de experimentación e investigación. Así, los requisitos clave del negocio serán la innovación, intentado crear una solución personalizable para lo cual es necesario que la plataforma sea lo más abierta posible. La fuente de información podrá

3 proceder de datos empresariales que el cliente aporta o de redes sociales y se procurará que el análisis sea en tiempo prácticamente real. Escenario 3: Implementación con MapR Al implementar una plataforma con MapR se debe tener en cuenta que el objetivo es aumentar la tolerancia a fallos y la disponibilidad, mientras que la productividad no será una de las características críticas. Otra de las ventajas que induce MapR es el poder de la innovación, ya que se trata de una solución más moderna y con menos implementación en el mercado, por lo que pueden descubrirse nuevas funcionalidades y mejoras. El objetivo principal será preservar el sistema sin que se produzcan caídas, teniendo normalmente, información relevante para la empresa, a la que los usuarios deben poder acceder en todo momento. 4. Conclusiones Como conclusión clara, se ha comprendido que el mundo del Big Data es muy amplio en cuanto a posibilidades y oportunidades, pero debe acotarse de manera adecuada para que su utilización llegue a aportar grandes beneficios. Por eso, es necesario un incremento en la formación de expertos en este tema, uno de los principales problemas existentes por el cual el Big Data puede llegar a fallar en un negocio. Por otro lado, el hecho de cambiar la forma en la que la empresa trabaja hoy en día con los datos, no quiere decir que todos los métodos tradicionales utilizados hasta ahora tengan que sustituirse, si no que se debe adaptar de manera incremental, llegando a establecer en qué casos realmente merece la pena. 5. Referencias [1] Rozas, Wolfram. Casos de uso de Big Data, Octubre [2] Conceptos básicos de Big Data, TRC. [3] Análisis de Big Data, EMC. [4] Big Data Consumer Guide, Open Data Center Alliance. [5] The Apache Software Foundation, Apache.

4

5 SOLUTIONS FOR THE IMPLEMENTATION OF A BIG DATA ANALYTICS PLATFORM Author: Lizaso Barrera, Natalia. Supervisor: Mario Tenés and Sonia García. Collaborating Entity: VASS. ABSTRACT Nowadays, data generated by humans and machines are being created at an unimaginable pace. In the following decades, millions of users will be connected to the Internet with smart devices and thus generating new digital information. In this new era is where the concept of Big Data takes and important role. Regarding this reason, in this project, there have been studied the different solutions that can be adopted in a company in order to implement a Big Data analytics platform to analyze all the huge amount of information more effectively and obtain relevant value information for business. Key words: Architecture, Big Data, Data, Hadoop, Platform, Analysis 1. Introduction In this project, an approach to Big Data is done by carrying out a study of the available alternatives in different situations that can succeed in business. Finally, three different cases are described, including an analytics platform with Hadoop Tools, each one being more appropriate to use according to the requirements a company want to achieve. 2. Description of work Throughout the Project, it has been made an exhaustive study of Big Data, beginning with an approach to this new way of analyzing data and then understanding the traditional methods used in firms. The next phase was to identify the main problems nowadays in order to outline the advantages that Big Data is able to provide. Then, six use of cases of Big Data were studied, as some of them may be applicable to any type of business or industry.

6 After the completion of the previous sections, it is proceed to define the necessary adjustments or changes needed in a company to migrate from BI to Big Data. In addition, it is fundamental to know the phases and requirements that must be followed in order to achieve the objectives successfully. Therefore, a guide with best practices and steps is defined. The principal part of the development is composed by the existing solutions which are compared to implement an architecture, each one defined depending on the business needs, as well as a study of the most important Hadoop tools. Finally, with the aim of offering a more specific result, there are three cases proposed, in which three different situations are discussed to help companies to choose the best one according to their objectives. 3. Results The final results are summarized in the following cases: Case 1: Implementation with Cloudera This case will try to recreate a situation in which the key requirements of business are seeking a well-positioned solution on the market with several years of experience and thus ensures the company will work correctly. Furthermore, the data source will be from social networks, a main characteristic of Big Data. Finally, as all solutions in this project, the cost should be zero. Case 2: Implementation with Hortonworks In this case the situation is setting the key element in the capacity for experimentation and research. Thus, the business requirements will be innovation, trying to create a custom solution for which is necessary a platform as open as possible. The information source may proceed from enterprise data provided by the client or social networks and it will need to be ensured that the analysis is in almost real time. Case 3: Implementation with MapR Implementing a platform with MapR means that the goal is to increase fault tolerance and availability, while productivity will not be a critical feature. Another

7 advantage that introduces MapR is the power of innovation, since it is a modern solution less studied, so it is possible to discover new features and improvements. The main objective is to preserve the system without having any errors, including relevant information for the company, which users should have access at any time they need. 4. Conclusions As a clear conclusion, it can be said that the world of Big Data is very broad in terms of possibilities and opportunities, but must be dimensioned appropriately to bring great benefits with it use. Therefore, it is necessary an increase in the training of experts in this area, one of the main problems why Big Data might fail in a company. On the other hand, the fact that the way a company works with data is changed, does not mean that all the traditional methods used so far have to be replaced, but it must try to adapt increasingly, establishing in which cases really worth it. 5. References [1] Rozas, Wolfram. Casos de uso de Big Data, Octubre [2] Conceptos básicos de Big Data, TRC. [3] Análisis de Big Data, EMC. [4] Holmes, Alex. Hadoop in practice. [5] Big Data Consumer Guide, Open Data Center Alliance. [6] The Apache Software Foundation, Apache.

8

9