Evaluación de MapReduce, Pig y Hive, sobre la plataforma Hadoop

Transcripción

1 Informe de materia de graduación Evaluación de MapReduce, Pig y Hive, sobre la plataforma Hadoop Franklin Parrales Bravo Marco Calle Jaramillo

2 Contenido o Herramientas o Motivación o Servicios y herramientas usadas o Esquema o Resultados o Conclusiones y Recomendaciones

3 Herramientas o Hive o Pig o Java nativo(hadoop)

4 Contenido o Herramientas o Motivación o Servicios y herramientas usadas o Esquema o Resultados o Conclusiones y Recomendaciones

5 Motivación Cuál de las herramientas anteriormente mencionadas es más adecuada para el procesamiento masivo de datos?

6 Contenido o Herramientas o Motivación o Servicios y herramientas usadas o Esquema o Resultados o Conclusiones y Recomendaciones

7 Servicios y herramientas usadas o Hadoop 0.18, Pig 0.5, Hive o Imagen Fedora de Cloudera que nos provee Amazon Machine Image (AMI). o Elastic Computing Cloud (EC2) y Simple Storage Service (S3) de AWS (Amazon Web Services)

8 Contenido o Herramientas o Motivación o Servicios y herramientas usadas o Esquema o Resultados o Conclusiones y Recomendaciones

9 Esquema Log de actividades de Apache Web Server Apache Web Server Genera Son cargados a Pig Ejecución de procesos MapReduce Obtención de reportes y evaluación de tiempo de ejecución 1. Conteo de direcciones IP 2. Identificar fechas de eventos de advertencia o error 3. Identificación de la página que más veces no ha sido hallada, y la hora a la que más veces no se la halló

10 Contenido o Herramientas o Motivación o Servicios y herramientas usadas o Esquema o Resultados o Conclusiones y Recomendaciones

11 Comparación de las tres herramientas por cantidad de nodos Nodos Consulta Consulta Consulta Nodos Consulta Consulta Consulta Nodos Consulta Consulta Consulta

12 Comparación de herramientas en la primera consulta Primera consulta Tiempo(Segundos) Cantidad de nodos Hadoop Pig Hive Tiempo(Segundos) Primera consulta Hadoop Pig Cantidad de nodos

13 Comparación de herramientas en la segunda consulta Segunda consulta Tiempo(Segundos) Hadoop Pig Hive Cantidad de Nodos Segunda consulta Tiempo(Segundos) Hadoop Pig Cantidad de Nodos

14 Comparación de herramientas en la tercera consulta Tercera consulta Tiempo(Segundos) Hadoop Pig Hive Tercera consulta Cantidad de nodos Tiempo(Segundos) Hadoop Pig Cantidad de nodos

15 Comparación de las tres herramientas por cantidad de nodos Hadoop Correlación Significancia estadística Consulta E-06 Consulta E-07 Consulta E-07 Pig Correlación Significancia estadística Consulta E-14 Consulta E-06 Consulta E-13 Hive Correlación Significancia estadística Consulta E-11 Consulta E-08 Consulta E-08

16 Comparación de las tres herramientas por tamaño del Apache Log Tamaño del Log (MB) Hive Pig Java Nativo (Hadoop) Tamaño del Log (MB) Hive Pig Java Nativo (Hadoop) Tamaño del Log (MB) Hive Pig Java Nativo (Hadoop)

17 Comparación de las tres herramientas por tamaño del Apache Log Rendimiento de herramientas en las tres consultas Hive Consulta3 Pig Consulta3 Tiempo(Segundos) Tamaño del Apache Log Java Nativo (Hadoop) Consulta3 Hive Consulta2 Pig Consulta2 Java Nativo (Hadoop) Consulta2 Hive Consulta1 Pig Consulta1 Java Nativo (Hadoop) Consulta1

18 Comparación de las tres herramientas por tamaño del Apache Log Rendimiento de herramientas en las tres consultas Pig Consulta3 Tiempo(Segundos) Tamaño del Apache Log Java Nativo (Hadoop) Consulta3 Pig Consulta2 Java Nativo (Hadoop) Consulta2 Pig Consulta1 Java Nativo (Hadoop) Consulta1

19 Comparación de las tres herramientas por tamaño del Apache Log Hadoop Correlación Significancia estadística Consulta Consulta E-06 Consulta E-02 Pig Correlación Significancia estadística Consulta Consulta E-02 Consulta E-01 Hive Correlación Significancia estadística Consulta E-07 Consulta E-04 Consulta E-07

20 Contenido o Herramientas o Motivación o Servicios y herramientas usadas o Esquema o Resultados o Conclusiones y Recomendaciones

21 Conclusiones o Pig es fácil aprender y es rápido. o Hive usa sentencias parecidas a SQL pero se necesita de mas nodos para que tome menor tiempo. o Java nativo de Hadoop permite maximizar el excelente uso de recursos, para obtener el resultado más óptimo, pero sacrifica: Facilidad en escritura de código Tiempo empleado en la implementación de la solución

22 Conclusiones o Es importante hacer notar que la consulta 3, es mucho más lento en Hive y Pig que las otras consultas, pero no así en Java nativo, ya que en este caso la consulta 1 es ligeramente más lenta que las otras.

23 Recomendaciones o A menos que sea de vital importancia el tiempo, es mejor elegir a Pig por Facilidad de código No demora mucho o Tareas sobre logs del orden de Gigabytes, usar solamente diez nodos dependiendo de la tarea ya que sería un desperdicio de recursos.

24 Informe de materia de graduación Evaluación de MapReduce, Pig y Hive, sobre la plataforma Hadoop Franklin Parrales Bravo Marco Calle Jaramillo

25 ANEXOS Evaluación de MapReduce, Pig y Hive, sobre la plataforma Hadoop Franklin Parrales Bravo Marco Calle Jaramillo

26 Información de la IP que más ha visitado el servidor Dirección ip Número de veces

27 Información de la hora a la que se han producido la mayor cantidad de errores en el servidor Hora Número de veces

28 Información de la página o recurso que más veces ha producido error y a qué hora lo ha generado más veces Página Número de veces /templates/fiec_inicio_template/css/template_css.css 2776 Volvemos a consultar los Logs de actividades de Apache Web Server por el recurso Hora Número de veces

29 Consultas sobre Java nativo en Hadoop Nodos Consulta Consulta Consulta Tiempo(Segundos) Consultas sobre Java nativo de Hadoop Cantidad de nodos Consulta 1 Consulta 2 Consulta 3

30 Consultas sobre Pig Nodos Consulta Consulta Consulta Consultas sobre Pig 250 Tiempo(Segundos) Consulta 1 Consulta 2 Consulta Cantidad de nodos

31 Consultas sobre Hive Nodos Consulta Consulta Consulta Tiempo(Segundos) Consultas sobre Hive Cantidad de nodos Consulta 1 Consulta 2 Consulta 3