BIG DATA 1. DESPLIEGUE DE LA DISTRIBUCIÓN CLOUDERA

Transcripción

1 I+D+i DESPLIEGUE Y PRUEBAS EN EL SERVIDOR BIG DATA Autr: Oliver O. 1. DESPLIEGUE DE LA DISTRIBUCIÓN CLOUDERA Cm se explicaba en el artícul anterir (Cnclusines del Pryect BIG DATA) una vez cnfigurad el clúster cn la versión de Ubuntu y tras la instalación y cnfiguración de la distribución de BIG DATA prprcinada pr Cludera, el siguiente pas es el despliegue de dicha distribución en el clúster, para l que Cludera prprcina un interface gráfic pr medi de un navegadr web, l que facilitará en gran medida el trabaj a partir de este punt. indicar qué despliegue se desea realizar, en nuestr cas Cludera Standard, qué cnfiguración del clúster se desea utilizar, seleccinand en nuestr cas de un namende y de cinc datandes (tds ls nds dispnibles del clúster). Tras est, se pregunta el tip de servici que se desea instalar inicialmente, seleccinand Hadp Cre (que incluye HDFS, MapReduce, Zkeeper, Ozie, Hive y Hue). Cn ests dats se finalizará la cnfiguración del clúster y se realizará la instalación de ls servicis seleccinads: Nada más acceder a la interface, se muestra un menú en el que se debe HDFS MAPREDUCE ZOOKEEPER HIVE Hadp Distributed File System, está diseñad para almacenar de frma fiable archivs muy grandes a través de las máquinas en un clúster grande. Es el mdel de prgramación para Hadp, hay prcess map y prcess reduce. Ests prcess generalmente están desarrllads en Java, aunque se pueden utilizar trs lenguajes mediante una utilidad llamada Hadp Streaming. Administra la sincrnización del clúster, aunque es una herramienta que está crriend en backgrund y sbre la que n se accede de frma directa. Prprcina un lenguaje similar a SQL llamad HiveQL que puede transfrmarse en trabajs MapReduce. N permite beneficiarse de un cmplet entrn ANSI-SQL, per sí frece una escalabilidad multipetabyte. HUE Ofrece una interfaz gráfica basada en navegadr web para hacer su trabaj en Hive. OOZIE Administra el fluj de trabaj Hadp. Est n reemplaza el planificadr herramientas BPM, per prprcina ramificación if-then-else y cntrl dentr de ls trabajs Hadp.

2 IG DATA Una vez finalizad el despliegue en el clúster, se muestra una pantalla principal dnde aparecerán tds ls servicis desplegads y el estad de ls misms, debiend asegurarns que n se hayan prducid errres warnings durante dich despliegue, slventándls en cas de haberse prducid. FlumeNG: Es un cargadr en tiemp real para el streaming de dats en Hadp. Almacena dats en HDFS y HBase. Ofrece una mejra sbre la herramienta Flume inicial. Al igual que antes, una vez instalad cada servici la herramienta indica que servicis hay que reiniciar, siend necesari finalmente realizar un nuev despliegue del clúster para que se apliquen crrectamente tds ls cambis de cnfiguración realizads. En nuestr cas, tuvims que realizar tres ajustes en la cnfiguración: El tamañ del heap del prces de Java: hub que mdificarl a ls valres pr defect (1Gb). La velcidad del interface de red: aunque pr defect viene a Gigabit hub que ajustarl a fast. Impala n presente en Hue: hub que acceder a la cnfiguración de Hue y marcar la pción de Impala Service a nne. Para cada una de estas mdificacines, la herramienta indica qué servicis se necesitan reiniciar si es precis realizar un nuev despliegue para que se apliquen ls cambis. Finalmente, se btendrá una pantalla principal sin alertas ni errres y cn tds ls servicis activs. 2. LA HERRAMIENTA HUE La herramienta Hue, centraliza ls prtales y editres de tdas las herramientas instaladas en el clúster. Para acceder a ella se necesita establecer un túnel ssh, que haga crrespnder el puert lcal :8888 cn la ip/puert en el cual crre Hue; en nuestr cas :8888. Es entnces, cuand se puede acceder desde un navegadr web a la herramienta a través de una url del tip: lcalhst:8888/ 1.1/ AÑADIR NUEVOS SERVICIOS Después de una pequeña cnfiguración de la herramienta, dnde se pueden cargar ejempls y mdificar la base de usuaris, la herramienta estaría lista. En este punt, se irán añadiend trs servicis al clúster que facilitarán las pruebas que se realizarán psterirmente: 3. COLECCIÓN DE PRUEBAS HBase: Es un almacén de claves-valres escalable. Funcina muy parecid a un hash-map persistente. N es una base de dats relacinal a pesar de su nmbre HBase. Sqp: Prprcina una transferencia de dats bidireccinal entre Hadp (HDFS) y una base de dats relacinal. Slr: Es un servici distribuid para ls dats de indexación y búsqueda almacenads en HDFS. Para la realización de las pruebas, se descarga la base de dats de muestra Sakila, y se carga tant en la base de dats MySql (que utiliza el clúster para almacenar su prpia cnfiguración) cm en la base de dats PstgreSQL (que instalarems para dichas pruebas). Para la realización de las diferentes pruebas es cnveniente revisar la dcumentación relativa a la Shell de Hadp para familiarizarse cn ls cmands prpis de ls que dispne. Para ell pdems acceder a la dcumentación ficial dispnible en:

3 BIG DATA 3.1/ PRUEBA UNO: PONER DATOS EN HDFS 3.3/ PRUEBA TRES: FLESCH KINCAID El primer pas para utilizar Hadp es pner ls dats en HDFS. Para la primera prueba, que se muestra a cntinuación, se recibe una cpia de un libr de Mark Twain y una de un libr de James Fenimre Cper y se cpian ests texts en HDFS. Para ell descargams dichs librs accediend a la página mediante el cmand wget, llamand después a hadp para que lleve ambs fichers a HDFS mediante la sentencia: hadp fs -put <lcalsrc>...<dst> En este cas de us, Hadp puede prprcinar cierta crítica literaria haciend una sencilla cmparación entre ls librs que habíams descargad anterirmente de Twain y Cper. La prueba Flesch-Kincaid calcula el nivel de lectura de un text en particular. Un de ls factres en este análisis es la lngitud media de la frase aunque el análisis sintáctic de frases resulta ser más cmplicad que sól buscar el carácter punt. El paquete OpenNLP y el paquete Pythn NLTK, tienen excelentes prgramas de análisis de frases. Para este ejempl, se utilizará la lngitud de la palabra cm un sustitut para el númer de sílabas en una palabra. 3.2/ PRUEBA DOS: CONTADOR DE PALABRAS La mayría de ls tutriales de Hadp utilizan el ejempl del cntadr de palabras que se incluye en el archiv de ejempl jar de Hadp. Resulta que una gran parte del análisis cnsiste en cntar y agregar. Es pr es que aprvecharems ls fichers cargads en la prueba un, para realizar esta prueba en nuestr clúster. La ejecución del trabaj de cnte de palabras genera una gran cantidad de mensajes. Hadp prprcina una gran cantidad de detalles sbre las tareas de Mape y Reducción de ls prgramas que ejecuta en su nmbre. El significad de cada un de ess mensajes viene a reflejar td el trabaj realizad pr Hadp, en resumen muestra infrmación sbre: Cm se ha cmentad en alguna casión, n es necesari cncer Java para prgramar trabajs de MapReduce. En este ejempl de MapReduce se utiliza Hadp Streaming para prcesar un map escrit en Pythn y un reduce usand AWK para btener la crítica literaria. Ls cmands para ell serían: hadp jar /usr/lib/hadp-0.20-mapreduce/cntrib/streaming/ hadp-streaming mr1-cdh4.6.0.jar -input Twain.txt -utput Tstats -file./mapper.py -file./statsreducer.awk -mapper./mapper.py -reducer./statsreducer.awk hadp jar /usr/lib/hadp-0.20-mapreduce/cntrib/streaming/hadp-streaming mr1-cdh4.6.0.jar -input Cper.txt -utput Cstats -file./mapper.py -file./statsreducer.awk -mapper./mapper.py -reducer./statsreducer.awk Cheque para ver si existe el archiv de entrada. Cheque para ver si el directri de salida existe y en cas negativ, cancelar el trabaj. Nada per que sbrescribir hras de cmputación pr un simple errr de tecla. Distribuye el archiv jar de Java para tds ls nds respnsables de hacer el trabaj. Las lngitudes de las palabras se clasifican en rden numéric y se presentan al reductr de frma rdenada. En ls ejempls btenids vems que la clasificación de ls dats está integrada en la infraestructura de MapReduce, aunque n se requiere para btener la salida crrecta. Tras el análisis de ambs texts, ls fans de Mark Twain, felizmente pueden relajarse sabiend que Hadp encuentra que Cper usa palabras más largas, cn una desviación estándar impactante. Es, pr supuest, asumiend que las palabras más crtas sn mejres. Ejecuta la fase de asignación del trabaj. Nrmalmente, éste analiza el archiv de entrada y emite un par de clave-valr. Hay que tener en cuenta que la clave y el valr pueden ser bjets. 3.4/ PRUEBA CUATRO: MOVER DATOS DE HDFS A MYSQL CON SQOOP Ejecuta la fase de clasificación, que rdena la salida del mapeadr basada en la clave. Ejecuta la fase de reducción, pr l general est se sintetiza en el fluj de clave-valr y escribir la salida a HDFS. Creand muchas métricas sbre la marcha. Desde la herramienta Hue se vería así: El Pryect Sqp es un pryect Apache basad en JDBC de códig abiert para el mvimient de dats entre base de dats y Hadp. Sqp fue cread riginalmente en un hackathn en Cludera y después pas a códig abiert. Mver dats de HDFS a una base de dats relacinal es un cas de us cmún. HDFS y Map-Reduce sn muy buens para hacer el trabaj pesad. Para cnsultas sencillas almacenamient de back-end de un siti web, almacenamient en caché de la salida Map-Reduce en un almacén relacinal es un buen patrón de diseñ. Se puede evitar vlver a ejecutar el Map-Reduce del cntadr de palabras cn sól Sqping ls resultads en MySQL. En esta prueba se van a pasar ls dats que se han generad anterirmente sbre Twain y Cper a una base de dats relacinal previamente creada utilizand Sqp, cn una llamada parecida a esta:

4 IG DATA sqp exprt -D sqp.exprt.recrds.per.statement=1 --cnnect jdbc:mysql://lcalhst/mydem --table wrdcunt --fields-terminatedby \t --username userdem --passwrd pass1 --exprt-dir /user/userdem/hf.ut 3.6/ PRUEBA SEIS: UNIR DATOS MYSQL A DATOS POST- GRESQL MEDIANTE HIVE Finalmente, ls dats estarán cargads en la base de dats y se pdrán visualizar mediante una cnsulta del tip: select * frm wrdcunt; Esta prueba cnsiste en unificar dats de MySQL y dats de Pstgre- SQL. N es un ejempl especialmente relevante para las ds tablas triviales que se usarán en el ejempl, per sí será de gran imprtancia cuand existan múltiples terabytes petabytes de dats a tratar. 3.5/ PRUEBA CINCO: IMPORTAR DATOS EN HDFS DESDE MYSQL O PROSTGRESQL CON SQOOP Sqp también permite insertar dats en Hadp HDFS, la funcinalidad bidireccinal se cntrla a través del parámetr de imprtación. La base de dats de ejempl que viene cn el prduct tiene alguns cnjunts de dats simples que se pueden utilizar para este prpósit. Existen ds enfques fundamentales para unir diferentes fuentes de dats. Dejand ls dats en reps y utilizar una tecnlgía frente a mver ls dats a un únic almacenamient para realizar la unión. Pr l ecnómic de Hadp y pr su rendimient, la pción de mver ls dats en HDFS y realizar el trabaj pesad cn MapReduce resulta una elección sencilla ya que las limitacines de anch de banda de red crearían una barrera fundamental si se tratara de unir dats en reps cn tra tecnlgía. Para imprtar dats desde una base de dats MySql mediante Sqp se utilizará una llamada cm ésta: sqp imprt --cnnect jdbc:mysql://lcalhst/sakila --table language --username userdem --passwrd **** Y para realizar esa misma imprtación de dats mediante Sqp, per desde una base de dats PstgreSQL, se mdificaría la llamada para ajustar ls dats de cnexión de la nueva base de dats: Para usar el lenguaje de cnsulta de Hive, existe un subcnjunt de SQL llamad Hiveql que requiere ls metadats de la tabla. Hive puede definir ls metadats cn ls archivs existentes en HDFS, para est, Sqp prprcina un ataj muy cnveniente cn la pción create-hivetable. Hive n prprcina las semánticas de transacción y n es un reemplaz para MySQL PstgreSQL, per si se tiene algún trabaj pesad en frma de unines de tablas, inclus si se tienen algunas tablas más pequeñas, si se tienen que hacer prducts cartesians desagradables, Hadp es la herramienta de elección. sqp imprt --cnnect jdbc:pstgresql://lcalhst:5432/dvdrental --table language --username userdem --passwrd **** Para realizar esta prueba se puede utilizar la cnsla del clúster bien la herramienta Hue y su interfaz gráfica en el navegadr. Para ambs cass, se puede bservar que se btienen ls siguientes fichers resultantes: hadp fs -ls language Fund 6 items :06 language/_success :05 language/_lgs :06 language/part-m :06 language/part-m :06 language/part-m :06 language/part-m En ambs cass se imprtarán ls dats desde MySql y desde Pstgre- SQL (tal y cm se realizó anterirmente), y se utilizará Hive para crear ds tablas, que interpretarán ls dats cntenids en cada un de ess ds fichers. Una vez creadas dichas tablas, bastará realizar el jin de ambas para btener la unión de ls dats. Para imprtar la tabla staff de PstgreSQL de la BD dvdrental en hdfs: sqp imprt --cnnect jdbc:pstgresql://lcalhst:5432/dvdrental --table staff --username userdem --passwrd pass1 Para imprtar la tabla custmer de MySQL de la BD sakila en hdfs: Pr qué hay cuatr archivs diferentes? Cada un de ells cntiene sól una parte de ls dats? La explicación radica en que Sqp es una utilidad altamente paralelizada que tiene un límite pr defect de cuatr cnexines JDBC. Pr es existen cuatr fichers de dats en HDFS, generads pr cada una de las cnexines. sqp imprt --cnnect jdbc:mysql://lcalhst/sakila --table custmer --username userdem --passwrd pass1 Ahra simplemente habría que crear las tablas y realizar el jin crrespndiente mediante el lenguaje sql clásic.

5 BIG DATA 3.7/ PRUEBA SIETE: UNIFICAR DATOS DE POSTGRESQL Y MYSQL MEDIANTE PIG Pig es un lenguaje prcedural que al igual que Hive, pr detrás genera códig MapReduce. Para esta prueba, se unirá la tabla de clientes y la tabla de gerentes de la prueba anterir, per en esta casión cn la ayuda de la herramienta Pig. De la misma manera que en la prueba anterir, aunque se puede trabajar sbre la línea de cmands, hay varias interfaces gráficas de usuari (cm Hue) que funcinan muy bien cn Hadp. Cn el acces NFS a HDFS, se puede mntar el clúster HDFS cm un vlumen en ls equips cliente y tener una línea de cmands nativa, secuencias de cmands la interfaz de usuari del explradr de archivs para ver ls archivs HDFS y cargar dats en HDFS. En esta prueba, se realiza la instalación y cnfiguración de esta herramienta, para ell hay que descargarl mediante el cmand apt-get install hadp-hdfs-fuse. A cntinuación se crea la carpeta fusemnt y se define un punt de mntaje cn el cmand hadp-fuse-dfs dfs:// namende:8020 /fusemnt. Una vez mntad, ya se pueden ejecutar peracines cm si estuvieran en el punt de mntaje. 3.9/ PRUEBA NUEVE: CREAR UN ARCHIVO LISTO PARA CARGAR CON FLUME (INYECTOR DE DATOS) Flume es un servici distribuid para agregar y mver grandes cantidades de dats a HDFS. Cuenta cn una arquitectura simple y flexible basada en el streaming de flujs de dats. 3.8/ PRUEBA OCHO: ACCEDER A LOS ARCHIVOS HDFS A TRAVÉS DE NFS MEDIANTE FUSE El sistema de archivs de red (NFS) es un prtcl de sistema de archivs distribuid que permite el acces a archivs en un equip remt en una manera similar a cóm se accede al sistema de archivs lcal. Cn una puerta de enlace para NFS Hadp, se permite así a las aplicacines basadas en archivs realizar peracines de lectura y escritura peracines directamente sbre Hadp, simplificand enrmemente la gestión de dats y ampliand la integración de Hadp en cnjunts de herramientas existentes. En esta prueba se define un ficher para ser inyectad en la base de dats MySQL, para ell seleccinams el ficher part_m_00001 generad en una de las anterires pruebas y mdificams el ficher de cnfiguración de Flume flumecnf/hdfs2dbladfile.cnf para asignar el ficher seleccinad cm primer agente. Una vez cnfigurad, se lanza la inyección de dats mediante el cmand flume-ng agent -f./ flumecnf/hdfs2dbladfile.cnf -n agent1 y pdrems bservar cóm ls dats cntenids en el ficher se cargarn en la base de dats.

6 IG DATA 3.10/ PRUEBA DIEZ: AÑADIENDO FLUJO DE TRABAJO PARA MÚLTIPLES TAREAS CON OOZIE 3.11/ PRUEBA ONCE: HBASE Ozie es un sistema de planificación de flujs de trabaj para gestinar ls trabajs de Hadp. Es un mtr basad en un servidr especializad en la gestión de flujs de trabaj cn las accines que se ejecutan en MapReduce y Pig. En esta prueba, Ozie encadenará a vluntad varis trabajs de Hadp. Para ell se utilizará un buen cnjunt de ejempls incluids en el ficher zie-examples.tar.gz, cntenid en la prpia distribución de Cludera. El primer pas será mdificar el wrkflw de sqp para que use nuestra base de dats de ejempl y mdificar el ficher de cnfiguración examples/apps/sqp/jb.prperties para ajustarl a las pruebas que vams a realizar. Una vez cnfigurad, se cargan ls ejempls en HDFS y se remiten ls trabajs a Ozie: HBase es un almacén de clave-valr de alt rendimient. Si el cas de us requiere escalabilidad y sól requiere de la base de dats el equivalente a las transaccines de cnfirmación autmática, HBase hace realmente un excelente trabaj en el almacenamient de clave-valr de alt rendimient y fácilmente puede ser la tecnlgía a usar. Esta última prueba usará la interfaz REST frecida cn HBase para insertar clave-valres en una tabla HBase mediante llamadas curl. Esta prueba es el códig para dar cncimients básics de Hbase. Es simple pr su diseñ y de ninguna manera representa el alcance de la funcinalidad de HBase. Para cncer tdas sus funcinalidades es recmendable la lectura del libr HBase, The Definitive Guide, de Lars Gerge. Para la prueba, ls pass a realizar desde la interface Shell serían: Acceder a la línea de cmands mediante hbase shell Crear una tabla cn una única clumna Insertar un registr en esa tabla Ver la descripción de la tabla cn describe mytable Escanear la tabla cn scan mytable Desde la interface REST: Cmprbar el estad del servidr mediante curl Escanear el cntenid de la tabla que habíams cread mediante curl - Este escane prprcina el schema necesari para pder insertar dats en la tabla de Hbase Añadir cn curl una entrada mediante RESTinsertedKey Cmprbar desde la interface Shell que el dat fue insertad crrectamente mediante scan mytable En la interface web se visualizaría así: