Modelo de Gobierno de Datos con SPARK

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Modelo de Gobierno de Datos con SPARK"

Irene Valenzuela Toro
hace 8 años
Vistas:

Página1 Configuración de la máquina maestra Para un sistema de Hadoop Para configurar una máquina como maestra en un cluster de Hadoop, es necesario modificar algunos archivos que se encuentran

1 Página1 Configuración de la máquina maestra Para un sistema de Hadoop Para configurar una máquina como maestra en un cluster de Hadoop, es necesario modificar algunos archivos que se encuentran dentro del directorio de instalación de Hadoop. Su ubicación es el directorio conf dentro del directorio home de Hadoop. Directorio de instalación de Hadoop Dentro de este directorio (conf), se encuentran múltiples archivos de configuración, todos ellos sirven para especificar el funcionamiento que queremos que maneje nuestro cluster de Hadoop. Contenido del directorio conf

Su ubicación es el directorio conf dentro del directorio home de Hadoop.

2 Página2 Archivo core-site.xml Para comenzar, modificaremos el archivo core-site.xml. En un principio este archivo solo contiene el esqueleto de un archivo.xml: <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  <configuration> </configuration> Por lo que una instalación promedio deberá, por lo menos, tener el siguiente contenido: Directorio para el namenode Este se especifica con las siguientes etiquetas de XML: <property> <name>hadoop.tmp.dir</name> <value>/hadoop</value> </property> Analicemos las etiquetas. La etiqueta <property> indica que se va a colocar una nueva propiedad para nuestro namenode. La siguiente etiqueta <name>, indica el nombre de la propiedad que modificaremos o añadiremos, estos nombres ya están establecidos dentro del sistema distribuido de Hadoop. La siguiente etiqueta <vaue>, contendrá el valor de la propiedad que estamos añadiendo, en este caso, hadoop.tmp.dir indica el directorio que usará el namenode, por lo que para este ejemplo usaremos el directorio /hadoop. Finalmente cerramos la etiqueta <property> anteponiendo una diagonal a la etiqueta.

--> <configuration> </configuration> Por lo que una instalación promedio deberá, por lo menos, tener el siguiente contenido: Directorio para el namenode Este se especifica con las siguientes

3 Página3 Nombre del namenode Se especifica con las siguientes etiquetas de XML: <property> <name>fs.default.name</name> <value>hdfs://hadoop-maestra.site:9000</value> </property> La primera etiqueta <property>, indica que colocaremos una nueva propiedad al namenode. La etiqueta <name>, una vez más, indica el nombre de la propiedad que añadiremos, en este caso, fs.default.name denota el nombre del namenode. La etiqueta <value> indica el nombre del namenode, para este ejemplo será el nombre de host de la máquina maestra, además de el número del puerto que usará para comunicarse, aquí, Cerramos la propiedad con su respectiva etiqueta, </property>. Al final el archivo deberá lucir de esta forma: Archivo core-site.xml

La etiqueta <name>, una vez más, indica el nombre de la propiedad que añadiremos, en este caso, fs.default.name denota el nombre del namenode.

4 Página4 Archivo hadoop-env.sh En este archivo se especifican las variables de entorno específicas de Hadoop. La única variable de entorno que es requerida es JAVA_HOME, todas las demás son totalmente opcionales. Dentro de este archivo, ya se encuentra comentada la línea donde se declara la ubicación del JAVA_HOME. Basta con buscar esta línea, descomentarla y añadir el directorio donde se encuentra nuestra máquina virtual de Java. Para saber donde se encuentra la máquina virtual de Java dentro de nuestra máquina, nos dirigimos a la línea de comandos y escribimos el siguiente comando: Comando whereis whereis java nos desplegará los directorios y/o archivos que lleven el nombre java. En este caso tomaremos en cuenta el primer resultado, /usr/bin/java y ejecutaremos el siguiente comando. Comando ll

Dentro de este archivo, ya se encuentra comentada la línea donde se declara la ubicación del JAVA_HOME.

Página5 El comando ll, nos despliega la información del directorio al cual apuntemos, en este caso /usr/bin/java es un enlace simbólico hacía /etc/alternatives/java, por lo que procederemos a

5 Página5 El comando ll, nos despliega la información del directorio al cual apuntemos, en este caso /usr/bin/java es un enlace simbólico hacía /etc/alternatives/java, por lo que procederemos a ejecutar el siguiente comando. Comando ll Esta vez, el comando ll, apuntando hacia /etc/alternatives/java, nos muestra que también se trataba de un enlace simbólico, ahora apuntando hacía /usr/lib/jvm/jre openjdk.x86_64/bin/java. Esta dirección nos indica que ya hemos encontrado la máquina virtual de Java, por lo que anotaremos esta dirección hasta antes del directorio bin, pues ahí es donde debemos apuntar dentro del archivo hadoop-env.sh. El archivo hadoop-env.sh deberá quedarnos de esta manera, una vez que hemos añadido la dirección de JAVA_HOME. Archivo hadoop-env.sh

Comando ll Esta vez, el comando ll, apuntando hacia /etc/alternatives/java, nos muestra que también se trataba de un enlace simbólico, ahora apuntando hacía /usr/lib/jvm/jre-1.7.0-openjdk.

6 Página6 Archivo hdfs-site.xml Este archivo contiene las especificaciones del HDFS, aunque inicialmente solo contiene un esqueleto en XML como el siguiente. <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  <configuration> </configuration> Esta vez solo añadiremos una especificación al archivo, aunque es posible añadir muchas más, pero por ahora solo incluiremos la siguiente: Valor de Replicación El valor de replicación es un número entero que indica a cuantas máquinas se copiará un archivo dentro del cluster de Hadoop. Solo indicaremos una máquina, pues por ahora solo estamos configurando la máquina maestra. Para especificar el valor de replicación se introduce lo siguiente al archivo hdfssite.xml. <property> <name>dfs.replication</name> <value>1</value> </property> La etiqueta <property> inicia la especificación de la propiedad. La etiqueta <name> indica qué propiedad modificaremos, en este caso será dfs.replication. Dentro de la etiqueta <value> se encontrará el número de máquinas a las que se copiarán los archivos dentro del HDFS.

--> <configuration> </configuration> Esta vez solo añadiremos una especificación al archivo, aunque es posible añadir muchas más, pero por ahora solo incluiremos la siguiente: Valor de Replicación El

7 Página7 El archivo hdfs-site.xml deberá lucir de esta manera: Archivo hdfs-site.xml Archivo mapred-site.xml En este archivo se especificarán las propiedades del framework MapReduce. Una vez más, tan solo especificaremos una propiedad por ahora. El archivo inicialmente lucirá como sigue: <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  <configuration> </configuration> Dirección del JobTracker El JobTracker es el servicio que asigna las tareas de Mapeo y Reducción a nodos específicos dentro del cluster. Así que para designar en donde se encontrará éste, escribiremos las siguientes etiquetas. <property> <name>mapred.job.tracker</name> <value>hadoop-maestra.site:9001</value> </property>

--> <configuration> </configuration> Dirección del JobTracker El JobTracker es el servicio que asigna las tareas de Mapeo y Reducción a nodos específicos dentro del cluster.

8 Página8 La etiqueta <property> indica el inicio de la propiedad. <name> contiene el nombre de la propiedad, en este caso mapred.job.tracker. La etiqueta <value> denota el nombre del host y el puerto que se utilizará, en este ejemplo utilizaremos la máquina maestra con el puerto La etiqueta </property> indica el final de la decalración de la propiedad a añadir. El archivo mapred-site.xml deberá lucir como el siguiente: Archivo masters Archivo mapred-site.xml Este archivo es de texto plano, y en él solo se declararán los HostName de cada máquina que queramos añadir como maestra, cada una separada por un salto de línea. Cuando se colocan más de una máquina, las siguientes actuarán como máquinas maestras secundarias. Por el momento solo declararemos una máquina como maestra. Nuestro archivo masters lucirá de la siguiente forma: Archivo masters

La etiqueta </property> indica el final de la decalración de la propiedad a añadir. El archivo mapred-site.xml deberá lucir como el siguiente: Archivo masters Archivo mapred-site.

9 Página9 Archivo slaves Este archivo, al igual que el archivo masters, es solo de texto plano y en él se declaran los nombres de host de todas las máquinas que queremos que actuen como esclavas, dicho de otra forma, que tengan el datanode activo. Éstas se declaran separadas con un salto de línea. En este ejemplo, solo estamos declarando la máquina maestra, sin máquinas esclavas aparte. Por lo que solo funcionará con una sola máquina. En el siguiente capítulo, configuraremos diferentes máqunas esclavas para el cluster. Nuestro archivo slaves quedará como sigue: Archivo slaves Con estos archivos modificados con la configuración que se estableció en este capítulo, es posible montar Hadoop con una sola máquina, esta configuración no sirve para procesar archivos distribuidamente, pero es la necesaria para escribir tareas en el lenguaje de Hadoop e ir depurando su ejecución.

Por lo que solo funcionará con una sola máquina. En el siguiente capítulo, configuraremos diferentes máqunas esclavas para el cluster.

Documentos relacionados

Instalación Hadoop. Guía para Debian y derivados

Instalación Hadoop. Guía para Debian y derivados Instalación Hadoop Guía para Debian y derivados Índice Instalación Hadoop Hadoop Distributed File System a. NameNode b. DataNode. Requisitos Diferentes modos de configuración Instalación Java Instalación