CURSO SERVICIO BIG DATA

Tamaño: px
Comenzar la demostración a partir de la página:

Download "CURSO SERVICIO BIG DATA"

Transcripción

1 CURSO SERVICIO BIG DATA 1

2 PRACTICAS Práctica 1: Utilizando el servicio cloud (Web)... 3 Práctica 2: Utilizando el servicio cloud (SSH) Práctica 3: Lanzar un cluster Hadoop Práctica 4: HDFS Práctica 5: Lanzando nuestro primer trabajo MapReduce Práctica 6: Desarrollar un trabajo MapReduce usando Streaming API Práctica 7: Desarrollar un trabajo MapReduce en Java Práctica 8: Procesado de datos con Hive Práctica 9: Machine learning con Mahout

3 Práctica 1: Utilizando el servicio cloud (Web) En esta práctica veremos como crear una máquina virtual usando el servicio cloud. Usaremos el método más sencillo que consiste en crear la máquina virtual a partir de una plantilla existente. Para la creación de la misma utilizaremos el interfaz web del servicio. 1. Primero tenemos que loguearnos al servicio cloud: https://cloud.cesga.es 3

4 2. Pulsar el botón verde con el símbolo + para lanzar una nueva máquina virtual 4

5 3. Seleccionar la plantilla correspondiente a ttylinux que se encuentra en la tercera página de resultados. También podemos valernos de la opción de búsqueda y escribir allí ttylinux. 5

6 4. Le damos un nombre a la máquina y seleccionamos los recursos que queremos para la misma. La plantilla ya nos indica unos valores por defecto: 512MB de RAM y 1 CPU. Mantendremos esos valores y lanzaremos la máquina virtual pulsando en el botón verde crear. 6

7 5. Veremos como la máquina se crea y va pasando por distintos estados hasta que finalmente se pone en ejecución. 7

8 6. A través del interfaz web nos podemos conectar a la consola VNC de la máquina virtual. En general esta consola web se utiliza para resolver problemas que nos impidan la conexión remota directa a nuestra máquina virtual. 8

9 7. Finalmente borraremos la máquina virtual 9

10 Práctica 2: Utilizando el servicio cloud (SSH) En esta práctica repetiremos los pasos que hemos hecho en la práctica anterior pero usando el interfaz de línea de comandos del servicio cloud. 1. Primero tenemos que conectarnos al servicio cloud por SSH. ssh 2. En la primera conexión es necesario habilitar el servicio cloud en nuestra cuenta. Esto se consigue a través del comando enable_cloud. En general este paso sólo es necesario realizarlo la primera vez que nos conectamos al servicio, y sólo tendremos que repetirlo en el caso de que cambiemos la contraseña de la cuenta. ~]$ enable_cloud Este script habilitara la configuracion cloud en su cuenta. Desea continuar? [S/n] Porfavor introduzca su password de sistema para continuar. Password: Generando clave ssh... Generating public/private dsa key pair. Created directory '/home/cesga/cursos/curso884/.ssh'. Your identification has been saved in /home/cesga/cursos/curso884/.ssh/id_dsa. Your public key has been saved in /home/cesga/cursos/curso884/.ssh/id_dsa.pub. The key fingerprint is: 9b:31:28:4c:4e:3a:1c:d3:80:6b:dc:7e:f7:e8:96:27 The key's randomart image is: +--[ DSA 1024] o X.. = +. S o o. =.. * E o o.o Leyendo clave publica: /home/cesga/cursos/curso884/.ssh/id_dsa.pub oneuser update curso884 -a /home/cesga/cursos/curso884/oneuser_template CONFIGURACION FINALIZADA En caso de errores contacte con 3. Para crear una instancia de una nueva máquina virtual la forma más sencilla es partir de una de las plantillas que ya están predefinidas. Para listar las plantillas disponibles ejecutaremos: ~]$ onetemplate list ID USER GROUP NAME REGTIME 177 sistemas users hadoop raw 07/01 10

11 10:43: sistemas users hadoop raw-master 10/15 18:27: sistemas users hadoop raw 05/06 17:14: grid users Ubuntu server x86_64 05/13 16:28: grid users Scientific Linux /13 16:51: grid users Ubtuntu Desktop /13 16:55: sistemas users hadoop raw-master 06/03 15:11: algarcia users CentOS 7 - APP - Devel 10/01 09:42: sistemas oneadmin hadoop.cesga.es-centos7 10/27 13:47: sistemas oneadmin CentOS 7 - TEMPLATE 10/27 13:50: alfeijoo users ttylinux - kvmalfeijoo 11/12 18:03: sistemas users EC2-TEST 12/03 15:16: dnieto elearning_g Seminar-Ubuntu /20 11:02: sistemas oneadmin ttylinux 05/19 19:49:09 4. Para esta práctica usaremos la plantilla ttylinux. Se trata de una distribución mínima de Linux que nos permitirá instanciar de modo rápido nuestra primera máquina virtual. ~]$ onetemplate instantiate name "mi primera maquina virtual" VM ID: Durante el arranque de la máquina virtual podemos ver como va cambiando el estado de la misma desde pending hasta running (pending prolog boot running). ~]$ onevm list ID USER GROUP NAME STAT UCPU UMEM HOST TIME curso884 users mi primera maquina virtual runn 0 0K nubacesga d 00h00 6. Finalmente borraremos la máquina virtual: ~]$ onevm delete

12 Práctica 3: Lanzar un cluster Hadoop En esta práctica lanzaremos nuestro primer cluster de Hadoop. 1. Para lanzar nuestro cluster Hadoop nos conectaremos por SSH al servicio cloud: ssh 2. (Este paso no es necesario hacerlo si completamos la práctica anterior) En la primera conexión es necesario habilitar el servicio cloud en nuestra cuenta ya que los clusters de Hadoop se lanzarán utilizando máquinas vituales. Esto se consigue a través del comando enable_cloud tal y como vimos en la práctica anterior. En general este paso sólo es necesario realizarlo la primera vez que nos conectamos al servicio, y sólo tendremos que repetirlo en el caso de que cambiemos la contraseña de la cuenta. ~]$ enable_cloud Este script habilitara la configuracion cloud en su cuenta. Desea continuar? [S/n] Porfavor introduzca su password de sistema para continuar. Password: Generando clave ssh... Generating public/private dsa key pair. Created directory '/home/cesga/cursos/curso884/.ssh'. Your identification has been saved in /home/cesga/cursos/curso884/.ssh/id_dsa. Your public key has been saved in /home/cesga/cursos/curso884/.ssh/id_dsa.pub. The key fingerprint is: 9b:31:28:4c:4e:3a:1c:d3:80:6b:dc:7e:f7:e8:96:27 The key's randomart image is: +--[ DSA 1024] o X.. = +. S o o. =.. * E o o.o Leyendo clave publica: /home/cesga/cursos/curso884/.ssh/id_dsa.pub oneuser update curso884 -a /home/cesga/cursos/curso884/oneuser_template CONFIGURACION FINALIZADA En caso de errores contacte con 3. Para lanzar un cluster de hadoop basta con utilizar el comando hadoop-start ~]$ hadoop-start -s 3 mié may 27 17:39:22 CEST 2015 = Paso 1/3: Arrancando el cluster = Desplegando las maquinas en OpenNebula VM ID:

13 VM ID: VM ID: VM ID: Esperando a que arranquen los nodos 100% [========================================================================>] Arranque del cluster Finalizado. mié may 27 17:43:01 CEST 2015 = Paso 2/3: Obteniendo la lista de nodos = Lista de nodos obtenida. mié may 27 17:43:08 CEST 2015 = Paso 3/3: Configurando Hadoop = Esperando a que todos los slave esten configurados Configurando el master del cluster Configuracion finalizada!" Ya puede conectarse al nuevo cluster de hadoop a traves mediante ssh: ssh Tambien monitorizar el estado del cluster en las siguientes direcciones: JobTracker Web Interface: NameNode Web Interface: En caso de problemas no dude en contactar con el Dep. de Sistemas: Telefono: mié may 27 17:44:37 CEST Una vez arrancado podremos conectarnos a nuestro cluster hadoop utilizando el comando hadoop-connect y ya nos conectará automáticamente al nodo maestro de nuestro cluster: ~]$ hadoop-connect ~]$ 5. Podemos ver el estado del cluster usando el comando hadoop-status ~]$ hadoop-status ==> Hadoop cluster status Datanodes available: 3 (3 total, 0 dead) Tasktrackers available 3 ===> HDFS 13

14 Configured Capacity: (87.78 GB) Present Capacity: (85.65 GB) DFS Remaining: (85.65 GB) DFS Used: (120 KB) DFS Used%: 0% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: Datanodes available: 3 (3 total, 0 dead) Name: :50010 Decommission Status : Normal Configured Capacity: (29.26 GB) DFS Used: (40 KB) Non DFS Used: ( MB) DFS Remaining: (28.55 GB) DFS Used%: 0% DFS Remaining%: 97.58% Last contact: Wed May 27 18:08:50 CEST 2015 Name: :50010 Decommission Status : Normal Configured Capacity: (29.26 GB) DFS Used: (40 KB) Non DFS Used: ( MB) DFS Remaining: (28.55 GB) DFS Used%: 0% DFS Remaining%: 97.58% Last contact: Wed May 27 18:08:50 CEST 2015 Name: :50010 Decommission Status : Normal Configured Capacity: (29.26 GB) DFS Used: (40 KB) Non DFS Used: ( MB) DFS Remaining: (28.55 GB) DFS Used%: 0% DFS Remaining%: 97.58% Last contact: Wed May 27 18:08:47 CEST 2015 ===> Task trackers tracker_hadoop-3:localhost/ :50697 tracker_hadoop-1:localhost/ :48392 tracker_hadoop-2:localhost/ : Por motivos de seguridad, para poder acceder al interfaz web de monitorización del cluster primero tendremos que añadir una regla en el firewall del mismo que nos permita acceder desde nuestra IP. Por ejemplo, si nuestra IP es abriremos el acceso a la misma con el siguiente comando (lanzado directamente desde el frontal cloud): 14

15 ~]$ ssh iptables-add Fijarse en que la conexión SSH se lanzar desde el frontal cloud. Para ver qué IP tiene nuestro PC podemos verlo conectándonos a https://www.whatismyip.com 7. Una vez abierto el firewall ya podremos acceder a las páginas de monitorización del cluster: JobTracker Web Interface: NameNode Web Interface: 8. Tenemos la opción de realizar personalizaciones adicionales en el cluster, como por ejemplo instalar nuevos paquetes, para ello disponemos de acceso como root desde el frontal de cloud: ~]$ ssh Por ejemplo podríamos instalar el editor de textos nano si no estamos acostumbrados a utilizar el editor de textos por defecto del sistema (vi): ~]# yum install nano 9. El comando hadoop-start nos ofrece opciones adicionales que pueden sernos útiles a la hora de crear clusters. Podemos ver la lista completa de comandos disponibles lanzando hadoop-start -h: ~]$ hadoop-start -h Usage: hadoop-start [-s SIZE] [-r dfs.replication] [-b <dfs.block.size>] [-t <mapred.reduce.tasks>] Start a Hadoop cluster options include: -s SIZE Number of slaves in the Hadoop cluster (default 3) -r dfs.replication Number of replicas of each file (default 3) -b dfs.block.size HDFS block size (default 16MB) -t mapred.reduce.tasks Number of reduce tasks (default 1) -c clusterid Cluster ID (only for use within REST service calls) -R REST API mode (only for use within REST service calls) -h Print help 10. Aunque el comando hadoop-status nos da de una forma sencilla toda la información de nuestro cluster, también podemos ver el estado de la máquina virtuales que forman nuestro cluster con los comandos estandard del servicio cloud: ~]$ onevm list ID USER GROUP NAME STAT UCPU UMEM HOST TIME curso884 users hadoop runn 1 2G nubacesga d 00h curso884 users hadoop

16 runn M nubacesga d 00h curso884 users hadoop runn M nubacesga d 00h curso884 users hadoop runn M nubacesga d 00h Para parar el custer se usa el comando hadoop-stop. Una vez lanzado este comando se borrarán todos los datos del cluster por lo que es recomandable copiar toda la información que queramos guardar antes de parar un cluster. 16

17 Práctica 4: HDFS En esta práctica veremos los comandos básicos de HDFS. 1. Tenemos que tener un cluster Hadoop arrancado, una vez esté operativo nos conectarnos al mismo: ~]$ hadoop-connect ~]$ 2. Por defecto en el HDFS de nuestro cluster disponemos de varios directorios que podemos utilizar para subir nuestros ficheros: nuestro HOME (/user/hadoop) y un directorio /scratch ~]$ hadoop fs -ls / Found 4 items drwxrwxrwx - hadoop supergroup :22 /hive drwxr-xr-x - hadoop supergroup :22 /scratch drwxrwxrwx - hadoop supergroup :22 /tmp drwxr-xr-x - hadoop supergroup :22 /user Por defecto si no se especifica una ruta absoluta para los archivos, Hadoop los buscará en nuestro HOME: /user/hadoop 3. Podemos crear un directorio adicional en nuestro HOME: ~]$ hadoop fs -mkdir test ~]$ hadoop fs -ls Found 1 items drwxr-xr-x - hadoop supergroup :18 /user/hadoop/test 4. O también en el directorio /scratch ~]$ hadoop fs -mkdir /scratch/test ~]$ hadoop fs -ls /scratch Found 2 items drwxr-xr-x - hadoop supergroup :44 /scratch/hadoop drwxr-xr-x - hadoop supergroup :19 /scratch/test 5. Para subir un fichero local al HDFS ~]$ hadoop fs -put /etc/redhat-release /scratch/test/redhat-release 6. Podemos ver los contenidos con un cat ~]$ hadoop fs -cat /scratch/test/redhat-release Scientific Linux release 6.5 (Carbon) Si el fichero es muy grande es mejor usar la opción -tail para leer sólo el el final del fichero: 17

18 ~]$ hadoop fs -tail /scratch/test/redhat-release Scientific Linux release 6.5 (Carbon) 7. Podemos ver el estado del HDFS conéctandonos a su interfaz web de monitorización, aunque deberemos haber abierto el acceso en el firewall como se mostraba en la práctica anterior: NameNode Web Interface: Ahí podremos ver el estado de los DataNodes y la ocupación del sistema de ficheros. La parte de navegación del sistema de ficheros no está disponible ya que requiere acceso directo a los nodos del cluster y estos utilizan direcciones IP privadas. 8. Hay más comandos de HDFS que pueden sernos útiles, podemos ver la lista completa de comandos disponibles lanzando hadoop fs sin ninguna opción: ~]$ hadoop fs Usage: java FsShell [-ls <path>] [-lsr <path>] [-du <path>] [-dus <path>] [-count[-q] <path>] [-mv <src> <dst>] [-cp <src> <dst>] [-rm [-skiptrash] <path>] [-rmr [-skiptrash] <path>] [-expunge] [-put <localsrc>... <dst>] [-copyfromlocal <localsrc>... <dst>] [-movefromlocal <localsrc>... <dst>] [-get [-ignorecrc] [-crc] <src> <localdst>] [-getmerge <src> <localdst> [addnl]] [-cat <src>] [-text <src>] [-copytolocal [-ignorecrc] [-crc] <src> <localdst>] [-movetolocal [-crc] <src> <localdst>] [-mkdir <path>] [-setrep [-R] [-w] <rep> <path/file>] [-touchz <path>] [-test -[ezd] <path>] [-stat [format] <path>] [-tail [-f] <file>] [-chmod [-R] <MODE[,MODE]... OCTALMODE> PATH...] [-chown [-R] [OWNER][:[GROUP]] PATH...] [-chgrp [-R] GROUP PATH...] [-help [cmd]] Generic options supported are -conf <configuration file> specify an application configuration file -D <property=value> use value for given property -fs <local namenode:port> specify a namenode -jt <local jobtracker:port> specify a job tracker -files <comma separated list of files> specify comma separated files to be copied to the map reduce cluster -libjars <comma separated list of jars> specify comma separated jar files to include in the classpath. -archives <comma separated list of archives> specify comma separated archives to be unarchived on the compute machines. 18

19 The general command line syntax is bin/hadoop command [genericoptions] [commandoptions] 19

20 Práctica 5: Lanzando nuestro primer trabajo MapReduce En esta práctica lanzaremos nuestro primer trabajo MapReduce usando uno de los trabajos de ejemplo que vienen con la propia distribución de Hadoop. Este trabajo se denomina wordcount y básicamente cuenta el número de ocurrencias de cada palabra de un fichero. En posteriores prácticas veremos más detalles de como funciona este programa MapReduce. 1. Lo primero descargaremos, descomprimiremos los ficheros necesarios para las prácticas y entraremos en el directorio practicas: ~]$ wget https://hadoop.cesga.es/curso/practicas.tar.gz ~]$ tar xzvf practicas.tar.gz ~]$ cd practicas practicas]$ 2. Subiremos el fichero de entrada (wordcount/entrada.txt) al HDFS: practicas]$ cd wordcount/ wordcount]$ hadoop fs -mkdir input wordcount]$ hadoop fs -put entrada.txt input/ 3. Lanzaremos el trabajo MapReduce de ejemplo: wordcount]$ hadoop jar /opt/cesga/hadoop-1.2.1/hadoopexamples jar wordcount input output-1 15/05/27 18:44:51 INFO input.fileinputformat: Total input paths to process : 1 15/05/27 18:44:51 WARN snappy.loadsnappy: Snappy native library is available 15/05/27 18:44:51 INFO util.nativecodeloader: Loaded the native-hadoop library 15/05/27 18:44:51 INFO snappy.loadsnappy: Snappy native library loaded 15/05/27 18:44:52 INFO mapred.jobclient: Running job: job_ _ /05/27 18:44:53 INFO mapred.jobclient: map 0% reduce 0% 15/05/27 18:45:03 INFO mapred.jobclient: map 100% reduce 0% 15/05/27 18:45:12 INFO mapred.jobclient: map 100% reduce 33% 15/05/27 18:45:14 INFO mapred.jobclient: map 100% reduce 100% 15/05/27 18:45:17 INFO mapred.jobclient: Job complete: job_ _ /05/27 18:45:17 INFO mapred.jobclient: Counters: 29 15/05/27 18:45:17 INFO mapred.jobclient: Job Counters 15/05/27 18:45:17 INFO mapred.jobclient: Launched reduce tasks=1 15/05/27 18:45:17 INFO mapred.jobclient: SLOTS_MILLIS_MAPS= /05/27 18:45:17 INFO mapred.jobclient: Total time spent by all reduces waiting after reserving slots (ms)=0 15/05/27 18:45:17 INFO mapred.jobclient: Total time spent by all maps waiting after reserving slots (ms)=0 15/05/27 18:45:17 INFO mapred.jobclient: Launched map tasks=1 15/05/27 18:45:17 INFO mapred.jobclient: Data-local map tasks=1 15/05/27 18:45:17 INFO mapred.jobclient: SLOTS_MILLIS_REDUCES= /05/27 18:45:17 INFO mapred.jobclient: File Output Format Counters 15/05/27 18:45:17 INFO mapred.jobclient: Bytes Written= /05/27 18:45:17 INFO mapred.jobclient: FileSystemCounters 20

21 15/05/27 18:45:17 INFO mapred.jobclient: FILE_BYTES_READ= /05/27 18:45:17 INFO mapred.jobclient: HDFS_BYTES_READ= /05/27 18:45:17 INFO mapred.jobclient: FILE_BYTES_WRITTEN= /05/27 18:45:17 INFO mapred.jobclient: HDFS_BYTES_WRITTEN= /05/27 18:45:17 INFO mapred.jobclient: File Input Format Counters 15/05/27 18:45:17 INFO mapred.jobclient: Bytes Read= /05/27 18:45:17 INFO mapred.jobclient: Map-Reduce Framework 15/05/27 18:45:17 INFO mapred.jobclient: Map output materialized bytes= /05/27 18:45:17 INFO mapred.jobclient: Map input records=19 15/05/27 18:45:17 INFO mapred.jobclient: Reduce shuffle bytes= /05/27 18:45:17 INFO mapred.jobclient: Spilled Records=272 15/05/27 18:45:17 INFO mapred.jobclient: Map output bytes= /05/27 18:45:17 INFO mapred.jobclient: Total committed heap usage (bytes)= /05/27 18:45:17 INFO mapred.jobclient: CPU time spent (ms)= /05/27 18:45:17 INFO mapred.jobclient: Combine input records=189 15/05/27 18:45:17 INFO mapred.jobclient: SPLIT_RAW_BYTES=121 15/05/27 18:45:17 INFO mapred.jobclient: Reduce input records=136 15/05/27 18:45:17 INFO mapred.jobclient: Reduce input groups=136 15/05/27 18:45:17 INFO mapred.jobclient: Combine output records=136 15/05/27 18:45:17 INFO mapred.jobclient: Physical memory (bytes) snapshot= /05/27 18:45:17 INFO mapred.jobclient: Reduce output records=136 15/05/27 18:45:17 INFO mapred.jobclient: Virtual memory (bytes) snapshot= /05/27 18:45:17 INFO mapred.jobclient: Map output records= Veremos que se han creado varios ficheros dentro del directorio de salida output-1 que habíamos indicado: wordcount]$ hadoop fs -ls output-1 Found 3 items -rw-r--r-- 3 hadoop supergroup :45 /user/hadoop/output-1/_success drwxr-xr-x - hadoop supergroup :44 /user/hadoop/output-1/_logs -rw-r--r-- 3 hadoop supergroup :45 /user/hadoop/output-1/part-r La salida de nuestro trabajo está en el fichero part-r wordcount]$ hadoop fs -cat output-1/part-r Podemos ver información adicional sobre nuestro trabajo en el interfaz web del JobTracker: JobTracker Web Interface: 21

22 Práctica 6: Desarrollar un trabajo MapReduce usando Streaming API En esta práctica desarrollaremos un trabajo MapReduce básico que contará el número de ocurrencias de cada palabra de un documento. Este trabajo se suele denominar wordcount y es el equivalente al programa Hello Word en Hadoop. Los ficheros necesarios para esta práctica están en el directorio wordcount. 1. (No es necesario si ya hemos hecho la práctica anterior) Lo primero subiremos el fichero de entrada (wordcount/entrada.txt) al HDFS: hadoop fs -mkdir input hadoop fs -put entrada.txt input/ 2. Crearemos los scripts que van a actuar como Mapper y Reducer. Se ofrece una plantilla del mapper y reducer en Perl en el directorio wordcount/streaming_api/ con comentarios para ayudar a su implementación. No es necesario realizar la práctica en Perl, se puede usar también Python o incluso es posible instalar otro lenguaje en el cluster. Se ofrece una posible solución en el directorio wordcount/streaming_api/solucion. 3. Lanzaremos nuestro trabajo MapReduce hadoop jar /opt/cesga/hadoop-1.2.1/contrib/streaming/hadoop-streaming jar -input input -output output -mapper mapper.pl -reducer reducer.pl -file mapper.pl -file reducer.pl 5. Y revisaremos la salida hadoop fs -cat output/part-r-* 22

23 Práctica 7: Desarrollar un trabajo MapReduce en Java En esta práctica desarrollaremos el mismo trabajo wordcount que implementamos en la práctica anterior utilizando Streaming API, pero en esta ocasión usaremos la API nativa de Hadoop en Java. 1. Usaremos el mismo fichero de entrada que en la práctica anterior (wordcount/entrada.txt). Recordamos aquí los pasos necesarios para subir el fichero de entrada al HDFS: hadoop fs -mkdir input hadoop fs -put entrada.txt input/ 2. Implementaremos las funciones map y reduce. Se ofrece una plantilla wordcount/java. La plantilla incluye el driver completo (WordCount.java), el Mapper (WordMapper.java) y el Reducer (SumReducer.java). Sólo es necesario completar la función map que se define dentro del Mapper y la función reduce que se define dentro del Reducer. Se ofrece una posible solución en el directorio wordcount/java/solucion. 3. Compilar el código y generar un fichero jar javac -classpath `hadoop classpath` *.java jar cvf wordcount.jar *.class 4. Por último lanzaremos nuestro trabajo MapReduce hadoop jar wordcount.jar WordCount input output-java 5. Y revisaremos la salida hadoop fs -cat output-java/part-r-* 23

24 Práctica 8: Procesado de datos con Hive En esta práctica veremos como Hive nos permite acceder a ficheros del HDFS como si se tratase de tablas de una base de datos, con un lenguaje llamado HiveQL que es muy similar a SQL. 1. Lo primero descargaremos el dataset que utilizaremos para la práctica. Se trata de un dataset libre de recomendaciones de películas llamado MovieLens y que es distribuido por GroupLens. ~]$ wget https://hadoop.cesga.es/curso/datasets/movielens/movielens-100k.tar.gz 2. Descomprimir el dataset ~]$ tar xzvf movielens-100k.tar.gz 3. Subirlo al HDFS ~]$ cd movielens-100k movielens-100k]$ hadoop fs -mkdir movierating movielens-100k]$ hadoop fs -put u*.base movierating Comprobaremos que todos los ficheros han sido subidos: movielens-100k]$ hadoop fs -ls movierating Found 7 items -rw-r--r-- 3 hadoop supergroup :48 /user/hadoop/movierating/u1.base -rw-r--r-- 3 hadoop supergroup :48 /user/hadoop/movierating/u2.base -rw-r--r-- 3 hadoop supergroup :48 /user/hadoop/movierating/u3.base -rw-r--r-- 3 hadoop supergroup :48 /user/hadoop/movierating/u4.base -rw-r--r-- 3 hadoop supergroup :48 /user/hadoop/movierating/u5.base -rw-r--r-- 3 hadoop supergroup :48 /user/hadoop/movierating/ua.base -rw-r--r-- 3 hadoop supergroup :48 /user/hadoop/movierating/ub.base cd movielens-100k 4. Podemos ver como es el contenido de uno de los ficheros del dataset (todos contienen la misma información): movielens-100k]$ hadoop fs -tail /user/hadoop/movierating/u2.base tail

25 Básicamente cada fichero que hemos subido al HDFS contiene la siguiente información separada por tabulaciones: user id item id rating timestamp 5. Lanzamos Hive movielens-100k]$ hive Logging initialized using configuration in jar:file:/opt/cesga/apache-hive bin/lib/hive-common jar!/hive-log4j.properties hive> 6. Creamos un mapeo para los ficheros que hemos subido al directorio movierating hive> create external table movierating (userid INT, movieid INT, rating INT) row format delimited fields terminated by '\t' location '/user/hadoop/movierating'; 7. Y ahora ya podemos ejecutar consultas sobre esos ficheros como si todos los ficheros del directorio se tratasen de una sola tabla de una base de datos SQL: hive> select count(*) from movierating; Query ID = hadoop_ _6acd64cd-3f12-479f-b2e f Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks determined at compile time: 1 In order to change the average load for a reducer (in bytes): set hive.exec.reducers.bytes.per.reducer=<number> In order to limit the maximum number of reducers: set hive.exec.reducers.max=<number> In order to set a constant number of reducers: set mapred.reduce.tasks=<number> Starting Job = job_ _0001, Tracking URL = Kill Command = /opt/cesga/hadoop-1.2.1/libexec/../bin/hadoop job -kill job_ _0001 Hadoop job information for Stage-1: number of mappers: 1; number of reducers: :16:46,840 Stage-1 map = 0%, reduce = 0% :16:53,875 Stage-1 map = 100%, reduce = 0%, Cumulative CPU 2.71 sec :17:02,923 Stage-1 map = 100%, reduce = 33%, Cumulative CPU 2.71 sec :17:05,942 Stage-1 map = 100%, reduce = 100%, Cumulative CPU 5.16 sec MapReduce Total cumulative CPU time: 5 seconds 160 msec Ended Job = job_ _0001 MapReduce Jobs Launched: Stage-Stage-1: Map: 1 Reduce: 1 Cumulative CPU: 5.16 sec HDFS Read: HDFS Write: 7 SUCCESS Total MapReduce CPU Time Spent: 5 seconds 160 msec OK 25

26 Time taken: seconds, Fetched: 1 row(s) 8. También podemos poner restricciones en la consulta: hive> select * from movierating where userid=1 limit 5; OK Time taken: 0.12 seconds, Fetched: 5 row(s) 9. He incluso podemos crear nuevas tablas a partir de los resultados de una consulta: hive> create table newtable as select * from movierating where userid=1; Query ID = hadoop_ _3e348cf2-f5d e96-a709b704a47a Total jobs = 3 Launching Job 1 out of 3 Number of reduce tasks is set to 0 since there's no reduce operator Starting Job = job_ _0002, Tracking URL = Kill Command = /opt/cesga/hadoop-1.2.1/libexec/../bin/hadoop job -kill job_ _0002 Hadoop job information for Stage-1: number of mappers: 1; number of reducers: :22:33,991 Stage-1 map = 0%, reduce = 0% :22:41,018 Stage-1 map = 100%, reduce = 0%, Cumulative CPU 3.0 sec :22:45,038 Stage-1 map = 100%, reduce = 100%, Cumulative CPU 3.0 sec MapReduce Total cumulative CPU time: 3 seconds 0 msec Ended Job = job_ _0002 Stage-4 is selected by condition resolver. Stage-3 is filtered out by condition resolver. Stage-5 is filtered out by condition resolver. Moving data to: hdfs://hadoop-master:54310/user/hive/warehouse/.hivestaging_hive_ _ _816_ /-ext Moving data to: hdfs://hadoop-master:54310/user/hive/warehouse/oneuser Table default.oneuser stats: [numfiles=1, numrows=1612, totalsize=12256, rawdatasize=10644] MapReduce Jobs Launched: Stage-Stage-1: Map: 1 Cumulative CPU: 3.0 sec HDFS Read: HDFS Write: SUCCESS Total MapReduce CPU Time Spent: 3 seconds 0 msec OK Time taken: seconds 10. Para terminar la sesión interactiva: hive> quit ; 26

27 Práctica 9: Machine learning con Mahout En esta práctica veremos como utilizar la librería de machine learning Mahout para obtener recomendaciones del películas. 1. (Si ya hemos completado la práctica anterior esta parte no es necesaria) Primero descargaremos los datos que utilizaremos y los subiremos al HDFS. ~]$ wget https://hadoop.cesga.es/curso/datasets/movielens/movielens-100k.tar.gz ~]$ tar xzvf movielens-100k.tar.gz ~]$ cd movielens-100k movielens-100k]$ hadoop fs -mkdir movierating movielens-100k]$ hadoop fs -put u*.base movierating Podemos ver como es el contenido de uno de los ficheros del dataset (todos contienen la misma información): movielens-100k]$ hadoop fs -tail /user/hadoop/movierating/u2.base tail Básicamente cada fichero que hemos subido al HDFS contiene la siguiente información separada por tabulaciones: user id item id rating timestamp 2. Crearemos una lista con los identificadores de los usuarios de los cuales queremos obtener las recomendaciones. Para ello crearemos un fichero en el disco local llamado users y dentro de ese fichero pondremos el siguiente contenido (asegurarse de no dejar ninguna línea en blanco al final del fichero): Subiremos el fichero al HDFS ~]$ hadoop fs -put users users 4. Por último ejecutaremos el recomendador de Mahout: 27

Comandos HDF Breve manual

Comandos HDF Breve manual Comandos HDF Breve manual Diego J. Bodas Sagi Julio de 2014 Índice Comandos Linux / Unix Comandos HDFS Ejemplos Resumen 2 Comandos interesantes para Data Science Tener soltura a la hora de interactuar

Más detalles

# the. in the next command references the cloudera home directory # in hdfs, /user/cloudera

# the. in the next command references the cloudera home directory # in hdfs, /user/cloudera Una rápida introducción a HDFS y MapReduce Antes de iniciar a mover datos entre su base de datos relacional y Hadoop, usted necesita una rápida introducción a HDFS y a MapReduce. Hay muchos tutoriales

Más detalles

Manual de instalación y configuración de hadoop 1.0.3 en linux

Manual de instalación y configuración de hadoop 1.0.3 en linux Manual de instalación y configuración de hadoop 1.0.3 en linux Índice...2 Software utilizado...2 Requisitos...2 Java...2 Sistema Operativo...2 Crear grupo y usuario...2 Creación del grupo...2 Creación

Más detalles

COMO USAR HADOOP. Y sobrevivir a la experiencia

COMO USAR HADOOP. Y sobrevivir a la experiencia COMO USAR HADOOP Y sobrevivir a la experiencia ORGANIZACIÓN Descripción Hadoop: Procesos involucrados Esquema de Funcionamiento Instalación de Hadoop Instalación Local Descripción de Instalación en Cluster

Más detalles

INTRODUCCIÓN A APACHE SPARK CON PYTHON

INTRODUCCIÓN A APACHE SPARK CON PYTHON Ls INTRODUCCIÓN A APACHE SPARK CON PYTHON Introducción a Apache Spark Jortilles.com info@jortilles.com Índice de contenido 1.Descripción...3 2.Cual es su ventaja competitiva...3 3.Instalación...3 4.Conceptos

Más detalles

CURSO: DESARROLLADOR PARA APACHE HADOOP

CURSO: DESARROLLADOR PARA APACHE HADOOP CURSO: DESARROLLADOR PARA APACHE HADOOP CAPÍTULO 3: HADOOP CONCEPTOS BÁSICOS www.formacionhadoop.com Índice 1 Introducción a Hadoop 1.1 Proyecto Hadoop 1.2 Conceptos de Hadoop 2 Cluster Hadoop 2.1 Demonios

Más detalles

Instalación de MySQL 5.1 en Windows

Instalación de MySQL 5.1 en Windows Instalación de MySQL 5.1 en Windows Aspectos importantes antes de la instalación. 1. Determinar si la plataforma donde se desea hacer la instalación está soportada. 2. Elegir la distribución que se instalará.

Más detalles

Manual de instalación del servidor Sierra

Manual de instalación del servidor Sierra Manual de instalación del servidor Sierra 1. Contenido y preparación de la instalación...1 2. Instalación de PostgreSQL con PostGIS para el soporte de datos espaciales.... 2 3. Instalación de Apache Geronimo...3

Más detalles

Continuous Delivery (y 3)

Continuous Delivery (y 3) Continuous Delivery (y 3) Sesión 11a 2 Entornos de prueba La última parte de la tubería de despliegue consiste en probar los builds compilados en distintos entornos de prueba Distintos entornos Tests de

Más detalles

Roberto Díaz Morales rdiazm@tsc.uc3m.es MLG 24/06/2013

Roberto Díaz Morales rdiazm@tsc.uc3m.es MLG 24/06/2013 Roberto Díaz Morales rdiazm@tsc.uc3m.es MLG 24/06/2013 Indice Amazon AWS Servicios Capa gratuita Amazon S3 Amazon Elastic MapReduce Amazon Elastic Compute Cloud Amazon EBS Amazon AWS Amazon Web Services

Más detalles

Modelo de Gobierno de Datos con SPARK

Modelo de Gobierno de Datos con SPARK Página1 Configuración de la máquina maestra Para un sistema de Hadoop Para configurar una máquina como maestra en un cluster de Hadoop, es necesario modificar algunos archivos que se encuentran dentro

Más detalles

Instalación y configuración de un servidor de base de datos MySQL 4.1 y su réplica en Red Hat Linux ES 4.0 o Fedora.

Instalación y configuración de un servidor de base de datos MySQL 4.1 y su réplica en Red Hat Linux ES 4.0 o Fedora. Instalación y configuración de un servidor de base de datos MySQL 4.1 y su réplica en Red Hat Linux ES 4.0 o Fedora. Toni de la Fuente Díaz http://blyx.com Septiembre 2006 Introducción:...1 Datos de interés

Más detalles

CURSOS DE VERANO 2014

CURSOS DE VERANO 2014 CURSOS DE VERANO 2014 APROXIMACIÓN PRÁCTICA A LA CIENCIA DE DATOS Y BIG DATA: HERRAMIENTAS KNIME, R, HADOOP Y MAHOUT. Entorno de Procesamiento Hadoop Sara Del Río García 1 Qué es Hadoop? Es un proyecto

Más detalles

Instalando Mass Agent para Grid Control

Instalando Mass Agent para Grid Control Instalando Mass Agent para Grid Control Documento generado por Para el sitio Índice 1. Introducción... 2 2. Pasos a seguir... 2 3. Referencias... 10 1. Introducción Cada vez que se requiere que Grid Control

Más detalles

Log -Analytics con Apache-Flume Elasticsearch HDFS Kibana Master Experto en Cloud Computing U-TAD

Log -Analytics con Apache-Flume Elasticsearch HDFS Kibana Master Experto en Cloud Computing U-TAD Log -Analytics con Apache-Flume Elasticsearch HDFS Kibana Master Experto en Cloud Computing U-TAD Proyecto Final Master Felix Rodriguez Araujo 1 DESCRIPCIÓN GLOBAL DEL PROYECTO 2 TECNOLOGÍAS USADAS 3 WORKFLOW

Más detalles

Uso básico de la terminal

Uso básico de la terminal Uso básico de la terminal Comandos básicos El CLI más utilizado en Linux se llama GNU/Bash (o solo Bash --Bourne Again Shell) algunas variables y comandos que son de utilidad son:. ruta actual ~ home del

Más detalles

Instalación Hadoop. Guía para Debian y derivados

Instalación Hadoop. Guía para Debian y derivados Instalación Hadoop Guía para Debian y derivados Índice Instalación Hadoop Hadoop Distributed File System a. NameNode b. DataNode. Requisitos Diferentes modos de configuración Instalación Java Instalación

Más detalles

virtual appliance guía de inicio rápido

virtual appliance guía de inicio rápido vybuddy virtual appliance guía de inicio rápido Para VMware Workstation 8 (64-bit) En la guía se usa VMware Workstation 8 (64 bits) para Linux, una VM desarrollada con Ubuntu server 11.10 64-bit y hosts

Más detalles

The H Hour: Hadoop The awakening of the BigData. Antonio Soto SolidQ COO asoto@solidq.com @antoniosql

The H Hour: Hadoop The awakening of the BigData. Antonio Soto SolidQ COO asoto@solidq.com @antoniosql The H Hour: Hadoop The awakening of the BigData Antonio Soto SolidQ COO asoto@solidq.com @antoniosql Tendencias de la Industria El nuevo rol del operador El operador de ayer Sigue el proceso basado en

Más detalles

Presentación Infraestructura Computación CloudPYME- Versión 1.0 http://support.cloudpyme.eu/doc/cp_platform_v1.0.pdf

Presentación Infraestructura Computación CloudPYME- Versión 1.0 http://support.cloudpyme.eu/doc/cp_platform_v1.0.pdf Infraestructura CloudPYME Presentación Infraestructura Computación CloudPYME- Versión 1.0 http://support.cloudpyme.eu/doc/cp_platform_v1.0.pdf ÍNDICE Arquitectura CloudPyme V1.0 Usuario/Cliente/Empresa

Más detalles

INSTRUCTIVO DE INSTALACIÓN DE OMEKA 2.1.4

INSTRUCTIVO DE INSTALACIÓN DE OMEKA 2.1.4 Grupo de Innovación y Apropiación de Tecnologías de la Información Archivística Compilador: Pedro Antonio Gómez Guarín INSTRUCTIVO DE INSTALACIÓN DE OMEKA 2.1.4 INSTRUCTIVO DE INSTALACIÓN DE OMEKA 2.1.4

Más detalles

Guía Comandos para verificar estado de la máquina front-end

Guía Comandos para verificar estado de la máquina front-end Guía Comandos para verificar estado de la máquina front-end Contenido de la guía GUÍA COMANDOS PARA VERIFICAR ESTADO DE LA MÁQUINA FRONT-END... 1 CONTENIDO DE LA GUÍA... 1 INFORMACIÓN ACADÉMICA DE LA GUÍA...

Más detalles

INSTALACIÓN DE MySQL SERVER EN WINDOWS

INSTALACIÓN DE MySQL SERVER EN WINDOWS INSTALACIÓN DE MySQL SERVER EN WINDOWS Seguir los siguientes pasos: En primer lugar necesitaremos disponer del programa de instalación. Se puede descargar gratuitamente de http://dev.mysql.com/downloads

Más detalles

Toda la información de instalación se puede encontrar en el fichero "install.log".

Toda la información de instalación se puede encontrar en el fichero install.log. MAST STORAGE Instalación Linux 1. Descargue el archivo de instalación (obm-nix.tar.gz) y ejecútelo. 2. Descomprima el fichero de instalación en /usr/local/obm mkdir /usr/local/obm cd /usr/local/obm gunzip

Más detalles

virtual appliance guía de inicio rápido

virtual appliance guía de inicio rápido vybuddy virtual appliance guía de inicio rápido Para VMware Workstation 8 (64-bit) En la guía se usa VMware Workstation 8 (64 bits) para Linux, una VM desarrollada con Ubuntu server 12.04 64-bit y hosts

Más detalles

Instalación y configuración de Filezilla Server

Instalación y configuración de Filezilla Server Instalación y configuración de Filezilla Server OBJETIVOS Instalar y configurar un servidor FTP open source (Filezilla Server). Administrar y crear usuarios y grupos en Filezilla Server. Configurar y establecer

Más detalles

Acceso a máquinas usando el SSH sin contraseña

Acceso a máquinas usando el SSH sin contraseña Acceso a máquinas usando el SSH sin contraseña Sergio Talens-Oliag InfoCentre (http://www.infocentre.gva.es/) stalens@infocentre.gva.es En este documento se explica como acceder a servidores Unix utilizando

Más detalles

Servidores Linux. CEP Indalo. Enrique Brotons SERVIDOR WEB

Servidores Linux. CEP Indalo. Enrique Brotons SERVIDOR WEB SERVIDOR WEB Hoy en día casi todos los centros educativos cuentan con una página web donde poder ofrecer información del centro como las enseñanzas que se imparten, horarios escolares, ubicación del mismo,

Más detalles

labs Linux para Administradores de Elastix Elastix Certification ELASTIX CERTIFICATION

labs Linux para Administradores de Elastix Elastix Certification ELASTIX CERTIFICATION Linux para Administradores de Elastix Elastix Certification 2012, PALOSANTO SOLUTIONS todos los derechos reservados. Esta documentación y su propiedad intelectual pertenece a PaloSanto Solutions. Cualquier

Más detalles

REQUISITOS DEL SISTEMA. Software Servidor. Cliente. Hardware Servidor. Cliente

REQUISITOS DEL SISTEMA. Software Servidor. Cliente. Hardware Servidor. Cliente MANUAL TECNICO INSTALACIÓN Y CONFIGURACIÓN DEL SISTEMA AARON A QUIEN VA DIRIGIDO El siguiente manual está dirigido al administrador encargado de la instalación y configuración del Sistema AARON. PRÓLOGO

Más detalles

Kosmo Desktop Manual de desarrollo Instalación y configuración del código fuente de Kosmo en Eclipse

Kosmo Desktop Manual de desarrollo Instalación y configuración del código fuente de Kosmo en Eclipse Kosmo Desktop Manual de desarrollo Instalación y configuración del código fuente de Kosmo en Eclipse Versión 3.0 02/12/2010 2 3 1 Control de versiones VERSIÓN AUTOR FECHA CAMBIO 1.0 SAIG, S.L. 22/03/2007

Más detalles

1 of 10 31/01/08 16:02 Cluster Mysql 5.X De Telefonica I+D - Division 6123 Explicaremos cómo instalar y configurar un Mysql 5.0 Cluster sobre Centos 5 Autor: Edwin Plauchu mail to: j4nusx@gmail.com Tabla

Más detalles

Índice. Presentación Stratebi Introducción Qué es? Características Principales Instalación & Configuración Comandos

Índice. Presentación Stratebi Introducción Qué es? Características Principales Instalación & Configuración Comandos Hbase Up & Running Índice Presentación Stratebi Introducción Qué es? Características Principales Instalación & Configuración Comandos Sobre nosotros - Stratebi Confían en Business Intelligence Open Source

Más detalles

Al igual que HTTP, FTP se basa en el envío de comandos codificados mediante ASCII, es decir, en texto plano.

Al igual que HTTP, FTP se basa en el envío de comandos codificados mediante ASCII, es decir, en texto plano. FTP (FILE TRANSFER PROTOCOL) FTP es un programa que se utiliza para transferir información, almacenada en ficheros, de una máquina remota a otra local, o viceversa (RFC 959). Para poder realizar esta operación

Más detalles

Integración de Toolchain PTXdist sobre IDE gráfico basado en Eclipse

Integración de Toolchain PTXdist sobre IDE gráfico basado en Eclipse Integración de Toolchain PTXdist sobre IDE gráfico basado en Eclipse Objetivos Integrar un toolchain basado en PTXdist sobre un IDE gráfico basado en Eclipse. Creación y compilación de un pequeño proyecto.

Más detalles

Manual de Instalación del sistema administrativo PremiumSoft Extended 7

Manual de Instalación del sistema administrativo PremiumSoft Extended 7 1 P á g i n a M a n u a l d e I n s t a l a c i ó n d e l s i s t e m a a d m i n i s t r a t i v o Manual de Instalación del sistema administrativo PremiumSoft Extended 7 X Realizado por: Enrique Tancredi

Más detalles

Manual de Netmrg. David Pérez Antonio Calderón Jaume Barceló Vicens

Manual de Netmrg. David Pérez Antonio Calderón Jaume Barceló Vicens Manual de Netmrg David Pérez Antonio Calderón Jaume Barceló Vicens Índice 1. Introducción...3 2. Manual de instalación y configuración de los servidores...4 3. Aprendiendo a monitorizar con NetMRG...7

Más detalles

Resumen. Abstract. Palabras Claves: Hive, Hadoop, MapReduce, ESPOL.

Resumen. Abstract. Palabras Claves: Hive, Hadoop, MapReduce, ESPOL. Análisis de la información de una base de Datos Transaccional usando Hive sobre Hadoop Mercedes Alcívar (1), Iván Espinoza (2), Vanessa Cedeño (3) Facultad de Ingeniería en Electricidad y Computación (1)

Más detalles

Actualización Aranda VIRTUAL SUPPORT (AVS) 7.1 a 7.2

Actualización Aranda VIRTUAL SUPPORT (AVS) 7.1 a 7.2 Actualización Aranda VIRTUAL SUPPORT (AVS) 7.1 a 7.2 Proyecto: Aranda VIRTUAL SUPPORT 7.2 Responsable del documento: María Camila Gómez Silva Project Manager maria.gomez@arandasoft.com Versión 1.0 Estado

Más detalles

UNIVERSIDAD DON BOSCO FACULTAD DE ESTUDIOS TECNOLÓGICOS ESCUELA DE COMPUTACIÓN

UNIVERSIDAD DON BOSCO FACULTAD DE ESTUDIOS TECNOLÓGICOS ESCUELA DE COMPUTACIÓN UNIVERSIDAD DON BOSCO FACULTAD DE ESTUDIOS TECNOLÓGICOS ESCUELA DE COMPUTACIÓN CICLO: 02/2015 GUÍA DE LABORATORIO #6 Nombre de la Practica: Instalación de FreeBSD para Server. Tiempo Estimado: 2 horas

Más detalles

Escalar aplicaciones a cantidades masivas de datos Usando computadoras baratas muchas

Escalar aplicaciones a cantidades masivas de datos Usando computadoras baratas muchas Hadoop Problema Escalar aplicaciones a cantidades masivas de datos Usando computadoras baratas muchas Problemas de fiabilidad: alta probabilidad de que falle una o más computadoras Necesitamos algo que

Más detalles

sudo mkdir /usr/local/pgsql/data /home/ /home/juan sudo chown juan /usr/local/pgsql/data

sudo mkdir /usr/local/pgsql/data /home/ /home/juan sudo chown juan /usr/local/pgsql/data sudo tar -zxvf postgresql-8.2.4.tar.gz cd postgresql-8.2.4 sudo./configure sudo./configure --without-[opcion] sudo make sudo make install sudo mkdir /usr/local/pgsql/data /home/ /home/juan sudo chown juan

Más detalles

Instalación y configuración de OsTicket en Centos 6.5

Instalación y configuración de OsTicket en Centos 6.5 Instalación y configuración de OsTicket en Centos 6.5 Elaborado por: Juan David Trujillo. 07/01/2015 CONTROL DE CAMBIOS Versión Modificada Descripción del Cambio Cambio realizado por Fecha del cambio 1

Más detalles

Introducción. Instalación de Apache Tomcat PASO 1: PASO 2: PASO 3: PASO 4:

Introducción. Instalación de Apache Tomcat PASO 1: PASO 2: PASO 3: PASO 4: Introducción El presente documento es una guía rápida de instalación de alguna herramienta particular. De seguro existen otras formas de realizar el proceso de instalación, pero esta es la que mejor le

Más detalles

si por el contrario, queremos compilarlo, tendremos que realizar los siguientes pasos: cd netinvent./configure make make install

si por el contrario, queremos compilarlo, tendremos que realizar los siguientes pasos: cd netinvent./configure make make install Manual de usuario NetInvent (servidor) Netinvent se proporciona en una paquete comprimido en formato netinvent.tar.gz. Este formato es uno de los comúnmente utilizados para distribuir los programas bajos

Más detalles

Instalación, configuración y administración de Virtual Infrastructure mediante VMware Virtual Center y VMware Infrastructure Client

Instalación, configuración y administración de Virtual Infrastructure mediante VMware Virtual Center y VMware Infrastructure Client Instalación, configuración y administración de Virtual Infrastructure mediante VMware Virtual Center y VMware Infrastructure Client 2008-10-22 18:37:27 En este procedimiento se explica cómo montar un VirtualCenter

Más detalles

INSTRUCTIVO DE INSTALACION DSPACE 5.1

INSTRUCTIVO DE INSTALACION DSPACE 5.1 Grupo de Innovación y Apropiación de Tecnologías de la Información Archivística Compilador: Pedro Antonio Gómez Guarín INSTRUCTIVO DE INSTALACION DSPACE 5.1 INSTALACION DSPACE 5.1 Contenido INTRODUCCION...

Más detalles

Instalación de mysql Server 6.0

Instalación de mysql Server 6.0 Instalación de mysql Server 6.0 En primer lugar descargaremos el programa de instalación de MySQL Server 6.0 Alpha, disponible gratuitamente en la URL: http://dev.mysql.com/downloads/mysql/6.0.html#win32

Más detalles

CENTRO DE BACHILLERATO TECNOLÓGICO INDUSTRIAL Y DE SERVICIOS #166 Pablo Torres Burgos

CENTRO DE BACHILLERATO TECNOLÓGICO INDUSTRIAL Y DE SERVICIOS #166 Pablo Torres Burgos INSTRUCCIONES: Crear una máquina virtual con CentOS. Esperar a que cargue el SO y abrir una terminal de comandos. Realizar lo siguiente. NOTA: Para cada comando que se ejecute exitosamente: tomar una captura

Más detalles

CONFIGURACION SERVIDOR SAMBA EN FEDORA 21 LUIS MIGUEL BLANCO PEÑARANDA. Presentado a: Ing. JEAN POLO CEQUEDA OLAGO UFPS I 2015

CONFIGURACION SERVIDOR SAMBA EN FEDORA 21 LUIS MIGUEL BLANCO PEÑARANDA. Presentado a: Ing. JEAN POLO CEQUEDA OLAGO UFPS I 2015 CONFIGURACION SERVIDOR SAMBA EN FEDORA 21 LUIS MIGUEL BLANCO PEÑARANDA 1150488 Presentado a: Ing. JEAN POLO CEQUEDA OLAGO UFPS I 2015 SAMBA Samba es una implementación libre del protocolo de archivos compartidos

Más detalles

Table of Contents DNS. Samba. Usuarios. Equipos. Configuración de red. Añadir equipo al dominio. Recursos Compartidos.

Table of Contents DNS. Samba. Usuarios. Equipos. Configuración de red. Añadir equipo al dominio. Recursos Compartidos. Table of Contents DNS Samba Usuarios Equipos Configuración de red Añadir equipo al dominio Recursos Compartidos Compartir carpeta Perfiles móviles DNS Un Servidor de Nombres, o Domain Name Server es un

Más detalles

Integración de Toolchain PTXdist sobre IDE gráfico basado en Eclipse

Integración de Toolchain PTXdist sobre IDE gráfico basado en Eclipse Integración de Toolchain PTXdist sobre IDE gráfico basado en Eclipse Objetivos Integrar un toolchain basado en PTXdist sobre un IDE gráfico basado en Eclipse. Creación y compilación de un pequeño proyecto.

Más detalles

Big Data. Analisís de grandes cantidades de datos. Sergio Marchena Quirós

Big Data. Analisís de grandes cantidades de datos. Sergio Marchena Quirós Big Data Analisís de grandes cantidades de datos Sergio Marchena Quirós Índice 1.0 Introducción...3 1.1 Objetivos del proyecto...3 1.1.1 Estudio Teórico...3 2.0 Big Data...3 2.1 las 5 V...3 2.2 Tipos de

Más detalles

Instalación y configuración del servidor FTP Filezilla en Windows 2003 Server. Vicente Sánchez Patón I.E.S Gregorio Prieto.

Instalación y configuración del servidor FTP Filezilla en Windows 2003 Server. Vicente Sánchez Patón I.E.S Gregorio Prieto. Tema 5 SRI Instalación y configuración del servidor FTP Filezilla en Windows 2003 Server Vicente Sánchez Patón I.E.S Gregorio Prieto Tema 5 SRI Lo primero será descargarse el filezilla sever, desde su

Más detalles

Los ficheros /etc/hosts deben tener este aspecto en rhmaster, rhnodo1 y rhnodo2

Los ficheros /etc/hosts deben tener este aspecto en rhmaster, rhnodo1 y rhnodo2 Eduardo Campos Jiménez, Enero 2011 Clúster Red Hat Pre-Requisitos Tres servidores con Red Hat 5.5. Cada uno de estos tres servidores debe tener 3 placas Ethernet conectadas en estas condiciones: eth0 conectada

Más detalles

Curso de MySQL y Java

Curso de MySQL y Java Curso de MySQL y Java Introducción: instalación, arranque y primeros pasos 1. Material En este curso vamos a trabajar con el servidor mysql versión 4.0.18. También utilizaremos una herramienta llamada

Más detalles

Practica 3: Infraestructuras Web

Practica 3: Infraestructuras Web Comercio Electrónico Practica 3: Infraestructuras Web Antonio Sanz ansanz@unizar.es Rafael del Hoyo rdelhoyo@ita.es Objetivo de la práctica Definir los diversos elementos de una infraestructura de comercio

Más detalles

Uso del servidor gráfico X en los servidores del CESGA mediante PuTTY y Cygwin

Uso del servidor gráfico X en los servidores del CESGA mediante PuTTY y Cygwin Uso del servidor gráfico X en los servidores del CESGA mediante PuTTY y Cygwin Contenido Introducción... 2 Obtención e instalación del software necesario... 2 Configuración de PuTTY para su uso con Cygwin...

Más detalles

ANEXO I. Instalación y Configuración de CloudStack.

ANEXO I. Instalación y Configuración de CloudStack. ANEXO I. Instalación y Configuración de CloudStack. La finalidad de este anexo es describir de forma precisa el proceso de instalación y configuración de CloudStack. Éste comienza con la instalación del

Más detalles

Módulo 7. Administración de MySQL

Módulo 7. Administración de MySQL Módulo 7. Administración de MySQL Guía de Prácticas y Laboratorios Día 2 Francisco Medina López Septiembre 2009 Práctica 1. Administrando los privilegios de Usuarios Duración: 10 min. Objetivo: El participante

Más detalles

Instalación y Administración de un servidor VNC en Linux Ubuntu y un cliente en Windows.

Instalación y Administración de un servidor VNC en Linux Ubuntu y un cliente en Windows. Instalación y Administración de un servidor VNC en Linux Ubuntu y un cliente en Windows. En esta práctica se pretende instalar y administrar un servidor VNC en Linux y un cliente VNC Windows. Con lo cual,

Más detalles

Proyecto Fenton - Cluster de Computadores de Alto Desempeo con Acceso Remoto (CCADAR) Manual de instalacin. Julio 2008

Proyecto Fenton - Cluster de Computadores de Alto Desempeo con Acceso Remoto (CCADAR) Manual de instalacin. Julio 2008 Facultad de Ingeniera Universidad de la Repblica Proyecto Fenton - Cluster de Computadores de Alto Desempeo con Acceso Remoto (CCADAR) Manual de instalacin Julio 2008 Estudiantes: Santiago Iturriaga, Paulo

Más detalles

WDpStats Procedimiento de instalación

WDpStats Procedimiento de instalación WDpStats Procedimiento de instalación Tabla de contenidos WDpStats... 1 Procedimiento de instalación... 1 Tabla de contenidos... 1 Resumen... 2 Requisitos... 2 Instalación... 2 Dificultades... 6 Ejecución...

Más detalles

Manual de NetBeans y XAMPP

Manual de NetBeans y XAMPP Three Headed Monkey Manual de NetBeans y XAMPP Versión 1.0 Guillermo Montoro Delgado Raúl Nadal Burgos Juan María Ruiz Tinas Lunes, 22 de marzo de 2010 Contenido NetBeans... 2 Qué es NetBeans?... 2 Instalación

Más detalles

Guia de Usuario Support Panel Console Multi Plataforma Ver 3.0 Español

Guia de Usuario Support Panel Console Multi Plataforma Ver 3.0 Español Guia de Usuario Support Panel Console Multi Plataforma Ver 3.0 Español 1. Sign in El proceso de inicio de sesión de un agente en el servidor de LiveHelp es muy sencillo, solo es necesario ingresar la información

Más detalles

How to. Servidor Samba en CentOS

How to. Servidor Samba en CentOS Instituto Tecnológico Las Américas (ITLA) Sistemas Operativos 3 (SO3) Daniel Alejandro Moreno Martínez Matrícula: 2010-2946 How to How to: Servidor Samba en CentOS!!! Servidor Samba en CentOS Samba es

Más detalles

Manual de Instalación NetMRG. Gestión de Redes y Servicios. Proyecto

Manual de Instalación NetMRG. Gestión de Redes y Servicios. Proyecto e Proyecto Gestión de Redes y Servicios Manual de Instalación NetMRG Group: E (SinCity) Date: 21/06/2007 Jurgi Barreña Lejarreta (53488) Patricia Durán García (29904) Ignasi Pujals Palau (33424) Roger

Más detalles

Actividad 1: Utilización cliente FTP (mediante línea de comandos, entornos gráficos y navegadores/exploradores) (I).

Actividad 1: Utilización cliente FTP (mediante línea de comandos, entornos gráficos y navegadores/exploradores) (I). PRÁCTICAS SRI TEMA 5 (SERVIDOR FTP) Actividad 1: Utilización cliente FTP (mediante línea de comandos, entornos gráficos y navegadores/exploradores) (I). 1. Iniciamos sesión con un usuario nombre (miguel)

Más detalles

SERVICIO NACIONAL DE ADUANA DEL ECUADOR INSTRUCTIVO PARA DESCARGAR E INSTALAR EL AGENTE AVS PARA EL CHAT Y CONTROL REMOTO FEBRERO 2012

SERVICIO NACIONAL DE ADUANA DEL ECUADOR INSTRUCTIVO PARA DESCARGAR E INSTALAR EL AGENTE AVS PARA EL CHAT Y CONTROL REMOTO FEBRERO 2012 SERVICIO NACIONAL DE ADUANA DEL ECUADOR INSTRUCTIVO PARA DESCARGAR E INSTALAR EL AGENTE AVS PARA EL CHAT Y CONTROL REMOTO FEBRERO 2012 1 ÍNDICE 1. OBJETIVO... 3 2. ALCANCE... 3 3. RESPONSABILIDAD... 3

Más detalles

Para poder instalar el producto, tendremos que obtener el instalador apropiado para nuestro entorno hardware y software.

Para poder instalar el producto, tendremos que obtener el instalador apropiado para nuestro entorno hardware y software. Instalación de Oracle Service BUS (OSB) 1 DESCARGA DE INSTALADOR Para poder instalar el producto, tendremos que obtener el instalador apropiado para nuestro entorno hardware y software. En la siguiente

Más detalles

Resumen. DESlock+ Guía Básica de Configuración. Requerimientos del Sistema:

Resumen. DESlock+ Guía Básica de Configuración. Requerimientos del Sistema: DESlock+ Guía Básica de Configuración Resumen DESlock+ Enterprise server incluye varias soluciones de encriptación que pueden distribuirse a cada equipo a través de la consola Enterprise Server + DESlock.

Más detalles

En el servidor Proxy se creara una regla de acceso donde se prohibe la entrada a páginas relacionadas con sexo, pornografía, etc.

En el servidor Proxy se creara una regla de acceso donde se prohibe la entrada a páginas relacionadas con sexo, pornografía, etc. Instalación y Configuración de un servidor Proxy con En esta práctica se pretende instalar y configurar un servidor Proxy en Linux con Squid y un cortafuegos GuFW en el servidor Ubuntu. La administración

Más detalles

Oracle Database 12c (12.1.0.2.0) Instalación-Creación de Base de Datos

Oracle Database 12c (12.1.0.2.0) Instalación-Creación de Base de Datos Oracle Database 12c (12.1.0.2.0) Instalación-Creación de Base de Datos Antes de comenzar la instalación del software de la base de datos es necesario copiar el software a la máquina virtual. Para ello

Más detalles

Manual básico de Usuario versión para Windows. Versión 1.0. Manual de usuario de jmetrik / Elaborado por RCCH

Manual básico de Usuario versión para Windows. Versión 1.0. Manual de usuario de jmetrik / Elaborado por RCCH Manual básico de Usuario versión para Windows Versión 1.0 1 jmetrik jmetrik es una aplicación de software libre y abierto a la psicometría clásica y moderna. Contiene funciones de análisis de items, la

Más detalles

INSTRUCTIVO DE INSTALACION EN WINDOWS Y LINUX DE ALFRESCO COMMUNITY 4.2

INSTRUCTIVO DE INSTALACION EN WINDOWS Y LINUX DE ALFRESCO COMMUNITY 4.2 INSTRUCTIVO DE INSTALACION EN WINDOWS Y LINUX DE ALFRESCO COMMUNITY 4.2 Grupo de Innovación y Apropiación de Tecnologías de la Información Archivística Compilador: Pedro Antonio Gómez Guarín Contenido

Más detalles

Manual de Instalación del software de Respaldo de. ATIO Cloud Services

Manual de Instalación del software de Respaldo de. ATIO Cloud Services Manual de Instalación del software de Respaldo de ATIO Cloud Services I. DESCARGA DEL SOFTWARE. Nota: Es preferible que usen los discos de instalación que tienen en ATIO o que descarguen el software en

Más detalles

Instalación de owncloud en Ubuntu Server 12.04 LTS Realizado por: Antonio García Silva 2º ASIR IES Julio Verne

Instalación de owncloud en Ubuntu Server 12.04 LTS Realizado por: Antonio García Silva 2º ASIR IES Julio Verne Instalación de owncloud en Ubuntu Server 12.04 LTS Realizado por: Antonio García Silva 2º ASIR IES Julio Verne Antonio García Silva Página 1 de 10 Índice: 1. Instalación de Ubuntu LAMP (Linux+Apache+Mysql+PHP)

Más detalles

How to #7: Samba como Grupo de Trabajo

How to #7: Samba como Grupo de Trabajo Instituto Tecnológico de Las Américas (ITLA) Sistema Operativos 3 Luis Enmanuel Carpio Domínguez Matrícula: 2012-1206 How to #7: Samba como Grupo de Trabajo SAMBA Samba es una implementación de código

Más detalles

Samba. Instalación. Tabla de contenidos. De Guía Ubuntu

Samba. Instalación. Tabla de contenidos. De Guía Ubuntu Samba De Guía Ubuntu Samba es un software que permite a tu ordenador con Ubuntu poder compartir archivos e impresoras con otras computadoras en una misma red local. Utiliza para ello un protocolo conocido

Más detalles

Instrucciones para el despliegue de EJBs

Instrucciones para el despliegue de EJBs Apuntes de J2EE Instrucciones para el despliegue de EJBs Uploaded by Ingteleco http://ingteleco.webcindario.com ingtelecoweb@hotmail.com La dirección URL puede sufrir modificaciones en el futuro. Si no

Más detalles

Creación de Scripts. Qué es un script? Como funciona un shell script en Linux?

Creación de Scripts. Qué es un script? Como funciona un shell script en Linux? Creación de Scripts Qué es un script? Un guión o script es un fichero de texto que contiene una serie de instrucciones que se pueden ejecutar en la línea de órdenes, y que se ejecutarán seguidas. En ese

Más detalles

RED NACIONAL DE SOPORTE TECNICO

RED NACIONAL DE SOPORTE TECNICO RED NACIONAL DE SOPORTE TECNICO ITCA-FEPADE Active Directory v1 Administración (Aulas Informáticas) Septiembre 2009 Contenido Impresoras en Active Directory... 3 Administración de Escritorios Remotos...

Más detalles

Introducción a Hadoop

Introducción a Hadoop Introducción a Hadoop Patrocinado por Bahía Software Tomás Fernández Pena Centro Singular de Investigación en Tecnoloxías da Información Universidade de Santiago de Compostela citius.usc.es Qué es MapReduce?

Más detalles

Control Remoto Unifi Ubiquiti

Control Remoto Unifi Ubiquiti Control Remoto Unifi Ubiquiti Enlace con AWS Amazon Nuvolink Sistemas Integrales SL www.nuvolink.es Creación de una cuenta en AWS Amazon Creamos una cuenta nueva en AWS Amazon Si disponemos de una cuenta

Más detalles

Módulo Superior de Diseño de Aplicaciones Web. Despliegue de Aplicaciones Web Tarea 3 José Luis Comesaña Cabeza

Módulo Superior de Diseño de Aplicaciones Web. Despliegue de Aplicaciones Web Tarea 3 José Luis Comesaña Cabeza Módulo Superior de Diseño de Aplicaciones Web Despliegue de Aplicaciones Web Tarea 3 José Luis Comesaña Cabeza Diciembre de 2012 1. Una aplicación web puede ser desplegada en diferentes servidores web

Más detalles

Cloud Builder Ejercicio práctico

Cloud Builder Ejercicio práctico Cloud Builder Ejercicio práctico Raúl Martínez Zabala IaaS + PaaS Product Manager Qué vamos a hacer? Visto desde fuera: Un Blog Visto desde dentro... Nosotros frontal web Internet Backend MySQL CloudBuilder

Más detalles

Licencias ZWCAD. Guía de instalación/activación

Licencias ZWCAD. Guía de instalación/activación Licencias ZWCAD. Guía de instalación/activación Introducción Licencias monopuesto Licencias de Red Instalación de licencia monopuesto Paso 1: instalar zwcad Paso 2: activar la licencia Activar sin llave

Más detalles

El sistema operativo Linux

El sistema operativo Linux El sistema operativo Linux Introducción Que es linux Sistema operativo que emula UNIX Creado por un estudiante, Linus Torvald, para poder hacer sus prácticas en un PC. Nace en 1991 Linux 1.0 en 1994 2.2

Más detalles

Instituto Tecnológico de Costa Rica Escuela de Ingeniería en Computación

Instituto Tecnológico de Costa Rica Escuela de Ingeniería en Computación Instituto Tecnológico de Costa Rica Escuela de Ingeniería en Computación "Data Analytics, procesamiento de grandes volúmenes de información para generar inteligencia de negocios" Proyecto de Graduación

Más detalles

Citrix XenServer. 1 de 25 09/06/2008 23:39. Instalación, configuración y administración de Citrix XenServer,

Citrix XenServer. 1 de 25 09/06/2008 23:39. Instalación, configuración y administración de Citrix XenServer, 1 de 25 09/06/2008 23:39 Citrix XenServer Instalación, configuración y administración de Citrix XenServer, Citrix XenServer permite a las empresas disponer de máquinas virtuales Windows y Linux rápida

Más detalles

Alessandro Chacón 05-38019. Ernesto Level 05-38402. Ricardo Santana 05-38928

Alessandro Chacón 05-38019. Ernesto Level 05-38402. Ricardo Santana 05-38928 Alessandro Chacón 05-38019 Ernesto Level 05-38402 Ricardo Santana 05-38928 CONTENIDO Universo Digital Hadoop HDFS: Hadoop Distributed File System MapReduce UNIVERSO DIGITAL 161 EB 2006 Fuente: International

Más detalles

Comprender un poco más de los que es Apache Pig y Hadoop. El tutorial de cerdo muestra cómo ejecutar dos scripts de cerdo en modo local y el

Comprender un poco más de los que es Apache Pig y Hadoop. El tutorial de cerdo muestra cómo ejecutar dos scripts de cerdo en modo local y el APACHE PIG CONTENIDO 1. Introducción 3 1.1. Apache Pig 3 1.2. Propiedades 4 1.3. Requisitos para Apache Pig 4 1.4. Instalación de Hadoop 5 1.5. Instalación de java 5 1.6. Instalación de Pig 6 1.7. Ejecución

Más detalles

Monitoreo de redes. Ing. Diego Córdoba www.linuxinstitute.com.ar Pagina 1 de 9

Monitoreo de redes. Ing. Diego Córdoba www.linuxinstitute.com.ar Pagina 1 de 9 Monitoreo de redes Ing. Diego Córdoba www.linuxinstitute.com.ar Pagina 1 de 9 HIDS: Host Intrusion Detection System OSSEC es un Host Intrusion Detection System, cuya principal función es realizar controles

Más detalles

INSTALACION DE UN SERVIDOR PENTAHO 5.2 CON POSTGRESQL 9.1 EN LINUX CENTOS 6.6 de 32 BITS

INSTALACION DE UN SERVIDOR PENTAHO 5.2 CON POSTGRESQL 9.1 EN LINUX CENTOS 6.6 de 32 BITS INSTALACION DE UN SERVIDOR PENTAHO 5.2 CON POSTGRESQL 9.1 EN LINUX CENTOS 6.6 de 32 BITS Toda la instalación se lo va a realizar en el directorio opt, la instalación correspondiente al jdk se lo hace así.

Más detalles

Instalación. Encontrará el instalador de la aplicación SanDisk +Cloud en su unidad flash SanDisk.

Instalación. Encontrará el instalador de la aplicación SanDisk +Cloud en su unidad flash SanDisk. Instalación Encontrará el instalador de la aplicación SanDisk +Cloud en su unidad flash SanDisk. Asegúrese de que su ordenador está conectado a Internet. Conecte después la unidad flash y haga doble clic

Más detalles

Instalación y configuración de VMWare ESX

Instalación y configuración de VMWare ESX 1 de 29 01/12/2007 1:47 Instalación y configuración de VMWare ESX Instalación y configuración de VMWare ESX 3.0.1, VMWare ESX es un sistema operativo de VMWare basado en Linux, que nos sirve para ahorrarnos

Más detalles