Log -Analytics con Apache-Flume Elasticsearch HDFS Kibana Master Experto en Cloud Computing U-TAD

Tamaño: px
Comenzar la demostración a partir de la página:

Download "Log -Analytics con Apache-Flume Elasticsearch HDFS Kibana Master Experto en Cloud Computing U-TAD"

Transcripción

1 Log -Analytics con Apache-Flume Elasticsearch HDFS Kibana Master Experto en Cloud Computing U-TAD Proyecto Final Master Felix Rodriguez Araujo

2 1 DESCRIPCIÓN GLOBAL DEL PROYECTO 2 TECNOLOGÍAS USADAS 3 WORKFLOW DEL DATO A ALTO NIVEL 4 BIBLIOGRAFÍA

3

4 Con el crecimiento de los volúmenes de datos que estamos experimentando en los últimos años, nos hemos visto obligados a buscar soluciones para poder tratar dicha información de manera ágil y eficiente. E.T.L. está siendo una estrategia claramente en alza en los últimos tiempos,el cómo extraer los datos de múltiples orígenes y sistemas, cargarlos en tablas de datos para luego,posteriormente tratarlos y poder sacar un provecho de ellos. En el ejemplo que quiero tratar con este proyecto, es la gestión de logs generados por los diferentes webservers que tenemos por las diferentes regiones configuradas en AWS,para posteriormente visualizarlos de una manera eficiente y práctica. t x E r t c a Transform Loa d

5

6 Flume permite diseñar y ejecutar workflows ETL con un gran rendimiento, confiabilidad y una puesta en marcha rápida (sin necesidad de programación) Apache Flume es un sistema para la recolección agregación y transporte de cantidades masivas de información. Distribuido, confiable y flexible. Su capacidad de adaptación permite trabajar con fuentes de datos heterogéneas y con destinos variados. Los datos se pueden transformar, parsear, enriquecer o normalizar al vuelo. También pueden crearse topologías de despliegue sofisticadas, para resolver casos de uso más complejos.

7 Hadoop es un sistema que permite almacenar y procesar grandes datos en un entorno distribuido en clústeres de ordenadores utilizando modelos de programación simple. Está diseñado para aumentar la escala de servidores individuales de miles de máquinas, cada uno de ellos ofrece computación y almacenamiento local. Características de los HDFS Es adecuado para el almacenamiento y procesamiento distribuido. Hadoop proporciona una interfaz de comandos para interactuar con HDFS. Los servidores de namenode datanode y ayudar a los usuarios a comprobar fácilmente el estado del clúster. Streaming el acceso a los datos del sistema de ficheros. HDFS proporciona permisos de archivo y la autenticación.

8 Hive es almacén de datos creado específicamente para Hadoop que nos facilita la tarea de sumarizar los datos pre-existentes en HDFS. La idea principal de Hive es la de funcionar como capa externa a Hadoop a modo de envoltorio, donde vamos a poder realizar consultas sobre el sistema de archivos que serán tratadas como MapReduces en modo nativo en HDFS. Para poder realizar estas operaciones, fue creado un lenguaje de consultas a "base de datos" (recordemos que HDFS es un sistema de ficheros) muy similar a SQL, que denominaron HiveQL o HQL (dependiendo de en que libro lo leas lo verás de una manera u otra).

9 ElasticSearch indexa cualquier documento que le envíes y escala horizontalmente con mucha facilidad. ElasticSearch es un servidor de indexación y búsqueda schema-less con grandes capacidades de escalabilidad horizontal. Schema-less significa que el esquema se puede actualizar sobre la marcha, en función de los documentos indexados. ElasticSearch puede indexar cada campo de los documentos (full-text search) y genera agregaciones y agrupaciones automáticamente. Registrar un nodo nuevo en el cluster es muy sencillo, con una gestión automática del reparto de los datos y peticiones.

10 Kibana permite sacar provecho de los datos indexados, diseñando dashboards en cuestión de minutos. Kibana es el motor de visualización y análisis de ElasticSearch, que permite una integración nativa con los datos indexados. Los dashboards de Kibana son fáciles de crear y permiten una exploración de los datos en tiempo real, pero también de históricos. Su interfaz es muy flexible y potente, con capacidades de análisis que abarcan desde la visualización de widgets hasta el raw data, con drill-down y estadísticas al vuelo de cada dato indexado.

11

12 es es ns po sts ue a r nd Apache HTTP server Flume Agent Flu me eq r ttp H Me ssa gin g TC PP ORT HDFS Hive Flume Agent h arc Visualising the data Ela to g din e Loa h Hiv wit se stic

13 El primer paso, lógicamente será recibir peticiones a nuestros servidores web Apache. Dicho tráfico configuraremos para que loguee donde consideremos oportuno. esp es ons s que re Http nd r ts a Apache HTTP server Flume Agent En cada web-server configuraremos el agente flume, para que envie los logs al HDFS. El archivo de conf básica del flume en el web-server Ruta de los logs a analizar PARA LEVANTAR EL AGENTE /usr/lib/flume/bin/flume-ng agent -c conf -f conf/flume-src-agent.conf -n source_agent Ip HDFS +Puerto

14 Apache HTTP server Flume Agent Flu me Me ssa gin gt CP PO RT Una vez levantado el agente Flume en el servidor origen,procederá a enviar al collector (servidor destino) los logs que hemos configurado previamente START Agent: flume-ng agent -c conf -f /flume-ng/conf/flume-trg-agent.conf -n collector HDFS Hive Flume Agent Path del HDFS donde guardamos los logs enviados desde el source

15 Una vez lanzados los agentes flumes tanto en el server target como source.. Vemos como, efectivamente nuestro HDFS está recibiendo datos

16 Podemos ver de una manera mucho más gráfica los logs importados por flume en HDFS, usaremos la G.U.I. de Hadoop, HUE.

17 Para poder conseguir nuestro objetivo final, debemos de empezar a tratar los logs con HIVE, para ello vamos a importar los logs en tablas, para ello lo haremos desde HUE o también desde la consola hive de un terminal SSH, con la siguiente query.

18 A continuación vamos a inyectar datos en ElasticSearch,ya que es un requisito fundamental para finalmente poder verlo en Kibana. Lo primero que debemos hacer es agregar el jar elasticsearch-hadoop a la query Las queries necesarias para ello son las siguientes: CREATE TABLE logs (type STRING, time STRING, ext STRING, ip STRING, req STRING, res INT, bytes INT, phpmem INT, agent STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; LOAD DATA INPATH '/pro/data/logs/apache_access_combined/150724' OVERWRITE INTO TABLE logs; CREATE EXTERNAL TABLE felix_logses (time STRING, extension STRING, clientip STRING, request STRING, response INT, agent STRING) STORED BY 'org.elasticsearch.hadoop.hive.esstoragehandler' TBLPROPERTIES('es.resource' = 'demo/hive', 'es.mapping.names' = 'es.nodes' = 'your_es_cluster_hostname'); INSERT OVERWRITE TABLE felix_logses SELECT s.time, s.ext, s.ip, s.req, s.res, s.agent FROM logs s;

19 Si todo ha ido bien, ya podemos empezar a tratar datos con Elasticsearch. Para verlo no hay más que ejecutar esta sencilla query... Y...Voila...vemos los datos correctamente importados.

20 El último paso de nuestro proyecto, es ofrecer una visualización de los logs que vamos y hemos importado. Como dijimos antes, usaremos Kibana. Lo primero que deberemos hacer es agregar el index creado en la tabla anteriormente en hive. En este caso, el index creado se denomina felix, vemos que importa las tablas con sus campos y datos.

21 El último paso de nuestro proyecto, es ofrecer una visualización de los logs que vamos y hemos importado. Como dijimos antes, usaremos Kibana. Lo primero que deberemos hacer es agregar el index creado en la tabla anteriormente en hive. En este caso, el index creado se denomina felix, vemos que importa las tablas con sus campos y datos.

22 Los siguientes pasos en Kibana, para no entrar mucho en detalle, es básicamente que debes personalizar tus búsquedas en tus logs para que, posteriormente con los datos importados por Elasticsearch, te muestre los gráficos deseados.

23

24 https://www.elastic.co/guide/en/elasticsearch/reference/1.6/cluster-nodes-info.html https://github.com/hortonworks/hadoop-tutorials/blob/master/community/t07_elasticsearch_hadoop_integration.md https://www.elastic.co/downloads https://github.com/lmenezes/elasticsearch-kopf https://www.digitalocean.com/community/tutorials/how-to-use-kibana-dashboards-and-visualizations hortonworks.com/products/hortonworks-sandbox/#tuts-admins

25

The H Hour: Hadoop The awakening of the BigData. Antonio Soto SolidQ COO asoto@solidq.com @antoniosql

The H Hour: Hadoop The awakening of the BigData. Antonio Soto SolidQ COO asoto@solidq.com @antoniosql The H Hour: Hadoop The awakening of the BigData Antonio Soto SolidQ COO asoto@solidq.com @antoniosql Tendencias de la Industria El nuevo rol del operador El operador de ayer Sigue el proceso basado en

Más detalles

Resumen. Abstract. Palabras Claves: Hive, Hadoop, MapReduce, ESPOL.

Resumen. Abstract. Palabras Claves: Hive, Hadoop, MapReduce, ESPOL. Análisis de la información de una base de Datos Transaccional usando Hive sobre Hadoop Mercedes Alcívar (1), Iván Espinoza (2), Vanessa Cedeño (3) Facultad de Ingeniería en Electricidad y Computación (1)

Más detalles

Qué significa Hadoop en el mundo del Big Data?

Qué significa Hadoop en el mundo del Big Data? Qué significa Hadoop en el mundo del Big Data? Un contenido para perfiles técnicos 2 ÍNDICE Qué significa Hadoop en el Universo Big Data?.... 3 El planteamiento: big data y data science.... 3 Los desafíos

Más detalles

Proyecto Fin de Carrera OpenNebula y Hadoop: Cloud Computing con herramientas Open Source

Proyecto Fin de Carrera OpenNebula y Hadoop: Cloud Computing con herramientas Open Source Proyecto Fin de Carrera OpenNebula y Hadoop: Cloud Computing con herramientas Open Source Francisco Magaz Villaverde Consultor: Víctor Carceler Hontoria Junio 2012 Contenido Introducción Qué es Cloud Compu5ng?

Más detalles

PREVIEW BIDOOP 2.0. Big Data Brunch

PREVIEW BIDOOP 2.0. Big Data Brunch PREVIEW BIDOOP 2.0 Big Data Brunch 08 de Julio 2014 Quién soy? Trabajando con Hadoop desde 2010 sluangsay@pragsis.com @sourygna CTO de Pragsis Responsable departamento sistemas Preventa Instructor de Hadoop

Más detalles

CURSO: DESARROLLADOR PARA APACHE HADOOP

CURSO: DESARROLLADOR PARA APACHE HADOOP CURSO: DESARROLLADOR PARA APACHE HADOOP CAPÍTULO 3: HADOOP CONCEPTOS BÁSICOS www.formacionhadoop.com Índice 1 Introducción a Hadoop 1.1 Proyecto Hadoop 1.2 Conceptos de Hadoop 2 Cluster Hadoop 2.1 Demonios

Más detalles

Big data A través de una implementación

Big data A través de una implementación Big data A través de una implementación Lic. Diego Krauthamer Profesor Adjunto Interino del Área Base de Datos Universidad Abierta Interamericana Facultad de Tecnología Informática Buenos Aires. Argentina

Más detalles

ÍNDICE. Introducción... Capítulo 1. Conceptos de Big Data... 1

ÍNDICE. Introducción... Capítulo 1. Conceptos de Big Data... 1 ÍNDICE Introducción... XIII Capítulo 1. Conceptos de Big Data... 1 Definición, necesidad y características de Big Data... 1 Aplicaciones típicas de Big Data... 4 Patrones de detección del fraude... 4 Patrones

Más detalles

BIG DATA & SEGURIDAD UN MATRIMONIO DE FUTURO

BIG DATA & SEGURIDAD UN MATRIMONIO DE FUTURO BIG DATA & SEGURIDAD UN MATRIMONIO DE FUTURO PRESENTACIÓN ANTONIO GONZÁLEZ CASTRO IT SECURITY DIRECTOR EN PRAGSIS TECHNOLOGIES agcastro@pragsis.com antoniogonzalezcastro.es @agonzaca linkedin.com/in/agonzaca

Más detalles

Evaluación de MapReduce, Pig y Hive, sobre la plataforma Hadoop

Evaluación de MapReduce, Pig y Hive, sobre la plataforma Hadoop Informe de materia de graduación Evaluación de MapReduce, Pig y Hive, sobre la plataforma Hadoop Franklin Parrales Bravo Marco Calle Jaramillo Contenido o Herramientas o Motivación o Servicios y herramientas

Más detalles

Big Data. Analisís de grandes cantidades de datos. Sergio Marchena Quirós

Big Data. Analisís de grandes cantidades de datos. Sergio Marchena Quirós Big Data Analisís de grandes cantidades de datos Sergio Marchena Quirós Índice 1.0 Introducción...3 1.1 Objetivos del proyecto...3 1.1.1 Estudio Teórico...3 2.0 Big Data...3 2.1 las 5 V...3 2.2 Tipos de

Más detalles

Big Data en la nube. Use los datos. Obtenga información. La pregunta clave es: Qué puede hacer Doopex por mi negocio?

Big Data en la nube. Use los datos. Obtenga información. La pregunta clave es: Qué puede hacer Doopex por mi negocio? Qué es Doopex? Big Data en la nube. Use los datos. Obtenga información. Seguramente, la pregunta clave no es Qué es Doopex?. La pregunta clave es: Qué puede hacer Doopex por mi negocio? El objetivo de

Más detalles

El valor de los log para el negocio

El valor de los log para el negocio El valor de los log para el negocio Roberto Hidalgo Cisneros IT Infraestructure & Security Manager Empresa de Ingeniería y Desarrollo de Proyectos de Informática y Comunicaciones Nuestros Servicios Consultoría

Más detalles

CAPITULO V. IMPLEMENTACIÓN DE UNA HERRAMIENTA INTEGRADA DE RED

CAPITULO V. IMPLEMENTACIÓN DE UNA HERRAMIENTA INTEGRADA DE RED CAPITULO V. IMPLEMENTACIÓN DE UNA HERRAMIENTA INTEGRADA DE RED En el presente capitulo se presenta una aplicación que aborda una herramienta de monitoreo de redes para soportar estudios de disponibilidad.

Más detalles

Cocinando con Big Data

Cocinando con Big Data Cocinando con Big Data Javier Sánchez BDM Big Data jsanchez@flytech.es 91.300.51.09 21/11/2013 Javier Sánchez 1 Agenda Qué es Big Data? Receta Punto de Partida Para qué Big Data? Conclusiones 21/11/2013

Más detalles

Conectores Pentaho Big Data Community VS Enterprise

Conectores Pentaho Big Data Community VS Enterprise Conectores Pentaho Big Data Community VS Enterprise Agosto 2014 Stratebi Business Solutions www.stratebi.com info@stratebi.com Índice 1. Resumen... 3 2. Introducción... 4 3. Objetivo... 4 4. Pentaho Community

Más detalles

Social Big Data. Ignacio Bustillo Ignacio.Bustillo@stratebi.com Twitter: @IgnacioBustillo Fecha presentación: 13 de Noviembre de 2014

Social Big Data. Ignacio Bustillo Ignacio.Bustillo@stratebi.com Twitter: @IgnacioBustillo Fecha presentación: 13 de Noviembre de 2014 Social Big Data Ignacio Bustillo Ignacio.Bustillo@stratebi.com Twitter: @IgnacioBustillo Fecha presentación: 13 de Noviembre de 2014 'Hello world!' Creador & Organizador Docente universitario El mundo

Más detalles

Hadoop. Cómo vender un cluster Hadoop?

Hadoop. Cómo vender un cluster Hadoop? Hadoop Cómo vender un cluster Hadoop? ÍNDICE Problema Big Data Qué es Hadoop? Descripción HDSF Map Reduce Componentes de Hadoop Hardware Software 3 EL PROBLEMA BIG DATA ANTES Los datos los generaban las

Más detalles

INTRODUCCIÓN A APACHE SPARK CON PYTHON

INTRODUCCIÓN A APACHE SPARK CON PYTHON Ls INTRODUCCIÓN A APACHE SPARK CON PYTHON Introducción a Apache Spark Jortilles.com info@jortilles.com Índice de contenido 1.Descripción...3 2.Cual es su ventaja competitiva...3 3.Instalación...3 4.Conceptos

Más detalles

APACHE HADOOP. Daniel Portela Paz Javier Villarreal García Luis Barroso Vázquez Álvaro Guzmán López

APACHE HADOOP. Daniel Portela Paz Javier Villarreal García Luis Barroso Vázquez Álvaro Guzmán López APACHE HADOOP Daniel Portela Paz Javier Villarreal García Luis Barroso Vázquez Álvaro Guzmán López Objetivos 1. Qué es Apache Hadoop? 2. Funcionalidad 2.1. Map/Reduce 2.2. HDFS 3. Casos prácticos 4. Hadoop

Más detalles

CAPITULO 9. Diseño de una Base de Datos Relacional Distribuida

CAPITULO 9. Diseño de una Base de Datos Relacional Distribuida 9.1 Operaciones CAPITULO 9 Diseño de una Base de Datos Relacional Distribuida Las consultas distribuidas obtienen acceso a datos de varios orígenes de datos homogéneos o heterogéneos. Estos orígenes de

Más detalles

Índice. Presentación Stratebi Introducción Qué es? Características Principales Instalación & Configuración Comandos

Índice. Presentación Stratebi Introducción Qué es? Características Principales Instalación & Configuración Comandos Hbase Up & Running Índice Presentación Stratebi Introducción Qué es? Características Principales Instalación & Configuración Comandos Sobre nosotros - Stratebi Confían en Business Intelligence Open Source

Más detalles

CURSO: APACHE SPARK CAPÍTULO 2: INTRODUCCIÓN A APACHE SPARK. www.formacionhadoop.com

CURSO: APACHE SPARK CAPÍTULO 2: INTRODUCCIÓN A APACHE SPARK. www.formacionhadoop.com CURSO: APACHE SPARK CAPÍTULO 2: INTRODUCCIÓN A APACHE SPARK www.formacionhadoop.com Índice 1 Qué es Big Data? 2 Problemas con los sistemas tradicionales 3 Qué es Spark? 3.1 Procesamiento de datos distribuido

Más detalles

BIG DATA. Jorge Mercado. Software Quality Engineer

BIG DATA. Jorge Mercado. Software Quality Engineer BIG DATA Jorge Mercado Software Quality Engineer Agenda Big Data - Introducción Big Data - Estructura Big Data - Soluciones Conclusiones Q&A Big Data - Introducción Que es Big Data? Big data es el termino

Más detalles

LOOKWISE ENTERPRISE MANAGER NOVEDADES RELEASE 5.1

LOOKWISE ENTERPRISE MANAGER NOVEDADES RELEASE 5.1 LOOKWISE ENTERPRISE MANAGER NOVEDADES RELEASE 5.1 LOOKWISE ENTERPRISE MANAGER NOVEDADES RELEASE 5.1 página 2 de 17 S21sec - Pamplona, 2015 La información facilitada en este documento es propiedad de S21sec,

Más detalles

Diseño y Admón. de Bases de Datos. Ingeniería Informática curso 2010/11

Diseño y Admón. de Bases de Datos. Ingeniería Informática curso 2010/11 Laboratorio 06. Objetivos: Representación interna de un BD. Tablas, índices e índices full-text. Sesiones: 1 (24 de noviembre de 2010) Ejercicio: 1. Representación interna: 1.1. Copiar al repositorio de

Más detalles

Entendiendo y Optimizando MySQL

Entendiendo y Optimizando MySQL Grupo de Usuarios de Linux Universidad Carlos III de Madrid. 10 de Noviembre de 2010 Indice Arquitectura 1 Arquitectura 2 3 4 5 Arquitectura Sistema de Gestión de Bases de Datos. GPL. Escrito en C y C++.

Más detalles

ADMINISTRACIÓN DE BASE DE DATOS

ADMINISTRACIÓN DE BASE DE DATOS SQL SERVER T-SQL QUERY s es ADMINISTRADOR GRÁFICO SGBD Elementos objetos Tablas Procedimientos Triggers Funciones Usuarios Permiso Roles Contraseñas Programas DTS (Data Transfer System) Exportación e Importación

Más detalles

VISIÓN GENERAL HERRAMIENTAS COMERCIALES

VISIÓN GENERAL HERRAMIENTAS COMERCIALES VISIÓN GENERAL El servidor de MS SQL se ha convertido en un estándar en muchas partes de la América corporativa. Puede manejar volúmenes de datos grandes y se integra bien con otros productos de Microsoft.

Más detalles

3. Acceso granular a su información. 4. Información no estructurada. 5. Privilegios de accesos granulares. 6. Almacenamiento de conocimiento

3. Acceso granular a su información. 4. Información no estructurada. 5. Privilegios de accesos granulares. 6. Almacenamiento de conocimiento ÍNDICE 1. Introducción 2. Análisis Forense 3. Acceso granular a su información 4. Información no estructurada 5. Privilegios de accesos granulares 6. Almacenamiento de conocimiento 7. Patrones de comportamiento

Más detalles

INSTRUCTIVO DE INSTALACION EN WINDOWS Y LINUX DE ALFRESCO COMMUNITY 4.2

INSTRUCTIVO DE INSTALACION EN WINDOWS Y LINUX DE ALFRESCO COMMUNITY 4.2 INSTRUCTIVO DE INSTALACION EN WINDOWS Y LINUX DE ALFRESCO COMMUNITY 4.2 Grupo de Innovación y Apropiación de Tecnologías de la Información Archivística Compilador: Pedro Antonio Gómez Guarín Contenido

Más detalles

HDInsight. Big Data, al estilo Microsoft

HDInsight. Big Data, al estilo Microsoft HDInsight Big Data, al estilo Microsoft PABLO DOVAL SQL/BI Team Lead palvarez@plainconcepts.com http://geeks.ms/blogs/palvarez @PabloDoval Big Data ALGUNAS ESTADÍSTICAS DE SQL SERVER Categoría Metrica

Más detalles

Comandos HDF Breve manual

Comandos HDF Breve manual Comandos HDF Breve manual Diego J. Bodas Sagi Julio de 2014 Índice Comandos Linux / Unix Comandos HDFS Ejemplos Resumen 2 Comandos interesantes para Data Science Tener soltura a la hora de interactuar

Más detalles

1. Servidor Web. (apache). 2. PHP. 3. Manejador de base de datos (mysql, postgress).

1. Servidor Web. (apache). 2. PHP. 3. Manejador de base de datos (mysql, postgress). COMO DESARROLLAR UN SISTEMA EN PHP PASO A PASO. (Guía practica). La presente guía esta diseñada para orientar a los programadores que se están iniciando en el mundo del php, a desarrollar una aplicación

Más detalles

HOW TO SOBRE REMOTE ACCESS VPN MODE EN LINUX

HOW TO SOBRE REMOTE ACCESS VPN MODE EN LINUX HOW TO SOBRE REMOTE ACCESS VPN MODE EN LINUX 1- En este how to realizaremos una conexión remota mediante vpn; lo que haremos es comprobar primero que las maquinas que vamos a conectar, se puedan ver y

Más detalles

neodoc, la gestión documental ágil

neodoc, la gestión documental ágil neodoc, la gestión documental ágil www.neodoc.es Qué es neodoc? Sabemos que en el mercado existen decenas de soluciones de gestión documental... Nosotros te proponemos que elijas neodoc, convencidos de

Más detalles

Manual de Webalizer. Sync-Intertainment

Manual de Webalizer. Sync-Intertainment Manual de Webalizer Sync-Intertainment ESTADISTICAS WEBALIZER Manual Webalizer Webalizer es un potente programa de estadísticas para su sito web, permite el análisis de los datos obtenidos del log de apache,

Más detalles

Monitorización de actividades de datos InfoSphere Guardium para Big Data

Monitorización de actividades de datos InfoSphere Guardium para Big Data Monitorización de actividades de datos InfoSphere Guardium para Big Data Amal Mashlab IBM Software Group, Information Management Responsable de Ventas de Gobierno de la Información para Europa Cumplir

Más detalles

Servidor Apache. Instalación Configuración Apache con Webmin 24/03/2014. Vicente

Servidor Apache. Instalación Configuración Apache con Webmin 24/03/2014. Vicente Servidor Apache Instalación Configuración Apache con Webmin 24/03/2014 Vicente Instalación Configuración Apache con Webmin Así como Windows tiene el Administrador de Servidor en sus Server2003 o Server2008

Más detalles

PROYECTO ADMINISTRACIÓN ORACLE ENTERPRISE MANAGER

PROYECTO ADMINISTRACIÓN ORACLE ENTERPRISE MANAGER PROYECTO ADMINISTRACIÓN ORACLE ENTERPRISE MANAGER Proyecto de administración avanzada Alejandro Romero Abadía 1 Este proyecto consiste en una explicación de las funciones que ofrece la consola web de administración

Más detalles

Solución empresarial Hadoop de EMC. NAS de escalamiento horizontal Isilon y Greenplum HD

Solución empresarial Hadoop de EMC. NAS de escalamiento horizontal Isilon y Greenplum HD Informe técnico Solución empresarial Hadoop de EMC NAS de escalamiento horizontal Isilon y Greenplum HD Por Julie Lockner, analista ejecutivo, y Terri McClure, analista ejecutivo Febrero de 2012 Este Informe

Más detalles

GedicoPDA: software de preventa

GedicoPDA: software de preventa GedicoPDA: software de preventa GedicoPDA es un sistema integrado para la toma de pedidos de preventa y gestión de cobros diseñado para trabajar con ruteros de clientes. La aplicación PDA está perfectamente

Más detalles

Google BigQuery. Luis Villalba 59191

Google BigQuery. Luis Villalba 59191 Google BigQuery Luis Villalba 59191 Universidad Católica de Asunción, Departamento de Ciencias y Tecnologías, Sede Santa Librada, Asunción, Paraguay villalba.luifer@gmail.com Abstract. En este paper estaremos

Más detalles

Facultad Politécnica UNA Ing. Julio Paciello juliopaciello@gmail.com

Facultad Politécnica UNA Ing. Julio Paciello juliopaciello@gmail.com Facultad Politécnica UNA Ing. Julio Paciello juliopaciello@gmail.com Contenidos Clúster de Investigación Aplicada Proyectos HPC Clúster Hadoop para tecnologías de BI Una nube privada para la Administración

Más detalles

Visión general CIUDADANO SECTOR PÚBLICO. Necesidades y servicios alineados. Toma de decisiones HERRAMIENTAS. Mejora de la trazabilidad del dato

Visión general CIUDADANO SECTOR PÚBLICO. Necesidades y servicios alineados. Toma de decisiones HERRAMIENTAS. Mejora de la trazabilidad del dato Plataforma DATUNE Solución Big Open Data para las administraciones que permite relacionar los datos del ciudadano y de los servicios públicos para una administración orientada a datos. Proyecto cofinanciado

Más detalles

Servidor Cloud by cloudbuilder

Servidor Cloud by cloudbuilder Servidor Cloud by cloudbuilder Cómo funciona Cloud? De qué está hecha la Nube? Es segura? En qué se diferencia de los servicios tradicionales de hosting?... Descubre todas las posibilidades que te ofrece

Más detalles

Software de Comunicaciones. Práctica 7 - Secure Shell. SSH

Software de Comunicaciones. Práctica 7 - Secure Shell. SSH Software de Comunicaciones Práctica 7 - Secure Shell. SSH Juan Díez-Yanguas Barber Software de Comunicaciones Ingeniería Informática - 5º Curso Jdyb - Mayo 2013 Juan Díez- Yanguas Barber Práctica 7 Índice

Más detalles

PINOT. La ingestión near real time desde Kafka complementado por la ingestión batch desde herramientas como Hadoop.

PINOT. La ingestión near real time desde Kafka complementado por la ingestión batch desde herramientas como Hadoop. PINOT Stratebi Paper (2015 info@stratebi.com www.stratebi.com) Pinot es la herramienta de análisis en tiempo real desarrollada por LinkedIn que la compañía ha liberado su código bajo licencia Apache 2.0,

Más detalles

Aquí tenemos que seleccionar el lenguaje que queremos usar mediante la instalación.

Aquí tenemos que seleccionar el lenguaje que queremos usar mediante la instalación. Instalación de Elastix Seleccionando el lenguaje Aquí tenemos que seleccionar el lenguaje que queremos usar mediante la instalación. Selección del idioma del teclado Seleccionamos el idioma que queramos

Más detalles

Roberto Díaz Morales rdiazm@tsc.uc3m.es MLG 24/06/2013

Roberto Díaz Morales rdiazm@tsc.uc3m.es MLG 24/06/2013 Roberto Díaz Morales rdiazm@tsc.uc3m.es MLG 24/06/2013 Indice Amazon AWS Servicios Capa gratuita Amazon S3 Amazon Elastic MapReduce Amazon Elastic Compute Cloud Amazon EBS Amazon AWS Amazon Web Services

Más detalles

Practica 3: Infraestructuras Web

Practica 3: Infraestructuras Web Comercio Electrónico Practica 3: Infraestructuras Web Antonio Sanz ansanz@unizar.es Rafael del Hoyo rdelhoyo@ita.es Objetivo de la práctica Definir los diversos elementos de una infraestructura de comercio

Más detalles

PROGRAMA FORMATIVO Analista de Datos Big Data Cloudera Apache Hadoop

PROGRAMA FORMATIVO Analista de Datos Big Data Cloudera Apache Hadoop PROGRAMA FORMATIVO Analista de Datos Big Data Cloudera Apache Hadoop Julio 2015 DATOS GENERALES DE LA ESPECIALIDAD 1. Familia Profesional: INFORMÁTICA Y COMUNICACIONES (IFC) Área Profesional: SISTEMAS

Más detalles

CURSOS DE VERANO 2014

CURSOS DE VERANO 2014 CURSOS DE VERANO 2014 CLOUD COMPUTING: LA INFORMÁTICA COMO SERVICIO EN INTERNET LA PLATAFORMA GOOGLE CLOUD PLATFORM. GOOGLE APP ENGINE Pedro A. Castillo Valdivieso Universidad de Granada http://bit.ly/unia2014

Más detalles

Big Data Analytics: propuesta de una arquitectura

Big Data Analytics: propuesta de una arquitectura Big Data Analytics: propuesta de una arquitectura Jonathan Solano Rodriguez y Estefany Leiva Valverde Escuela de Ingeniería, Universidad Latinoamericana de Ciencia y Tecnología, ULACIT, Urbanización Tournón,

Más detalles

Big Data y BAM con WSO2

Big Data y BAM con WSO2 Mayo 2014 Big Data y BAM con Leonardo Torres Centro Experto en SOA/BPM en atsistemas ofrece una completa suite de productos Open Source SOA y son contribuidores de muchos de los productos de Apache, como

Más detalles

CURSOS DE VERANO 2014

CURSOS DE VERANO 2014 CURSOS DE VERANO 2014 CLOUD COMPUTING: LA INFORMÁTICA COMO SERVICIO EN INTERNET La plataforma Google Cloud Platform. Google App Engine Pedro A. Castillo Valdivieso Universidad de Granada La plataforma

Más detalles

Con la interacción de tus empleados mejorará la productividad de tu negocio

Con la interacción de tus empleados mejorará la productividad de tu negocio 1. Introducción Con la interacción de tus empleados mejorará la productividad de tu negocio Los empleados de cualquier compañía precisan numerosos accesos en su trabajo diario, además de interaccionar

Más detalles

Instalando CodeKa v1.0 sobre Bitnami Xamp Stack (para Windows, Linux, OS X y Solaris).

Instalando CodeKa v1.0 sobre Bitnami Xamp Stack (para Windows, Linux, OS X y Solaris). CODEKA INDICE 1. Preconfiguración 1. Apache 2. Mysql 3. Php 1. PhpmyAdmin 2. Descargar Codeka 3. Configurar Codeka 1. Configurar conexión 2. Cargar Base de datos 3. Localizar Imagenes de Portada 4. Primeros

Más detalles

PRIMEROS PASOS CON SOFIA2

PRIMEROS PASOS CON SOFIA2 PRIMEROS PASOS CON SOFIA2 JUNIO 2015 Versión 7 1 INDICE 1 INDICE... 2 2 INTRODUCCIÓN... 3 2.1 REQUISITOS... 3 2.2 OBJETIVOS Y ALCANCE DEL PRESENTE DOCUMENTO... 3 3 SDK Y APIS SOFIA2... 4 3.1 INSTALAR SDK

Más detalles

Copyright 2010 EMC Corporation. All rights reserved.

Copyright 2010 EMC Corporation. All rights reserved. 1 GreenPlum El Futuro y el Presente del Data WareHouse 2 Retos en los Data Warehouse actuales Tanto las fuentes de los datos como la cantidad de información a analizar crece exponencialmente Existe información

Más detalles

Introducción a Javato

Introducción a Javato Introducción a Javato Fº. Javier Pereñiguez Steria Iberica 20/02/2008 Índice Introducción Arquitectura Ejemplo arquitectura Plataforma Desarrollo Ejemplo de entorno de desarrollo Vías futuras Casos de

Más detalles

Comprender un poco más de los que es Apache Pig y Hadoop. El tutorial de cerdo muestra cómo ejecutar dos scripts de cerdo en modo local y el

Comprender un poco más de los que es Apache Pig y Hadoop. El tutorial de cerdo muestra cómo ejecutar dos scripts de cerdo en modo local y el APACHE PIG CONTENIDO 1. Introducción 3 1.1. Apache Pig 3 1.2. Propiedades 4 1.3. Requisitos para Apache Pig 4 1.4. Instalación de Hadoop 5 1.5. Instalación de java 5 1.6. Instalación de Pig 6 1.7. Ejecución

Más detalles

APO BPM Software de Automatización de Procesos. Defina, integre y controle sus circuitos de negocio en un solo lugar

APO BPM Software de Automatización de Procesos. Defina, integre y controle sus circuitos de negocio en un solo lugar APO BPM Software de Automatización de Procesos Defina, integre y controle sus circuitos de negocio en un solo lugar APO BPM es una herramienta para la definición dinámica, integración, ejecución y control

Más detalles

Instituto Tecnológico de Costa Rica Escuela de Ingeniería en Computación

Instituto Tecnológico de Costa Rica Escuela de Ingeniería en Computación Instituto Tecnológico de Costa Rica Escuela de Ingeniería en Computación "Data Analytics, procesamiento de grandes volúmenes de información para generar inteligencia de negocios" Proyecto de Graduación

Más detalles

Instituto Tecnológico Las Américas (ITLA) Sistemas Operativos 3 (SO3) Daniel Alejandro Moreno Martínez. Matrícula: 2010-2946.

Instituto Tecnológico Las Américas (ITLA) Sistemas Operativos 3 (SO3) Daniel Alejandro Moreno Martínez. Matrícula: 2010-2946. Instituto Tecnológico Las Américas (ITLA) Sistemas Operativos 3 (SO3) Daniel Alejandro Moreno Martínez Matrícula: 2010-2946 How to How to: Web Server (Apache)!!! Servidor Web El servidor HTTP Apache es

Más detalles

La Analítica de Datos no Estructurados

La Analítica de Datos no Estructurados La Analítica de Datos no Estructurados Análisis Big Data con Hadoop Big Data es Más Que Solamente Hadoop Que me podría decir de Big Data? Quiero saber de Hadoop. Big Data es mucho mas que Hadoop! Nuestros

Más detalles

Asterisk - NIVEL 1. Descripción General del Seminario

Asterisk - NIVEL 1. Descripción General del Seminario Asterisk - NIVEL 1 Descripción General del Seminario Este seminario completamente virtualizado, lo entrenara para administrar sistemas Linux orientado a uso en instalaciones Asterisk, aprenderá a compilar

Más detalles

INSTRUCTIVO DE INSTALACION ATOM 2.0.1

INSTRUCTIVO DE INSTALACION ATOM 2.0.1 Grupo de Innovación y Apropiación de Tecnologías de la Información Archivística Compilador: Pedro Antonio Gómez Guarín INSTRUCTIVO DE INSTALACION ATOM 2.0.1 INSTRUCTIVO DE INSTALACION ATOM 2.0.1 Contenido

Más detalles

XII Encuentro Danysoft en Microsoft Abril 2015. Business Intelligence y Big Data XII Encuentro Danysoft en Microsoft Directos al código

XII Encuentro Danysoft en Microsoft Abril 2015. Business Intelligence y Big Data XII Encuentro Danysoft en Microsoft Directos al código Business Intelligence y Big Data XII Encuentro Danysoft en Microsoft Directos al código Ana María Bisbé York Servicios Profesionales sp@danysoft.com 916 638683 www.danysoft.com Abril 2015 Sala 1 SQL Server

Más detalles

Monitor de Estadísticas de IDECanarias

Monitor de Estadísticas de IDECanarias Monitor de Estadísticas de IDECanarias Deepak P. Daswani 1, J. J. Rodrigo 1 y J. Rosales 2 1 Depto. de Ingeniería GRAFCAN. Cartográfica de Canarias, S.A C/ Panamá 34, Naves 8 y 9 Santa Cruz de Tenerife

Más detalles

Documento Técnico. Pruebas de rendimiento bases de datos columnares vs bases de datos orientadas a filas.

Documento Técnico. Pruebas de rendimiento bases de datos columnares vs bases de datos orientadas a filas. Documento Técnico Pruebas de rendimiento bases de datos columnares vs bases de datos orientadas a filas. Fecha de Creación: 04/05/2012 info@stratebi.com @stratebi www.stratebi.com - www.todobi.com 1. Introducción

Más detalles

Big Data y Supercómputo. Dr. Jesús Antonio González (jagonzalez@inaoep.mx) Instituto Nacional de Astrofísica, Óptica y Electrónica (INAOE)

Big Data y Supercómputo. Dr. Jesús Antonio González (jagonzalez@inaoep.mx) Instituto Nacional de Astrofísica, Óptica y Electrónica (INAOE) Big Data y Supercómputo Dr. Jesús Antonio González (jagonzalez@inaoep.mx) Instituto Nacional de Astrofísica, Óptica y Electrónica (INAOE) Big Data 2 Hasta qué cantidad de datos podemos procesar en nuestra

Más detalles

Motores de almacenamiento en MySQL 5.0 por Mario López y Juan A. Sánchez

Motores de almacenamiento en MySQL 5.0 por Mario López y Juan A. Sánchez Motores de almacenamiento en MySQL 5.0 por Mario López y Juan A. Sánchez 15 de enero de 2008 Qué es un motor de almacenamiento en un sistema gestor de bases de datos? Un motor de almacenamiento es una

Más detalles

Ficha Técnica del curso Online de Cloud Computing con Amazon Web Services (AWS)

Ficha Técnica del curso Online de Cloud Computing con Amazon Web Services (AWS) Ficha Técnica del curso Online de Cloud Computing con Amazon Web Services (AWS) Nombre del Curso: Curso Online de Cloud Computing con Amazon Web Services (AWS) Breve descripción del Curso: Este curso online

Más detalles

Estableciendo Sesiones SSL en MySQL

Estableciendo Sesiones SSL en MySQL Estableciendo Sesiones SSL en MySQL Estableciendo Sesiones SSL en MySQL Objetivos: Crear la infraestructura de certificados X.509 necesaria para incorporar servicios de seguridad en el acceso a un Base

Más detalles

Alessandro Chacón 05-38019. Ernesto Level 05-38402. Ricardo Santana 05-38928

Alessandro Chacón 05-38019. Ernesto Level 05-38402. Ricardo Santana 05-38928 Alessandro Chacón 05-38019 Ernesto Level 05-38402 Ricardo Santana 05-38928 CONTENIDO Universo Digital Hadoop HDFS: Hadoop Distributed File System MapReduce UNIVERSO DIGITAL 161 EB 2006 Fuente: International

Más detalles

Una metodología basada en XML para la configuración y despliegue de aplicaciones DDS

Una metodología basada en XML para la configuración y despliegue de aplicaciones DDS Una metodología basada en XML para la configuración y despliegue de aplicaciones DDS Dirigido por Juan M. López Soler Departamento de Teoría de la Señal, Telemática Y Comunicaciones E.T.S. Ingenierías

Más detalles

Instituto Tecnológico de Las Américas (ITLA)

Instituto Tecnológico de Las Américas (ITLA) Instituto Tecnológico de Las Américas (ITLA) Nombre: Gregori Carmona Lorenzo ID: 2011-2435 Asignatura: Sistemas Operativos III Instructor: José Doñe Tema: Practica extra: Apache Un servidor web es un programa

Más detalles

DESPLIEGUE DE UNA APLICACIÓN SPRING BOOT SOBRE TOMCAT7 Y MYSQL5 EN LA PLATAFORMA CLOUD OPENSHIFT

DESPLIEGUE DE UNA APLICACIÓN SPRING BOOT SOBRE TOMCAT7 Y MYSQL5 EN LA PLATAFORMA CLOUD OPENSHIFT DESPLIEGUE DE UNA APLICACIÓN SPRING BOOT SOBRE TOMCAT7 Y MYSQL5 EN LA PLATAFORMA CLOUD OPENSHIFT 1 CONTENIDO 2 Creando aplicación en openshift... 1 3 Instalando y configurando las Openshift Client Tools...

Más detalles

Análisis de sentimientos de tweets.

Análisis de sentimientos de tweets. Análisis de sentimientos de tweets. JIT-CITA 2013 Resumen Un sensor de sentimientos de tweets para identificar los mensajes positivos, negativos y neutros sobre cualquier trend que se tome sobre esta red

Más detalles

Ubuntu Server 12.10 HOW TO : NFS EN ESTE SE REALIZA LO SIGUIENTE: En este how to se le va a enseñar como compartir datos en una Red Linux, usando NFS.

Ubuntu Server 12.10 HOW TO : NFS EN ESTE SE REALIZA LO SIGUIENTE: En este how to se le va a enseñar como compartir datos en una Red Linux, usando NFS. Ubuntu Server 12.10 HOW TO : NFS EN ESTE SE REALIZA LO SIGUIENTE: En este how to se le va a enseñar como compartir datos en una Red Linux, usando NFS. Servidor web apache Este manual se hace con la finalidad

Más detalles

Cómo aprovechar la potencia de la analítica avanzada con IBM Netezza

Cómo aprovechar la potencia de la analítica avanzada con IBM Netezza IBM Software Information Management White Paper Cómo aprovechar la potencia de la analítica avanzada con IBM Netezza Un enfoque de appliance simplifica el uso de la analítica avanzada Cómo aprovechar la

Más detalles

Cómo abrir las bases de datos en Aspel-COI 6.0?

Cómo abrir las bases de datos en Aspel-COI 6.0? Cómo abrir las bases de datos en Aspel-COI 6.0? 1. Herramientas de administración nativas de Firebird. Firebird cuenta con una herramienta llamada ISQL la cual es una consola de línea de comandos desde

Más detalles

Cómo abrir las bases de datos de Aspel-NOI 5.0?

Cómo abrir las bases de datos de Aspel-NOI 5.0? Cómo abrir las bases de datos de Aspel-NOI 5.0? 1. Herramientas de administración nativas de Firebird. Firebird cuenta con una herramienta llamada ISQL la cual es una consola de línea de comandos desde

Más detalles

Arsys Backup Online Manual de Usuario

Arsys Backup Online Manual de Usuario Arsys Backup Online Manual de Usuario 1 Contenido 1. Instalación del Programa Cliente... 3 Pasos previos... 3 Instalación... 3 Configuración del acceso... 6 Ubicación del servidor de seguridad... 6 Datos

Más detalles

BIG DATA Desde que se cronometran las carreras, se corre más rápido

BIG DATA Desde que se cronometran las carreras, se corre más rápido BIG DATA Desde que se cronometran las carreras, se corre más rápido Santa Cruz, Bolivia 2014 Manual para aprender @sorprendida @sorprendida HACE UN BILLÓN DE: HORAS nació el homo sapiens MINUTOS empezó

Más detalles

INFORME DE ACCESO REMOTO SEGURO CON PROTECCIÓN WAF WEB APPLICATION FIREWALL. Universidad de Alcalá Departamento de Ciencias de la Computación

INFORME DE ACCESO REMOTO SEGURO CON PROTECCIÓN WAF WEB APPLICATION FIREWALL. Universidad de Alcalá Departamento de Ciencias de la Computación LABORATORIO INFORME DE ACCESO REMOTO SEGURO CON PROTECCIÓN WAF WEB APPLICATION FIREWALL SonicWALL SRA 4200 Universidad de Alcalá Departamento de Ciencias de la Computación SonicWALL SRA 4200 SonicWALL

Más detalles

Servidor Apache 1. Instalación de apache

Servidor Apache 1. Instalación de apache Servidor Apache 1. Instalación de apache Abrimos El instalador de paquetes Synaptic, buscamos apache2 y marcamos la opción que coincide con lo escrito anteriormente. Ahora abrimos internet y buscamos en

Más detalles

Instalación de MySQL 5.1 en Windows

Instalación de MySQL 5.1 en Windows Instalación de MySQL 5.1 en Windows Aspectos importantes antes de la instalación. 1. Determinar si la plataforma donde se desea hacer la instalación está soportada. 2. Elegir la distribución que se instalará.

Más detalles

Bases de datos: Sistemas de bases de datos:

Bases de datos: Sistemas de bases de datos: Bases de datos: Sistemas de bases de datos: Un sistema de bases de datos es básicamente un sistema para archivar en computador, es decir, es un sistema computarizado cuyo propósito general es mantener

Más detalles

BUSINESS INTELLIGENCE Y REDSHIFT

BUSINESS INTELLIGENCE Y REDSHIFT Whitepaper BUSINESS INTELLIGENCE Y REDSHIFT BEE PART OF THE CHANGE hablemos@beeva.com www.beeva.com LAS SOLUCIONES QUE TU BI NECESITA Con Amazon Web Services (AWS) es posible disponer con solo unos clics

Más detalles

2. Ejecutando JMeter en el laboratorio

2. Ejecutando JMeter en el laboratorio PARTE 2.- Introducción a Apache JMeter 1. Introducción JMeter 1 es un programa Java diseñado para hacer pruebas de carga de servidores, por ejemplo servidores web. Utilizaremos este software para evaluar

Más detalles

Big Data con nombres propios

Big Data con nombres propios Febrero 2014 Big Data con Al hablar de tecnología Big Data se está obligado, sin duda alguna, a hablar de programación paralela y procesamiento distribuido, ya que éstas serán las características que permitirán

Más detalles

Nagios. Autor: David Núñez Álvarez

Nagios. Autor: David Núñez Álvarez Nagios Autor: David Núñez Álvarez ÍNDICE 1.Introducción...4 2.Descubriendo Nagios...5 2.0.Estructura...6 2.1.Instalando Nagios...7 2.2.Configurando Nagios...7 2.3.Usando Nagios...8 3.Conclusiones...14

Más detalles

No deje datos detrás: más de 20 nuevas fuentes de datos con la nueva preparación de datos en MicroStrategy 10

No deje datos detrás: más de 20 nuevas fuentes de datos con la nueva preparación de datos en MicroStrategy 10 No deje datos detrás: más de 20 nuevas fuentes de datos con la nueva preparación de datos en MicroStrategy 10 Jessica Murguia MicroStrategy Analytics Agenda Flujo del Producto Diferentes procesos de Importación

Más detalles

3.3.3 Tecnologías Mercados Datos

3.3.3 Tecnologías Mercados Datos 3.3.3 Tecnologías Mercados Datos TECNOLOGIAS DATAMART: Aspect Data Mart es una solución completa de reportes para la empresa, que le proporciona un mayor entendimiento de las operaciones de sus negocios

Más detalles

LO NUEVO EN PANDORA FMS

LO NUEVO EN PANDORA FMS W E L C O M E T O M O N I T O R I N G H E A V E N LO NUEVO EN PANDORA FMS 5.0 Pandora FMS 5.0 acaba de llegar cargada de nuevas funcionalidades y numerosas mejoras para satisfacer todas sus necesidades.

Más detalles

Universidad Autónoma de Nuevo León Facultad de Ciencias Físico Matemáticas. Laboratorio de Seguridad en aplicaciones web

Universidad Autónoma de Nuevo León Facultad de Ciencias Físico Matemáticas. Laboratorio de Seguridad en aplicaciones web Universidad Autónoma de Nuevo León Facultad de Ciencias Físico Matemáticas Laboratorio de Seguridad en aplicaciones web Practica 2: Configuración de VPN y escaneo de puertos. Objetivos: En esta práctica

Más detalles

Un comité de la organización ANSI (American National Standards Institute) aborda la problemática del almacenamiento de datos para su procesamiento en

Un comité de la organización ANSI (American National Standards Institute) aborda la problemática del almacenamiento de datos para su procesamiento en 15/05/2012 1 Un comité de la organización ANSI (American National Standards Institute) aborda la problemática del almacenamiento de datos para su procesamiento en aplicaciones informáticas en 1975. 2 Como

Más detalles