Petabytes de información: Repensando el modelamiento de base de datos. Ernesto Quiñones Azcárate Presidencia Apesol

Tamaño: px
Comenzar la demostración a partir de la página:

Download "Petabytes de información: Repensando el modelamiento de base de datos. Ernesto Quiñones Azcárate ernestoq@apesol.org Presidencia Apesol 2006 2008"

Transcripción

1 Petabytes de información: Repensando el modelamiento de base de datos Ernesto Quiñones Azcárate Presidencia Apesol

2 Modelos de bases de datos para todos los gustos (según la organización de los datos) : Jerárquicas Relacionales Multidimensional Orientadas al objeto

3 A donde camina la información: Existen al menos 50 dbms famosos entre libres y privativos y un número al menos 4 ó 5 veces superior entre los de uso académico/experimental etc. En 2006 existían 161 Exabytes de información (1 Exabyte = 1000 Petas), Actualmente (2008) debe existir Exabytes. En 2011 debemos tener cerca de 1,800 Exabytes de información. En 2007 la cantidad de información generada supero a la capacidad instalada mundial de contenerla, actualmente se calcula un déficit de 60 a 70 Exabytes de infraestructura. Existen 1,000 millones de dispositivos de capturas de imágenes El 95% de la data del mundo no tiene estructura. 65k filmaciones nuevas en Youtube por día. 60 millones de s diarios. Google puede indexar 20 Petabytes en un solo día.

4 La data esta cambiando La información sigue creciendo nadie va a parar eso, es mas va a ser peor Actualmente el % de usuarios que provee información a la red es mucho menor de los que lo usan. Cada vez es mas difícil catalogar la información Cada vez será mas difícil encontrar la información que uno quiere... y como administramos tanta data?

5 El 22 de Mayo Yahoo dio esta noticia : Yahoo anuncia tener la base de datos mas grande del mundo (2 Peta bytes) en funcionamiento. La base de datos de 1 año de antigüedad esta procesando 24,000 millones de eventos diarios. El administrador de la data es un PostgreSQL ( modificado especialmente para ellos. La tecnología usada es la base de datos basada en columnas donde no existen registros, esto hace que la grabación de datos sea lenta pero la lectura es muy rápida. Noticia original:

6 Que es una base de datos basa en columnas Convencionalmente guardamos la data así : Ahora la data la guardamos así : Otra representación : Dudas: Porque hacer esto? Donde queda la normalización? Existen engines para este tipo de base de datos?

7 La ventaja de una base de datos basada en columnas. El principal motivo es el tiempo de acceso al disco, la velocidad del disco suele ser el cuello de botella en los sistemas de almacenamiento ya que es notablemente mas lento que el poder de procesamiento.

8 La ventaja de una base de datos basada en columnas. Tradicionalmente las bases de datos hacen esto para guardar la data Páginas 8k 8k 8k 8k No usada 8k 8k No usada 8k No usada No usada Esto es rápido para operaciones de escritura pero no de lectura. Cada página tiene una estructura de este tipo (generalmente)

9 La ventaja de una base de datos basada en columnas. Este es un ejemplo aproximado de data masiva Esta data se organizará bajo este esquema lógico

10 La ventaja de una base de datos basada en columnas. Esta es la representación de la organización física de la data El engine de la db tomará la data y la guardará en archivos llamados CellStores subdivididos en bloques de data comprimida de 64k (podría variar) en su propio sistema de archivos por sobre el que tiene el sistema operativo. Por ejemplo: Juan, Pedro, Lucho, Lima, Lima, Callao, 25,25,25 Sería convertida a : Juan, Pedro, Lucho, Lima x 2, Callao, 25 x 3 Mientras en los dbms convencionales la data se guarda en varias secciones/espacios del disco, en las c dbms se guarda junta y continua en el mismo CellStore.

11 La ventaja de una base de datos basada en columnas. Los Querys: Este es un ejemplo de como funciona Bigtable de Google

12 El fin de los RDBMS? El problema del modelo relacional es que suele ser un consumidor alto de recursos al momento de ejecutar transacciones, especialmente cuando uno tiene data masiva. Imagines que deseamos borrar registros en Cuotas y el engine debe verificar que no se hagan modificaciones que rompan la relación con Pagos. 1,000 registros 100,000 10,000,000 1,000,000, ,000,000,000 1,000,000,000,000

13 El fin de los RDBMS? El problema del modelo relacional es que suele ser un consumidor alto de recursos al momento de ejecutar transacciones, especialmente cuando uno tiene data masiva. Cada delete debe ejecutar un select en la tabla Pagos, cuanto demora? 1,000 > 1s 100,000 > 1m40s 10,000,000 > 2.77h 1,000,000,000 > 11.57d 100,000,000,000 > 3.17a 1,000,000,000,000 > 317a (y algunos días mas :D Recordemos Yahoo hace 24,000,000,000 de transacciones por día, en 41.6 días genera 1 billón de registros (como mínimo).

14 El fin de los RDBMS? Los sistemas Relacionales tienes mas de 25 años de existencia. Básicamente fueron pensada con una orientación de guardar data de negocios. Cuando empezó a explotarse la data masiva (hace poco mas de una década) el sistema relacional demostró tener problemas, se tuvo que mejorar/modificar para atender esta nueva necesidad. La data a pasado a ser no precisa, imposible de normalizar. Los joins son lentos cuanto tienes cantidades de data monstruosa. Los procesos de ABC se vuelven muy costosos cuando hay muchas relaciones entre las tablas. Sin embargo el fin de los RDBMS fue predicho antes; OODBMS, XML, etc., esta todavía lejos de ser considerada tecnología legacy.

15 ENGINES BigTable (privativo Google) Desarrollo y uso exclusivo de Google. Tiene 2 componentes esenciales: (1) Google File System (GFS) el cual asegura disponibilidad de los datos por medio de copias redundantes, mientras mas sea consultado un dato mas veces de duplicado asignándosele mas recursos. (2) Chubby Lock Service, el cual es un componente que permite la sincronización de accesos a recursos compartidos. Las tablas se subdividen en tablets con filas que llegan a medir hasta 200mb. A estas filas se les aplica ademas un algoritmo de compresión secreto para optimizar aún mas el espacio. A enero 2008 existían 600 clusters, el mas grande con 2000 servers, el store mas grande es de 700Tbytes y atiende 100k operaciones por segundo. Se utiliza un lenguaje llamado Sawzall.

16 ENGINES BigTable (privativo Google)

17 ENGINES Hypertable Proyecto libre que aplica buenas practicas en la administración de db de gran cantidad de datos y alto volumen de trabajo. La data es guardada como cadenas de bytes, las tablas que lo almacenan son cortadas en secciones continuas y divididas en diversos servidores, estos son conocidos como Range Servers, adicionalmente existen Master Servers que se encargan de tareas administrativas y supervisar los Range Servers (ambos servicios pueden correr en una misma pc). Se utiliza un lenguaje llamado Hypertable Query Language (HQL) Puede usar diferentes sistemas de archivos, pero se recomienda Hadoop Distributed File System (HDFS)

18 ENGINES Hypertable Coordinador de concurrencia (lock manager) Administra data en memoria Cache de transacciones Aquí se encuentran las celdas de datos

19 ENGINES Hypertable Servicio que da la cara al cliente, coordina las ABC en los Datanodes Guarda la data La misma data se guarda en diferentes Datanodes

20 ENGINES LucidDB Esta basada en EigenBase un software base que permite crear sistemas administradores de datos. LucidDB esta pensada con el propósito de hacer data warehousing y business intelligence. Esta pensada para ser básicamente solo read only, las actualizaciones crean nuevas páginas que reemplazan a las existentes y se guardan versiones de estas. Las páginas miden 32K, se maneja un buffer de 5,000 páginas con la información mas leida. Se usa una técnica de indexación conocida como bitmap, indices y data son comprimidos y se utiliza la técnica del semijoin para determinar la data que es únicamente necesaria acceder por los querys. LucidDB puede acceder directamente a repositorios externos via SQLMED

21 ENGINES LucidDB Se uso Java pensando en la expansión del producto. Acceso a repositorio s de datos externos Engine principal de LucidDB Data

22 Para leer mas: Toda la información con la cual se a documentado esta presentación es recopilada en este enlace : Y mas información :

23 Muchas Gracias!!! Visite APESOL Inscríbete en las listas de interés en Conversemos en vivo en server: irc.freenode.net sala:#apesol

BIG DATA. Jorge Mercado. Software Quality Engineer

BIG DATA. Jorge Mercado. Software Quality Engineer BIG DATA Jorge Mercado Software Quality Engineer Agenda Big Data - Introducción Big Data - Estructura Big Data - Soluciones Conclusiones Q&A Big Data - Introducción Que es Big Data? Big data es el termino

Más detalles

Ernesto Quiñones A. ernestoq@apesol.org

Ernesto Quiñones A. ernestoq@apesol.org SERVICIOS DE ALTA DISPONIBILIDAD DE BASES DE DATOS CON POSTGRESQL Ernesto Quiñones A. ernestoq@apesol.org Conozcamos PostgreSQL Proyecto con mas de 15 años de vida. Se inicia en la Universidad de Berkeley

Más detalles

Alessandro Chacón 05-38019. Ernesto Level 05-38402. Ricardo Santana 05-38928

Alessandro Chacón 05-38019. Ernesto Level 05-38402. Ricardo Santana 05-38928 Alessandro Chacón 05-38019 Ernesto Level 05-38402 Ricardo Santana 05-38928 CONTENIDO Universo Digital Hadoop HDFS: Hadoop Distributed File System MapReduce UNIVERSO DIGITAL 161 EB 2006 Fuente: International

Más detalles

Almacenamiento y estructura de archivos

Almacenamiento y estructura de archivos Bases de Datos Almacenamiento y estructura de archivos Almacenamiento y Estructura de Archivos Introducción a los medios de almacenamiento Discos Magnéticos RAID Almacenamiento Terciario Acceso de almacenamiento

Más detalles

Ernesto Quiñones A. ernestoq@apesol.org

Ernesto Quiñones A. ernestoq@apesol.org INTRODUCCION A POSTGRESQL Ernesto Quiñones A. ernestoq@apesol.org Conozcamos PostgreSQL Proyecto con mas de 15 años de vida. Se inicia en la Universidad de Berkeley en 1977 bajo el nombre Ingres como un

Más detalles

FaceFinder MÓDULO DE BÚSQUEDA DE PERSONAS DENTRO DE UNA BASE DE DATOS DE ROSTROS

FaceFinder MÓDULO DE BÚSQUEDA DE PERSONAS DENTRO DE UNA BASE DE DATOS DE ROSTROS FaceFinder MÓDULO DE BÚSQUEDA DE PERSONAS DENTRO DE UNA BASE DE DATOS DE ROSTROS Introducción Los algoritmos utilizados para el procesamiento de imágenes son de complejidad computacional alta. Por esto

Más detalles

SQL Server 2000 está diseñado para trabajar con dos tipos de bases de datos :

SQL Server 2000 está diseñado para trabajar con dos tipos de bases de datos : Introducción a SQL Server 2000 SQL Server 2000 es un sistema de gestión de bases de datos relacionales (SGDBR o RDBMS: Relational Database Management System) diseñado para trabajar con grandes cantidades

Más detalles

Habilitando la empresa ágil a través de datos unificados La travesía hacia la plataforma de datos analítico-transaccionales

Habilitando la empresa ágil a través de datos unificados La travesía hacia la plataforma de datos analítico-transaccionales Habilitando la empresa ágil a través de datos unificados Agosto de 2015 Cómo se utilizan los datos hoy Los datos analíticos se derivan y separan a partir de datos transaccionales. Requieren bases de datos

Más detalles

Big data A través de una implementación

Big data A través de una implementación Big data A través de una implementación Lic. Diego Krauthamer Profesor Adjunto Interino del Área Base de Datos Universidad Abierta Interamericana Facultad de Tecnología Informática Buenos Aires. Argentina

Más detalles

Roadmap para la adopción de nuevas arquitecturas de información

Roadmap para la adopción de nuevas arquitecturas de información Roadmap para la adopción de nuevas arquitecturas de información Qué es Big Data..? es el nombre que se le da a conjuntos de información que crecen de una manera tan exponencial que resulta prohibitivo

Más detalles

BASES DE DATOS TEMA 4 DISEÑO DE BASES DE DATOS RELACIONALES

BASES DE DATOS TEMA 4 DISEÑO DE BASES DE DATOS RELACIONALES BASES DE DATOS TEMA 4 DISEÑO DE BASES DE DATOS RELACIONALES El modelo relacional se basa en dos ramas de las matemáticas: la teoría de conjuntos y la lógica de predicados de primer orden. El hecho de que

Más detalles

Introducción a los Sistemas de Gestión de Bases de Datos

Introducción a los Sistemas de Gestión de Bases de Datos a los Sistemas de Gestión de Bases de Datos Servicios y Aplicaciones Telemáticas gsyc-profes@gsyc.escet.urjc.es Noviembre de 2008 c 2008 Grupo de Sistemas y Comunicaciones. Algunos derechos reservados.

Más detalles

Sistemas Multimedia Distribuidos. Juan A. Sigüenza Departamento de Ingeniería Informática UAM

Sistemas Multimedia Distribuidos. Juan A. Sigüenza Departamento de Ingeniería Informática UAM Sistemas Multimedia Distribuidos Juan A. Sigüenza Departamento de Ingeniería Informática UAM Componentes de un Sistema Multimedia Distribuido Software de aplicación Almacenamiento de Documentos Almacenamiento

Más detalles

CURSO: DESARROLLADOR PARA APACHE HADOOP

CURSO: DESARROLLADOR PARA APACHE HADOOP CURSO: DESARROLLADOR PARA APACHE HADOOP CAPÍTULO 3: HADOOP CONCEPTOS BÁSICOS www.formacionhadoop.com Índice 1 Introducción a Hadoop 1.1 Proyecto Hadoop 1.2 Conceptos de Hadoop 2 Cluster Hadoop 2.1 Demonios

Más detalles

BASES DE DATOS, MODELOS DE DATOS Y DBMS

BASES DE DATOS, MODELOS DE DATOS Y DBMS BASES DE DATOS, MODELOS DE DATOS Y DBMS Maestría en Bioinformática Marzo 2010 Bases de Datos Algunas definiciones: Bases de Datos y DBMS Procesos y Actores Involucrados Por qué usar DBMSs? Cuándo no usar

Más detalles

CAPITULO 7. MS SQL Server Express Edition

CAPITULO 7. MS SQL Server Express Edition CAPITULO 7 MS SQL Server Express Edition 7.1 Requerimientos Previos El proceso de instalación de Microsoft SQL Server 2008 no es complejo y es de gran importancia tener en cuenta que se está realizando

Más detalles

Destripando el sistema de replicación de PostgreSQL 9.0

Destripando el sistema de replicación de PostgreSQL 9.0 Destripando el sistema de replicación de PostgreSQL 9.0 Ernesto Quiñones A. - CTO Advertencia! Esta charla es para explicar como funciona por dentro el sistema de replicación de PostgreSQL 9.0 no para

Más detalles

Big Data y BAM con WSO2

Big Data y BAM con WSO2 Mayo 2014 Big Data y BAM con Leonardo Torres Centro Experto en SOA/BPM en atsistemas ofrece una completa suite de productos Open Source SOA y son contribuidores de muchos de los productos de Apache, como

Más detalles

Base de Datos Orientado a Columnas

Base de Datos Orientado a Columnas Base de Datos Orientado a Columnas Adrián Garcete Ingeniería Informática Matricula: 057546 Universidad Católica Nuestra Señora de la Asunción Asunción - Paraguay Abstract. Este paper presenta, como su

Más detalles

BASES DE DATOS MIS 308

BASES DE DATOS MIS 308 2. MODELOS DE DATOS Introducción 2.1 Entidad relación 2.2 Jerárquico 2.3 De red 2.4 Relacional Introducción Hoy en día las empresas manejan una gran cantidad de datos. Cualquier empresa que se precie debe

Más detalles

Memoria de Acceso Aleatorio. Dispositivos de Almacenamiento Masivo

Memoria de Acceso Aleatorio. Dispositivos de Almacenamiento Masivo Memoria. Definiciones Componente de una computadora que retiene datos informáticos durante algún intervalo de tiempo. Consiste en la capacidad de registrar datos y volver a incorporarlos en determinado

Más detalles

Clase 1: Estructuras, Procesos y Diccionario de Datos

Clase 1: Estructuras, Procesos y Diccionario de Datos Clase 1: Estructuras, Procesos y Diccionario de Datos Estructura de la memoria System Global Area Buffer Cache Redo Log Buffer Share Pool Dictionary Cache Large Pool Process Global Area Private SQL Area

Más detalles

Gestion de archivos. Problemas al almacenar datos sólo en la memoria:

Gestion de archivos. Problemas al almacenar datos sólo en la memoria: Gestion de archivos Problemas al almacenar datos sólo en la memoria: 1. El tamaño está limitado por el tamaño de la memoria qué pasa con aplicaciones que necesiten acceder a gran cantidad de información?

Más detalles

Estructuras de Almacenamiento RAID RAID. Nivel FísicoF. Índice. Requisitos Almacenamiento. Nivel Lógico Modelo Entidad-Relación y Modelo Relacional

Estructuras de Almacenamiento RAID RAID. Nivel FísicoF. Índice. Requisitos Almacenamiento. Nivel Lógico Modelo Entidad-Relación y Modelo Relacional Estructuras de Almacenamiento Nivel FísicoF Nivel Lógico Modelo Entidad-Relación y Modelo Relacional El nivel en el que se deben mover los usuario es el nivel lógico El objetivo de un sistema de bases

Más detalles

Universidad de Cantabria corcuerp@unican.es

Universidad de Cantabria corcuerp@unican.es Bases de Datos Pedro Corcuera Dpto. Matemática Aplicada y Ciencias de la Computación Universidad de Cantabria corcuerp@unican.es Objetivos Presentar los conceptos básicos y terminología de las bases de

Más detalles

UNIVERSIDAD ALBERT EINSTEIN FACULTAD DE INGENIERIA

UNIVERSIDAD ALBERT EINSTEIN FACULTAD DE INGENIERIA UNIVERSIDAD ALBERT EINSTEIN FACULTAD DE INGENIERIA Estudio de las herramientas TOAD y DBArtisan para la administración e integración de bases de datos relacionales. PREVIA OPCION AL TÍTULO DE: INGENIERO

Más detalles

Sybase IQ Servidor analítico con arquitectura basada en columnas

Sybase IQ Servidor analítico con arquitectura basada en columnas Sybase IQ Servidor analítico con arquitectura basada en columnas www.sybase.es Sybase IQ Descripción Tener acceso a toda la información de que dispone su organización, con el fin de analizarla no es hoy

Más detalles

No se requiere que los discos sean del mismo tamaño ya que el objetivo es solamente adjuntar discos.

No se requiere que los discos sean del mismo tamaño ya que el objetivo es solamente adjuntar discos. RAIDS MODO LINEAL Es un tipo de raid que muestra lógicamente un disco pero se compone de 2 o más discos. Solamente llena el disco 0 y cuando este está lleno sigue con el disco 1 y así sucesivamente. Este

Más detalles

Valentín Carretero Pastor Omar Marín Pastor BERKELEY DB. Historia:

Valentín Carretero Pastor Omar Marín Pastor BERKELEY DB. Historia: BERKELEY DB Historia: Berkeley DB pertenecía y era desarrollado por la compañía Sleepycat Software. Estaba disponible con código fuente y licencia de libre distribución (free software), ahora comprado

Más detalles

Herramientas de Apoyo al desarrollo de Software

Herramientas de Apoyo al desarrollo de Software 1eras Jornadas Técnicas con el Estado Herramientas de Apoyo al desarrollo de Software Ernesto Quiñones Azcárate Presidencia de Apesol 2006-2008 ernestoq@apesol.org Agenda 1. Herramientas para diseñar software

Más detalles

Facultad de Ingeniería y Tecnología Informática Licenciatura en Sistemas de Información Plan: 2012 Ciclo: 2014 Programa Analítico Base de Datos II

Facultad de Ingeniería y Tecnología Informática Licenciatura en Sistemas de Información Plan: 2012 Ciclo: 2014 Programa Analítico Base de Datos II 1. OBJETIVOS: Lograr que los alumnos conozcan los componentes y la arquitectura de las bases de datos relacionales. Brindar un curso internacionalmente actualizado respecto del ámbito académico, así como

Más detalles

RECURSOS DE TI Aplicaciones - Bibliografía FUNDAMENTOS DE LA INTELIGENCIA DE NEGOCIOS

RECURSOS DE TI Aplicaciones - Bibliografía FUNDAMENTOS DE LA INTELIGENCIA DE NEGOCIOS Sistemas de Información para la Gestión UNIDAD 3: RECURSOS DE TECNOLOGÍA DE INFORMACIÓN Aplicaciones UNIDAD 2: RECURSOS DE TI Aplicaciones 1. Administración de bases de datos e información: Sistemas de

Más detalles

Interfaces de acceso a base de datos. Interfaces de acceso a base de datos. Interfaces de acceso a base de datos. Interfaces de acceso a base de datos

Interfaces de acceso a base de datos. Interfaces de acceso a base de datos. Interfaces de acceso a base de datos. Interfaces de acceso a base de datos Objetivos del curso Patrimonio Cultural Desarrollo de Herramientas de Administración y Acceso Adquirir visión generalizada de las tecnologías de desarrollo utilizadas en Sistemas de gestión del Patrimonio

Más detalles

Unidad I: Conceptos Básicos de Programación. Prof. Eliana Guzmán U. Semestre: A-2015

Unidad I: Conceptos Básicos de Programación. Prof. Eliana Guzmán U. Semestre: A-2015 Unidad I: Conceptos Básicos de Programación Digital Prof. Eliana Guzmán U. Semestre: A-2015 1.11 Introducción En esta unidad se hace una introducción a las computadoras y a los lenguajes de programación,

Más detalles

Capítulo 1: Marco teórico

Capítulo 1: Marco teórico Capítulo 1: Marco teórico Área de Soporte Técnico Dentro de Oracle, como en cualquier compañía de software existe el área de Soporte Técnico, cuyo objetivo principal es el de brindar asistencia y proveer

Más detalles

SISTEMAS DE ARCHIVOS DISTRIBUIDOS

SISTEMAS DE ARCHIVOS DISTRIBUIDOS SISTEMAS DE ARCHIVOS DISTRIBUIDOS Tema # VII Sistemas de operación II Abril-Julio 2008 Yudith Cardinale Introducción Requisitos Aspectos de Diseño Servicios de archivos Servicios de directorios Módulo

Más detalles

Conectores Pentaho Big Data Community VS Enterprise

Conectores Pentaho Big Data Community VS Enterprise Conectores Pentaho Big Data Community VS Enterprise Agosto 2014 Stratebi Business Solutions www.stratebi.com info@stratebi.com Índice 1. Resumen... 3 2. Introducción... 4 3. Objetivo... 4 4. Pentaho Community

Más detalles

acenswhitepapers Bases de datos NoSQL. Qué son y tipos que nos podemos encontrar

acenswhitepapers Bases de datos NoSQL. Qué son y tipos que nos podemos encontrar s Bases de datos NoSQL. Qué son y tipos que nos podemos encontrar Introducción Son muchas las aplicaciones web que utilizan algún tipo de bases de datos para funcionar. Hasta ahora estábamos acostumbrados

Más detalles

Entendiendo y Optimizando MySQL

Entendiendo y Optimizando MySQL Grupo de Usuarios de Linux Universidad Carlos III de Madrid. 10 de Noviembre de 2010 Indice Arquitectura 1 Arquitectura 2 3 4 5 Arquitectura Sistema de Gestión de Bases de Datos. GPL. Escrito en C y C++.

Más detalles

ORACLE (50 HORAS) COSTE:

ORACLE (50 HORAS) COSTE: (50 HORAS) COSTE: Bonificable a través de los créditos de formación de la FTFE. OBJETIVOS DEL CURSO Obtener conocimientos sobre la arquitectura de la base de datos, los componentes que la forman y la manera

Más detalles

XII Encuentro Danysoft en Microsoft Abril 2015. Business Intelligence y Big Data XII Encuentro Danysoft en Microsoft Directos al código

XII Encuentro Danysoft en Microsoft Abril 2015. Business Intelligence y Big Data XII Encuentro Danysoft en Microsoft Directos al código Business Intelligence y Big Data XII Encuentro Danysoft en Microsoft Directos al código Ana María Bisbé York Servicios Profesionales sp@danysoft.com 916 638683 www.danysoft.com Abril 2015 Sala 1 SQL Server

Más detalles

18 y 19 Sistemas de Archivos Distribuidos y Tarea 05

18 y 19 Sistemas de Archivos Distribuidos y Tarea 05 18 y 19 Sistemas de Archivos Distribuidos y Tarea 05 Prof. Edgardo Adrián Franco Martínez http://computacion.cs.cinvestav.mx/~efranco efranco.docencia@gmail.com Estructuras de datos (Prof. Edgardo A. Franco)

Más detalles

Hadoop. Cómo vender un cluster Hadoop?

Hadoop. Cómo vender un cluster Hadoop? Hadoop Cómo vender un cluster Hadoop? ÍNDICE Problema Big Data Qué es Hadoop? Descripción HDSF Map Reduce Componentes de Hadoop Hardware Software 3 EL PROBLEMA BIG DATA ANTES Los datos los generaban las

Más detalles

CARACTERISTICAS BASICAS DE LOS SMBD ORACLE

CARACTERISTICAS BASICAS DE LOS SMBD ORACLE Qué es una base de datos? Una base de datos es una herramienta para recopilar y organizar información. En las bases de datos, se puede almacenar información sobre personas, productos, pedidos, o cualquier

Más detalles

ÍNDICE SISTEMAS OPERATIVOS... 5

ÍNDICE SISTEMAS OPERATIVOS... 5 INTRODUCCIÓN HABILIDADES INFORMÁTICAS BÁSICAS PARA ADULTOS SKILLS es un completo curso destinado a alumnos adultos, en particular, a empleados de mayor edad, de forma que puedan adquirir/mejorar sus conocimientos

Más detalles

BIG DATA Desde que se cronometran las carreras, se corre más rápido

BIG DATA Desde que se cronometran las carreras, se corre más rápido BIG DATA Desde que se cronometran las carreras, se corre más rápido Santa Cruz, Bolivia 2014 Manual para aprender @sorprendida @sorprendida HACE UN BILLÓN DE: HORAS nació el homo sapiens MINUTOS empezó

Más detalles

APACHE HADOOP. Daniel Portela Paz Javier Villarreal García Luis Barroso Vázquez Álvaro Guzmán López

APACHE HADOOP. Daniel Portela Paz Javier Villarreal García Luis Barroso Vázquez Álvaro Guzmán López APACHE HADOOP Daniel Portela Paz Javier Villarreal García Luis Barroso Vázquez Álvaro Guzmán López Objetivos 1. Qué es Apache Hadoop? 2. Funcionalidad 2.1. Map/Reduce 2.2. HDFS 3. Casos prácticos 4. Hadoop

Más detalles

HISTORIA DE LAS B.D.

HISTORIA DE LAS B.D. BASE DE DATOS HISTORIA DE LAS B.D. Tuvieron sus orígenes en 1960-1962, cuando se empezaron a usar las maquinas que codificaban la información en tarjetas perforadas por medio de agujeros. Las bases de

Más detalles

Índice. Presentación Stratebi Introducción Qué es? Características Principales Instalación & Configuración Comandos

Índice. Presentación Stratebi Introducción Qué es? Características Principales Instalación & Configuración Comandos Hbase Up & Running Índice Presentación Stratebi Introducción Qué es? Características Principales Instalación & Configuración Comandos Sobre nosotros - Stratebi Confían en Business Intelligence Open Source

Más detalles

Sistemas de Archivos Distribuidos. Daniel Leones Andrea Salcedo

Sistemas de Archivos Distribuidos. Daniel Leones Andrea Salcedo Sistemas de Archivos Distribuidos Daniel Leones Andrea Salcedo Qué es un Sistema de Archivos Distribuido? Un sistema de archivos distribuido clásico es una aplicación cliente/servidor que permite a los

Más detalles

Microsoft SQL Server Conceptos.

Microsoft SQL Server Conceptos. Microsoft Conceptos. Microsoft 2005 es una plataforma de base de datos a gran escala de procesamiento de transacciones en línea (OLTP) y de procesamiento analítico en línea (OLAP). La siguiente tabla muestra

Más detalles

Consideraciones Técnicas para un proceso de Migración

Consideraciones Técnicas para un proceso de Migración 1eras Jornadas Técnicas con el Estado Consideraciones Técnicas para un proceso de Migración Ernesto Quiñones Azcárate Presidencia de Apesol 2006-2008 ernestoq@apesol.org Agenda 1.De los servers 2.De los

Más detalles

Instituto Profesional DuocUC Escuela de Ingeniería Componentes Arquitectura Oracle

Instituto Profesional DuocUC Escuela de Ingeniería Componentes Arquitectura Oracle Componentes Arquitectura Oracle Jaime Amigo P. 2006, Santiago - Chile Objetivos Después de completar esta lección, usted deberá: Comprender la Arquitectura Oracle y sus principales componentes Listar las

Más detalles

INTRODUCCIÓN A LA COMPUTACION EN LA NUBE Y BIG DATA (1) Ing. Carlos Ormella Meyer

INTRODUCCIÓN A LA COMPUTACION EN LA NUBE Y BIG DATA (1) Ing. Carlos Ormella Meyer INTRODUCCIÓN A LA COMPUTACION EN LA NUBE Y BIG DATA (1) Ing. Carlos Ormella Meyer En los últimos años, el interés por la Computación en la Nube (Cloud Computing), tanto para uso personal como para negocios,

Más detalles

RAID. Los detalles de las características segunda y tercera, cambian según los distintos niveles RAID. RAID 0 no soporta la tercera característica.

RAID. Los detalles de las características segunda y tercera, cambian según los distintos niveles RAID. RAID 0 no soporta la tercera característica. RAID Como se dijo anteriormente, el ritmo de mejora de prestaciones en memoria secundaria ha sido considerablemente menor que en procesadores y en memoria principal. Esta desigualdad ha hecho, quizás,

Más detalles

Big Data & Machine Learning. MSc. Ing. Máximo Gurméndez Universidad de Montevideo

Big Data & Machine Learning. MSc. Ing. Máximo Gurméndez Universidad de Montevideo Big Data & Machine Learning MSc. Ing. Máximo Gurméndez Universidad de Montevideo Qué es Big Data? Qué es Machine Learning? Qué es Data Science? Ejemplo: Predecir origen de artículos QUÉ DIARIO LO ESCRIBIÓ?

Más detalles

TEMA 9. OPTIMIZACIÓN DEL RENDIMIENTO DE UNA BBDD

TEMA 9. OPTIMIZACIÓN DEL RENDIMIENTO DE UNA BBDD 1 TEMA 9. OPTIMIZACIÓN DEL RENDIMIENTO DE UNA BBDD 1. Introducción 2. Mejorar el modelo de datos y la estructura de las tablas 3. Mejorar las consultas 3.1. La caché de consultas 3.2. Análisis 3.3. Planificación

Más detalles

DISCOS RAID. Se considera que todos los discos físicos tienen la misma capacidad, y de no ser así, en el que sea mayor se desperdicia la diferencia.

DISCOS RAID. Se considera que todos los discos físicos tienen la misma capacidad, y de no ser así, en el que sea mayor se desperdicia la diferencia. DISCOS RAID Raid: redundant array of independent disks, quiere decir conjunto redundante de discos independientes. Es un sistema de almacenamiento de datos que utiliza varias unidades físicas para guardar

Más detalles

SISTEMAS DE GESTIÓN DE BASE DE DATOS SGBD / DBMS

SISTEMAS DE GESTIÓN DE BASE DE DATOS SGBD / DBMS Universidad de Carabobo Facultad Experimental de Ciencias y Tecnología Departamento de Computación Unidad Académica Base de Datos SISTEMAS DE GESTIÓN DE BASE DE DATOS SGBD / DBMS Integrantes: Fidel Gil

Más detalles

TIPOS DE PROCESAMIENTOS

TIPOS DE PROCESAMIENTOS TIPOS DE PROCESAMIENTOS El desempeño de un computador puede tener diferentes medidas de elección para diferentes usuarios. Para un usuario individual que está ejecutando un único programa, la computadora

Más detalles

Big Data con nombres propios

Big Data con nombres propios Febrero 2014 Big Data con Al hablar de tecnología Big Data se está obligado, sin duda alguna, a hablar de programación paralela y procesamiento distribuido, ya que éstas serán las características que permitirán

Más detalles

Clase 2: Estructuras Lógicas y Físicas(I)

Clase 2: Estructuras Lógicas y Físicas(I) Clase 2: Estructuras Lógicas y Físicas(I) Introducción a Segmentos, Extents y bloques de datos Bloque de datos Inittrans, Maxtrans Extents Segmentos Cláusula Storage Introducción tablespaces, datafiles

Más detalles

SQL Server Business Intelligence parte 1

SQL Server Business Intelligence parte 1 SQL Server Business Intelligence parte 1 Business Intelligence es una de las tecnologías de base de datos más llamativas de los últimos años y un campo donde Microsoft ha formado su camino a través de

Más detalles

Sistemas de ficheros en Servidores de Información multimedia

Sistemas de ficheros en Servidores de Información multimedia Sistemas de ficheros en Servidores de Información multimedia 2º Ingeniero Técnico de Telecomunicación Imagen y Sonido Departamento de Ingeniería Telemática Universidad Carlos III de Madrid 2 Indice Concepto

Más detalles

RAZONES de por qué necesita un SERVICIO de Email Marketing

RAZONES de por qué necesita un SERVICIO de Email Marketing Documento Abril 2010 10 RAZONES de por qué necesita un SERVICIO de Email Marketing Tabla de Contenidos Introducción....3 10 razones...4 Razón 1: 1. Aumenta la Entregabilidad...5 Razón 2: Administra su

Más detalles

Sistemas de Información para la Gestión

Sistemas de Información para la Gestión Sistemas de Información para la Gestión UNIDAD 2: RECURSOS DE TI Bases de Datos UNIDAD 2: RECURSOS DE TECNOLOGÍA DE INFORMACIÓN Información 1. La Información: Propiedades de la Información. Sistemas de

Más detalles

Conceptos básicos Oracle 10g Introducción - Administración de Oracle - Orasite.com

Conceptos básicos Oracle 10g Introducción - Administración de Oracle - Orasite.com 1. Objetivos El objetivo de este artículo es describir brevemente los siguientes conceptos básicos a modo de familiarización con las bases de datos ORACLE. - Describir brevemente en qué consiste el modelo

Más detalles

Introducción a Bases de Datos

Introducción a Bases de Datos de a M. -Tastets Universidad de Concepción,Chile www.inf.udec.cl\ andrea andrea@udec.cl II Semestre - 2007 y del s: Sistemas de y del s: de y del s: Objetivos de la Unidad Dar a conocer las características,

Más detalles

BitTorrent Sync. Informe de Redes de Computadores ELO-322. Eduardo González 2921001-2. Marco Benzi 2803054-1 2803026-6

BitTorrent Sync. Informe de Redes de Computadores ELO-322. Eduardo González 2921001-2. Marco Benzi 2803054-1 2803026-6 BitTorrent Sync Informe de Redes de Computadores ELO-322 Marco Benzi 2803054-1 Eduardo González 2921001-2 Matías Müller 2803026-6 2 de septiembre de 2013 ÍNDICE Índice 1. Resumen 2 2. Introducción 2 2.1.

Más detalles

Plan 95 Adecuado. Visión:

Plan 95 Adecuado. Visión: Plan 95 Adecuado ASIGNATURA: BASES DE DATOS CODIGO: 95-0412 DEPARTAMENTO: ELECTRÓNICA CLASE: ELECTIVA DE ESPECIALIDAD ÁREA: CONTROL HORAS SEM.: 4 HS. HORAS / AÑO: 64 HS. Visión: Observando la constante

Más detalles

DataBase Administration

DataBase Administration DataBase Administration 1. FUNCIONES DE UN DBA (Data Base Administrator) El rol de DBA involucra las siguientes tareas: Creación de Bases y Tablas Base de Datos Verificar el lugar de creación, en los espacios

Más detalles

CURSO: APACHE SPARK CAPÍTULO 2: INTRODUCCIÓN A APACHE SPARK. www.formacionhadoop.com

CURSO: APACHE SPARK CAPÍTULO 2: INTRODUCCIÓN A APACHE SPARK. www.formacionhadoop.com CURSO: APACHE SPARK CAPÍTULO 2: INTRODUCCIÓN A APACHE SPARK www.formacionhadoop.com Índice 1 Qué es Big Data? 2 Problemas con los sistemas tradicionales 3 Qué es Spark? 3.1 Procesamiento de datos distribuido

Más detalles

Ventajas, Características y Aplicaciones de los SGBD Distribuidos.

Ventajas, Características y Aplicaciones de los SGBD Distribuidos. Ventajas, Características y Aplicaciones de los SGBD Distribuidos. Definición Un SBD Distribuido se compone de un conjunto de sitios, conectados entre sí mediante algún tipo de red de comunicaciones, en

Más detalles

Cocinando con Big Data

Cocinando con Big Data Cocinando con Big Data Javier Sánchez BDM Big Data jsanchez@flytech.es 91.300.51.09 21/11/2013 Javier Sánchez 1 Agenda Qué es Big Data? Receta Punto de Partida Para qué Big Data? Conclusiones 21/11/2013

Más detalles

Fundamento de Informática Teórica(2003) Prof. Dr. Eric Jeltsch F. ORGANIZACION FISICA DE LOS SISTEMAS DE BASE DE DATOS

Fundamento de Informática Teórica(2003) Prof. Dr. Eric Jeltsch F. ORGANIZACION FISICA DE LOS SISTEMAS DE BASE DE DATOS ORGANIZACION FISICA DE LOS SISTEMAS DE BASE DE DATOS La organización física de una base de datos es un tópico extenso y se aborda en detalle, principalmente en la asignatura Base de Datos, y digo principalmente

Más detalles

IWG-101: Introducción a la Ingeniería. Departamento de Informática, UTFSM 1

IWG-101: Introducción a la Ingeniería. Departamento de Informática, UTFSM 1 IWG-101: Introducción a la Ingeniería Departamento de Informática, UTFSM 1 Gestión de Bases de Datos Gestión de Bases de Datos Base de datos una colección de datos relacionados organizados de manera de

Más detalles

UNIVERSIDAD TECNICA DEL NORTE Ing. Lenin Omar Lara Castro. BIG DATA

UNIVERSIDAD TECNICA DEL NORTE Ing. Lenin Omar Lara Castro. BIG DATA UNIVERSIDAD TECNICA DEL NORTE Ing. Lenin Omar Lara Castro. BIG DATA Historia del Arte: El Big Data o Datos Masivos se refieren a sistemas informáticos basados en la acumulación a gran escala de datos y

Más detalles

Google BigQuery. Luis Villalba 59191

Google BigQuery. Luis Villalba 59191 Google BigQuery Luis Villalba 59191 Universidad Católica de Asunción, Departamento de Ciencias y Tecnologías, Sede Santa Librada, Asunción, Paraguay villalba.luifer@gmail.com Abstract. En este paper estaremos

Más detalles

ANEXO 1 ESPECIFICACIONES TECNICAS DE LOS MÓDULOS. La propuesta técnica y económica debe contener los siguientes módulos con estándar ICDL:

ANEXO 1 ESPECIFICACIONES TECNICAS DE LOS MÓDULOS. La propuesta técnica y económica debe contener los siguientes módulos con estándar ICDL: ANEXO 1 ESPECIFICACIONES TECNICAS DE LOS MÓDULOS. La propuesta técnica y económica debe contener los siguientes módulos con estándar ICDL: Módulo 1: Conceptos Básicos de Tecnologías de Información Identificar

Más detalles

Documento Técnico. Pruebas de rendimiento bases de datos columnares vs bases de datos orientadas a filas.

Documento Técnico. Pruebas de rendimiento bases de datos columnares vs bases de datos orientadas a filas. Documento Técnico Pruebas de rendimiento bases de datos columnares vs bases de datos orientadas a filas. Fecha de Creación: 04/05/2012 info@stratebi.com @stratebi www.stratebi.com - www.todobi.com 1. Introducción

Más detalles

Qué significa Hadoop en el mundo del Big Data?

Qué significa Hadoop en el mundo del Big Data? Qué significa Hadoop en el mundo del Big Data? Un contenido para perfiles técnicos 2 ÍNDICE Qué significa Hadoop en el Universo Big Data?.... 3 El planteamiento: big data y data science.... 3 Los desafíos

Más detalles

Redes de Almacenamiento

Redes de Almacenamiento Redes de Almacenamiento Las redes de respaldo o backend se utilizan para interconectar grandes sistemas tales como computadores centrales y dispositivos de almacenamiento masivo, el requisito principal

Más detalles

Unidad 1 Discos Rígidos Sistemas de Archivos y Particiones.

Unidad 1 Discos Rígidos Sistemas de Archivos y Particiones. Unidad 1 Discos Rígidos Sistemas de Archivos y Particiones. Una unidad de disco rígido puede tener uno o más discos de aluminio llamados platos, que tienen sus dos lados recubiertos por una capa de cromo

Más detalles

DBMS (Data Base Management System) Un Sistema de Gestión de Base de Datos, consiste en una colección de datos interrelacionados y un conjunto de

DBMS (Data Base Management System) Un Sistema de Gestión de Base de Datos, consiste en una colección de datos interrelacionados y un conjunto de Unidad 1 DBMS (Data Base Management System) Un Sistema de Gestión de Base de Datos, consiste en una colección de datos interrelacionados y un conjunto de programas para acceder a esos datos. El objetivo

Más detalles

Tema 1 Introducción, Conceptos y el DBMS

Tema 1 Introducción, Conceptos y el DBMS Tema 1 Introducción, Conceptos y el DBMS. Evolución y Comparación con Archivo. Importancia y Justificación de su Uso. Definiciones y Uso en la Actualidad. Comparación entre Modelos de Bases de Datos. Definición

Más detalles

Tema 11 Bases de datos. Fundamentos de Informática

Tema 11 Bases de datos. Fundamentos de Informática Tema 11 Bases de datos Fundamentos de Informática Índice Evolución Tipos de modelos de datos y SGBD El modelo relacional y el Diseño de una Base de Datos Operaciones básicas: consulta, inserción y borrado.

Más detalles

Escalabilidad Web - Fundamentos. Gustavo Picón Noviembre 2007

Escalabilidad Web - Fundamentos. Gustavo Picón <gpicon@aureal.com.pe> Noviembre 2007 Escalabilidad Web - Fundamentos Gustavo Picón Noviembre 2007 Escalabilidad Escalabilidad es aumentar la capacidad de atender usuarios o volumen de datos de manera lineal con la capacidad

Más detalles

Qué es una base de datos. Laboratorio de Informix. Sistemas de archivos convencionales. Base de datos relacionales

Qué es una base de datos. Laboratorio de Informix. Sistemas de archivos convencionales. Base de datos relacionales Laboratorio de Informix Qué es una base de datos Es una colección de datos relacionados que sirven de múltiples propósitos y soportan múltiples usuarios. Octubre 2004 Sistemas de archivos convencionales

Más detalles

Laboratorio de Informix. Octubre 2004

Laboratorio de Informix. Octubre 2004 Laboratorio de Informix Octubre 2004 Qué es una base de datos Es una colección de datos relacionados que sirven de múltiples propósitos y soportan múltiples usuarios. Sistemas de archivos convencionales

Más detalles

Productos y Tecnologías de Oracle TimesTen. Informe Ejecutivo de Oracle Febrero de 2007

Productos y Tecnologías de Oracle TimesTen. Informe Ejecutivo de Oracle Febrero de 2007 Productos y Tecnologías de Oracle TimesTen Informe Ejecutivo de Oracle Febrero de 2007 Productos y Tecnologías de Oracle TimesTen Introducción... 3 Cuando los Milisegundos Cuentan... 3 El Crecimiento de

Más detalles

Unidad I: Sistemas Gestores de Bases de Datos. 1.1 Objetivo de las Bases de Datos

Unidad I: Sistemas Gestores de Bases de Datos. 1.1 Objetivo de las Bases de Datos Unidad I: Sistemas Gestores de Bases de Datos. 1.1 Objetivo de las Bases de Datos Redundancia e inconsistencia de datos: Puesto que los archivos que mantienen almacenada la información son creados por

Más detalles

INTRODUCCION A LAS BASES DE DATOS ESPACIALES

INTRODUCCION A LAS BASES DE DATOS ESPACIALES INTRODUCCION A LAS BASES DE DATOS ESPACIALES Índice Introducción Qué es un SIG? Arquitectura de un SIG La información n en un SIG Uso y aplicación n de los SIG Bases de datos Introducción Antecedentes:

Más detalles

Tema 1. Conceptos básicos

Tema 1. Conceptos básicos Conceptos básicos Sistema de Gestión de Bases de Datos, SGBD (DBMS, Database Management System): software diseñado específicamente para el mantenimiento y la explotación de grandes conjuntos de datos 1

Más detalles

Big Data y Supercómputo. Dr. Jesús Antonio González (jagonzalez@inaoep.mx) Instituto Nacional de Astrofísica, Óptica y Electrónica (INAOE)

Big Data y Supercómputo. Dr. Jesús Antonio González (jagonzalez@inaoep.mx) Instituto Nacional de Astrofísica, Óptica y Electrónica (INAOE) Big Data y Supercómputo Dr. Jesús Antonio González (jagonzalez@inaoep.mx) Instituto Nacional de Astrofísica, Óptica y Electrónica (INAOE) Big Data 2 Hasta qué cantidad de datos podemos procesar en nuestra

Más detalles

:Arquitecturas Paralela basada en clusters.

:Arquitecturas Paralela basada en clusters. Computación de altas prestaciones: Arquitecturas basadas en clusters Sesión n 1 :Arquitecturas Paralela basada en clusters. Jose Luis Bosque 1 Introducción Computación de altas prestaciones: resolver problemas

Más detalles

Comience ahora con el buen manejo y control de la información

Comience ahora con el buen manejo y control de la información Comience ahora con el buen manejo y control de la información Aplicación del buen manejo y control de la información al contenido no estructurado 1 Información para el año 2020: panorama general Habrá

Más detalles

Una base de datos es una colección de información ordenada e interrelacionada que es de importancia para una empresa.

Una base de datos es una colección de información ordenada e interrelacionada que es de importancia para una empresa. BASES DE DATOS Una base de datos es una colección de información ordenada e interrelacionada que es de importancia para una empresa. La creación de una base de datos debe ser realizada cuidadosamente procurando

Más detalles

Sistemas de Información para la Gestión. UNIDAD 2: RECURSOS DE TI Información y Aplicaciones

Sistemas de Información para la Gestión. UNIDAD 2: RECURSOS DE TI Información y Aplicaciones UNIDAD 2: RECURSOS DE TI Información y Aplicaciones UNIDAD 2: RECURSOS DE TI Información y Aplicaciones 1. La Información: Propiedades de la Información. Sistemas de Información. Bases de Datos. 2. Administración

Más detalles

REQUERIMIENTOS HARDWARE Y SOFTWARE QWEBDOCUMENTS VERSION 4

REQUERIMIENTOS HARDWARE Y SOFTWARE QWEBDOCUMENTS VERSION 4 Pág. 1 de 6 Ambiente centralizado SERVIDOR UNICO Servidor Hardware Procesador CORE Duo 4 GHz Memoria Ram 4 GB. 2 GB solo para la aplicación y los otros 2 GB para Base de datos, S.O y otro software necesario

Más detalles

PLATAFORMA SAP HANA Diez preguntas principales al elegir una base de datos in-memory. Empiece aquí

PLATAFORMA SAP HANA Diez preguntas principales al elegir una base de datos in-memory. Empiece aquí PLATAFORMA Diez preguntas principales al elegir una base de datos Empiece aquí PLATAFORMA Diez preguntas principales al elegir una base de datos. Mis aplicaciones se aceleran sin intervención ni ajustes

Más detalles