Perspectivas de la Computación Científica. Clusters, Grids y Clouds. Desarrollos y retos Raúl Ramos Pollán Universidad Nacional de Colombia

Tamaño: px
Comenzar la demostración a partir de la página:

Download "Perspectivas de la Computación Científica. Clusters, Grids y Clouds. Desarrollos y retos Raúl Ramos Pollán Universidad Nacional de Colombia"

Transcripción

1 Perspectivas de la Computación Científica. Clusters, Grids y Clouds. Desarrollos y retos Raúl Ramos Pollán Universidad Nacional de Colombia 1

2 Computación Científica La Ciencia e Ingeniería Basada en la Simulación ha alcanzado hoy día un nivel de capacidad predictiva que complementa sólidamente los pilares tradicionales de teoría, experimentación y observación Muchas tecnologías críticas están en un horizonte que no pueden ser entendidas, desarrolladas o usadas sin simulación por computador. 2

3 Computación Científica Algoritmos/Aplicaciones Datos Infraestructura de cómputo Recurso humano/ Comunidades científicas 3

4 Aplicaciones Fine grained parallelism Descomposición en elementos finitos Predicción climática Docking de proteínas 4

5 Aplicaciones Coarse grained parallelism Particiones de datos Data scans / aggregations / summaries Summatory query form over data Logs processing, index generation Map/reduce, Hadoop Simulación Montecarlo 5

6 Aplicaciones Coarse computation for fine grained parallelism Barridos de parámetros (ejemplo Stellerator TJ-II en la Grid) Generate configurations Simulate device conf 1 Simulate device conf 2 Simulate device. Simulate device conf n Evaluate configurations 6

7 Paralelización de algoritmos Naturaleza de los algoritmos 7

8 Paralelización de algoritmos Recurso computacional disponible (GPUs, Cluster, Grids, Clouds, ) Topología interconexión unidades de cómputo Estrategias para explotar recursos computacionales Por paralelización intrínseca del algoritmo Por barrido de parámetros Por partición de datos 8

9 Computación científica Ejemplos de algoritmos Procesamiento de imágenes operaciones en regiones (i.e. contraste) and perform n iterations 9

10 Ejemplos de algoritmos Particionamiento no trivial por algoritmo (otra estrategia por datos para muchas imágenes, pero cada una tiene que caber en memoria) 10

11 Ejemplos de algoritmos Particionamiento no trivial 11

12 Paralelización de KMeans Paralelizar asignación y el cálculo de la media para cada centroide 12

13 Map-reduce, Hadoop 13

14 Map-reduce, Hadoop 14

15 Escalabilidad Ley de Amdahl N: Núm. nodos paralelos P: Proporción paralelizable del código S(N): speedup máximo 15

16 Infraestructuras de computación Clusters Supercomputadores Clouds Grids GPUs Computación oportunista 16

17 Top500, distribución histórica (www.top500.org) 17

18 Top500, distribución histórica (www.top500.org) 18

19 Clusters Planificación de tareas Batch jobs Sistema compartido de archivos Fast inter-networking for inter-process communication Shared storage 19

20 Supercomputadores Planificación de tareas Batch jobs Memoria compartida Procesos multi-nodo 20

21 Grids Redes de datacenters Particiones de procesos independientes Heterogéneos Federación vs distribución Middleware propio 21

22 Clouds Desacoplamiento infraestructura física Modelo de cómputo no fijo: IaaS, PaaS, SaaS 22

23 Computación oportunista Sobre recursos no propios Computación voluntaria, labs de escuelas, etc. 23

24 GPUs Computación matricial Procesadores simples y masivos 24

25 Datos científicos Colecciones de datos Adquisición de datos Colisiones LHC, secuenciaciones, digitalizaciones, bancos de imágenes, mapas 25

26 Datos científicos Orígenes Distribución Estándares y formatos Propiedad y responsabilidades 26

27 Datos científicos Orígenes Distribución Estándares y formatos Propiedad y responsabilidades 27

28 Big Data manejo de datasetsde tamaño >> capacidad de las herramientas tradicionales de bases de datos según la tecnología avanza con el tiempo, el tamaño de los conjuntos de datos a los que denomina el término también crecerán, si cabe, a un aún ritmo mayo Requiere nuevo modelo (no sirven BBDD tradicionales, paquetes estadísticos/visualización desktop) Objetivo Escalabilidad «trivial» 28

29 Bases de datos NoSQL Expresividad SQL vs. Escalabilidad Tablas: filas de keys + lista no fija de columnas/valores Operaciones simples: Scanpor key Acceso directo por key Transacciones mínimas (check&put) No joins, no SQL language Big table, Hbase, DynamoDB, Azure, Cassandra, etc. 29

30 Arquitectura HBase 30

31 La Gente Científicos Ingenieros Programadores Gestores de proyecto Administrativos 31

32 Formación multidisciplinar Conclusión 1: El mundo de la computación es plano, cualquiera puede acceder. Lo que nos distinguirá del resto del mundo es nuestra habilidad para hacerlo mejor y explotar las nuevas arquitecturas que desarrollamos antes de que dichas arquitecturas sean universalmente usadas. Conclusión 2: La educación y formación inadecuadas de la siguiente generación de científicos computacionales amenaza el crecimiento global de la Ciencia e Ingeniería Basadas en Simulación. Esto es particularmente urgente [...]; a no ser que preparemos a los investigadores para desarrollar y usar la próxima generación de algoritmos y arquitecturas de computadores, no seremos capaces de explotar sus capacidades para cambiar las reglas del juego. 32

33 Escenarios y Retos Arquitecturas de software y datos espontáneas Código sucio o poco estructurado Código mezclado (paralelo, seq, ) Falta de documentación Procesos de desarrollo informal Comunidades científicas tradicionales Procesos de desarrollo informal 33

34 Decisiones Modificar algoritmos? Contribuir al software? Comprar hardware? Cloud? Me dedico a otra cosa? Comunidad científica? Grid? Adaptarse al hardware disponible? Duplico datasets? GPU? 34

35 SOLOS NO SOMOS NADA Mantener hardware es caro Portar aplicaciones es caro Criterios científicos, técnicos y organizacionales Cambios generacionales 35

36 A corto plazo Medir el alcance del sw/hw disponible Medir recurso humano disponible Afinar objetivos y esfuerzo Adaptar objetivos científicos a posibilidades 36

37 A medio/largo plazo Construir equipos multidisciplinares Cultura HPC en la ciencia y Cultura científica en ingeniería Iniciar procesos de planificación de software Actualizar programas de capacitación (BSc Msc PhD) Generar frameworks y modelos de computación Generar frameworks y modelos de computación Regeneración generacional Estrategias transnacionales 37

38 Conclusiones EL USO DEL CÓMPUTO CIENTÍFICO ES INEVITABLE La computación científica es un reto tecnológico, científico y organizacional Científicos e ingenieros computacionales se necesitan mutuamente equipos multidisciplinares Tecnología vs. Modelos de computación vs. Disponibilidad de recursos (humanos + técnicos) Conciliar estrategias a corto, medio y largo plazo CAMBIO DE PARADIGMA EVITAR OBSOLESCENCIA 38

39 39

Módulo: Modelos de programación para Big Data

Módulo: Modelos de programación para Big Data Program. paralela/distribuida Módulo: Modelos de programación para Big Data (título original: Entornos de programación paralela basados en modelos/paradigmas) Fernando Pérez Costoya Introducción Big Data

Más detalles

Soluciones para entornos HPC

Soluciones para entornos HPC Dr.. IT Manager / Project Leader @ CETA-Ciemat abelfrancisco.paz@ciemat.es V Jornadas de Supercomputación y Avances en Tecnología INDICE 1 2 3 4 HPC Qué? Cómo?..................... Computación (GPGPU,

Más detalles

CLOUD & BIG DATA. Trabajando el CLOUD, explotando BIG DATA. Cómo pueden ayudarnos estas tecnologías?. Convivimos con ellas?.

CLOUD & BIG DATA. Trabajando el CLOUD, explotando BIG DATA. Cómo pueden ayudarnos estas tecnologías?. Convivimos con ellas?. CLOUD & BIG DATA Trabajando el CLOUD, explotando BIG DATA. Cómo pueden ayudarnos estas tecnologías?. Convivimos con ellas?. Índice. (I) Introducción. Qué es CLOUD. Tipos de CLOUD. Pública. Privada. Comunitaria.

Más detalles

Big Data: retos a nivel de desarrollo. Ing. Jorge Camargo, MSc, PhD (c) jcamargo@bigdatasolubons.co

Big Data: retos a nivel de desarrollo. Ing. Jorge Camargo, MSc, PhD (c) jcamargo@bigdatasolubons.co Big Data: retos a nivel de desarrollo Ing. Jorge Camargo, MSc, PhD (c) jcamargo@bigdatasolubons.co Cámara de Comercio de Bogotá Centro Empresarial Chapinero Agenda Introducción Bases de datos NoSQL Procesamiento

Más detalles

Servicios avanzados de supercomputación para la ciència y la ingeniería

Servicios avanzados de supercomputación para la ciència y la ingeniería Servicios avanzados de supercomputación para la ciència y la ingeniería Servicios avanzados de supercomputación para la ciència y la ingeniería HPCNow! provee a sus clientes de la tecnología y soluciones

Más detalles

HPC y Supercómputo Aplicado a la Evaluación de Recursos

HPC y Supercómputo Aplicado a la Evaluación de Recursos HPC y Supercómputo Aplicado a la Evaluación de Recursos Julián Ortiz Álvaro Parra Exequiel Sepúlveda 5 Seminario de Acercamiento Tecnológico Codelco Digital: Minería del Futuro Temas Contexto ALGES Laboratorio

Más detalles

FUNDAMENTOS DE COMPUTACIÓN PARA CIENTÍFICOS. CNCA Abril 2013

FUNDAMENTOS DE COMPUTACIÓN PARA CIENTÍFICOS. CNCA Abril 2013 FUNDAMENTOS DE COMPUTACIÓN PARA CIENTÍFICOS CNCA Abril 2013 6. COMPUTACIÓN DE ALTO RENDIMIENTO Ricardo Román DEFINICIÓN High Performance Computing - Computación de Alto Rendimiento Técnicas, investigación

Más detalles

BIG DATA. Jorge Mercado. Software Quality Engineer

BIG DATA. Jorge Mercado. Software Quality Engineer BIG DATA Jorge Mercado Software Quality Engineer Agenda Big Data - Introducción Big Data - Estructura Big Data - Soluciones Conclusiones Q&A Big Data - Introducción Que es Big Data? Big data es el termino

Más detalles

Diplomado en Big Data

Diplomado en Big Data 160 horas Diplomado en Big Data BROCHURE, 2015 Contenido Quienes somos?... 3 Presentación del Programa... 4 Perfíl del Facilitador. 5 Objetivos.. 6 Información General.. 7 Plan de Estudio... 8-9 Plan de

Más detalles

Nicolás Zarco Arquitectura Avanzada 2 Cuatrimestre 2011

Nicolás Zarco Arquitectura Avanzada 2 Cuatrimestre 2011 Clusters Nicolás Zarco Arquitectura Avanzada 2 Cuatrimestre 2011 Introducción Aplicaciones que requieren: Grandes capacidades de cómputo: Física de partículas, aerodinámica, genómica, etc. Tradicionalmente

Más detalles

Hadoop. Cómo vender un cluster Hadoop?

Hadoop. Cómo vender un cluster Hadoop? Hadoop Cómo vender un cluster Hadoop? ÍNDICE Problema Big Data Qué es Hadoop? Descripción HDSF Map Reduce Componentes de Hadoop Hardware Software 3 EL PROBLEMA BIG DATA ANTES Los datos los generaban las

Más detalles

Software Libre para Aplicaciones de Big Data

Software Libre para Aplicaciones de Big Data Software Libre para Aplicaciones de Big Data Club de Investigación Tecnológica San José, Costa Rica 2014.07.16 Theodore Hope! hope@aceptus.com Big Data: Qué es?! Conjuntos de datos de: " Alto volumen (TBs

Más detalles

Big Data con nombres propios

Big Data con nombres propios Febrero 2014 Big Data con Al hablar de tecnología Big Data se está obligado, sin duda alguna, a hablar de programación paralela y procesamiento distribuido, ya que éstas serán las características que permitirán

Más detalles

Cloud computing y diseño de fármacos: Docking Virtual sobre Amazon EC2 Diego Alonso López Ingeniero Informático Director: Luis M. A.

Cloud computing y diseño de fármacos: Docking Virtual sobre Amazon EC2 Diego Alonso López Ingeniero Informático Director: Luis M. A. Cloud computing y diseño de fármacos: Docking Virtual sobre Amazon EC2 Diego Alonso López Ingeniero Informático Director: Luis M. A. Quintales Facultad & Ciencias Universidad & Salamanca Objetivos Conceptos

Más detalles

Conectores Pentaho Big Data Community VS Enterprise

Conectores Pentaho Big Data Community VS Enterprise Conectores Pentaho Big Data Community VS Enterprise Agosto 2014 Stratebi Business Solutions www.stratebi.com info@stratebi.com Índice 1. Resumen... 3 2. Introducción... 4 3. Objetivo... 4 4. Pentaho Community

Más detalles

GRUPOS DE INVESTIGACIÓN EN ARQUITECTURA DE COMPUTADORES GAC-USC y GAC-UDC

GRUPOS DE INVESTIGACIÓN EN ARQUITECTURA DE COMPUTADORES GAC-USC y GAC-UDC GRUPOS DE INVESTIGACIÓN EN ARQUITECTURA DE COMPUTADORES GAC-USC y GAC-UDC GAC-USC: Departamento de Electrónica y Computación http://www.ac.usc.es GAC-UDC: Departamento de Electrónica y Sistemas http://gac.des.udc.es

Más detalles

Desarrollo de un cluster computacional para la compilación de. algoritmos en paralelo en el Observatorio Astronómico.

Desarrollo de un cluster computacional para la compilación de. algoritmos en paralelo en el Observatorio Astronómico. Desarrollo de un cluster computacional para la compilación de algoritmos en paralelo en el Observatorio Astronómico. John Jairo Parra Pérez Resumen Este artículo muestra cómo funciona la supercomputación

Más detalles

Big Data y Supercómputo. Dr. Jesús Antonio González (jagonzalez@inaoep.mx) Instituto Nacional de Astrofísica, Óptica y Electrónica (INAOE)

Big Data y Supercómputo. Dr. Jesús Antonio González (jagonzalez@inaoep.mx) Instituto Nacional de Astrofísica, Óptica y Electrónica (INAOE) Big Data y Supercómputo Dr. Jesús Antonio González (jagonzalez@inaoep.mx) Instituto Nacional de Astrofísica, Óptica y Electrónica (INAOE) Big Data 2 Hasta qué cantidad de datos podemos procesar en nuestra

Más detalles

Linux Week PUCP. Computación de Alto Rendimiento en Linux. rmiguel@senamhi.gob.pe

Linux Week PUCP. Computación de Alto Rendimiento en Linux. rmiguel@senamhi.gob.pe Linux Week PUCP 2006 Computación de Alto Rendimiento en Linux Richard Miguel San Martín rmiguel@senamhi.gob.pe Agenda Computación Científica Computación Paralela High Performance Computing Grid Computing

Más detalles

Máster en Investigación en Sistemas

Máster en Investigación en Sistemas Máster en Investigación en Sistemas Hardware ad aey Software Avanzados ados Contenidos 1) Introducción. 2) Líneas de investigación. 3) Ejemplos de trabajos de investigación concretos. 4) Otros aspectos

Más detalles

Cocinando con Big Data

Cocinando con Big Data Cocinando con Big Data Javier Sánchez BDM Big Data jsanchez@flytech.es 91.300.51.09 21/11/2013 Javier Sánchez 1 Agenda Qué es Big Data? Receta Punto de Partida Para qué Big Data? Conclusiones 21/11/2013

Más detalles

Computación Grid. Adaptación de Aplicaciones Grid para el Procesamiento de Imágenes (AAG) Miguel Cárdenas Montes

Computación Grid. Adaptación de Aplicaciones Grid para el Procesamiento de Imágenes (AAG) Miguel Cárdenas Montes Grid Adaptación de Aplicaciones Grid para el Procesamiento de Imágenes (AAG) Miguel Cárdenas Montes Centro de Investigaciones Energéticas Medioambientales y Tecnológicas, Madrid, Spain Máster: Grid y Paralelismo

Más detalles

ÍNDICE. Introducción... Capítulo 1. Conceptos de Big Data... 1

ÍNDICE. Introducción... Capítulo 1. Conceptos de Big Data... 1 ÍNDICE Introducción... XIII Capítulo 1. Conceptos de Big Data... 1 Definición, necesidad y características de Big Data... 1 Aplicaciones típicas de Big Data... 4 Patrones de detección del fraude... 4 Patrones

Más detalles

Computación Distribuida

Computación Distribuida Computación Distribuida Parte II: Computación Grid Juan Ángel Lorenzo del Castillo Grupo de Arquitectura de Computadores Departamento de Electrónica y Computación Universidad de Santiago de Compostela

Más detalles

Infraestructura de Big Data para el análisis y procesamiento de información generada por redes de sensores

Infraestructura de Big Data para el análisis y procesamiento de información generada por redes de sensores Infraestructura de Big Data para el análisis y procesamiento de información generada por redes de sensores Seminario internacional: Big Data para la Información Oficial y la Toma de Decisiones José A.

Más detalles

:Arquitecturas Paralela basada en clusters.

:Arquitecturas Paralela basada en clusters. Computación de altas prestaciones: Arquitecturas basadas en clusters Sesión n 1 :Arquitecturas Paralela basada en clusters. Jose Luis Bosque 1 Introducción Computación de altas prestaciones: resolver problemas

Más detalles

MÁSTER UNIVERSITARIO EN INGENIERÍA INFORMÁTICA

MÁSTER UNIVERSITARIO EN INGENIERÍA INFORMÁTICA MÁSTER UNIVERSITARIO EN INGENIERÍA INFORMÁTICA ESTRUCTURA DEL PLAN DE ESTUDIOS, COMPETENCIAS Y EVALUACIÓN 1. COMPETENCIAS 1.1 COMPETENCIAS BÁSICAS Competencias Básicas CB6 Poseer y comprender conocimientos

Más detalles

Facultad Politécnica UNA Ing. Julio Paciello juliopaciello@gmail.com

Facultad Politécnica UNA Ing. Julio Paciello juliopaciello@gmail.com Facultad Politécnica UNA Ing. Julio Paciello juliopaciello@gmail.com Contenidos Clúster de Investigación Aplicada Proyectos HPC Clúster Hadoop para tecnologías de BI Una nube privada para la Administración

Más detalles

Big data A través de una implementación

Big data A través de una implementación Big data A través de una implementación Lic. Diego Krauthamer Profesor Adjunto Interino del Área Base de Datos Universidad Abierta Interamericana Facultad de Tecnología Informática Buenos Aires. Argentina

Más detalles

Qué significa Hadoop en el mundo del Big Data?

Qué significa Hadoop en el mundo del Big Data? Qué significa Hadoop en el mundo del Big Data? Un contenido para perfiles técnicos 2 ÍNDICE Qué significa Hadoop en el Universo Big Data?.... 3 El planteamiento: big data y data science.... 3 Los desafíos

Más detalles

SISTEMA PARA GENERAR GRÁFICAS A PARTIR DE LOGS TCPDUMP USANDO HADOOP. Ángel Stalin Cruz Palaquibay Pedro Alfredo Torres Arellano

SISTEMA PARA GENERAR GRÁFICAS A PARTIR DE LOGS TCPDUMP USANDO HADOOP. Ángel Stalin Cruz Palaquibay Pedro Alfredo Torres Arellano SISTEMA PARA GENERAR GRÁFICAS A PARTIR DE LOGS TCPDUMP USANDO HADOOP Ángel Stalin Cruz Palaquibay Pedro Alfredo Torres Arellano Descripción general 2 El Problema Motivación Objetivos Metodología del proyecto

Más detalles

GPU IMPLEMENTATIONS OF SCHEDULING HEURISTICS FOR HETEROGENEOUS COMPUTING ENVIRONMENTS

GPU IMPLEMENTATIONS OF SCHEDULING HEURISTICS FOR HETEROGENEOUS COMPUTING ENVIRONMENTS GPU IMPLEMENTATIONS OF SCHEDULING HEURISTICS FOR HETEROGENEOUS COMPUTING ENVIRONMENTS MAURO CANABÉ SERGIO NESMACHNOW Centro de Cálculo, Facultad de Ingeniería Universidad de la República, Uruguay GPU IMPLEMENTATIONS

Más detalles

CLUSTERS. Antonio Antiñolo Navas ESI-UCLM. Antonio.Antinolo@uclm.es. Profesor: Serafín Benito Santos. Arquitectura e Ingeniería de Computadores

CLUSTERS. Antonio Antiñolo Navas ESI-UCLM. Antonio.Antinolo@uclm.es. Profesor: Serafín Benito Santos. Arquitectura e Ingeniería de Computadores CLUSTERS Antonio Antiñolo Navas Antonio.Antinolo@uclm.es 1 Arquitectura e Ingeniería de Computadores Profesor: Serafín Benito Santos ESI-UCLM Índice 1. Introducción. 2. Clasificación. 3. Ventajas y Desventajas.

Más detalles

Servicios de computación Área Grid&Cloud Computing. Rubén Vallés Pérez rvalles@bifi.es

Servicios de computación Área Grid&Cloud Computing. Rubén Vallés Pérez rvalles@bifi.es Servicios de computación Área Grid&Cloud Computing Rubén Vallés Pérez rvalles@bifi.es Index Proyectos Spanish NGI/Ibergrid EGI-InSPIRE SCI-BUS CloudSME Infraestructuras Grid/Cloud AraGrid Cloud OpenStack

Más detalles

HPC en Uruguay: pasado, presente y futuro

HPC en Uruguay: pasado, presente y futuro Tercer Encuentro Nacional de Computación de Alto Rendimiento para Aplicaciones Científicas HPC en Uruguay: pasado, presente y futuro Sergio Nesmachnow Universidad de la República WHPC14, Córdoba, Argentina,

Más detalles

Arquitectura: Clusters

Arquitectura: Clusters Universidad Simón Bolívar Arquitectura: Clusters Integrantes: - Aquilino Pinto - Alejandra Preciado Definición Conjuntos o conglomerados de computadoras construidos mediante la utilización de hardware

Más detalles

Integración de Computación Heterogénea con Hadoop para Cloud Computing

Integración de Computación Heterogénea con Hadoop para Cloud Computing Integración de Computación Heterogénea con Hadoop para Cloud Computing Nelson Rodríguez 1, María Murazzo 2, Daniela Villafañe 3, Maximiliano Alves 4, Diego Medel 5 Departamento e Instituto de Informática

Más detalles

UAEM 2015, Estado de México

UAEM 2015, Estado de México CONSTRUCCIÓN DE CLUSTERS Fernando Robles Morales Ins/tuto Nacional de Medicina Genómica Enrique Cruz Mar

Más detalles

High Performance Computing and Architectures Group

High Performance Computing and Architectures Group HPCA Group 1 High Performance Computing and Architectures Group http://www.hpca.uji.es Universidad Jaime I de Castellón ANACAP, noviembre de 2008 HPCA Group 2 Generalidades Creado en 1991, al mismo tiempo

Más detalles

GRID COMPUTING MALLA DE ORDENADORES

GRID COMPUTING MALLA DE ORDENADORES GRID COMPUTING MALLA DE ORDENADORES Introducción Concepto Compartir potencia computacional; Aprovechamiento de ciclos de procesamiento; El Grid Computing se enmarca dentro de la tecnología de computación

Más detalles

INTRODUCCIÓN A LA COMPUTACION EN LA NUBE Y BIG DATA (1) Ing. Carlos Ormella Meyer

INTRODUCCIÓN A LA COMPUTACION EN LA NUBE Y BIG DATA (1) Ing. Carlos Ormella Meyer INTRODUCCIÓN A LA COMPUTACION EN LA NUBE Y BIG DATA (1) Ing. Carlos Ormella Meyer En los últimos años, el interés por la Computación en la Nube (Cloud Computing), tanto para uso personal como para negocios,

Más detalles

PCI 2010 Acción Preparatoria. Computación Avanzada en Aplicaciones Biomédicas. (High Performance Computing applied to Life Sciences)

PCI 2010 Acción Preparatoria. Computación Avanzada en Aplicaciones Biomédicas. (High Performance Computing applied to Life Sciences) PCI 2010 Acción Preparatoria Computación Avanzada en Aplicaciones Biomédicas CaaB (High Performance Computing applied to Life Sciences) Descripción general Participantes Universidad de Málaga, España CIEMAT,

Más detalles

Solución empresarial Hadoop de EMC. NAS de escalamiento horizontal Isilon y Greenplum HD

Solución empresarial Hadoop de EMC. NAS de escalamiento horizontal Isilon y Greenplum HD Informe técnico Solución empresarial Hadoop de EMC NAS de escalamiento horizontal Isilon y Greenplum HD Por Julie Lockner, analista ejecutivo, y Terri McClure, analista ejecutivo Febrero de 2012 Este Informe

Más detalles

La Colaboración al Servicio de la Ciencia: Grid Computing vs. Cloud Computing

La Colaboración al Servicio de la Ciencia: Grid Computing vs. Cloud Computing La Colaboración al Servicio de la Ciencia: Grid Computing vs. Cloud Computing Yudith Cardinale Computación de Alto Desempeño (high performance computing-hpc) Uso de los computadores más poderosos del momento

Más detalles

Modelo de aplicaciones CUDA

Modelo de aplicaciones CUDA Modelo de aplicaciones CUDA Utilización de GPGPUs: las placas gráficas se utilizan en el contexto de una CPU: host (CPU) + uno o varios device o GPUs Procesadores masivamente paralelos equipados con muchas

Más detalles

Es un software del tipo MAP-REDUCE realizada usando la librería MPI para la

Es un software del tipo MAP-REDUCE realizada usando la librería MPI para la Es un software del tipo MAP-REDUCE realizada usando la librería MPI para la ejecución de programas secuenciales de forma paralela con el requisito de no modificar los programas secuenciales. La idea fundamental

Más detalles

High Performance Computing y Big Data en AWS. +info: (http://gac.udc.es) HPC y Big Data en AWS 16 Abril, 2012 1 / 14

High Performance Computing y Big Data en AWS. +info: (http://gac.udc.es) HPC y Big Data en AWS 16 Abril, 2012 1 / 14 High Performance Computing y Big Data en AWS +info: (http://gac.udc.es) HPC y Big Data en AWS 16 Abril, 212 1 / 14 High Performance Computing High Performance Computing (HPC) Afonta grandes problemas empresariales,

Más detalles

APACHE HADOOP. Daniel Portela Paz Javier Villarreal García Luis Barroso Vázquez Álvaro Guzmán López

APACHE HADOOP. Daniel Portela Paz Javier Villarreal García Luis Barroso Vázquez Álvaro Guzmán López APACHE HADOOP Daniel Portela Paz Javier Villarreal García Luis Barroso Vázquez Álvaro Guzmán López Objetivos 1. Qué es Apache Hadoop? 2. Funcionalidad 2.1. Map/Reduce 2.2. HDFS 3. Casos prácticos 4. Hadoop

Más detalles

Denominación de la materia. créditos ECTS = 36 carácter = OBLIGATORIA SISTEMAS OPERATIVOS, SISTEMAS DISTRIBUIDOS Y REDES

Denominación de la materia. créditos ECTS = 36 carácter = OBLIGATORIA SISTEMAS OPERATIVOS, SISTEMAS DISTRIBUIDOS Y REDES Denominación de la materia SISTEMAS OPERATIVOS, SISTEMAS DISTRIBUIDOS Y REDES créditos ECTS = 36 carácter = OBLIGATORIA Ubicación dentro del plan de estudios y duración La materia está formada por 6 asignaturas

Más detalles

Computación de altas prestaciones aplicada al cálculo de variaciones en genómica

Computación de altas prestaciones aplicada al cálculo de variaciones en genómica UNIVERSIDAD DE CASTILLA-LA MANCHA ESCUELA SUPERIOR DE INGENIERÍA INFORMÁTICA MÁSTER UNIVERSITARIO EN TECNOLOGÍAS INFORMÁTICAS AVANZADAS TRABAJO FIN DE MÁSTER Computación de altas prestaciones aplicada

Más detalles

Yersinio Jiménez Campos Analista de datos Banco Nacional de Costa Rica

Yersinio Jiménez Campos Analista de datos Banco Nacional de Costa Rica Fundamentos Título de de Big la Data presentación utilizando MATLAB Yersinio Jiménez Campos Analista de datos Banco Nacional de Costa Rica 1 Agenda Qué es Big Data? Buenas prácticas en el manejo de memoria.

Más detalles

PERFIL DEL INGENIERO DE SISTEMAS FUSM

PERFIL DEL INGENIERO DE SISTEMAS FUSM PERFIL DEL INGENIERO DE SISTEMAS FUSM PERFIL DEL INGENIERO DE SISTEMAS DE LA FUSM El perfil del Ingeniero de Sistemas presencial de la Fundación Universitaria San Martín, Bogotá, está en capacidad de modelar

Más detalles

FaceFinder MÓDULO DE BÚSQUEDA DE PERSONAS DENTRO DE UNA BASE DE DATOS DE ROSTROS

FaceFinder MÓDULO DE BÚSQUEDA DE PERSONAS DENTRO DE UNA BASE DE DATOS DE ROSTROS FaceFinder MÓDULO DE BÚSQUEDA DE PERSONAS DENTRO DE UNA BASE DE DATOS DE ROSTROS Introducción Los algoritmos utilizados para el procesamiento de imágenes son de complejidad computacional alta. Por esto

Más detalles

Desmitificando Big Data:

Desmitificando Big Data: Desmitificando Big Data: Data Mining y Business Intelligence 2.0 Ignacio Bustillo Ignacio.Bustillo@stratebi.com Twitter: @IgnacioBustillo Fecha presentación: 14 de Noviembre de 2014 'Hello world!' Creador

Más detalles

Introducción. TEMA 3: Clusters de Computadores Personales

Introducción. TEMA 3: Clusters de Computadores Personales Introducción TEMA 3: Clusters de Computadores Personales Laboratorio de Arquitecturas Avanzadas de Computadores 5º de Ingeniería Superior de Informática 2008/09 Alberto Sánchez alberto.sanchez@urjc.es

Más detalles

Cloud Computing y Virtualización

Cloud Computing y Virtualización Descripción y Contenido del Curso Cloud Computing y Virtualización Capacity Academy Educación en Tecnología de la Información Online, Efectiva y Garantizada Qué aprenderá si toma este Curso? En este curso

Más detalles

EL CLUSTER FING: COMPUTACIÓN DE ALTO DESEMPEÑO EN FACULTAD DE INGENIERÍA

EL CLUSTER FING: COMPUTACIÓN DE ALTO DESEMPEÑO EN FACULTAD DE INGENIERÍA EL CLUSTER FING: COMPUTACIÓN DE ALTO DESEMPEÑO EN FACULTAD DE INGENIERÍA SERGIO NESMACHNOW Centro de Cálculo, Instituto de Computación FACULTAD DE INGENIERÍA, UNIVERSIDAD DE LA REPÚBLICA, URUGUAY EL CLUSTER

Más detalles

Objetivo(s) general(es) de la asignatura. Programa de Asignatura. Historia del programa. Relación con otras asignaturas

Objetivo(s) general(es) de la asignatura. Programa de Asignatura. Historia del programa. Relación con otras asignaturas Programa de Asignatura Historia del programa Lugar y fecha de elaboración Participantes Observaciones (Cambios y justificaciones) Relación con otras asignaturas Anteriores Posteriores Nombre de la asignatura

Más detalles

COURSE: Computación Distribuida

COURSE: Computación Distribuida COURSE: Computación Distribuida DEGREE: Grado en Ingeniería en Tecnologías de Telecomunicación YEAR: 014/015 TERM: 1 La asignatura tiene 9 sesiones que se distribuyen a lo largo de 14 semanas. Los laboratorios

Más detalles

Profesor: José Luis Montoya Restrepo

Profesor: José Luis Montoya Restrepo Profesor: José Luis Montoya Restrepo AGENDA Presentación Profesor y Alumnos. Importancia de los sistemas distribuidos. Objetivos y contenido del curso. Profesor José Luis Montoya Ingeniero Electrónico

Más detalles

Solución escalable y ajustada en coste para monitorización y control de redes eléctricas con detección temprana de problemas

Solución escalable y ajustada en coste para monitorización y control de redes eléctricas con detección temprana de problemas SCALMONITOR Solución escalable y ajustada en coste para monitorización y control de redes eléctricas con detección temprana de problemas Juan Garbajosa Universidad Politécnica de Madrid 16 de Enero, Madrid

Más detalles

GUÍA DOCENTE. Computación Paralela y Arquitecturas Específicas y de Altas Prestaciones

GUÍA DOCENTE. Computación Paralela y Arquitecturas Específicas y de Altas Prestaciones GUÍA DOCENTE Computación Paralela y Arquitecturas Específicas y de Altas Prestaciones octubre de 2010 I.- DATOS INICIALES DE IDENTIFICACIÓN Nombre de la asignatura: Módulo al que pertenece Carácter: Titulación:

Más detalles

UNIVERSIDAD DEL VALLE DE MÉXICO PROGRAMA DE ESTUDIO DE LICENCIATURA PRAXIS MES XXI

UNIVERSIDAD DEL VALLE DE MÉXICO PROGRAMA DE ESTUDIO DE LICENCIATURA PRAXIS MES XXI UNIVERSIDAD DEL VALLE DE MÉXICO PROGRAMA DE ESTUDIO DE LICENCIATURA PRAXIS MES XXI NOMBRE DE LA ASIGNATURA: SUPERCÓMPUTO FECHA DE ELABORACIÓN: ENERO 2005 ÁREA DEL PLAN DE ESTUDIOS: AS ( ) AC ( ) APOBL

Más detalles

BIG Big Data Public Private Forum

BIG Big Data Public Private Forum DATA TENDENCIAS TECNOLÓGICAS Primer taller para la construcción de la hoja de ruta de Big Data para Europa 16/04/2013 Tomás Pariente Atos Research and Innovation SABEMOS LO QUE ES DATA, NO? Small DATA

Más detalles

TRES PREGUNTAS SOBRE El Supercomputador ALTAMIRA Abierto a la Innovación

TRES PREGUNTAS SOBRE El Supercomputador ALTAMIRA Abierto a la Innovación TRES PREGUNTAS SOBRE El Abierto a la Innovación P1: Qué es un supercomputador? SUPERCOMPUTADOR: Muy alta velocidad de cálculo Ranking mundial: Top500 #1 mundial (USA): 16 Peta flops Se construye conectando

Más detalles

PREVIEW BIDOOP 2.0. Big Data Brunch

PREVIEW BIDOOP 2.0. Big Data Brunch PREVIEW BIDOOP 2.0 Big Data Brunch 08 de Julio 2014 Quién soy? Trabajando con Hadoop desde 2010 sluangsay@pragsis.com @sourygna CTO de Pragsis Responsable departamento sistemas Preventa Instructor de Hadoop

Más detalles

Coordinador general: José Luis Gordillo Ruiz. Informe Técnico Final.

Coordinador general: José Luis Gordillo Ruiz. Informe Técnico Final. Construcción de una Grid Interinstitucional en México. Instituciones participantes: - Universidad Nacional Autónoma de México (UNAM) - Centro de Investigación Científica y de Educación Superior de Ensenada

Más detalles

Mgter. Alejandro Ramos

Mgter. Alejandro Ramos Mgter. Alejandro Ramos Servidores Centralizados de Ficheros. Sistemas de Base de Datos. Sistemas Distribuidos. Evolución de la Tecnología Cliente Servidor 1 2 3 4 5 1982 1986 1990 1995 1995 - actualmente

Más detalles

GANETEC SOLUTIONS HPC Farmacéuticas

GANETEC SOLUTIONS HPC Farmacéuticas GANETEC SOLUTIONS HPC Farmacéuticas La integración de tecnologías HPC en el sector Farmacéutico y de la Bioinformática ha permitido grandes avances en diversos campos. NUESTRA VISIÓN Estas nuevas posibilidades

Más detalles

Curso práctico. Big Data y Data Analytics

Curso práctico. Big Data y Data Analytics Curso práctico Big Data y Data Analytics QUE ES BIG DATA? En la actual era digital, hay una explosión de datos por todas partes. Google procesa más de 24 PetaBytes de datos por día, casi 300 billones de

Más detalles

Administración 140 servers / admin 1000 servers /admin 7.1

Administración 140 servers / admin 1000 servers /admin 7.1 Cloud Computing y Data Centers Red Costo en DC pequeño Costo en DC grande (1000 servers) (50.000 servers) USD 95 per Mbit/sec/mes USD 13 per Mbit/sec/mes Ratio Almacenamiento USD 2.2020 GB/mes USD 0.40

Más detalles

Proyecto Fin de Carrera OpenNebula y Hadoop: Cloud Computing con herramientas Open Source

Proyecto Fin de Carrera OpenNebula y Hadoop: Cloud Computing con herramientas Open Source Proyecto Fin de Carrera OpenNebula y Hadoop: Cloud Computing con herramientas Open Source Francisco Magaz Villaverde Consultor: Víctor Carceler Hontoria Junio 2012 Contenido Introducción Qué es Cloud Compu5ng?

Más detalles

Intensificaciones del Grado en Ingeniería Informática

Intensificaciones del Grado en Ingeniería Informática Intensificaciones del Grado en Ingeniería Informática Escuela Superior de Ingeniería Informática Universidad de Castilla La Mancha Intensificaciones A partir del 6º cuatrimestre (3 er curso) 48 ECTS 8

Más detalles

Trabajo Fin de Máster

Trabajo Fin de Máster Trabajo Fin de Máster Integración dinámica de entornos de computación heterogéneos para la ejecución de workflows científicos Autor Sergio Hernández de Mesa Director Pedro Álvarez Pérez-Aradros Escuela

Más detalles

XII Encuentro Danysoft en Microsoft Abril 2015. Business Intelligence y Big Data XII Encuentro Danysoft en Microsoft Directos al código

XII Encuentro Danysoft en Microsoft Abril 2015. Business Intelligence y Big Data XII Encuentro Danysoft en Microsoft Directos al código Business Intelligence y Big Data XII Encuentro Danysoft en Microsoft Directos al código Ana María Bisbé York Servicios Profesionales sp@danysoft.com 916 638683 www.danysoft.com Abril 2015 Sala 1 SQL Server

Más detalles

Diseño del Sistema de Información

Diseño del Sistema de Información Diseño del Sistema de Información ÍNDICE DESCRIPCIÓN Y OBJETIVOS...2 ACTIVIDAD DSI 1: DEFINICIÓN DE LA ARQUITECTURA DEL SISTEMA...7 Tarea DSI 1.1: Definición de Niveles de Arquitectura...9 Tarea DSI 1.2:

Más detalles

Plataformas paralelas

Plataformas paralelas Plataformas paralelas Curso 2011-2012 Elementos de un computador paralelo Hardware: Múltiples procesadores Múltiples memorias Redes de interconexión Software: Sistemas Operativos paralelos Programas orientados

Más detalles

Ingeniería de Sistemas

Ingeniería de Sistemas Se centra en SW + otros elementos Integrar SW en un sistema: producto, servicio o tecnología de transformación o control de información Producto obtenido: una correcta representación del sistema Ing. de

Más detalles

INFORME TECNICO PARA ADQUISICION DE UNA SOLUCIÓN DE MONITOREO DE APLICACIONES JAVA. 2. RESPONSABLE DE EVALUACION : Ing. Eduardo Vásquez Díaz

INFORME TECNICO PARA ADQUISICION DE UNA SOLUCIÓN DE MONITOREO DE APLICACIONES JAVA. 2. RESPONSABLE DE EVALUACION : Ing. Eduardo Vásquez Díaz INFORME TECNICO PARA ADQUICION DE UNA SOLUCIÓN DE MONITOREO DE APLICACIONES JAVA 1. MBRE DEL AREA : Oficina de Sistemas 2. RESPONSABLE DE EVALUACION : Ing. Eduardo Vásquez Díaz 3. CARGOS : Analista de

Más detalles

Ingeniero en Informática

Ingeniero en Informática UNIVERSIDAD DE ALMERÍA Ingeniero en Informática CLÚSTER DE ALTO RENDIMIENTO EN UN CLOUD: EJEMPLO DE APLICACIÓN EN CRIPTOANÁLISIS DE FUNCIONES HASH Autor Directores ÍNDICE 1. Introducción 2. Elastic Cluster

Más detalles

Talleres CLCAR. CUDA para principiantes. Título. Mónica Liliana Hernández Ariza, SC3UIS-CRC NVIDIA Research Center monicalilianahernandez8@gmail.

Talleres CLCAR. CUDA para principiantes. Título. Mónica Liliana Hernández Ariza, SC3UIS-CRC NVIDIA Research Center monicalilianahernandez8@gmail. a CUDA para principiantes Mónica Liliana Hernández Ariza, SC3UIS-CRC NVIDIA Research Center monicalilianahernandez8@gmail.com Tener un primer encuentro práctico con la programación en CUDA para personas

Más detalles

Master in Bioinformatics for Genomics and Drug Design

Master in Bioinformatics for Genomics and Drug Design Este documento presenta una descripción breve del Máster Estratégico en Bioinformática propuesto por la Universitat Autònoma de Barcelona para el curso 2012/13. Se justifica la propuesta, se exponen los

Más detalles

Metodología y Framework para el Desarrollo de Aplicaciones Científicas con Computación de Alto Rendimiento a través de Servicios Web

Metodología y Framework para el Desarrollo de Aplicaciones Científicas con Computación de Alto Rendimiento a través de Servicios Web Metodología y Framework para el Desarrollo de Aplicaciones Científicas con Computación de Alto Rendimiento a través de Servicios Web J.Corral-García, D.Cortés-Polo, C.Gómez-Martín, J.L.González-Sánchez

Más detalles

Una potencia informática excepcional. Prestación de almacenamiento extraordinaria. Flexibilidad de red definitiva. Experiencia integrada o compilada

Una potencia informática excepcional. Prestación de almacenamiento extraordinaria. Flexibilidad de red definitiva. Experiencia integrada o compilada Una potencia informática excepcional. Prestación de almacenamiento extraordinaria. Flexibilidad de red definitiva. Experiencia integrada o compilada a medida. Infraestructura de servidor preconfigurada

Más detalles

Diseño del Sistema de Información

Diseño del Sistema de Información Diseño del Sistema de Información ÍNDICE DESCRIPCIÓN Y OBJETIVOS... 2 ACTIVIDAD DSI 1: DEFINICIÓN DE LA ARQUITECTURA DEL SISTEMA... 7 Tarea DSI 1.1: Definición de Niveles de Arquitectura... 9 Tarea DSI

Más detalles

Técnicas SuperEscalares en la Paralelización de Bibliotecas de Computación Matricial sobre Procesadores Multinúcleo y GPUs

Técnicas SuperEscalares en la Paralelización de Bibliotecas de Computación Matricial sobre Procesadores Multinúcleo y GPUs Técnicas SuperEscalares en la Paralelización de Bibliotecas de Computación Matricial sobre Procesadores Multinúcleo y GPUs Enrique S. Quintana-Ortí quintana@icc.uji.es High Performance Computing & Architectures

Más detalles

Arquitecturas y Computación de Alto Rendimiento SISTEMAS PARA COMPUTACIÓN DE ALTO RENDIMIENTO. Índice

Arquitecturas y Computación de Alto Rendimiento SISTEMAS PARA COMPUTACIÓN DE ALTO RENDIMIENTO. Índice Arquitecturas y Computación de Alto Rendimiento SISTEMAS PARA COMPUTACIÓN DE ALTO RENDIMIENTO 1 Índice 1. Necesidades de cómputo. Exascale. Arquitecturas de altas prestaciones. Top 500. Green 500 2. Memoria

Más detalles

CURSOS DE VERANO 2014

CURSOS DE VERANO 2014 CURSOS DE VERANO 2014 CLOUD COMPUTING: LA INFORMÁTICA COMO SERVICIO EN INTERNET LA PLATAFORMA GOOGLE CLOUD PLATFORM. GOOGLE APP ENGINE Pedro A. Castillo Valdivieso Universidad de Granada http://bit.ly/unia2014

Más detalles

MapReduce. Modelo de programación MapReduce. MapReduce. Sistemas Distribuidos. Tecnologías procesado masivo de datos. Vamos a contar palabras

MapReduce. Modelo de programación MapReduce. MapReduce. Sistemas Distribuidos. Tecnologías procesado masivo de datos. Vamos a contar palabras Tecnologías procesado masivo de datos Sistemas Distribuidos Modelo de programación Modelo de programación Alm. lógico Alm. físico Serv. genéricos Pregel... BigTable GFS Serv. genéricos 2 Vamos a contar

Más detalles

Seguridad y Big Data

Seguridad y Big Data Administración y seguridad de sistemas. Año 2016 Seguridad y Big Data Autores Jonathan Denis - 4.591.582-6 Andrés Duarte - 4.716.077 Gastón Salgado - 4.801.723-3 Walter Sosa - 1.713.601-6 Matías Laíno

Más detalles

Diplomado en Gestión de Grandes Volúmenes de Datos y Analítica Empresarial Coordinador: Dr. José A. Incera Diéguez

Diplomado en Gestión de Grandes Volúmenes de Datos y Analítica Empresarial Coordinador: Dr. José A. Incera Diéguez Diplomado en Gestión de Grandes Volúmenes de Datos y Analítica Empresarial Coordinador: Dr. José A. Incera Diéguez La evolución de las tecnologías de información y comunicaciones nos ha llevado a un crecimiento

Más detalles

Proyecto Fin de Carrera

Proyecto Fin de Carrera Proyecto Fin de Carrera Integración de recursos efímeros en una infraestructura distribuida de computación Autor Marcos Molina Ordovás Directores Sergio Hernández de Mesa Francisco Javier Fabra Caro Grupo

Más detalles

HDInsight. Big Data, al estilo Microsoft

HDInsight. Big Data, al estilo Microsoft HDInsight Big Data, al estilo Microsoft PABLO DOVAL SQL/BI Team Lead palvarez@plainconcepts.com http://geeks.ms/blogs/palvarez @PabloDoval Big Data ALGUNAS ESTADÍSTICAS DE SQL SERVER Categoría Metrica

Más detalles

Facultad de Ingeniería ISSN: 0121-1129 revista.ingenieria@uptc.edu.co. Universidad Pedagógica y Tecnológica de Colombia. Colombia

Facultad de Ingeniería ISSN: 0121-1129 revista.ingenieria@uptc.edu.co. Universidad Pedagógica y Tecnológica de Colombia. Colombia Facultad de Ingeniería ISSN: 0121-1129 revista.ingenieria@uptc.edu.co Universidad Pedagógica y Tecnológica de Colombia Colombia Amézquita-Mesa, Diego Germán; Amézquita-Becerra, Germán; Galindo-Parra, Omaira

Más detalles

Botón menú Objetivo de la Minería de datos.

Botón menú Objetivo de la Minería de datos. Titulo de Tutorial: Minería de Datos N2 Botón menú: Introducción. Las instituciones y empresas privadas coleccionan bastante información (ventas, clientes, cobros, pacientes, tratamientos, estudiantes,

Más detalles

Clasificación de Áreas y Subáreas para las inscripciones al Doctorado en Ciencias Informáticas

Clasificación de Áreas y Subáreas para las inscripciones al Doctorado en Ciencias Informáticas Área Algoritmos y Estructuras de Datos Arquitectura de computadoras Subárea - Algoritmos - Análisis de algoritmos - Estructuras de Datos - Verificación y certificación de programas - Lógicas para el desarrollo

Más detalles

4. Programación Paralela

4. Programación Paralela 4. Programación Paralela La necesidad que surge para resolver problemas que requieren tiempo elevado de cómputo origina lo que hoy se conoce como computación paralela. Mediante el uso concurrente de varios

Más detalles

PROGRAMA FORMATIVO. Administración de Bases de Datos Oracle

PROGRAMA FORMATIVO. Administración de Bases de Datos Oracle PROGRAMA FORMATIVO Administración de Bases de Datos Oracle MÓDULOS FORMATIVOS Módulo nº 1 ORACLE DATABASE: TALLER DE ADMINISTRACIÓN Al finalizar este módulo los alumnos podrán instalar, configurar, controlar,

Más detalles

UNIVERSIDAD POLITÉCNICA DE MADRID. E.T.S. de Ingenieria de Sistemas Informaticos PROCESO DE SEGUIMIENTO DE TÍTULOS OFICIALES

UNIVERSIDAD POLITÉCNICA DE MADRID. E.T.S. de Ingenieria de Sistemas Informaticos PROCESO DE SEGUIMIENTO DE TÍTULOS OFICIALES ANX-PR/CL/001-02 GUÍA DE APRENDIZAJE ASIGNATURA Servicios y protocolos de aplicaciones en internet CURSO ACADÉMICO - SEMESTRE 2015-16 - Primer semestre GA_61AC_613000037_1S_2015-16 Datos Descriptivos Nombre

Más detalles

Seguridad en tiempos de Big Data

Seguridad en tiempos de Big Data Seguridad en tiempos de Big Data A/C Rodrigo Guirado, CISA, CGEIT, CRISC Director de Consultoría PwC Uruguay Agenda Qué es realmente Big Data? Cómo usar Big Data en seguridad? Qué aspectos de seguridad

Más detalles