Universidad Autónoma de Aguascalientes Luis Eduardo Bautista Villalpando

Transcripción

1 Universidad Autónoma de Aguascalientes Luis Eduardo Bautista Villalpando

2 Qué es Cloud Computing? Quién utiliza Cloud Computing? Plataformas utilizadas en Cloud Computing Investigación en Cloud Computing Uso de Hadoop en la Investigación Cloud Computing en la UAA (Hadoop) Demostración básica de uso de Hadoop

3 Cloud Computing es una tecnología de reciente creación, cuyo objetivo principal es el de procesar y almacenar grandes volúmenes de información a través de esquemas distribuidos. Esta tecnología esta basada en el uso de Internet donde un conjunto de varias computadoras trabajan en conjunto para lograr el objetivo anterior (Grid). En general al usar Cloud Computing, se puede utilizar infraestructura propietaria o se puede rentar a un proveedor (Infraestructure as a Service -IaaS)

4 Crawling, indexing, searching, mineria en la red Web Post-genomics investigación ciencias de la vida Datos científicos( física, astronomía etc.) Redes de sensores Aplicaciones Web 2.0 Wayback Machine tuvo 2 PB + 20 TB/month (2006) Google proceso 20 PB a day (2008) NOAA tuvo ~1 PB datos climáticos (2007) CERN s LHC generó aprox. 15 PB en el año (2008) 640K ought to be enough for anybody.

5 Maximilien Brice, CERN

6 Maximilien Brice, CERN

7 Quién provee de tecnología Cloud?

8 Google App Engine ( 419/appengine/) Yahoo Labs ( Amazon Web Services ( Cloudera ( ) Sun Cloud ( Windows Azure ( GoGrid ( Blue Cloud ( 3tera-CA ( Etc.

9 Maximilien Brice, CERN

10

11 Name: Google/IBM Cloud Computing University Initiative Major Contributors: University of Washington; Carnegie Mellon; MIT; Stanford University; University of California, Berkeley; University of Maryland Purpose: Gives academic researchers and students access to the sponsors' huge computing resources so they may experiment with the design and management of cloud applications and services. Name: Reservoir Major Contributors: IBM, SAP, Sun Microsystems, Telefonica, University of Messina, University College of London, Umea University, Universidad Complutense de Madrid, University of Lugano, Thales Group, Elsag Datamat, CETIC Purpose: An EU-funded project that promotes research into creating a service-based online economy based on distributed computing in an open cloud.

12 Name: Eucalyptus, Major Contributors: Building on an NSF-funded project at the University of California, Santa Barbara, Eucalyptus Systems launched in April with funding from Benchmark Capital and BV Capital Purpose: Is commercializing an open-source platform for building private clouds using existing hardware and software, which can then be merged with a public cloud like Amazon Web Services. This hybrid approach allows companies to move data and applications in and out of the public cloud as the need arises Name: Open Cirrus, Major Contributors: HP, Intel, Yahoo, University of Illinois at Urbana-Champaign, Karlsruhe Institute of Technology (Germany), Infocomm Development Authority (Singapore) Purpose: A test bed for researchers studying how to design and manage data centers for the cloud.

13 Name: Apache Hadoop, hadoop.apache.org Major Contributors: Apache Software Foundation, Yahoo, Google, Microsoft, Cloudera Purpose: Has developed an open-source version of Google's MapReduce and File System infrastructure for processing large amounts of data in parallel, a necessity in cloud computing

14 Que es Hadoop? Hadoop es un proyecto de Apache que desarrolla software de código abierto para computo distribuido. Hadoop esta constituido de los siguientes subproyectos: Hadoop Distributed File System Un sistema de archivos distribuido para el almacenamiento de grandes volumenes de información (Basado en GFS). Hbase Una base de datos distribuida escalable que soporta grandes volumenes de datos en tablas. Hive Una infraestructura para data warehousing. MapReduce Un framework de desarrollo para para procesar extensos volumenes de datos en cluster de computadoras.

15 NameNode Block Ops DataNode DataNode DataNode DataNode DataNode Replication Rack One Block = 64 Mb Rack Two Data Blocks

16 Cluster de laboratorio de Redes y Sistemas Distribuidos UAA En cuanto a infraestructura, este grupo de trabajo consta de: Un laboratorio de 12 computadoras quad core para la prueba de clúster. 2 servidores SUN Sunfire los cuales sirven como controladores de nodos principales en clúster de pruebas. 1 servidor HP Proliant que sirve como Servidor de Aplicaciones Internas. Enlace a I2 a 2 Mbps así como una red interna a 1 Gbps.

17 Se tiene implantado HDFS para pruebas de aplicaciones MapReduce. Se realizan pruebas para investigación de pruebas de Alta Disponibilidad de Hadoop. Como material didáctico a nivel pregrado y posgrado dentro de las materias de Computo Distribuido y Paralelo. Proyectos de Investigación para el análisis de datos dentro del área Biológica.

18

19 Una nueva tecnología con muchas posibilidades en el ámbito académico y de investigación. Llevar el cómputo de procesamiento al usuario. Muchos participantes e iniciativas para estandarizar el uso de Cloud Computing. Proyecto para crear una Nube de Nubes ideal pero no en el corto plazo. Integración con otras tecnologías tal como Web Services, GRID Services, etc. Para obtener muchos mas beneficios.

20 Gracias.