Plataformas Cloud representativas Prestaciones y limitaciones

Transcripción

1 Plataformas Cloud representativas Prestaciones y limitaciones Índice Plataformas representativas. Prestaciones y limitaciones Amazon AWS (EC2, S3, CloudFront, SimpleDB) Google APP Engine Windows Azure 1

2 Plataformas representativas Para creación de soluciones Cloud OpenStack, CloudStack, Eucalyptus, OpenNebula Soluciones Cloud existentes Web Services (PaaS) Apps for Businesses (SaaS) App Engine (PaaS) Azure (PaaS) Soluciones Cloud (Open Source) OpenStack mayor número de usuarios Durante 2013 el interés de Cloudstack creció por encima de las demás plataformas Las cloud de IBM, HP y próximamente Dell están basadas en OpenStack 2

3 OpenStack Plataforma de Cloud (IaaS) de Código Abierto. Conjunto de proyectos interrelacionados para desarrollar distintos componentes de una cloud. Procesamiento (Nova) Almacenamiento (Swift) Servicio de imágenes virtuales (Glance) Identidad (Keystone) Panel de control (Horizon), etc. OpenStack Acceso a todos los servicios mediante APIs REST (HTTP + JSON / XML) Las APIs son compatibles con Amazon EC2 y S3. Aplicaciones para la Cloud de Amazon pueden ser portadas a OpenStack con poco esfuerzo. 3

4 Amazon Cloud Services AWS proporciona una infraestructura de servicios elástica donde alojar computación, almacenamiento o sistemas empresariales Amazon Elastic Cloud (EC2) permite configurar y ejecutar un Amazon Machine Instance (AMI) servidores en demanda Amazon Simple Storage Service (S3) permite guardar y recuperar datos en la nube Amazon SimpleDB proporciona la funcionalidad de una base de datos sobre S3 basada en pares clave-valor Amazon Simple Queue Service (SQS) servicio de mensajería para encolar tareas y mensajes Amazon CloudFront copias de tus objetos más populares son cacheados en una red de nodos alrededor del mundo Documentación: Info de: Cloud Computing, Diego López de Ipiña, Univ. Deusto. Amazon Cloud Services 4

5 Amazon Elastic Compute Cloud: EC2 Permite ejecutar varios servidores Linux o Windows virtuales bajo demanda, facilitando tantos ordenadores como necesites para procesar tus datos o ejecutar una aplicación Otorga acceso root al sistema operativo de cada servidor, un cortafuegos para gestionar el acceso a la red y la libertad para instalar cualquier software Una vez configurado un servidor adecuadamente, se guarda como Amazon Machine Image (AMI) que puede ser lanzada para crear máquinas virtuales en demanda La EC2 API (Query o SOAP) ofrece funcionalidad para empezar y parar instancias de servidor, aplicar permisos de acceso y red o gestionar tus imágenes de servidor. Cada servidor individual se gestiona usando herramientas Linux o Windows sobre una sesión de shell segura. Se factura en función de los recursos consumidos : CPU y datos transferidos Más información en: Amazon Elastic Compute Cloud: EC2 AMI (Amazon Machine Instance) Basadas en XEN Volúmenes EBS (Elastic Block Storage): almacenamiento para las instancias IP Elástica asociada a tu cuenta no a una instancia. Te permite controlar a qué instancia o instancias apunta (útil por robustez). Las instancias en EC2 se pueden colocar en diferentes localizaciones: Las regiones están dispersas geográficamente (ver tabla debajo) Las zonas de disponibilidad son localizaciones diferentes dentro de una Región que están aisladas de fallos en otras zonas y facilitan conectividad de red económica, de baja latencia a otras zonas de disponibilidad dentro de la Región Region US-East (Northern Virginia) Region Endpoint ec2.us-east-1.amazonaws.com US-West (Northern California) Region ec2.us-west-1.amazonaws.com EU (Ireland) Region ec2.eu-west-1.amazonaws.com Asia Pacific (Singapore) Region ec2.ap-southeast-1.amazonaws.com 5

6 Amazon Elastic Compute Cloud: EC2 Amazon Elastic Compute Cloud: EC2 Utilidades Amazon CloudWatch es un servicio que proporciona monitorización para recursos gestionados por AWS Muestra utilización de recursos como CPU, lecturas y escrituras de disco o tráfico de red Elastic Load Balancing distribuye automáticamente el tráfico de aplicación entrante entre varias instancias EC2 Auto Scaling permite escalar automáticamente hacia arriba o abajo tu capacidad EC2 en función de triggers que defines 6

7 Elastic Load Balancing 7

8 Amazon Simple Storage Service: S3 Ofrece espacio de almacenamiento seguro para cualquier tipo de datos en los data centers de Amazon Es una alternativa a construir, mantener y utilizar tus propios sistemas de almacenamiento No tiene límites sobre cuánta información, por cuánto tiempo y con qué ancho de banda puede transferirse. Ofrece una simple API agnóstica a la información a guardar Depende de ti qué datos y qué representación interna tienen El modelo de datos interno consta de dos tipos de recursos de almacenamiento: Objects: guardan datos y metadatos Buckets: contenedores que pueden contener infinidad de objetos Incorpora mecanismos de control de acceso (ACL) que pueden aplicarse a objetos y buckets Amazon Simple Storage Service: S3 Los recursos en S3 se identifican mediante URIs: Ejemplo: Algunas características de su arquitectura son: Los objetos S3 no pueden ser manipulados como ficheros estándar Los cambios sobre ellos tardan en propagarse Las peticiones a objetos pueden fallar ocasionalmente Permite guardar versiones Se deben resolver las direcciones IP de los nombres DNS de S3 periódicamente Se pueden guardar infinitos objetos de hasta 5GB en tamaño Se paga por almacenamiento, transferencia y operaciones Algunos posibles usos de S3: Compartir grandes ficheros Como repositorio de back-up de tus ficheros Sistema de ficheros mapeado sobre S3 (ElasticDrive) Más información en: 8

9 Amazon CloudFront Copias de tus objetos más populares son cacheados en una red de nodos alrededor del mundo Mientras que en Amazon S3 se guardan contenidos (ficheros) con CloudFront se garantiza que tus objetos en S3 buckets son servidos rápidamente. Lo hace copiando los ficheros en buckets S3 a diferentes edge locations que sirven contenidos a los usuarios finales. Tales edge locations se distribuyen por el planeta asegurándose que los contenidos son servidos del servidor Amazon más cercano Es ventajoso porque el 80-90% del tiempo invertido esperando a una respuesta web se debe a la descarga de los componentes de la página: imágenes, hojas de estilo, scripts, Flash, etc. La clave es colocar la parte estática de nuestra web en una red de distribución de contenidos como Akamai. Con CloudFront hay que pagar las transferencias desde S3 a las localizaciones de los bordes. Amazon SimpleDB Almacén de claves/valor: trabaja con los conceptos domain, item y attribute Diseñado para minimizar la complejidad y el coste de mantenimiento de tus datos Guarda pequeñas piezas de información textual en una estructura de base de datos sencilla simple de gestionar, modificar y buscar Ofrece su propio lenguaje de consultas de datos Ejemplos de consultas sencillas: ['Date' > ' ' and Not 'Date' starts-with ' '] ['Suburb' = 'Newtown'] or['price' < '100000'] intersection ['Bedrooms' = '3'] Si tus aplicaciones están basadas en bases de datos simples, este servicio puede reemplazar a tu RDBMS dejándote con una pieza de infraestructura menos que comprar y mantener No exige la especificación de un schema previo, tú puedes modificar la estructura y contenidos de tu base de datos cuando quieras Indexa cada pieza almacenada Guarda tu información de modo seguro, y redundante en la red de data centers de Amazon Pagas por almacenamiento, datos transferidos y operaciones 9

10 Amazon SimpleDB Ofrece tres recursos principales: Dominios: nombre de un contenedor con información relacionada (similar a base de datos) Solamente se procesan consultas dentro de un dominio Elementos: es una colección con nombre de los atributos que representan un objeto de datos Atributos: es una categoría individual de información guardada dentro de un elemento. Identificado por un nombre contiene una colección de valores de tipo string, obligatorio que tenga al menos un valor. Es una base de datos sencilla, no un RDBMS: Los elementos se guardan en una estructura jerárquica, no una tabla Todos los datos se guardan como texto Capacidades de consulta limitadas La consistencia de la información depende de retardos de propagación Los valores de atributos pueden ser colecciones y alcanzar hasta 1024 bytes SimpleDB está concebido para usarse en conjunción con S3 Amazon SimpleDB Selección de Región: Para todos los servicios de Amazon Para SimpleDB: Choose a Region for your Domain(s) to optimize for latency, minimize costs, or address regulatory requirements. Amazon SimpleDB is currently available in the US East (Northern Virginia), US West (Oregon), US West (Northern California), EU (Ireland), Asia Pacific (Singapore), Asia Pacific (Tokyo), Asia Pacific (Sydney), and South America (Sao Paulo) Regions. Para S3: A bucket can be stored in one of several Regions. You can choose a Region to optimize for latency, minimize costs, or address regulatory requirements. Amazon S3 is currently available in the US Standard, US West (Oregon), US West (Northern California), EU (Ireland), Asia Pacific (Singapore), Asia Pacific (Tokyo), Asia Pacific (Sydney), South America (Sao Paulo), and GovCloud (US) Regions. The US Standard Region automatically routes requests to facilities in Northern Virginia or the Pacific Northwest using network maps. 10

11 Identificado r Amazon SimpleDB Ejemplos de Utilización Las sirenas de Titán Tropic of Cancer Titulo Autor Año Paginas Palabras clave Kurt Vonnegut Libro de bolsillo Henry Miller Libro **** Calificacio n ***** 5 estrellas excelente Petición select * from mydomain where Titulo = 'The Right Stuff' select * from mydomain where Año > '1985' Resultado B00T9886K, B0005JPLW, B00SF3NGK The Right Stuff B00T9886K In Between Paul Van Dyk B0005JPLW 300 Tom Wolfe Libro de Tapa **** Dura 4 estrellas Zack Snyder 2007 CD 4 estrellas 2007 DVD Acción select * from mydomain where Calificacion like '****%' , , , B00SF3NGK NO: B00T9886K B00SF3NGK Heaven's Thievery 2002 ***** Gonna Burn Corporation Your Eyes select * from mydomain where Paginas < '00320' , , Amazon SimpleDB Problema: No es una base de datos espacial, a diferencia de CartoDB, PostgreSQL/PostGIS, Esri ArcGIS, MongoDB etc. Latitudes y longitudes debe ir separadas en diferentes columnas. Como ponemos lat y long en un único string? Utilizamos Geohash para codificar las coordenadas: y en 6gkzwgjzn820: 11

12 Amazon SimpleDB Solución: Ventajas de Geohash: Conserva el concepto de proximidad al eliminar caracteres Por tanto: 6gkzwgjz se decodifica en: and El lugar más cercano a las coordenadas y Consulta: select * from mydomain where Localizacion like 6gkzwgjz% Probando Amazon SimpleDB Scratchpad for SimpleDB es una aplicación web que permite usar Amazon SimpleDB sin necesidad de realizar programación ernalid=1137 Te permite: Crear dominios Poblarlos con datos Consultarlos Modificarlos Borrar el dominio 12

13 Probando Amazon SimpleDB Interfaces en AWS Interfaces REST: Utilizan componentes estándar de peticiones HTTP para representar la acción de la API a ejecutar: Métodos HTTP: describen la acción a ejecutar por la petición Universal Resource Identifier (URI): identifican el recurso sobre el que se va a ejecutar la acción Cabeceras de petición: ofrecen más metadatos sobre la petición o el peticionario Cuerpo de la petición: transfieren los datos que nutrirán la acción a ejecutar por el servicio Interfaces Query: También hacen uso del protocolo HTTP para representar acciones de la API, pero lo hacen a través de parámetros (pares nombre valor) que indican la acción y los datos que nutrirán tal acción. Se suelen indicar en la URI de una petición GET o el cuerpo de un POST Esta interfaz es considerada como REST-like no RESTful, no es un enfoque puro de REST sino que explota HTTP Interfaces SOAP 13

14 Interfaces en AWS Service REST API Query API SOAP API S3 Yes No Yes EC2 No Yes Yes SQS Yes Yes Yes FPS No Yes Yes SimpleDB No Yes Yes RDS No Yes Yes AWS Free User Tier 750 hours of Amazon EC2 Linux Micro Instance usage (613 MB of memory and 32- bit and 64-bit platform support) enough hours to run continuously each month* 750 hours of an Elastic Load Balancer plus 15 GB data processing* 30 GB of Amazon Elastic Block Storage, plus 2 million I/Os, 1 GB of snapshot storage, 10,000 snapshot Get Requests and 1,000 snapshot Put Requests* 5 GB of Amazon S3 storage, 20,000 Get Requests, and 2,000 Put Requests* 30 GB per of internet data transfer (15 GB of data transfer in and 15 GB of data transfer out across all services except Amazon CloudFront)* 25 Amazon SimpleDB Machine Hours and 1 GB of Storage** 100,000 Requests of Amazon Simple Queue Service** 100,000 Requests, 100,000 HTTP notifications and 1,000 notifications for Amazon Simple Notification Service** 14

15 Referencias AWS EC2: S3: SimpleDB: SQS Documentation: AWS Status Google Apps for Business Herramientas orientadas al sector empresarial con mejoras sobre las aplicaciones gratuitas. Algunas diferencias respecto con la versión free: Gmail: 15GB -> 30 Atención al cliente 15

16 Google Apps for Business Google Apps for Business 16

17 Google App Engine Google App Engine es una herramienta para el alojamiento de aplicaciones web escalables sobre la Cloud de Google Su misión es permitir al desarrollador web crear fácilmente aplicaciones web escalables sin ser un experto en sistemas Aporta las siguientes características a los desarrolladores: Limita la responsabilidad del programador al desarrollo y primer despliegue Google App Engine provee recursos computacionales dinámicamente según son necesarios Toma control de los picos de tráfico si nuestro portal crece en popularidad no es necesario actualizar nuestra infraestructura (servidores, BBDD) Ofrece replicación y balanceo de carga automática apoyado en componentes como Bigtable Fácilmente integrable con otros servicios de Google los desarrolladores pueden hacer uso de componentes existentes y la librería de APIs de Google ( , autenticación, pagos, etc.) Google App Engine Ofrece una plataforma completa para el alojamiento y escalado automático de aplicaciones, consistiendo en: Servidores de aplicaciones Python y Java La base de datos BigTable El sistema de ficheros GFS Como desarrollador simplemente tienes que subir tu código Python o Java compilado a Google, lanzar la aplicación y monitorizar el uso y otras métricas Google App Engine incluye la librería estándar de Python 2.7 y soporta Java 7, También PHP y Go No todas las acciones se permiten (acceso a ficheros, llamadas al SO, algunas llamadas de red) Se ejecuta en un entorno restringido para permitir que las aplicaciones escalen 17

18 Google App Engine App Engine proporciona un conjunto de servicios escalables que pueden utilizar las aplicaciones para: Almacenar datos persistentes. En Java, el almacén de datos admite 2 interfaces Java estándar: los objetos de datos Java (JDO) 2.3 y el API de persistencia de Java (JPA) 1.0. Acceder a recursos en la red. A través de la URL Fetch API. Cachear información. Memcache de App Engine proporciona un almacenamiento en caché distribuido, transitorio y rápido de los resultados de cálculos y consultas de almacén de datos. La interfaz Java implementa JCache (JSR 107). Enviar . Da soporte de JavaMail para el envío de correos Procesar imágenes. A través de la Images Java API, permite a las aplicaciones transformar y manipular datos de imágenes en varios formatos. Gestionar usuarios. A través de la Users Java API permite utilizar Cuentas de Google para la autenticación del usuario. Lanzar tareas planificadas o en background. Mediante la Task Queue Java API y la gestión de tareas por Cron. Google App Engine Características Avanzadas Planificación de tareas con Cron for Java Memcache Java API URL Fech Java API Envío de mensajes instantáneos con XMPP e Colas de tareas permite ejecutar asíncronamente tareas 18

19 GAE: Características Avanzadas Planificación de tareas con Cron El servicio App Engine Cron Service permite planificar tareas que se ejecutan en un momento o periodos determinados. Los trabajos cron (cron jobs) son ejecutados por App Engine Cron Service Algunos ejemplos de uso serían: Envío de con informe diario Actualización de un dato cada 10 minutos Documentación en: Formato de las planificaciones: ("every" ordinal) (days) ["of" (monthspec)] (time) GAE: Características Avanzadas Memcache Java API Las aplicaciones web escalables de alto rendimiento utilizan a menudo una caché distribuida de datos integrados en memoria delante o en lugar de un sistema de almacenamiento complejo permanente para algunas tareas App Engine incluye un servicio de memoria caché Memcache proporciona una interfaz en forma de mapa para recopilar datos Puedes almacenar y recuperar valores de la memoria caché mediante las claves Controlar cuándo los valores vencen en la memoria caché Inspeccionar el contenido de la memoria caché y obtener estadísticas sobre ella Utilizar "funciones de escucha" para añadir un comportamiento personalizado al establecer y borrar valores. 19

20 GAE: Características Avanzadas Mail Java API Una aplicación en App Engine puede enviar mensajes en representación del administrador de la página o de usuarios autorizados con cuentas Google La Mail Service Java API hace uso de javax.mail Se puede configurar tu aplicación para recibir mensajes en una dirección con el formato string@appid.appspotmail.com Cuando una aplicación se ejecuta en el servidor de desarrollo, el mensaje enviado se imprime en el log, no se envía GAE: Periodo de Pruebas Hasta hace poco no todo el mundo podía acceder a él Es gratis durante el periodo de pruebas, pero con límites de uso: 1 GB de almacenamiento, 200 millones de Mhz/Día y 10 Gb de ancho de banda in/out Google cobra para webs que requieren alta escalabilidad 20

21 EC2 vs AppEngine Windows Azure Nos permite de una manera sencilla: Escribir aplicaciones (developer experience) Hospedar aplicaciones (compute) Gestionar las aplicaciones (service management) Almacenar datos (storage) 21

22 Azure: La nube de Microsoft ~100 Data Centers Distribuidos por todo el mundo Quincy, WA Chicago, IL San Antonio, TX Dublin, Ireland Generation 4 DCs Windows Azure Diferentes tipos de almacenamiento Tablas Tabla = entidades con props nombre-valor Particionado por clave Escala a billones de entidades Colas Cola de mensajes simple Para intercambio entre apps Almacenamiento persistente Blobs Almacenamiento binario: Archivos y metadatos Almacenamiento en contenedores ilimitados. Discos NTFS VHD con imágenes de sistemas operativos 22

23 Azure vs AWS Interfaz > Memoria y > espacio en la micro-instancia Amazon no cobra por instancias paradas 23