OPENSTACK & BIGDATA KEEDIO PRODUBAN LUCA ROSELLINI RODRIGO DÍAZ JORGE GARCÍA DAVID MANCHADO

Transcripción

1

2 OPENSTACK & BIGDATA PRODUBAN KEEDIO RODRIGO DÍAZ JORGE GARCÍA DAVID MANCHADO LUCA ROSELLINI

3 PRODUBAN PRODUBAN es una empresa tecnológica del Grupo Santander, especializada en el diseño y operación continua de Infraestructuras IT Compañía Global. Da servicio a más de 120 compañías, apoyándose en más de profesionales ubicados en 9 países. 3

4 OBJETIVOS del PROYECTO Time-to- Elasticidad Nuevas I+D Eficiencia market aplicaciones en costes Cloud 4

5 CRITERIOS DE DISEÑO!! Cloud de Propósito General!! Software Defined Everything!! Dispersión geográfica!! Escalabilidad horizontal!! Restringir a la menor unidad posible el dominio de fallo!! Evitar el vendor lock-in!! Estándares abiertos!! OpenSource First (!but not only!) 5

6 POR QUÉ CLOUD? Todos los beneficios de Cloud!!adaptados a nuestras necesidades que implican requerimientos concretos!"#$%&$'%()$% 1,+2.3.,.4"4%5% "(6$0$78"% <$06'$,% 4+,%?"6$% *+#(,"-./0% 9,"):-.4"4%5% 9)-","3.,.4"4% ;#.,.4"4% + A+#('.4"4% 9@-.+0-."% <"&"-.4"4% =.,.7.6"4">%!'$-+)$)% 6

7 ALCANCE Y DESPLIEGUE Regiones y Zonas de Disponibilidad!! Despliegue en Data Center Corporativo!! Principios de segregación/no contaminación en dos capas: 1.! Región Region 2.! Zona de Disponibilidad (AZ) AZ AZ AZ!! Se proporcionan todos los elementos necesarios para construir aplicaciones AZ AZ AZ AZ AZ AZ AZ AZ AZ tolerantes a fallos Region Region Region 7

8 TECNOLOGÍA y EQUIPO Red Hat CloudForms Public Cloud Red Hat Enterprise Linux OpenStack Platform Horizon (Dashboard) A;D9FFCD9%N% <)*%:$6&*4;)0=' 49&)54;)0'40>' 84&%:'54041$5$0&?' CEPH KF;E<9% 2541$6' EGL;% 7)589&$' I9JADGE9% 23'.4041$5$0&' <CE?9*% +,)%-'(&)*$' ABC1D%!"#$%&'(&)*$' M9;D%!*%:$6&*4;)0' <9CFGH9D9*%.$&$*/01' Hypervisor Hardware 8

9 GESTIÓN DE LA INFRAESTRUCTURA Target Infrastructure Actualmente para Servers Network Storage despliegue del software de gestión Hypervisor de infraestructura CMP Configuration Management Integration with other systems A futuro será utilizado como Gestor de la Configuración: orquestación y Service Request Service Portal Deployment of components & service configuration Antivirus Monitoring Backup Scheduler CMDB configuración de VMs provisionadas Orchestrator 9

10 CÓMPUTO!! Nodos de cómputo y almacenamiento "! Open Compute "! Virtualización con KVM "! Infraestructura hiperconvergente (cómputo, red y almacenamiento)!! Servicios de Infraestructura "! Servidores standalone HP y Lenovo "! Virtualización con VMWare A+'P.-+%*"-Q%% C0R'"S%*"-Q% 10

11 STORAGE Principios de diseño!! Software Defined Storage!! OpenCompute: SSD & SATA!! Scale out!! Modelo Hiperconvergente Share everything!!! Maximizar el aprovechamiento de OpenStack para abstraer la capa de storage!! Mantener los principios de integridad y accesibilidad al dato de las plataformas tradicionales (5 9 s??) 11

12 STORAGE Arquitectura!! Implementación de backend múltiple en Cinder.!! Uso de CEPH como proveedor de backend no efímero para Cinder y backup.!! Backend de bloque con 3 copias.!! Backend de bloque para backup de volúmenes en Cinder.!! Uso de discos locales para cargas determinadas.!! Provisión de servicios de Archivo y Objeto, basados en Swift y Manila (cuando esté disponible) sobre backend de CEPH. 12

13 STORAGE Retos y conclusiones Retos!! Caracterización del throughput del cluster de CEPH sin red de backend dedicada.!! La operativa de CEPH vs. Storage tradicional.!! El tamaño del Journal de CEPH, SI importa. Conclusiones!! CEPH es la aproximación que más nos ha encajado con Openstack.!! Es estable, en nuestra arquitectura necesita saber compartir recursos.!! Nada está cerrado, para eso esta OpenStack 13

14 COMUNICACIONES Opciones VIRTUALIZACIÓN REDES VLANs Overlay en el fabric Integración nativa en fabric Overlay en hipervisor TOPOLOGÍA RED FISICA 3 capas Leaf/Spine PROTOCOLOS OCOLOS RED FÍSICA Spanning Tree TRILL Fabric Path IP + IGP 14

15 COMUNICACIONES Arquitectura SDN OVERLAY Escalabilidad / Desacoplamiento Automatización / Gestión / Movilidad de VMs Federación / Servicios IP + OSPF Escalabilidad Estandarización Madurez / Simplicidad LEAF&SPINE Orientación cloud / East-West Escalabilidad horizontal / Reducción de impacto de incidencias Estandarización 15

16 LECCIONES APRENDIDAS El reto: BigData & OpenStack!! Primer caso de uso: BigData!! Decisión estratégica!! Carga no nativa para entorno OpenStack!! Proyectos OpenStack: Ironic & Sahara!! Ha permitido identificar y caracterizar todos los recursos de la instalación (red, CPU, memoria y almacenamiento) 16

17 SIGUIENTES PASOS Y DESAFÍOS!! Despliegue del resto de regiones!! Operación / monitorización!! Facturación a usuario: chargeback/ showback!! Labor pedagógica!! Ampliar catálogo de servicios ofrecidos!! Actualización a nuevas versiones y adaptación de la arquitectura 17

18 EL EQUIPO Jorge David Rodrigo 18

19 EL EQUIPO Jose Edgar Pedro Carlos JC Mario Jorge Ángel Esteban David Carlos Andrea Antonio Carlos David Javier Óscar Rodrigo Manolo Raquel Mark Silvia Miguel Ángel Daniel Vicente Alfredo Jonas Juan Roberto Lluis Nuria Agustín Andrés Juanan 19

20 KEEDIO KEEDIO es la división de Big Data y Cloud Computing de Cediant. Su objetivo es resolver problemas del mundo real, relacionados con el tratamiento de los datos, basándose en el talento y el uso de tecnologías disruptivas e innovadoras. Especialización en el diseño e implantación de arquitecturas Big Data y el desarrollo de soluciones analíticas de valor añadido. 20

21 EMPAQUETADO Software de empaquetado Buildoop Proyecto Open Source ( 1 Ingeniero de Red Hat colaborando en el proyecto. Definición de ecosistemas de software. Generador de repositorios rpm con dependencias y parches. 21

22 EMPAQUETADO Software de empaquetado Buildoop Proyecto Open Source ( 1 Ingeniero de Red Hat colaborando en el proyecto. Definición de ecosistemas de software. Generador de repositorios rpm con dependencias y parches Distribuciones Big Data ad-hoc Arquitecturas específicas para cada problemática. Especialización del ecosistema Big Data para facilitar su uso y adopción. 22

23 EMPAQUETADO Software de empaquetado Buildoop Proyecto Open Source ( 1 Ingeniero de Red Hat colaborando en el proyecto. Definición de ecosistemas de software. Generador de repositorios rpm con dependencias y parches Distribuciones Big Data ad-hoc Arquitecturas específicas para cada problemática. Especialización del ecosistema Big Data para facilitar su uso y adopción. Arquitectura Big Data de referencia para PRODUBAN 23

24 INTEGRACIÓN OPENSTACK Automatización despliegues: Instalación Configuración Monitorización 24

25 INTEGRACIÓN OPENSTACK Automatización despliegues: Instalación Configuración Monitorización Cómo nos integramos con OpenStack? Plugin custom para OpenStack s Sahara 25

26 INTEGRACIÓN OPENSTACK Automatización despliegues: Instalación Configuración Monitorización Cómo nos integramos con OpenStack? Plugin custom para OpenStack s Sahara Sahara Controller Keedio plugin Automated deployment (Ambari) Templates predefinidos: Small (Desarrollo) Medium (POC) Large (Pre/Producción) 26

27 CASO DE USO: SIEM VDC 1 VDC N > 10K s heterogéneas 27

28 CASO DE USO: SIEM VDC 1 BIG DATA as a SERVICE INFRASTRUCTURE Rich Data Hadoop VDC N Kafka Real Time > 10K s heterogéneas Enrutamiento dinámico configurable de los datos según su naturaleza o destino de explotación 28

29 CASO DE USO: SIEM VDC 1 BIG DATA as a SERVICE INFRASTRUCTURE Apps Rich Data Apps Hadoop Apps VDC N Kafka Apps Real Time Apps Dashboards Alertas > 10K s heterogéneas Enrutamiento dinámico configurable de los datos según su naturaleza o destino de explotación Reports Forensics 29

30 GRACIAS! 30