Complejidad en el backend de Internet. Sandra I Ryan Lic Cs Computación VERITAS Software

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Complejidad en el backend de Internet. Sandra I Ryan Lic Cs Computación VERITAS Software"

Ángela Rodríguez Sevilla
hace 8 años
Vistas:

1 Complejidad en el backend de Internet Sandra I Ryan Lic Cs Computación VERITAS Software 1

2 Agenda El Presente Internet como servicio Qué es el backend de Internet Complejidades Datos, Protocolos, Servicios El Pasado El Futuro Tecnologías Emergentes 2

3 El Presente Internet hoy 3

4 Qué representa Internet Usos actuales de Internet Búsqueda de Información Difusión masiva Compartir datos Inter-relación de comunidades Entretenimiento Negocios Etc, etc, etc... 4

5 Internet como servicio Qué espera el usuario de Internet Servicio seguro Acceso inmediato Ininterrumpido Eficiente Transparente de complejidades de infraestructura Clien t Network Internet Internet Firewall, IP load balancer Web server Application server Database server Storage Network Storage array 5

infraestructura Clien t Network Internet Internet Firewall, IP load

6 Internet como servicio Niveles y Calidad de Servicio Supervivencia del dato La información debe permanecer accesible a lo largo del tiempo Time to Recovery La información debe tardar un cierto tiempo máximo en ser recuperada en caso de falla Time to Capacity Se debe poder responder a las demandas de crecimiento, performance, etc Performance Garantee (SLA) Se debe garantizar un tiempo de respuesta máximo en la obtención de la información 6

recuperada en caso de falla Time to Capacity Se debe poder responder a las demandas de crecimiento,

7 El Presente Qué es el backend de Internet 7

8 Los datos están por todas partes Internet Cache Servers Tape Library Storage Array Database Servers Load Balancing, Content Distribution Security Appliances SAN Directors Storage Area Network Application Servers File Servers Web Servers Desktop/Mobile User Content Data Center 8

Security Appliances SAN Directors Storage Area Network Application

9 Complejidad en el backend de Internet Infraestructura en el Back End Internet Internet 9

10 Gran cantidad de Hardware Database Server Standby Server Application Server Tape Library SAN Directors Backup Server 10

11 Gran variedad de Proveedores 11

12 El Presente Complejidades en el backend 12

13 Complejidad en el backend de Internet Realidades actuales de la infraestructura Heterogeneidad de componentes La naturaleza del dato Volumen creciente Tamaño de files creciente Cantidad de files Supervivencia de los datos Globalización de los datos Formatos variados Variados protocolos de acceso al dato y al almacenamiento fisico de los mismos Los componentes : servidores, discos, tarjetas, aplicaciones, data centers,. fallan 13

Supervivencia de los datos Globalización de los datos Formatos variados Variados protocolos de acceso al

14 Volumen de datos creciente Históricamente, El volumen de datos tiende a crecer La criticidad de la informacion tiende a crecer La complejidad de la infraestructura tiende a crecer Los costos de administración tienden a crecer La especialización del conocimiento tiende a crecer Ejemplos 1990 Supercomputer Centers, con disk farms de GB! 1994 Array de 36 discos 4GB (RAID 5 en 7+1) en 5 racks, totalizando 1+ TB de espacio, se escribio 1 file de 1TB 1997 ASCI Mountain Blue - 75 TB - distribuídos 2002 ASCI 700 TB de acceso online y alta performance 2004 ASCI Red Storm 240 TB online, alto ancho de banda de acceso, masivamente paralelos 2005 ASCI Purple 3000 TB online, alta performance, orientado a objetos 2006 NASA RDS 6000 TB online, global access, Data Grids, Lustre Qué hacer? Virtualizar 14

1994 Array de 36 discos 4GB (RAID 5 en 7+1) en 5 racks, totalizando 1+ TB de espacio, se escribio 1 file de 1TB 1997 ASCI Mountain Blue - 75 TB - distribuídos 2002 ASCI 700 TB de acceso online y alta

15 Virtualización de infraestructura NFS, CIFS para clientes basados en IP Servidores de aplicaciones /Shared LAN /Export NAS Appliance Cluster Pair Provision de archivos NAS Appliance Cluster Quad SAN Appliance Cluster Pairs SAN (backbone) Provisión de discos virtuales SAN (subnet) = TCP/IP = FCP 15

Provision de archivos NAS Appliance Cluster Quad SAN Appliance Cluster

16 Virtualización de acceso a la información Client Network Internet Internet IP Load balancer Web server Application server Database server SAN SAN SAN Storage array 16

17 Tamaño de files creciente Históricamente El tamaño de los archivos tiende a crecer Mejorar los métodos de acceso Mayor ancho de banda Conectividad paralela,cache Mejor tiempo de respuesta Objetivos de QoS Metadata Búsqueda mejoradas Prefetching adaptativo Búsquedas inteligentes Asociación por contenidos Costos 17

paralela,cache Mejor tiempo de respuesta Objetivos de QoS Metadata Búsqueda

18 Cantidad de files Creciente Históricamente La cantidad de archivos disponible tiende a crecer Algunas aplicaciones son particularmente altas generadoras de pequeños archivos Mail Toma de datos tiempo real Imágenes Música Qué hacer? Migrar, Metadata, Hashing 18

particularmente altas generadoras de pequeños archivos Mail Toma

19 Supervivencia de los datos creciente Históricamente los datos tienden a permanecer Regulaciones legales Necesidades de consultar la información Contingencia, recuperación de históricos Qué hacer? Administración inteligente y automatizada Mejor aprovechamiento del almacenamiento Utilidad de contenido y migración El valor de la información cambia con el tiempo Ejemplos 19

20 Supervivencia de los datos creciente Online Primary data Data Value Nearline / Archive Offline / Archive Financial R&D Marketing Delete candidate Time 20

21 Supervivencia de los datos creciente Journal, Archive Reduce Archive Store Reduce Archive Store Online Data Store Archive Data Store Optional Disk Staging Removable Media 21

22 Globalización de acceso de los datos La información requiere ser accedida globalmente Cada vez por más usuarios La información requiere ser difundida globalmente Cada vez hacia más destinos Todo cada vez más rápido Escalabilidad de los modelos Ejemplos 22

23 Ejemplos de Alta exigencia ASCI HEP CERN EOSDIS DoD NSA # Usuarios few medium (5000 ww) large (2 millon) few Vol Datos BIG (700 TB) BIG (1PB/experimento) Medium BIG Distribucion loc/wide local local local # Archivos medium small medium TRILLIONS Prom creacion arch: 32K f/s) Tam Archivo BIG BIG medium small 256b/f metadata => 256TB inode) Perf Acceso High (20GB bw) HIGH (100s MB/seg) no determin very long Retencion short term long term term (> 20 y) long term 23

24 Formatos variados de los datos Formatos varían según la plataforma Cómo garantizar que cualquier aplicación podrá leer los datos generados por cualquier otra aplicación? Formatos varían con el tiempo Cómo garantizar que se pueda acceder dentro de 20 años a la información actual? Los medios de grabación también varían Qué hacer? Data Containers - Portabilidad Acceso por contenido Búsqueda mejorada Holografico - Mejora de almacenamiento y recuperación de la información Herramientas de toma de decisiones basadas en conocimiento 24

25 Varios protocolos de acceso a los datos SCSI FCP IP Web semántica Infiniband iscsi ifcp FCIP 25

26 Amenazas a la tecnología de servicios LOCALES: CPU fallida Fallas de Discos HBA NIC Software 26

27 Amenazas a la tecnología de servicios LOGICAS: Software bug Virus Corrupción Datos Delete Accidental Dropped table 27

Documentos relacionados

Redes de Altas Prestaciones

Redes de Altas Prestaciones TEMA 3 Redes SAN -Alta disponibilidad -Sistemas Redundantes -Curso 2010 Redes de Altas Prestaciones - Indice Conceptos Componentes de un SAN Términos más utilizados Topología