Arquitectura de Computadores II Clase #6

Transcripción

1 Arquitectura de Computadores II Clase #6 Facultad de Ingeniería Universidad de la República Instituto de Computación Curso 2009 Recapitulando: donde estamos? Componentes Clásicos de un Computador Procesador Control Memoria Entrada Datapath Salida Veremos otras ideas para mejorar la performance Localidad y Jerarquía de Memoria Memorias SRAM, DRAM Organización de la Memoria Caches, Memoria Virtual 1

2 Recordemos las tendencias tecnológicas Capacidad Velocidad (latencia) Lógica 2x en 3 años 2x en 3 años DRAM 4x en 3 años 2x en 10 años Disco 4x en 3 años 2x en 10 años Jerarquía de memoria Objetivo: mucha memoria, rápida y barata Jerarquía Paralelismo Processor Datapath Control Registers On-Chip Cache Second Level Cache (SRAM) Main Memory (DRAM) Secondary Storage (Disk) Tertiary Storage (Disk/Tape) Speed (ns): 1s 10s 100s Size (bytes): 100s Ks Ms 10,000,000s (10s ms) Gs 10,000,000,000s (10s sec) Ts 2

3 Jerarquía de memoria: otra visión Registros Cache L1 Cache L2 Memoria Principal Disco (c/cache) Alm. óptico Cintas Por qué funciona la jerarquía? Principio de Localidad: Los programas acceden una porción relativamente pequeña del espacio de direcciones en un determinado instante de tiempo. Se aplica también al acceso a datos (en menor %) Localidad temporal Si un ítem es referenciado, tenderá a ser referenciado nuevamente a la brevedad Localidad Espacial si un ítem es referenciado, los items con direcciones cercanas tenderán a ser referenciados a la brevedad 3

4 Jerarquía de Memoria: Cómo Funciona? Localidad Temporal Mantener los datos más recientemente accedidos cercanos al procesador Localidad Espacial Mover bloques de palabras contiguas al nivel superior Al Procesador Del Procesador Memoria Nivel Superior Blk X Memoria Nivel Inferior Blk Y Jerarquía de Memoria: Terminología Hit: los datos están en algún bloque del nivel superior (ejemplo: Bloque X) Hit Rate: fracción de accesos a memoria encontrados en el nivel superior Hit Time: Tiempo de acceso al nivel superior Tiempo de acceso a RAM + tiempo para determinar hit/miss Miss: los datos deben ser traídos desde un bloque en el nivel inferior (Bloque Y) Miss Rate = 1 - (Hit Rate) Miss Penalty Tiempo para reemplazar un bloque en el nivel superior + Tiempo para entregarlo al procesador Hit Time << Miss Penalty 4

5 Como se maneja la jerarquía? Registros <-> Memoria por el compilador (programador?) cache <-> memoria por el hardware memoria <-> discos por el hardware y el sistema operativo (memoria virtual) por el programador (archivos) Jerarquía de Memoria: Tecnología Accesso Aleatorio El tiempo de acceso es el mismo para cualquier posición DRAM: Dynamic Random Access Memory Alta densidad, baja potencia, barata, lenta Dinámica: necesita ser refrescada regularmente SRAM: Static Random Access Memory Baja densidad, alta potencia, cara, rápida Estática: su contenido queda almacenado para siempre (hasta que se corte la alimentación) Tecnología de Acceso Non-so-random Tiempo de acceso varía según la posición y el momento Ejemplos: Disco, CDROM Tecnología de Acceso Secuencial: tiempo de acceso lineal con la posición (ej. Cinta) 5

6 Jerarquía de Memoria: Performance Tiempo de Acceso Tiempo transcurrido entre presencia de direcciones y obtención de datos válidos Tiempo de Ciclo de Memoria La memoria debe recuperarse antes del próximo acceso Tiempo de Ciclo: acceso + recuperación Tasa de Transferencia Tasa a la que se mueven los datos Ejemplo: Acceso a DRAM del orden de 50 ns Estos tiempos no incluyen la demora en manejar el bus de direcciones y el overhead del controlador de memoria Manejo de DRAMs en paralelo, controlador de memoria externa, bus, módulos SIMMs Tiempos de latencia del procesador a la memoria del orden de 100ms para DRAM de 50 ns Qué diferencia a la RAM de un conjunto de flip-flops? Densidad Memoria Principal: La organización mejora la performance Simple: CPU, Cache, Bus, Memoria mismo ancho(32 bits) Ancho (Wide): CPU/Mux 1 palabra; Mux/Cache, Bus, Memory N palabras Entrelazado (Interleaved): CPU, Cache, Bus 1 palabra: Memoria N Módulos; el ejemplo en de 4 módulos, word interleaved ( estrelazado de palabra) 6

7 Interleaving Patrón de Acceso sin Interleaving: CPU Memoria D1 disponible InicioAcceso de D1 InicioAcceso de D2 Patrón de Acceso con Interleaving de 4 vías: Acceso Banco 0 CPU Acceso Banco 1 Acceso Banco 2 Acceso Banco 3 Podemos Acceder Banco 0 nuevamente Memoria Banco 0 Memoria Banco 1 Memoria Banco 2 Memoria Banco 3 Performance de la Memoria Principal Modelo de Tiempos 1 u. para enviar direcciones, 10 u. de tiempo de acceso, 1 u. para enviar datos Cache con Bloque de 4 palabras Simple M.P. = 4 x (1+10+1) = 48 Wide M.P. = = 12 Interleaved M.P. = = 15 address address address address Bank 0 Bank 1 Bank 2 Bank 3 7

8 Resumen hasta el momento Dos Tipos de Localidad: Temporal Espacial Tomando ventaja del principio de localidad: Construir un sistema con mucha memoria de tecnología baratas Proveer acceso a la velocidad ofrecida por las tecnologías más rápidas La DRAM es lenta, pero de alta densidad y barata: Presenta al usuario un sistema de memoria GRANDE. La SRAM es rápida, pero de baja densidad y cara: Presentar al usuario un sistema de memoria RÁPIDO. El Arte del diseño de un Sistema de Memoria consiste en Optimizar la organización para minimizar el tiempo de acceso promedio para las cargas de trabajo típicas Cache Memoria rápida, escasa Se instala entre la memoria principal y la CPU Puede esta en el chip de la CPU (L1) o módulo externo (L2) 8

9 Operativa del cache CPU requiere el contenido de una posición de memoria Se busca en el cache Si está, se lee del cache (rápido) Si no está, se lee el bloque requerido desde la memoria principal al cache Luego se entrega desde el cache a la CPU El cache incluye tags (etiquetas) para identificar que bloque de memoria principal está en cada slot Operativa del cache: lectura 9

10 Diseño del Cache Tamaño Costo Más cache, caro Velocidad Más cache, más velocidad (hasta cierto punto) Buscar datos en la cache lleva tiempo Función de correspondencia (Mapping Function) Entre bloques de memoria principal y palabras del cache Algoritmo de sustitución Qué bloque se desecha cuando se lee un bloque nuevo? Política de escritura Hubo modificaciones? Tamaño del bloque Cantidad de caches Organización típica del cache 10

11 Función de correspondencia Para todos los casos consideraremos un ejemplo: Cache de 64kByte Bloque de 4 bytes cache de 16k (2 14 ) líneas de 4 bytes 16MBytes de memoria principal 24 bits de direcciones (2 24 =16M) Correspondencia Directa Cada bloque de memoria principal se corresponde a una línea del cache Se considera la dirección en dos partes w bits menos significativos identifican una palabra única s bits más significativos especifican un bloque de memoria Los MSBs se dividen en un campo línea de cache de r bits y un tag de s-r bits (más significativos) Tag s-r Line or Slot r Word w bit address: 2 bit word identifier (4 byte block) + 22 bit block identifier 8 bit tag (=22-14) 14 bit slot or line Bloques en la misma línea tienen tag único. Se chequea el contenido del cache mediante el tag de línea 11

12 Tabla de líneas del Cache con Correspondencia Directa Correspondencia: i=j modulo m i línea del cache j número de bloque de memoria principal m=2^r (cantidad de líneas del cache) Línea de Cache Bloque contenido 0 0, m, 2m, 3m 2 s -m 1 1,m+1, 2m+1 2 s -m+1 m-1 m-1, 2m-1,3m-1 2 s -1 Organización del cache con correspondencia directa 12

13 Ejemplo correspondencia directa Resumen correspondencia directa Direcciones = (s + w) bits Unidades direccionables = 2 s+w words o bytes Tamaño del bloque = tamaño de línea = 2 w words o bytes Cantidad de bloques en memoria principal = 2 s+ w /2 w = 2 s Cantidad de líneas del cache = m = 2 r Tamaño del tag = (s r) bits Pros & contras Simple Barato Localización fija de cada bloque Si un programa accede a 2 bloques que se corresponden a una misma línea repetidamente, numerosos cache misses 13

14 Correspondencia Asociativa Un bloque de memoria principal se puede cargar en cualquier línea del cache Dirección de memoria se interpreta como un tag y un word C/tag identifica unívocamente un bloque de memoria Cada tag debe ser examinado para ver si hay coincidencia Búsqueda se encarece Organización del cache con correspondencia asociativa (fully associative) 14

15 Ejemplo correspondencia asociativa Estructura de direccionamiento correspondencia asociativa Tag 22 bit Word 2 bit Tag de 22 bits almacenada con cada bloque de datos de 32 bits S compara el campo tag con la tag guardada en el cache para chequear un hit 2 bits menos significativos de la dirección identifican la palabra 15

16 Resumen correspondencia asociativa Direcciones = (s + w) bits Unidades direccionables = 2 s+w words o bytes Tamaño bloque = tamaño de línea = 2 w words o bytes Cantidad de bloques en memoria principal = 2 s+ w /2 w = 2 s Cantidad de líneas del cache = indeterminado Tamaño del tag = s bits Correspondencia asociativa de conjuntos (Set Associative) Cache dividida en conjuntos Cada conjunto contiene una cantidad de líneas Un bloque determinado corresponde a cualquier línea de un conjunto Bloque B puede estar en cualquier línea del conjunto i Ejemplo 2 líneas por conjunto 2 way associative mapping Un bloque determinado puede estar en alguna de las dos líneas de un conjunto 16

17 Estructura de direccionamiento Set Associative Mapping Tag 9 bit Set 13 bit Se usa el campo de conjunto para determinar en cual buscar Comparar con campo tag para chequear hit Word 2 bit Ejemplo 13 bit de conjunto Número de bloque en memoria es modulo , 00A000, 00B000, 00C000 corresponden al mismo conjunto Organización del cache con correspondencia Two Way Set Associative 17

18 Ejemplo correspondencia Two Way Set Associative Resumen correspondencia Set Associative Dirección = (s + w) bits Unidades direccionables = 2 s+w words o bytes Tamaño bloque = tamaño línea = 2 w words o bytes Cantidad de bloques en memoria principal = 2 d Cantidad de líneas en conjunto = k Cantidad de conjuntos = v = 2 d Cantidad de líneas en cache = kv = k * 2 d Tamaño del tag = (s d) bits 18

19 Algoritmos de sustitución (1/2) Correspondencia Directa No hay opciones Cada bloque corresponde a una línea Se debe reemplazar esa línea Algoritmos de sustitución (2/2) Correspondencia Asociativa & Set Associative Implementado en hardware (velocidad) Least Recently Used (LRU) Ej. en 2 way set associative El bit de USO determina cual línea del conjunto debe ser reemplazada First in first out (FIFO) Reeemplazar bloque más viejo Round-robin, buffer circular Least frequently used Reemplazar bloque con menos hits Contador? Random 19

20 Política de escritura No se debe sobreescribir un bloque del cache a menos que esté actualizado en memoria principal! Posibles conflictos En sistemas con múltiples CPUs, estos pueden tener caches individuales E/S puede acceder a memoria directamente Política Write through Todas las escrituras se hacen en memoria y cache Múltiples CPUs pueden monitorizar el tráfico de memoria principal para actualizar cache local Mucho tráfico! Enlentece escrituras 20

21 Política Write back Actualización se hace inicialmente solo en el cache Set de bit de actualización cuando se hace una escritura Cuando se reemplaza el bloque, se escribe en memoria principal solo si el bit de actualización está seteado Problemas Sincronismo con otros caches E/S debe accedes memoria principal usando el cache Cuello de botella potencial Experiencia 15% de referencias a memoria son escrituras Tamaños de Caches Processor Type Year of Introduction L1 cachea L2 cache L3 cache IBM 360/85 Mainframe to 32 KB PDP-11/70 Minicomputer KB VAX 11/780 Minicomputer KB IBM 3033 Mainframe KB IBM 3090 Mainframe to 256 KB Intel PC KB Pentium PC KB/8 KB 256 to 512 KB PowerPC 601 PC KB PowerPC 620 PC KB/32 KB PowerPC G4 PC/server KB/32 KB 256 KB to 1 MB 2 MB IBM S/390 G4 Mainframe KB 256 KB 2 MB IBM S/390 G6 Mainframe KB 8 MB Pentium 4 PC/server KB/8 KB 256 KB IBM SP High-end server/ supercomputer KB/32 KB 8 MB CRAY MTAb Supercomputer KB 2 MB Itanium PC/server KB/16 KB 96 KB 4 MB SGI Origin 2001 High-end server KB/32 KB 4 MB Itanium 2 PC/server KB 256 KB 6 MB IBM POWER5 High-end server KB 1.9 MB 36 MB CRAY XD-1 Supercomputer KB/64 KB 1MB a) instrucciones/datos b) solo caches de instrucciones, NO datos 21

22 Resumen: Causas de los Cache Misses Compulsivo ( Obligatorio ) (arranque, primera referencia): primer acceso a un bloque Es un hecho de la vida : no se puede hacer nada por evitarlo Nota: Si se van a ejecutar millones de instrucciones, los Compulsory Misses son insignificantes. Conflicto (colisión): Múltiples zonas de memoria mapeadas a la misma ubicación del cache. Solución 1: incrementar tamaño del cache Solución 2: incrementar la asociatividad Capacidad: El cache no puede contener todos los bloques accedidos por el programa Solución: incrementar el tamaño del cache Coherencia (Invalidez): otros procesos (ej. E/S) actualizan la memoria Pipeline: Qué pasa en un Cache miss? Para un pipeline in-order, 2 opciones: Congelar el pipeline en paso Mem (popular en los inicios: Sparc, R4000) IF ID EX Mem stall stall stall stall Mem Wr IF ID EX stall stall stall stall stall Ex Wr Usar una cola de estados de los distintos operandos en uso y de sus dependencias con la memoria/cache de manera de bloquear en el paso ID las instrucciones que dependen de un resultado ( lockup-free instruction fetch/prefetch cache organization - Kroft) Ejecución out-of-order limitada con respecto a loads. Popular en las arquitecturas superescalares de ejecución inorder. Los pipelines out-of-order tienen esta funcionalidad incluída (colas de loads, etc). 22

23 Preguntas? Próxima clase: memoria virtual 23