Organización del Computador 1 Memoria Cache

Transcripción

1 Organización del Computador 1 Memoria Cache Departamento de Computación Facultad de Ciencias Exactas y Naturales Universidad de Buenos Aires 2011

2 Memorias: Evolución Memoria cache Pioneros: Maurice Wilkes con la primer memoria de tanque de mercurio para la computadora EDSAC. 2 bytes: Visionarios K debe ser suficiente para cualquiera. Bill Gates, 1981.

3 Tecnología de Integración Actual Imágenes obtenidas con TEM (Transmission Electron Microscope) de una cepa del virus de la gripe, y de un transistor construido con la tecnología de 65 nm utilizada desde el año 2005 en el Procesador Pentium IV y posteriores.

4 Tecnología de Memorias: RAM Dinámica CAS RAS Cd Buffer Bit de datos de salida al bus Transistor Almacena la información como una carga en una capacidad espuria de un transistor. Una celda (un bit) se implementa con un solo transistor máxima capacidad de almacenamiento por chip. Ese transistor consume mínima energía Muy bajo consumo. Al leer el bit, se descarga la capacidad necesita regenerar la carga aumenta entonces el tiempo de acceso de la celda.

5 Tecnología de Memorias: RAM Estática Línea de Bit Línea de Bit Selección Almacena la información en un biestable. Una celda (un bit) se compone de seis transistores menor capacidad de almacenamiento por chip. 3 transistores consumen energía máxima en forma permanente y los otros 3 consumen mínima energía Mayor consumo. La lectura es directa y no destructiva tiempo de acceso muy bajo.

6 Estructura de Bus clásica CONTROL Bus de control Procesador DATOS Buffer de datos ADDRESS Buffer de address Bus Local del Procesador Desde fines de los años 80, los procesadores desarrollaban velocidades muy superiores a los tiempos de acceso a memoria. Memoria del Sistema BUS DEL SISTEMA E/S del Sistema En este escenario, el procesador necesita generar wait states para esperar que la memoria esté lista READY para el acceso.

7 Crecimiento de la velocidad de clock de las CPU versus memoria Pentium III 1 GHz Pentium II 400 MHz DX4 33 MHz 486 DX4 100 MHz Memorias

8 El problema Memoria cache RAM dinámica (DRAM) Consumo mínimo. Capacidad de almacenamiento comparativamente alta. Costo por bit bajo. Tiempo de acceso alto (lento), debido al circuito de regeneración de carga. Si construímos el banco de memoria utilizando RAM dinámica, no aprovechamos la velocidad del procesador. RAM estática (SRAM) Alto consumo relativo. Capacidad de almacenamiento comparativamente baja. Costo por bit alto. Tiempo de acceso bajo (es mas rápida). Si construímos el banco de memoria utilizando RAM estática, el costo y el consumo de la computadora son altos.

9 La solución: Memoria cache Se trata de un banco de SRAM de muy alta velocidad, que contiene una copia de los datos e instrucciones que están en memoria principal. El arte consiste en que esta copia esté disponible justo cuando el procesador la necesita permitiéndole acceder a esos ítems sin recurrir a wait states. Combinada con una gran cantidad de memoria DRAM, para almacenar el resto de códigos y datos, resuelve el problema mediante una solución de compromiso típica. Requiere de hardware adicional que asegure que este pequeño banco de memoria cache contenga los datos e instrucciones más frecuentemente utilizados por el procesador.

10 Referencias Memoria cache El tamaño del banco de memoria cache debe ser: Suficientemente grande para que el procesador resuelva la mayor cantidad posible de búsquedas de código y datos en esta memoria asegurando una alta performance. Suficientemente pequeña para no afectar el consumo ni el costo del sistema. Se dice que se logra un hit cuando se accede a un ítem (dato o código) y éste se encuentra en la memoria cache. En caso contrario, se dice que el resultado del acceso es un miss. Se espera un hit rate lo más alto posible hit rate = Cantidad de accesos con presencia en Memoria Cache Cantidad total de accesos a memoria

11 Operación de Lectura de memoria Inicio CPU envía señal de lectura Hit! Busca ítem en cache Miss Busca ítem en memoria del sistema Busca ítem en cache y envía a la CPU Escribe ítem en el cache Actualiza directorio cache Envía ítem a la CPU Fin

12 Estructura de Bus del sistema con cache Procesador CONTROL Memoria caché CONTROL Controlador de Memoria caché DATOS ADDRESS Bus local del procesador Buffer de Datos Buffer de Address Bus local del controlador caché Bus de control BUS DEL SISTEMA

13 Cómo trabaja el controlador cache El controlador cache trabaja mediante dos principios que surgen de analizar el comportamiento de los algoritmos de software que se emplean habitualmente. Principio de vecindad temporal: Si un ítem es referenciado, la probabilidad de ser referenciado en el futuro inmediato es alta. Principio de vecindad espacial: Si un ítem es referenciado, es altamente probable que se referencie a los ítems vecinos a éste. Ejemplo: Algoritmo de convolución i, j, suma, se utilizan a menudo. Por lo tanto si se mantienen en el cache, el tiempo de acceso a estas variables por parte del procesador es óptimo.

14 Estructura de memoria cache Tag Línea Dirección Línea Línea: Elemento mínimo de palabra de datos dentro del cache. Corresponde a un múltiplo del tamaño de la palabra de datos de memoria. Razón: Cuando se direcciona un ítem en memoria generalmente se requerirá de los ítems que lo rodean (Principio de vecindad espacial) Ancho de palabra

15 Memoria Cache Memoria cache Procesador Controlador de Memoria Cache Subsistema Cache Memoria SRAM ultrarápida (cache) Baja capacidad, pero accesible a la velocidad del procesador! Bus del procesador (Bus local) Bus del sistema Hardware adicional. Mantiene el cache con los datos más frecuentemente utilizados por el procesador. Memoria DRAM Control de bus local del controlador cache Arbitración del Bus Control del bus local del procesador Decodificación del bus local del procesador Interfaz con el Bus Local Interfaz con el Procesador Directorio de Cache Control de Cache Bus de Address del procesador Bus de Snoop Bus de Control de la Memoria Cache Configuración

16 Organización del cache: Mapeo Directo Tag Bit de validez del Tag 1 línea = 4 bytes Línea Set 0 17 bits Bits de validez de las líneas Línea Set 1 32 Kbytes (igual tamaño que el del cache) Pág Set 1023 Directorio de Cache Interno Pág. 0 Memoria Caché 4 Gbytes de Memoria Principal

17 Organización del cache de mapeo directo Cache Address (1 de 8 Klíneas) A 31 A 14 A 13 A 5 A 4 A 2 Tag de 17 bits (1 de las 2 17 páginas) Set Address (1 de 1024 sets) Selector de Línea (1 de 8 líneas) 0 Bits de validez del Tag Nro. de Set Bits de validez de la línea Directorio de Cache Interno

18 Organización del cache: Asociativo de dos vías Bit de validez del Tag 1 línea = 4 bytes Tag Línea Línea 18 bits Set 0 18 bits Set 1 Bits de validez de las líneas Bits LRU Bits LRU 18 bits 18 bits Línea 16 Kbytes (igual tamaño que el de cada banco de cache) Set bits Bits LRU 18 bits Pág Directorio de Cache Interno Pág. 0 Memoria Caché 4 Gbytes de Memoria Principal

19 Organización del cache asociativo de dos vías Cache Address (1 de 4 Klíneas) A 31 A 14 A 13 A 5 A 4 A 2 Tag de 18 bits (1 de las 2 18 páginas) Set Address (1 de 512 sets) Selector de Línea (1 de 8 líneas) 0 Bits de validez del Tag Nro. de Set Bits de validez de la línea Directorio de Cache Interno

20 Manejo del contenido Algoritmos de reemplazo del contenido de la memoria cache: LRU: Least Recently Used: Se corresponde con el principio de vecindad temporal. LFU: Least Frecuently Used. Random. FIFO.

21 Cache miss: Impacto en el Pipeline de instrucciones Pipeline: permite superponer en el tiempo la ejecución de varias instrucciones a la vez. No requiere hardware adicional. Sólo se necesita lograr que todas las partes del procesador trabajen a la vez. Trabaja con el concepto de una línea de montaje: Cada operación se descompone en partes. Se ejecutan en un mismo momento diferentes partes de diferentes operaciones. Cada parte se denomina etapa (stage). Inst. 1 Inst. 2 Dec.FI Inst. 1 Inst. 3 Dec. Inst. 2 Op. 1 Inst. 4 Dec. Inst. 3 Op. 2 Ejec. Inst. 1 Inst. 5 Dec. Inst. 4 Op. 3 Ejec. Inst. 2 Escrib. Res. 1 Inst. 6 Dec. Inst. 5 Op. 4 Ejec. Inst. 3 Escrib. Res. 2 RESULTADO: UNA VEZ EN REGIMEN EJECUTA A RAZON DE UNA Inst. 7 Dec. Inst. 6 Op. 5 Ejec. Inst. 4 Escrib. Res. 3

22 Cache miss: Impacto en el Pipeline de instrucciones Si la búsqueda de una instrucción o de un operando en el cache falla, entonces el procesador debe recurrir a la memoria principal. La demora en el acceso hace que el pipeline se atasque (stall). Una vez recuperado el dato de memoria principal se requieren (en este ejemplo), 5 ciclos de reloj adicionales para recuperar el ritmo de operación del pipeline! Cache MISS Inst. 1 Inst. 2 Inst. 3 Inst. 4 Inst. 5 Inst. 6 Inst. 7 Inst. 8 Inst. 9 Inst. 10 Inst. 11 Dec.FI Dec. Dec. Dec. Dec. Dec. Inst. 1 Inst. 2 Inst. 3 Inst. 4 Inst. 5 Inst. 6 PIPELINE STALLED Dec.FI Dec. Dec. Dec. Inst. 7 Inst. 8 Inst. 9 Inst. 10 Op. 1 Op. 2 Op. 3 Op. 4 Op. 5 Op. 6 Op. 7 Op. 8 Op. 9 Ejec. Inst. 1 Ejec. Ejec. Ejec. Inst. 2 Inst. 3 Inst. 4 Ejec. Inst. 5 Ejec. Inst. 6 Ejec. Ejec. Inst. 7 Inst. 8 Escrib. Escrib. Escrib. Escrib. Escrib. Escrib. Res. 1 Res. 2 Res. 3 Res. 4 Res. 5 Res. 6 Escrib. Res. 7

23 Coherencia de un cache Una variable que está en el caché también está alojada en alguna dirección de la DRAM. Ambos valores deben ser iguales. Cuando el procesador la modifica hay varios modos de actuar: Write through: el procesador escribe en la DRAM y el controlador cache refresca el cache con el dato actualizado. Write through buffered: el procesador actualiza la SRAM cache, y el controlador cache luego actualiza la copia en memoria DRAM mientras el procesador continúa ejecutando instrucciones y usando datos de la memoria cache. Copy back: Se marcan las líneas de la memoria cache cuando el procesador escribe en ellas. Luego en el momento de eliminar esa línea del cache el controlador cache deberá actualizar la copia de DRAM. Si el procesador realiza un miss mientras el controlador cache está accediendo a la DRAM para actualizar el valor, deberá esperar hasta que controlador cache termine la actualización para recibir desde éste la habilitación de las líneas de control

24 Estructura de Bus del sistema Multiprocesador con cache Procesador Procesador CONTROL CONTROL Memoria caché CONTROL Controlador de Memoria caché DATOS ADDRESS Memoria caché CONTROL Controlador de Memoria caché DATOS ADDRESS Buffer de Datos Buffer de Address SNOOP BUS Buffer de Datos Buffer de Address SNOOP BUS Bus de control Bus del caché Bus local del procesador Bus local del controlador caché BUS DEL SISTEMA

25 Multilevel cache Memoria cache Cache Nivel 1 CPU En chip Cache Nivel 2 Controlador Cache Tamaño Cache N2 Tamaño Cache N1 Velocidad Cache N1 Velocidad Cache N2 Memoria del Sistema (DRAM)

26 Implementaciones prácticas de memoria cache (1) Intel 80486: 8 Kbytes de cache L1 on chip. Tamaño de línea: 16 bytes. Organización asociativa de 4-vías. Pentium: Dos caches on-chip, uno para datos y otro para instrucciones. Tamaño de cada cache: 8 Kbytes. Tamaño de línea: 32 bytes. Organización asociativa de 4-vías. PowerPC 601: Cache on-chip de 32 Kbytes. Tamaño de línea: 32 bytes. Organización asociativa de 8-vías.

27 Implementaciones prácticas de memoria cache (2) PowerPC 603: Dos caches on-chip, una para datos y otra para instrucciones. Tamaño de cada cache: 8 Kbytes. Tamaño de línea: 32 bytes. Organización asociativa de 2-vías (organización del cache más simple que en el 601 pero un procesador mas fuerte). PowerPC 604: Dos caches on-chip, uno para datos y otro para instrucciones. Tamaño de cada cache: 16 Kbytes. Tamaño de línea: 32 bytes. Organización asociativa de 4-vías. PowerPC 620: Dos caches on-chip, uno para datos y otro para instrucciones. Tamaño de cada cache: 32 bytes. Tamaño de línea: 64 bytes. Organización asociativa de 8-vías.