Organización del Computador I. Memoria Cache. Autor: Alejandro Furfaro

Transcripción

1 Organización del Computador I Memoria Cache Autor: Alejandro Furfaro

2 Memorias: Evolución Pioneros: Maurcice Wilkes con la primer memoria de tanque de mercurio para la computadora EDSAC. 2 bytes: Visionarios. "640K debe ser suficiente para cualquiera. Bill Gates,

3 Tecnología de Integración Actual 65 nm nanotechnology Imágenes obtenidas con TEM (Transmission Electron Microscope) de una cepa del virus de la gripe, y de un transistor construido con la tecnología de 65 nm utilizada desde el año 2005 en el Procesador Pentium IV y posteriores. 3

4 Tecnología de memorias: RAM Dinámica CAS RAS Cd Buffer Bit de datos de salida al bus Transistor Diagrama de un bit elemental de DRAM (Dynamic RAM). Almacena la información como una carga en una capacidad espuria de un transistor. Una celda (un bit) se implementa con un solo transistor máxima capacidad de almacenamiento por chip. Ese transistor consume mínima energía Muy bajo consumo. Al leer el bit, se descarga la capacidad necesita regenerar la carga aumenta entonces el tiempo de acceso de la celda. 4

5 Tecnología de memorias: RAM Estática Línea de Bit Línea de Bit Selección Diagrama del biestable de un bit básico de SRAM (Static RAM). Almacena la información en un biestable. Una celda (un bit) se compone de seis transistores menor capacidad de almacenamiento por chip. 3 transistores consumen energía máxima en forma permanente y los otros 3 consumen mínima energía Mayor consumo La lectura es directa y no destructiva tiempo de acceso muy bajo 5

6 Estructura de Bus clásica CONTROL Procesador DATOS ADDRESS Bus Local del Procesador Desde fines de los años 80, los procesadores desarrollaban velocidades muy superiores a los tiempos de acceso a memoria. Bus de de Control Buffer de de Datos Buffer de de Address En este escenario, el procesador necesita generar wait states para esperar que la memoria esté lista ( READY ) para el acceso. Memoria del del Sistema BUS DEL SISTEMA E/S del del Sistema Tiene sentido lograr altos clocks en los procesadores si no puede aprovecharlos por tener que esperar (wait) a la memoria? 6

7 Crecimiento de la velocidad de clock de las CPU versus memoria Pentium III 1GHz Pentium II 400 MHz DX 33 MHz 486 DX4 100 MHz. Memorias

8 El problema RAM dinámica (DRAM) 2 Consumo mínimo. 2 Capacidad de almacenamiento comparativamente alta. 2 Costo por bit bajo. 2 Tiempo de acceso alto (lento), debido al circuito de regeneración de carga. 2 Si construimos el banco de memoria utilizando RAM dinámica, no aprovechamos la velocidad del procesador. RAM estática (SRAM) 2 Alto consumo relativo. 2 Capacidad de almacenamiento comparativamente baja. 2 Costo por bit alto. 2 Tiempo de acceso bajo (es mas rápida). 2 Si construimos el banco de memoria utilizando RAM estática, el costo y el consumo de la computadora son altos. 8

9 La solución: Memoria cache Se trata de un banco de SRAM de muy alta velocidad, que contiene una copia de los datos e instrucciones que están en memoria principal El arte consiste en que esta copia esté disponible justo cuando el procesador la necesita permitiéndole acceder a esos ítems sin recurrir a wait states. Combinada con una gran cantidad de memoria DRAM, para almacenar el resto de códigos y datos, resuelve el problema mediante una solución de compromiso típica. Requiere de hardware adicional que asegure que este pequeño banco de memoria cache contenga los datos e instrucciones mas frecuentemente utilizados por el procesador. 9

10 Referencias El tamaño del banco de memoria cache debe ser: 2 Suficientemente grande para que el procesador resuelva la mayor cantidad posible de búsquedas de código y datos en esta memoria asegurando una alta performance 2 Suficientemente pequeña para no afectar el consumo ni el costo del sistema. Se dice que se logra un hit cuando se accede a un ítem (dato o código) y éste se encuentra en la memoria cache. En caso contrario, se dice que el resultado del acceso es un miss. Se espera un hit rate lo mas alto posible hit rate= Cantidad de accesos con presencia en Memoria Cache Cantidad total de accesos a memoria 10

11 Operación de Lectura de memoria Inicio CPU envía señal de lectura Hit!! Busca ítem en cache Miss Busca ítem en memoria del sistema Busca ítem en cache y envía a la CPU Escribe ítem en el cache Actualiza directorio cache Envía ítem a la CPU Fin 11

12 Estructura de Bus del sistema con cache Procesador Memoria cache CONTROL CONTROL Controlador de de Memoria caché DATOS ADDRESS Bus Local del procesador Buffer de de Datos Buffer de de Address Bus Local del controlador cache Bus de de Control BUS DEL SISTEMA 12

13 Como trabaja el controlador cache El controlador cache trabaja mediante dos principios que surgen de analizar el comportamiento de los algoritmos de software que se emplean habitualmente. 2 Principio de vecindad temporal: Si un ítem es referenciado, la probabilidad de ser referenciado en el futuro inmediato es alta. 2 Principio de vecindad espacial: Si un ítem es referenciado, es altamente probable que se referencie a los ítems vecinos a éste. 2 Ejemplo: Algoritmo de convolución for (i = 0 ; i < 256 ; i++ ){ suma = 0.0f; for (j = 0 ; (j <= i && j < 256) ; j++) suma += v0[i-j] * v1[j]; faux[i] = suma; } 2 i, j, suma, se utilizan a menudo. Por lo tanto si se mantienen en el cache, el tiempo de acceso a estas variables por parte del procesador es óptimo. 13

14 Estructura de memoria cache Tag Línea Dirección Línea Línea: Elemento mínimo de palabra de datos dentro del cache. Corresponde a un múltiplo del tamaño de la palabra de datos de memoria. Razón: Cuando se direcciona un ítem en memoria generalmente se requerirá de los ítem que lo rodean (Principio de vecindad espacial) Ancho de palabra 14

15 Memoria Cache Procesador Bus del Procesador (Bus local) Baja capacidad, pero accesible a la velocidad del procesador!! Controlador de de Memoria caché Subsistema caché Memoria Memoria SRAM SRAM ultrarrápida ultrarrápida (cache) (cache) Hardware adicional. Mantiene el cache con los datos mas frecuentemente utilizados por el procesador Memoria DRAM Bus del Sistema Control del bus local del controlador cache Arbitración del Bus Control del bus Local del Procesador Interfaz con el Bus Local Interfaz con el Procesador Directorio de Cache Control del Cache Bus de Address del procesador Bus de Snoop Bus de Control de la Memoria Cache Decodificaciones del bus local del procesador Configuración 15

16 Organización del caché: Mapeo Directo Bit de validez del Tag Tag 1 Línea = 4 bytes Línea 17 bits Set 0 Bits de validez de las líneas Línea Set 1 32 Kbytes (igual tamaño Que el del cache) Pag Set 1023 Directorio de Caché Interno Memoria Caché Pag.0 4 Gbytes de Memoria Principal 16

17 Organización del caché de mapeo directo Caché Address (1 de 8 KLíneas) A 31 A 15 A 14 A 5 A 4 A 2 Tag de 17 bits (1 de las 2 17 páginas) 0 Set Address (1 de 1024 sets) Selector de Línea (1 de 8 líneas) Bit de validez del Tag Bits de validez de la línea Nro de Set Directorio de Caché Interno 17

18 Organizacion del cache: Asociativo de dos vías Bit de validez del Tag 1 Línea = 4 bytes Tag Línea Línea 18 bits Set 0 18 bits Set 1 Bits de validez de las líneas Bits LRU Bits LRU 18 bits 18 bits Línea 16 Kbytes (igual tamaño Que el de cada banco del cache) 18 bits Bits LRU 18 bits Set 512 Pag Directorio de Caché Interno Memoria Caché Pag.0 4 Gbytes de Memoria Principal 18

19 Organización del caché asociativo de dos vías Caché Address (1 de 4 KLíneas) A 31 A 14 A 13 A 5 A 4 A 2 Tag de 18 bits (1 de las 2 18 páginas) Set Address (1 de 512 sets) Selector de Línea (1 de 8 líneas) 0 Bit de validez del Tag Bits de validez de la línea Nro de Set Directorio de Caché Interno 19

20 Manejo del contenido Algoritmos de reemplazo del contenido de la memoria cache 2 LRU: Least Recently Used. Se corresponde con el principio de vecindad temporal. 2 LFU: Last Frecuently Used 2Random 2FIFO 20

21 Cache miss: Impacto en el Pipeline de instrucciones Pipeline: permite superponer en el tiempo la ejecución de varias instrucciones a la vez. No requiere hardware adicional. Solo se necesita lograr que todas las partes del procesador trabajen a la vez. Trabaja con el concepto de una línea de montaje: 2 Cada operación se descompone en partes 2 Se ejecutan en un mismo momento diferentes partes de diferentes operaciones 2 Cada parte se denomina etapa (stage) Busq. Inst. 1 Busq. Inst. 2 Dec.FI Inst. 1 Busq. Inst. 3 Dec. Inst. 2 Busq. Op. 1 Busq. Inst. 4 Dec. Inst. 3 Busq. Op. 2 Ejec. Inst. 1 Busq. Inst. 5 Dec. Inst. 4 Busq. Op. 3 Ejec. Inst. 2 Escrib. Res. 1 Busq. Inst. 6 Dec. Inst. 5 Busq. Op. 4 Ejec. Inst. 3 Escrib. Res. 2 Busq. Inst. 7 Dec. Inst. 6 Busq. Op. 5 Ejec. Inst. 4 Escrib. Res. 3 Resultado Resultado Una Una vez vez en en régimen régimen ejecuta ejecuta a a razón razón de de una una instrucción instrucción por por ciclo ciclo de de clock clock 21

22 Cache miss: Impacto en el Pipeline de instrucciones Si la búsqueda de una instrucción o de un operando en el cache falla, entonces el procesador debe recurrir a la memoria principal. La demora en el acceso hace que el pipeline se atasque (stall) Una vez recuperado el dato de memoria principal se requieren (en este ejemplo), 5 ciclos de reloj adicionales para recuperar el ritmo de operación del pipeline!! 22

23 Coherencia de un cache Una variable que está en el caché también está alojada en alguna dirección de la DRAM. Ambos valores deben ser iguales Cuando el procesador la modifica hay varios modos de actuar 2 Write through: el procesador escribe en la DRAM y el controlador cache refresca el cache con el dato actualizado 2 Write through buffered: el procesador actualiza la SRAM cache, y el controlador cache luego actualiza la copia en memoria DRAM mientras el procesador continúa ejecutando instrucciones y usando datos de la memoria cache 2 Copy back: Se marcan las líneas de la memoria cache cuando el procesador escribe en ellas. Luego en el momento de eliminar esa línea del caché el controlador cache deberá actualizar la copia de DRAM. Si el procesador realiza un miss mientras el controlador cache está accediendo a la DRAM para actualizar el valor, deberá esperar hasta que controlador cache termine la actualización para recibir desde este la habilitación de las líneas de control para acceder a la DRAM. 23

24 Estructura de Bus del sistema Multiprocesador con cache Procesador Procesador Memoria cache cache CONTROL CONTROL Controlador de de Memoria caché caché DATOS ADDRESS Memoria cache cache CONTROL CONTROL Controlador de de Memoria caché caché DATOS ADDRESS SNOOP BUS Bus Bus de de Control Buffer Buffer de de Datos Datos Buffer Buffer de de Address SNOOP BUS Bus del cache Buffer Buffer Buffer Buffer de de de de Datos Datos Address Bus local del procesador Bus local del controlador cache BUS DEL SISTEMA 24

25 Multilevel cache Cache Level1 On chip CPU Cache Level 2 Cache controller Tamaño Cache L2 > Tamaño Cache L1 Velocidad Cache L1 > Velocidad Cache L2 System Memory (DRAM) 25

26 Implementaciones prácticas de memoria cache (1) Intel Kbytes de cache L1 on chip 2 Tamaño de línea: 16 bytes 2 Organización asociativa de 4-vías Pentium 2 dos caches on-chip, uno para datos y otro para instrucciones. 2 Tamaño de cada cahe: 8 Kbytes 2 Tamaño de línea: 32 bytes 2 Organización asociativa de 4-vías PowerPC cache on-chip de 32 Kbytes 2 Tamaño de línea: 32 bytes 2 Organización asociativa de 8-vías 26

27 Implementaciones prácticas de memoria cache (2) PowerPC Dos caches on-chip, una para datos y otra para instrucciones 2 Tamaño de cada cache: 8 Kbytes 2 Tamaño de línea: 32 bytes 2 Organización asociativa de 2-vías (organización del cache más simple que en el 601 pero un procesador mas fuerte) PowerPC Dos caches on-chip, una para datos y otra para instrucciones 2 Tamaño de cada cache: 16 Kbytes 2 Tamaño de línea: 32 bytes 2 Organización asociativa de 4-vías PowerPC Dos caches on-chip, una para datos y otra para instrucciones 2 Tamaño de cada cache: 32 Kbytes 2 Tamaño de línea: 64 bytes 2 Organización asociativa de 8-vías 27