Introducción a memorias cache

Transcripción

1 Introducción a memorias cache Lección 6 Ing. Cristina Murillo Miranda Arquitectura de Sistemas Embebidos Programa de Maestría en Electrónica Énfasis en Sistemas Embebidos Escuela de Ingeniería en Electrónica Tecnológico de Costa Rica Ing. Cristina Murillo Miranda Introducción a memorias cache 1 / 51

2 1 Objetivo principal 2 Localidad espacial y temporal 3 Jerarquía de Memoria 4 Conceptos básicos 5 Arquitectura de memorias cache Correspondencia directa Correspondencia asociativa Correspondencia asociativa por conjuntos Ing. Cristina Murillo Miranda Introducción a memorias cache 2 / 51

3 Puntos principales Las aplicaciones requieren memorias más grandes, así como rendimiento más alto (rendimiento medido como latencia o throughput). Memorias más rápidas cuestan mucho más que memorias lentas. La lógica es más rápida que la memoria. Ing. Cristina Murillo Miranda Introducción a memorias cache 3 / 51

4 Objetivo principal Aumentar el rendimiento de una computadora por medio del sistema de memoria con el fin de: Proveer al usuario la ilusión de utilizar una memoria que es, simultáneamente rápida y grande. Proveer datos al procesador con una alta frecuencia. Ing. Cristina Murillo Miranda Introducción a memorias cache 4 / 51

5 Problema: Brecha entre el rendimiento del procesador y la memoria Ing. Cristina Murillo Miranda Introducción a memorias cache 5 / 51

6 Problema: Brecha entre el rendimiento del procesador y la memoria De 1980 a 1986: la latencia de DRAM decrementó 7 % por año, mientras que el rendimiento del CPU incrementó 1.53 veces por año. Después de 1986: el rendimiento de CPU aumentó a 1.55 veces por año. El sistema ideal: Memoria grande. Memoria rápida. Precio razonable. Ing. Cristina Murillo Miranda Introducción a memorias cache 6 / 51

7 Solución: Explotar el principio de localidad Localidad temporal: cuando se hace referencia a un elemento de memoria, es probable que este sea referenciado nuevamente pronto. Por ejemplo, datos reutilizados dentro de un loop. Localidad espacial: cuando se hace referencia a un elemento de memoria, usualmente se hace referencia a otros elementos de memoria cuyas direcciones son cercanas. Por ejemplo, secuencias de instrucciones o datos organizados en arreglos o matrices. Ing. Cristina Murillo Miranda Introducción a memorias cache 7 / 51

8 Solución: Jerarquía de memoria Utilizar diferentes niveles de memoria, cada nivel con diferente tamaño y velocidad, e implementado con diferente tecnología para obtener un buen balance entre costo y rendimiento. Objetivo: proveer al usuario un tamaño de memoria de forma que, utilice la tecnología más barata, pero al mismo tiempo permita el tiempo de acceso proporcionado por la tecnología más rápida. Ing. Cristina Murillo Miranda Introducción a memorias cache 8 / 51

9 Niveles de la Jerarquía de Memoria Ing. Cristina Murillo Miranda Introducción a memorias cache 9 / 51

10 Conceptos básicos La jerarquía de memoria se compone de varios niveles, sin embargo, los datos son copiados entre niveles adyacentes. Considere dos niveles: memoria cache y memoria principal: La memoria cache (nivel superior), es pequeña, rápida y tiene mayor costo que la memoria principal (nivel inferior). La mínima cantidad de datos que se puede copiar en la cache es un bloque o línea de cache. Para explotar el principio de localidad espacial, el tamaño de bloque debe ser un múltiplo del tamaño de palabra en memoria. Ejemplo: Tamaño de bloque de 128 bits = 4 palabras de 32 bits. Ing. Cristina Murillo Miranda Introducción a memorias cache 10 / 51

11 Conceptos básicos El número de bloques en la cache está dado por: #bloques = TC TB Donde TC = Tamaño de Memoria Cache y TB = Tamaño de Bloque. Ejemplo: Tamaño Cache 64KByte; Tamaño Bloque 128bits (16 bytes). # de bloques de cache = 4K bloques. Ing. Cristina Murillo Miranda Introducción a memorias cache 11 / 51

12 Acierto de Cache: Cache hit Un acierto ocurre cuando los datos solicitados se encuentran en uno de los bloques de la cache. Ing. Cristina Murillo Miranda Introducción a memorias cache 12 / 51

13 Desacierto de Cache: Cache miss Un desacierto ocurre cuando los datos solicitados no se encuentran en uno de los bloques de la cache. Para encontrar el bloque se debe accesar un nivel más bajo de la jerarquía de memoria. En caso de desacierto, se requiere: Detener el CPU. Obtener el bloque de memoria principal. Copiar el bloque en memoria cache. Repetir el acceso a la cache. Ing. Cristina Murillo Miranda Introducción a memorias cache 13 / 51

14 Conceptos básicos Acierto: los datos son encontrados en un bloque en un nivel superior. Tasa de aciertos (Hit rate): número de accesos a memoria que encuentran los datos en un nivel superior con respecto al número total de accesos a memoria. Hit rate = # aciertos # accessos a memoria Tiempo de acierto (Hit time): tiempo para accesar los datos en el nivel superior de la jerarquía, incluye el tiempo necesario para decidir si el intento de acceso va a resultar en un acierto o desacierto. Ing. Cristina Murillo Miranda Introducción a memorias cache 14 / 51

15 Conceptos básicos Desacierto: los datos deben ser tomados de un nivel inferior. Tasa de desaciertos (Miss rate): número de accesos a memoria en los cuales no se encuentran los datos en niveles superiores, con respecto al número total de accesos a memoria. Miss rate = # desaciertos # accessos a memoria Hit rate + Miss rate = 1 Ing. Cristina Murillo Miranda Introducción a memorias cache 15 / 51

16 Conceptos básicos Penalidad de Desacierto (Miss Penalty): tiempo necesario para accesar un nivel inferior y reemplazar el bloque en el nivel superior. Tiempo de Desacierto (Miss Time): Miss time = Hit time + Miss penalty Hit time «Miss penalty. Ing. Cristina Murillo Miranda Introducción a memorias cache 16 / 51

17 Tiempo promedio de acceso a memoria Average memory access time (AMAT). AMAT = Hit rate Hit time + Miss rate Miss time Donde: Miss rate = Hit time + Miss penalty Hit rate + Miss rate = 1 Por lo tanto, AMAT = Hit time + Miss rate Miss penalty Ing. Cristina Murillo Miranda Introducción a memorias cache 17 / 51

18 Estructura de memoria cache Una entrada en la memoria cache incluye: 1 Bit de validez (Valid bit): indica si la posición contiene datos válidos o no. Cuando se inicia el sistema, todas las entradas son marcadas como inválidas. 2 Etiqueta (tag): contiene el valor que identifica la dirección de memoria correspondiente con los datos almacenados. 3 Datos de cache: contiene una copia de los datos (bloque o línea de cache). Ing. Cristina Murillo Miranda Introducción a memorias cache 18 / 51

19 Problema de colocación de bloques Problema: dada la dirección del bloque en memoria principal, dónde se debe colocar el bloque en memoria cache (nivel superior)? Se debe encontrar una relación entre la dirección de memoria del bloque y la dirección del bloque en memoria cache. Esta relación depende de la arquitectura de la cache: Correspondencia directa (Direct mapped cache). Correspondencia asociativa (Fully associative cache). Correspondencia asociativa por conjuntos (n-way set-associative cache). Ing. Cristina Murillo Miranda Introducción a memorias cache 19 / 51

20 Correspondencia directa Cada posición en memoria corresponde a una y solamente una posición en memoria cache. La dirección en memoria cache de un bloque está dada por: Dirección bloque cache = Dirección bloque memoria mod(# bloques cache) Ing. Cristina Murillo Miranda Introducción a memorias cache 20 / 51

21 Correspondencia directa Ejemplo: Considere una memoria cache con correspondencia directa con 4 palabras, y una memoria de 16 palabras. La dirección de cache 00 puede ser ocupada por datos provenientes de memoria con direcciones 00. Ing. Cristina Murillo Miranda Introducción a memorias cache 21 / 51

22 Correspondencia directa: Direccionamiento La dirección de memoria N bit esta compuesta de 4 campos: 1 Byte offset en la palabra: para identificar el byte específico dentro de la palabra: B bit. Si la memoria no es direccionable en bytes: B=0. 2 Offset palabra en el bloque: permite identificar una palabra específica dentro del bloque: K bit. Si el bloque contiene solo una palabra: K=0. 3 Indice: identifica el bloque: M bit. 4 Etiqueta: para comparar con la etiqueta de la cache asociada con el bloque seleccionado con el índice: N-(M+K+B) bit. Ing. Cristina Murillo Miranda Introducción a memorias cache 22 / 51

23 Correspondencia directa: Ejemplo Dirección de memoria compuesta de N=32 bit. Tamaño memoria cache 64 KByte. Tamaño de bloque 128 bit (16 bytes). Averiguar primero el número de bloques. #bloques = TC TB #bloques = 64KBytes 16bytes #bloques = 4K Ing. Cristina Murillo Miranda Introducción a memorias cache 23 / 51

24 Correspondencia directa: Ejemplo Por lo tanto, M=12 bit, para identificar cada bloque. Cada bloque tiene un tamaño de 16 bytes, asumiendo palabras de 32 bits (4 bytes): #palabras = 16bytes 4bytes = 4 K=2 bit, para direccionar palabras dentro de un bloque. Cada palabra está compuesta por 4 bytes, esto quiere decir que B=2 bit para direccionar los bytes en una palabra. Bits de etiqueta = N-(M+K+B) = 32 - (12+2+2) = 16 bit. Ing. Cristina Murillo Miranda Introducción a memorias cache 24 / 51

25 Correspondencia asociativa En una memoria cache con correspondenca asociativa, el bloque de memoria puede ser colocado en cualquier posición. Todos los bloques de cache deben ser chequeados durante la búsqueda del bloque. El índice no existe en la dirección de memoria. #bloques = TC TB Donde TC = Tamaño de Memoria Cache y TB = Tamaño de Bloque. Ing. Cristina Murillo Miranda Introducción a memorias cache 25 / 51

26 Correspondencia asociativa Ejemplo: Considere una memoria cache con correspondencia asociativa con 4 palabras, y una memoria de 16 palabras. La dirección de cache 00 puede ser ocupada por datos provenientes de memoria con cualquier dirección. Ing. Cristina Murillo Miranda Introducción a memorias cache 26 / 51

27 Correspondencia asociativa: Ejemplo Dirección de memoria compuesta de N=32 bit. Tamaño memoria cache 256 Byte. Tamaño de bloque 128 bit (16 bytes). Averiguar primero el número de bloques. #bloques = TC TB #bloques = 256Bytes 16bytes #bloques = 16 Ing. Cristina Murillo Miranda Introducción a memorias cache 27 / 51

28 Correspondencia asociativa: Ejemplo Cada bloque tiene un tamaño de 16 bytes, asumiendo palabras de 32 bits (4 bytes): #palabras = 16bytes 4bytes = 4 K=2 bit, para direccionar palabras dentro de un bloque. Cada palabra esta compuesta por 4 bytes, esto quiere decir que B=2 bit para direccionar los bytes en una palabra. Bits de etiqueta = N-(K+B) = 32 - (2+2) = 28 bit. Ing. Cristina Murillo Miranda Introducción a memorias cache 28 / 51

29 Correspondencia asociativa por conjuntos La cache está compuesta de conjuntos (sets), cada set posee n bloques. #bloques = TC TB #sets = TC (TB n) Donde TC = Tamaño de Memoria Cache y TB = Tamaño de Bloque. El bloque de memoria puede ser colocado en cualquier bloque del set. La búsqueda debe realizarse en todos los bloques del set. Ing. Cristina Murillo Miranda Introducción a memorias cache 29 / 51

30 Correspondencia asociativa por conjuntos Cada bloque de memoria corresponde a un set de la cache y el bloque puede ser colocado en cualquier bloque de los n bloques del set. (Set) cache = (Dirección bloque) mem mod (# sets en cache) Ing. Cristina Murillo Miranda Introducción a memorias cache 30 / 51

31 Correspondencia asociativa por conjuntos Ejemplo: Considere una memoria cache con correspondencia asociativa 2-formas, con 4 palabras, y una memoria de 16 palabras. El set 0 de la cache puede ser ocupado por datos provenientes de las direcciones de memoria 0. El bloque puede ser colocado en cualquiera de los dos bloques del set 0. Ing. Cristina Murillo Miranda Introducción a memorias cache 31 / 51

32 Correspondencia asociativa por conjuntos: Direccionamiento La dirección de memoria N bit esta compuesta de 4 campos: 1 Byte offset en la palabra: para identificar el byte específico dentro de la palabra: B bit. 2 Offset palabra en el bloque: permite identificar una palabra específica dentro del bloque: K bit. 3 Indice: identifica el set: M bit. 4 Etiqueta: para comparar con la etiqueta de la cache asociada con el bloque seleccionado con el índice: N-(M+K+B) bit. Ing. Cristina Murillo Miranda Introducción a memorias cache 32 / 51

33 Correspondencia asociativa por conjuntos 4-formas: Ejemplo Dirección de memoria compuesta de N=32 bit. Tamaño memoria cache 4 KByte. Tamaño de bloque 32 bits (4 bytes). Averiguar primero el número de bloques. #bloques = TC TB #bloques = 4KBytes 4bytes #bloques = 1K Ing. Cristina Murillo Miranda Introducción a memorias cache 33 / 51

34 Correspondencia asociativa por conjuntos: Ejemplo #sets = #sets = TC (TB n) 4KBytes (4bytes 4) #sets = 256 Estructura del direccionamiento de memoria: M=8 bit. K=0 bit, cada bloque contiene solamente 1 palabra. B=2 bit, 4 bytes por bloque. Etiqueta = 32 - (8+0+2) = 22 bit Ing. Cristina Murillo Miranda Introducción a memorias cache 34 / 51

35 Colocación del bloque Cómo puede el bloque 12 de memoria principal colocarse en una memoria cache con 8 bloques? Correspondencia asociativa: el bloque 12 puede ir en cualquier lugar. Correspondencia directa: el bloque 12 puede ir en solamente en el bloque 4 (12 mod 8). Ing. Cristina Murillo Miranda Introducción a memorias cache 35 / 51

36 Colocación del bloque Cómo puede el bloque 12 de memoria principal colocarse en una memoria cache con 8 bloques? Correspondencia asociativa por conjunto 2-formas: el bloque 12 puede ir en cualquier bloque del set 0 (12 mod 4). Ing. Cristina Murillo Miranda Introducción a memorias cache 36 / 51

37 Identificación del bloque 1 Correspondencia asociativa: comparar las etiquetas en cada bloque y verificar el bit de validez. 2 Correspondencia directa: calcular la posición del bloque (# de bloque mod # de bloques), comparar la etiqueta del bloque y verificar el bit de validez. 3 Correspondencia asociativa por conjuntos: identificar el set (# de bloque mod # de sets), comparar etiquetas del set y verificar bit de validez. Ing. Cristina Murillo Miranda Introducción a memorias cache 37 / 51

38 Incremento de la asociatividad 1 Ventaja: reducir la tasa de desaciertos. 2 Principales desventajas: Alto costo de implementación. Incremento del tiempo de acierto (hit time). 3 La elección entre correspondencia directa, correspondencia asociativa y correspondencia asociativa por conjunto depende del balance que se desee realizar entre el costo de la implementación (tiempo y hardware) y la reducción de la penalidad por desaciertos (miss rate). 4 Incrementar la asociatividad reduce la cantidad de bits de índice, pero aumenta los bits de etiqueta. Ing. Cristina Murillo Miranda Introducción a memorias cache 38 / 51

39 Reemplazo de bloques En caso de un desacierto en una cache con correspondencia asociativa, se debe decidir que bloque reemplazar: cualquier bloque es candidato para el reemplazo. Si la cache es asociativa por conjunto, se debe seleccionar entre los bloques de un set determinado. Si es una cache con correspondencia directa, solo hay un candidato que debe ser reemplazado (no hay necesidad de una estrategia para el reemplazo de bloques). Las estrategias principales para seleccionar el bloque a reemplazar son: Al azar. LRU (Least recently used) FIFO (First in First out) Ing. Cristina Murillo Miranda Introducción a memorias cache 39 / 51

40 Política de escritura Write-Through: la información es escrita en ambos, el bloque de cache y el bloque en el nivel inferior de memoria. Write-back: la información solamente se escribe en el bloque en memoria cache. El bloque de cache modificado es escrito en el nivel inferior de memoria solamente cuando es reemplazado debido a un desacierto. Se requiere añadir un bit sucio. Al final de la escritura en cache, el bloque de cache se vuelve sucio (modificado) y la memoria principal va a contener un valor diferente con respecto a la cache: la memoria principal y la cache no son coherentes. Ing. Cristina Murillo Miranda Introducción a memorias cache 40 / 51

41 Política de escritura: Ventajas Write-Back: El bloque puede ser escrito por el procesador a la frecuencia a la cual la cache, y no la memoria principal, puede aceptarlo. Múltiples escrituras al mismo bloque requieren solamente una escritura a memoria principal. Write-Through: Más sencillo de implementar, pero para ser efectivo requiere un buffer de escritura para no esperar al nivel inferior en la jerarquía. Los desaciertos de lectura son más baratos puesto que no requieren ninguna escritura en niveles inferiores de memoria. La memoria siempre está actualizada. Ing. Cristina Murillo Miranda Introducción a memorias cache 41 / 51

42 Buffer de escritura Idea básica: insertar un buffer FIFO para no esperar por el acceso a memoria en niveles inferiores (típico número de entradas: 4 a 8). El procesador escribe datos en la cache y en el buffer de escritura. El controlador de memoria escribe los contenidos del buffer en memoria. Problema principal: saturación del buffer de escritura. Write-through siempre está combinado con el buffer de escritura. Ing. Cristina Murillo Miranda Introducción a memorias cache 42 / 51

43 Desacierto de escritura Intento fallido de escribir datos en cache. Qué ocurre durante un desacierto de escritura? Asignación de escritura: conocido también como búsqueda en escritura. Asignar una nueva línea de cache después escribir en ella (doble escritura en cache). Usualmente significa que debe tener un desacierto de lectura para llenar el resto de la línea. Alternativa: bits de validez por palabra. Sin asignación de escritura (write-around): simplemente enviar los datos a un nivel inferior de memoria. No se asigna una nueva línea de cache. Ing. Cristina Murillo Miranda Introducción a memorias cache 43 / 51

44 Políticas de escritura Para manejar un desacierto de escritura, ambas opciones (asignación de escritura y sin asignación de escritura) pueden ser utilizadas para ambas políticas de escritura, sin embargo, usualmente: Write-back utiliza la opción de asignación de escritura, (esperando que siguientes escrituras en el bloque sean hechas de nuevo en cache). Write-through utiliza la opción sin asignación de escritura, (esperando que la siguiente escritura en el bloque sea hecha de nuevo en memoria). Ing. Cristina Murillo Miranda Introducción a memorias cache 44 / 51

45 Políticas de escritura Acierto de lectura: Leer datos de la cache. Desacierto de lectura: El CPU se detiene, se solicita datos de memoria, se copia en la cache (escritura de cache), se repite la operación de lectura de cache. Acierto de escritura: Escribir datos en cache y memoria (write-through). Escribir datos solo en cache (write-back): copia en memoria solo cuando ocurre un desacierto. Desacierto de escritura: El CPU se detiene. Se solicita datos a memoria, se copia en cache (escritura de cache), se repite la escritura en cache (asignación de escritura). Simplemente enviar datos a escribir a niveles inferiores (sin asignación de escritura). Ing. Cristina Murillo Miranda Introducción a memorias cache 45 / 51

46 Resumen: Jerarquía de Memoria 1 Dónde puede ser colocado un bloque en el nivel superior? (Ubicación de bloque). 2 Cómo se encuentra un bloque en el nivel superior? (Identificación de bloque). 3 Cuál bloque debe ser reemplazado en caso de un desacierto? (Reemplazo de bloque). 4 Qué ocurre en una escritura? (Políticas de escritura). Ing. Cristina Murillo Miranda Introducción a memorias cache 46 / 51

47 Dónde puede ser colocado un bloque en el nivel superior? Ubicación de bloque. Correspondencia directa. Correspondencia asociativa. Correspondencia asociativa por conjuntos. Ing. Cristina Murillo Miranda Introducción a memorias cache 47 / 51

48 Cómo se encuentra un bloque en el nivel superior? Identificación de bloque: comparación de etiquetas. Correspondencia asociativa: Comparar etiquetas en cada bloque y verificar el bit de validez. Correspondencia directa: Calcular la posición del bloque (# de bloque mod # de bloques), comparar la etiqueta del bloque y verificar bit de validez. Correspondencia asociativa por conjuntos: Identificar el set (# de bloque mod # de sets), comparar etiquetas del set y verificar el bit de validez. No se requiere revisar el índice ni el offset de bloque. Ing. Cristina Murillo Miranda Introducción a memorias cache 48 / 51

49 Cuál bloque debe ser reemplazado en caso de un desacierto? Reemplazo de bloque. Elección fácil para caches con correspondencia directa. Para correspondencia asociativa o asociativa por conjuntos: Al azar. LRU (least recently used). FIFO. Ing. Cristina Murillo Miranda Introducción a memorias cache 49 / 51

50 Qué ocurre en una escritura? Políticas de escritura: Write through. Write back. Opciones para desaciertos de escritura: Asignación de escritura. Sin asignación de escritura. Ing. Cristina Murillo Miranda Introducción a memorias cache 50 / 51

51 Referencias González, Antonio.; Latorre, Fernando.; Magklis, Grigorios., Processor Microarchitecture: An implementation perspective (1 ed.), Morgan & Claypool Patterson, David A.; Hennessey, John L., Computer Architecture, A Quantitative Approach (5 ed.), Morgan Kaufmann Ing. Cristina Murillo Miranda Introducción a memorias cache 51 / 51