JERARQUÍAS DE MEMORIA

Transcripción

1 JERARQUÍAS DE MEMORIA Organización de Computadoras Facultad de Ingeniería Universidad de Buenos Aires 10/09/2017 1

2 Introducción Grande y rápida: Explotando la Jeraquía de Memoria 2

3 Que significan todos estos Parámetros? 3

4 La Brecha CPU-Memoria Desemp peño % por año 55% por año 7% por año CPU Memoria Año 4

5 El Principio de Localidad para las Referencias a Memoria Los programas referencian la memoria localmente Localidad espacial Localidad temporal 5

6 La Memoria Local o Memoria Cache CPU CPU Memoria Cache Principal Memoria Principal 6

7 Estructura Básica de una Jerarquía de Memoria 7

8 Estructura Básica de una Jerarquía de Memoria Caches L1 L2 L3 Principal Secundaria 8

9 Estructura Básica de una Jerarquía de Memoria 9

10 Funcionamiento Básico Bloques.. CPU Cache Memoria Principal Transferencia de Palabras Transferencia de Bloques 10

11 Funcionamiento Básico La Memoria Cache contiene copias de los bloques de memoria principal. Hit: lo buscado por la CPU está en cache. Si no está es Miss y se produce una penalidad. Trabaja sobre demanda. 11

12 Organizaciones Básicas: Totalmente Asociativa Bloque Nro Cache Totalmente Asociativa. Bloque Nro Memoria 12

13 Organizaciones Básicas: Correspondencia Directa Bloque Nro Cache por Correspondencia Directa Bloque Nro Memoria 13

14 Organizaciones Básicas: Correspondencia Directa 14

15 Organizaciones Básicas: Asociativa por Conjuntos Conjunto Nro. 0 { 1 { 2 { 3 { Bloque Nro Cache Asociativa por Conjuntos Memoria 15

16 16

17 Contenido de la Memoria Cache 10110xxxx Número de Bloque en RAM 11010xxxx 10000xxxx 00011xxxx 10010xxxx 17

18 18

19 19

20 Políticas de reemplazo LRU FIFO RANDOM Basadas en Distancias de Pila LRU Óptima (Belady 1963) 20

21 Que pasa en una escritura? Políticas de escritura Write Through Write Back Miss de escritura, dos casos: Write Allocate Write No-Allocate 21

22 Ecuación de desempeño de CPU con Memoria cache 22

23 Otra Medida de Desempeño Tiempo Promedio de Acceso a Memoria: 23

24 Optimizaciones para mejorar el desempeño en sistemas con memoria cache Reducir la Penalidad de miss Reducir el Miss Rate Reducir el tiempo de Hit 24

25 Reduccion de Penalidad de Miss Caches Multinivel 25

26 Reduccion de Penalidad de miss Critical Word First, Early Restart 26

27 Reduccion de Penalidad de miss Prioridad a Lecturas sobre las escrituras Merging Write buffers Caches de Víctimas 27

28 Reducción de la Tasa Miss Causas de los misses en memoria cache? 28

29 Herramientas de Modelado y Análisis 29

30 Una Clasificación para los Desaciertos en Memoria Cache Modelo de las Tres C A favor: Tipos conceptuales Obligatorios Capacidad Conflicto Muy difundidos En contra A veces da resultados incorrectos No clasifica individualmente 30

31 Metodología Experimental Simulaciones manejadas por trazas Benchmarks SPEC95 SPECint95: compress, go, gcc, m88ksim, li, perl, ijpeg, vortex SPECfp95 applu, apsi, turb3d, su2cor, hydro2d, swim, tomcat v, wave5, mgrid, fppp. Trazas Herramienta: ATOM Formato: ASF Logitud: 700 a 1200 millones de instrucciones 31

32 Benchmarks SPECint95 Cache de Instrucciones Miss Kb 16Kb Asociatividad 32Kb 64Kb Oblig Oblig+Cap Total Oblig+Cap(3C) 32

33 Cache de Instrucciones SPECint Cache de Instrucciones SPECfp 4.5 2,5 Miss Kb 16Kb Asociatividad 32Kb 64Kb Miss 2 1,5 1 0, Asociatividad 8Kb 16Kb 32Kb 64Kb Oblig Oblig+Cap Total Oblig+Cap(3C) Oblig Oblig+Cap Total Oblig+Cap(3C) Cache de Datos SPECint Cache de Datos SPECfp Miss Kb 16Kb 32Kb 64Kb Miss Kb 16Kb 32Kb 64Kb Asociatividad Asociatividad Oblig Oblig+Cap Total Oblig+Cap(3C) Obig Obig+Cap Total Obig+Cap(3C) 33

34 Reducción de la Tasa Miss Caches más grandes y más asociativas Cache de Datos, SPECint95 Miss DM 2W 4W SW FA Tamaño (Bytes) 34

35 Reducción de la tasa de miss. Asociatividad mas alta. La organización de correspondencia directa sufre de thrashing. El esquema asociativo por conjunto lo reduce o elimina.

36 Otro Modelo: de las Tres C Determinístico D3C Obligatorios Capacidad Conflicto Definición operacional, se basa en las distancias de pila LRU D: Obligatorios : D Capacidad : D> B Conflicto : D B no computable Con B como la cantidad de bloques en la memoria cache 36

37 Desaciertos de la cache totalmente asociativa infinita (Obligatorios) Desaciertos de la cache totalmente asociativa (Capacidad 3C) C Desaciertos de la cache bajo estudio Capacidad D3C Obligatorios= C Capacidad = A. B. C Conflicto= B. A A Total de referencias a memoria B U Conflicto D3C 37

38 El Modelo del Lazo Simple Aplicaciones con desempeño pobre bajo LRU Memoria Virtual Memoria Cache Lazos: componente importante en la mayoría de las aplicaciones. 38

39 El Modelo del Lazo Simple Lazo Memoria 39

40 El Modelo del Lazo Simple Cache Lazo Memoria 40

41 Uso de la Clasificación D3C para el Modelo del Lazo Simple Obligatorios Capacidad Conflicto Total 3C 0 1-0,4 0,6 D3C 0 0,6 0 0,6 Cache LRU asociativa por conjuntos de grado 2, lazo 20% más grande que la memoria cache. 41

42 El Modelo del Lazo Simple Definiciones L tamaño del lazo C tamaño de la memoria cache α=(l-c)/l Organizaciones analizadas Todas las asociatividades Políticas de reemplazo LRU/FIFO, Random, Óptima y No Reemplazo 42

43 Relación de Desaciertos para el Modelo del Lazo Simple 43

44 Uso de la Clasificación D3C para el Modelo de las Referencias a Memoria al Azar Obligatorios Capacidad Conflicto Total 3C 0 B 0 1 M B 1 M M 1 B M B M N B N D3C B M 44

45 Uso de la Clasificación D3C para el Caso de la Anomalía de Belady B = 3 Obligatorios Capacidad Conflicto Total 3C D3C B = 4 Obligatorios Capacidad Conflicto Total 3C D3C Secuencia: 0,1,2,3,0,1,4,0,1,2,3,4, cache totalmente asociativa FIFO 45

46 Uso de la Clasificación D3C en la Cache de Víctimas 10 8 Miss Total Conf Cap. 0-2 DM DM + V DM DM + V DM DM + V 3C Benchmark Su2cor, cache DM de 8 Kbytes y cache de víctimas de 128 bytes (4 bloques de 32 bytes) D3C 46

47 Reducción de la Tasa Miss Bloques más grandes 47

48 Reducción de Ciclos de stall en cache via paralelismo Caches no bloqueantes Hardware prefetching Software prefetching Programa Compilador Opciones Buffer prefetching Cache prefetching 48

49 Redución de la tasa de miss. Optimizaciones del Software Lectura adelantada (prefetching) de datos e instrucciones. Reemplazo de elementos de arreglos por escalares. Intercambio de bucles. Operación en bloques (blocking algorithms). Rellenado de arreglos (array padding). Reducción de solapamiento (aliasing).

50 Redución del tiempo de hit Caches más pequeñas y más simples 50

51 Redución del tiempo de hit Evitar traducción de páginas Cache pipeline Trace Caches (intel p4) 51

52 Mejorar el ancho de banda de la memoria principal. 52

53 Intercalado 53

54 Tecnología DRAM 54

55 55

56 DRAM Convencional 56

57 DRAM de Modo Página Rápido 57

58 DRAM de Modo Página Rápido (EDO) 58

59 RAM Sincrónica (SDRAM) 59

60 Evolución DRAM sincrónica SDRAM DDR DDR2 DDR3 DDR4, 5, etc (video) 60

61 Memoria Virtual 61

62 Antecedentes Overlays Registro cerco 62

63 Memoria Virtual Páginada 63

64 Memoria Virtual Páginada: tamaños de los espacios virtual y físico 64

65 Comparación parámetros Memoria Virual Memoria Cache 65

66 Mapeo de las Páginas Virtuales Totalmente Asociativo 66

67 Proceso de traducción Solo es necesario traducir el número de página El offset se concatena 67

68 Traducción: tabla de Traducción de páginas. 68

69 Páginas se alojan en memoria física o disco. 69

70 70

71 Técnicas de traducción rápida: TLB (Translation Lookaside Buffer) o cache de traducción de páginas. CPU TLB MEMORIA 71

72 TLB 72

73 TLB. Ejemplo 73

74 Miss en TLB (MIPS) 74

75 Caches direccionadas por direcciones físicas CPU TLB CACHE MEMORIA 75

76 TLB y CACHE 76

77 Index Virtual Tag Físico 77

78 Caches direccionadas por direcciones virtuales CPU CACHE TLB MEMORIA 78

79 Memoria Virtual Segmentada Bloques de tamaño variable: segmentos Dos palabras por dirección: Número de segmento. Offset dentro del segmento Visible a la arquitectura de programación 79

80 Paginado vs Segmentado Segmentado: bloques de tamaño variable Dos palabras por Dirección: nro segmento y offset 80

81 Paginado vs Segmentado 81

82 Memoria Virtual Overlays Registro Cerco Memoria V. Páginada Memoria V. Segmentada Programa puede superar la memoria fisica x Protección Compartir Direcciones Virtuales x x x x x x x x x x 82

83 FIN 83