Predicción Dinámica - 1. Arquitectura de Computadores

Transcripción

1 Para conseguir el rendimiento óptimo de una instrucción por ciclo, otro de los obstáculos que nos encontramos es el de las dependencias de control, esencialmente, los saltos. Ya vimos que hay soluciones estáticas (en tiempo de compilación) que alivian este problema, como los saltos retardados y las predicciones estáticas. Ahora vamos a abordar otras técnicas relacionadas con la predicción dinámica (en tiempo de ejecución) para situaciones en las que no se puede predecir fácilmente, de manera estática, el comportamiento de una bifurcación. No obstante, la predicción estática también puede utilizarse, en algunos casos, para ayudar a la predicción dinámica. Las técnicas de predicción que abordaremos aquí van a sopesar las probabilidades de que se produzca un salto considerando el salto de manera aislada (buffer de predicción de saltos) o su relación con otros saltos de su entorno (predictores globales). También veremos la forma de acortar el tiempo necesario para saber cuál es la dirección del salto mediante el buffer de destinos de saltos. Por último veremos una técnica que combina los predictores locales y los globales en los predictores adaptativos. Predicción Dinámica - 1

2 Las estadísticas de los programas indican que los riesgos de control (saltos) se producen con mayor frecuencia que los riesgos de datos (dependencias de datos), por lo que su influencia en el tiempo de ejecución es muy alta. Anteriormente ya hemos abordado la eliminación de los riesgos de control mediante los saltos retardados y la predicción estática. Sin embargo, esto no es suficiente cuando se quiere conseguir una tasa de ejecución de una instrucción por ciclo, por lo que se requieren técnicas adicionales que, ante una instrucción de salto, permitan determinar lo antes posible si se tomará el salto o no. En un capítulo anterior, ya vimos que el salto se decide en la etapa de Decodificación (D), por lo que se pierde un ciclo de reloj en los saltos condicionales. Pues bien, con la predicción dinámica de salto, lo que se pretende es poder conocer, siempre, la dirección de la siguiente instrucción a ejecutar en la etapa de alimentación de instrucción (F), lo que supone que los saltos condicionales ya no originan ningún retardo en el flujo de alimentación de instrucciones. Predicción Dinámica - 2

3 Predicción Dinámica de Saltos - 3

4 El modelo más simple de predicción de saltos es el Buffer de Predicción de Saltos o BPB (Branch-Prediction Buffer), el cual consiste en una tabla indexada por los bits de menor peso de la dirección de la instrucción de bifurcación. Para cada entrada de la tabla simplemente hay un bit que indica si la bifurcación se tomó o no la última vez que se pasó por ella. Con esta simple tabla, ni siquiera se sabe si la predicción corresponde a la instrucción de salto en curso pues pueden producirse colisiones, es decir, que la predicción de esa entrada de la tabla la pudo establecer otra instrucción de salto cuyos bits de menor peso de su dirección coincidieran con los de la dirección de la instrucción actual. De todas maneras, aunque se tome una predicción equivocada, debido a una colisión, las consecuencias no son graves, pues la predicción se entiende como un consejo, de tal manera que si al comprobar la condición del salto la predicción no resultó acertada, simplemente hay que empezar de nuevo a extraer la instrucción de destino del salto de la dirección correcta y establecer de nuevo el valor de la predicción en la tabla; eso sí, con la correspondiente pérdida de tiempo, que es precisamente lo que se quiere evitar con una buena predicción. Obviamente, cuantos más bits de dirección se utilicen para indexar la tabla, menos posibilidades de colisión habrá. Predicción Dinámica - 4

5 En el diagrama de arriba se indica el comportamiento de este sistema de predicción dinámica de saltos. Lo primero que se comprueba en la tabla es la predicción: saltar o no saltar. Según esta predicción se alimenta la siguiente instrucción en secuencia o la de la dirección de destino del salto. A continuación se comprueba si la predicción fue acertada o no. Si lo fue, simplemente se continúa con la instrucción alimentada; si no fue acertada, se debe abortar y desechar la instrucción erróneamente extraída, alimentar la instrucción de la dirección adecuada e invertir el bit de predicción. Predicción Dinámica - 5

6 Este modelo simple de predicción de un bit tiene una pega. Aunque una bifurcación se tome casi siempre (como en el caso de las instrucciones de control de un bucle), cuando no se cumpla la condición de seguir en el bucle, tendremos un fallo en la predicción y se modificará el valor del bit de predicción. Así, cuando se vuelva a entrar en el bucle, aunque lo normal sería predecir que se va a seguir en el bucle, nos encontraremos con que se predice no saltar, pues así se habrá establecido en la ejecución anterior (en la que se salió del bucle), lo que dará lugar a otro error en la predicción. Este error en la predicción originará dos fallos por cada ejecución del bucle, en lugar de uno (el de la salida del bucle). Así, la importancia de esta pega dependerá de la frecuencia con que se ejecute cada bucle. Predicción Dinámica - 6

7 Para remediar la pega del buffer de predicción de un bit, lo que hacemos es aumentar la memoria histórica a dos bits, con lo que se obtiene el diagrama de 4 estados de arriba. Ahora, para modificar una predicción, no basta con un fallo, se necesitan dos fallos consecutivos. Hay dos estados estables: uno para SALTAR (11) y otro para NO SALTAR (00). Si estamos en el estado (11) SALTAR, y se produce un error en la predicción, se pasa al estado (10), en el que se sigue prediciendo SALTAR. Si en este estado se vuelve a producir un fallo en la predicción, se pasa ya a un estado (00) en el que se predice NO SALTAR. Si estando en (10) se acierta en la predicción de SALTAR, se vuelve al estado estable de (11) SALTAR. El comportamiento para cuando se está en el estado estable (00) NO SALTAR, es equivalente al estado (11) comentado. Un buffer de predicción de saltos puede implementarse como una pequeña memoria caché a la que se accede con la dirección de la instrucción de salto en la etapa F, o bien con un par de bits asociados a cada bloque en la caché de instrucciones. Si la instrucción se decodifica como una bifurcación con predicción de saltar, la siguiente instrucción se alimenta tan pronto como se sepa la dirección del salto; en caso contrario (predicción de no saltar), la extracción de instrucciones continúa secuencialmente. El paquete de medición de prestaciones SPEC89 con un buffer de predicción de 4096 entradas arrojó una tasa de acierto del 82% al 99%. En el 2005, un buffer de 4096 entradas ya se consideró pequeño, por lo que ya se utilizan buffers mayores, lo que probablemente conduce a mejores resultados. Como se puede ver, un buffer con 4K entradas de 2 bits tiende a comportarse como un buffer de tamaño infinito (acierto del 99%), por lo que aumentar el número de bits de historia sin cambiar el esquema, apenas tiene impacto en los resultados prácticos. A este tipo de autómatas se les conoce con el nombre de contadores de saturación. Predicción Dinámica - 7

8 Veamos cómo se comportaría este mecanismo de predicción en MIPS. Recordamos que con el Buffer de Predicción de Saltos, la predicción de si se debe o no se debe saltar se realiza en la etapa de extracción de instrucción (F). Si se predice NO SALTAR, simplemente hay que continuar con la siguiente instrucción en secuencia. La dirección de la siguiente instrucción se calcula en la etapa F por lo que se puede continuar la ejecución sin ningún retardo. Si se predice SALTAR, hasta el final de la siguiente etapa (D), no se sabe la dirección del salto, pues, en MIPS, la dirección del salto se calcula en esta etapa. Por tanto, mientras se está ejecutando la etapa D de la instrucción de bifurcación, no se puede ejecutar la etapa F de la alimentación de la siguiente instrucción. Es decir, que después de una instrucción de bifurcación con predicción de saltar hay que esperar un ciclo más, a que finalice la etapa de Decodificación, para saber la dirección de destino del salto y poder alimentar la instrucción siguiente. Aunque la predicción se ha hecho en la etapa F, no ha servido de nada, pues la dirección del salto se calcula un ciclo más tarde. Como vemos, este tipo de predicción de saltos no es útil para procesadores en los que la dirección de destino del salto no se calcula en la etapa F. Parece que, en estas circunstancias, lo que sería muy interesante es poder conocer la dirección del salto en la misma etapa en la que se hace la predicción. Predicción Dinámica - 8

9 Predicción Dinámica de Saltos - 9

10 Como hemos concluido en el Buffer de Predicción de Saltos, para algunos tipos de procesadores no solamente es beneficioso conocer la predicción del salto, sino también la dirección del destino del salto. Así, la tabla de predicción de saltos se convierte en un Buffer de Destinos de Saltos o BTB (Branch Target Buffer). Ahora la tabla tiene dos campos en cada entrada: la dirección de la instrucción de bifurcación y la dirección del destino del salto. Si la dirección de la instrucción de bifurcación no está en la tabla, significa que la predicción es NO SALTAR. También puede deberse a que no se haya pasado antes por esta bifurcación, en cuyo caso también se toma la predicción de NO SALTAR. Si la dirección sí está en la tabla, se interpreta como SALTAR. En el Buffer de Predicción de Saltos, cada entrada de la tabla contenía un único campo: la predicción, y se accedía a la tabla indexando con los bits de menor peso de la dirección de la instrucción de bifurcación, lo cual, como ya vimos, daba lugar a colisiones. No obstante, estas colisiones no eran graves, pues lo peor que podía pasar era que la predicción obtenida fuera errónea, por lo que habría que perder algún ciclo en alimentar la instrucción correcta. Ahora, con el Buffer de Destinos de Saltos, si se produjese una colisión se tomaría una entrada errónea de la tabla y si se confirma que la predicción de saltar es correcta, se habría tomado una dirección de salto incorrecta, que corresponde a otra bifurcación distinta, y que conllevaría una ejecución incorrecta del programa. Para evitar las colisiones, cada entrada de la tabla debe tener la dirección completa de la instrucción de bifurcación a la que corresponde la entrada. Obsérvese que se trata de una predicción con una historia de solo dos estados (un bit). Predicción Dinámica de Saltos - 10

11 En este diagrama se muestra el comportamiento de este sistema de predicción basado en el buffer de destinos de saltos. Como vemos, todo comienza en la etapa de extracción (F) en la que al mismo tiempo que se va a memoria a extraer una nueva instrucción con la dirección indicada en el Contador de Programa (PC), se comprueba si ésa dirección se encuentra en el buffer de destinos de saltos. En la etapa D se comprueba la condición de salto y se pasa a la etapa de ejecución. En esta etapa E, el comportamiento depende de si se ha acertado en la predicción o no. Si se acertó, continúa la ejecución normal con la instrucción alimentada según la predicción. En caso de fallo en la predicción, lo primero que se debe hacer en la etapa de E es abortar la ejecución de la instrucción erróneamente alimentada. A continuación, y también en esta etapa E: Si el fallo se debió a una predicción errónea de no saltar, se debe introducir la dirección de la instrucción de salto en el BTB, aconsejando saltar para el futuro. Si el fallo se debió a una mala predicción de saltar, lo que se debe hacer ahora eliminar del BTB la entrada de esta instrucción. Seguidamente se debe extraer la instrucción correcta y continuar la ejecución. Predicción Dinámica - 11

12 Según lo visto en la página anterior, si se utiliza el BTB con MIPS, no se produce ningún retardo en los saltos con acierto en la predicción. Recordamos que, en MIPS, sin BTB, ante una bifurcación evaluada como cierta, habría que detener la alimentación de instrucciones hasta que se tenga la dirección del salto al final de la etapa D. Predicción Dinámica - 12

13 En cambio, si falla la predicción de no saltar, provocará dos ciclos de retardo, ya que en la etapa prevista de ejecución habrá que abortar la ejecución de la instrucción erróneamente predicha, y hasta el siguiente ciclo no se alimentará la instrucción correcta. La secuencia de ejecución es la siguiente: Ciclo 1: Se alimenta la instrucción de salto BNE. Ciclo 2: Como la predicción es no saltar, se alimenta la siguiente instrucción en secuencia (XOR). En este mismo ciclo, se realiza la decodificación de la instrucción de salto. En esta etapa se comprueba si se cumple o no la condición de salto y, si se debe saltar, también se obtiene la dirección de la siguiente instrucción a alimentar. Al término de la decodificación de la instrucción de salto, ya se conoce el error de la predicción. Ciclo 3: Se aborta la ejecución de la instrucción erróneamente predicha (XOR). También se debe actualizar el BTB para incluir en él la dirección de esta instrucción de salto. Aunque ya se conoce la dirección de la siguiente instrucción a alimentar y ejecutar, como desde la etapa E se está accediendo al BTB para actualizarlo con la dirección de la reciente instrucción de salto, no se puede alimentar la siguiente instrucción, pues en la etapa F se debe consultar el BTB con cada instrucción extraída, aunque no sea una instrucción de salto, ya que hasta la etapa D no se decodifica y se averigua el cometido de cada instrucción. Ciclo 4: El acceso al BTB ha quedado libre, por lo que ya puede alimentarse la siguiente instrucción a ejecutar (AND) y realizar la consulta obligatoria al BTB. Ciclo 5: Continúa la decodificación y la ejecución normal en el cauce. En el caso de fallar ante una predicción de saltar, el proceso es similar al descrito para el fallo ante no saltar, pues ante un fallo en cualquier predicción, el error se conoce al término de la etapa D, y hay que utilizar la etapa E para abortar la ejecución de la instrucción errónea y actualizar debidamente el BTB. Predicción Dinámica - 13

14 Ante un fallo en la predicción, uno de los ciclos que se pierde se debe a que desde la etapa E de la instrucción de salto se debe modificar el BTB y, al mismo tiempo, desde la etapa F se querría alimentar la siguiente instrucción y consultar el BTB, por lo que nos encontramos ante un problema estructural de acceso simultáneo al BTB desde dos etapas distintas. Se podría ahorrar este ciclo de retardo que acabamos de describir, si el BTB pudiera ser de doble puerto, lo que permitiría realizar simultáneamente lecturas y escrituras. (El doble puerto no permite acceder simultáneamente a cualquier par de direcciones de una memoria). Otra forma de eliminar este ciclo de retardo consiste en dividir las etapas F y E en dos subciclos. En el primer subciclo, se escribiría el BTB desde la etapa E. Por otra parte, en la etapa F, en el primer subciclo se alimentaría la instrucción y en el segundo subciclo se consultaría el BTB. Predicción Dinámica - 14

15 En la tabla presentada anteriormente como Buffer de Destinos de Saltos, la única información utilizada para realizar la predicción era si la dirección de la bifurcación se encontraba en la tabla. Si estaba en la tabla, se predecía SALTAR; si no estaba, se predecía NO SALTAR; es decir, se comportaba como un mecanismo de predicción de un bit. Ya vimos que aumentando la historia se obtienen mejores resultados (especialmente, en las condiciones de salida de los bucles), así que se puede añadir un bit más de estado a la tabla de destinos de saltos para minimizar las equivocaciones en las predicciones. El hecho de que la dirección de la instrucción de salto esté o no en el BTB, más este nuevo bit de predicción, permiten utilizar el BTB como algo parecido a un predictor de 2 bits. (Tiene 3 estados: No está, Está y es 0 y Está y es 1 ). Predicción Dinámica - 15

16 Una variación del buffer de destinos es almacenar en la tabla no solo la dirección de destino del salto, sino la instrucción que hay en la dirección de destino del salto. Esto permite una optimización denominada branch folding, mediante la cual se pueden realizar saltos incondicionales en cero ciclos. Ya que la única función de un salto incondicional es modificar el valor del Contador de Programa (PC), cuando el buffer de destinos indica un acierto (la dirección de la instrucción de salto está en el buffer) y que se trata de un salto incondicional, lo único que tiene que hacer el pipeline es sustituir la propia instrucción de salto incondicional por la almacenada en el buffer de destinos y continuar la ejecución. Por otra parte, también habrá que modificar el valor del PC para que se continúe alimentando instrucciones a partir de la nueva dirección de destino del salto. En el fragmento de código que se muestra arriba, se puede ver que el salto incondicional J ETQ (la dirección de ETQ es 2168) consume solamente la etapa F. Estos son los eventos que se producen: En la etapa F se comprueba que la instrucción de salto está en el buffer de destinos de saltos. Se aborta la ejecución de la instrucción de salto incondicional. Se trae la instrucción de destino (ADD R1,R2,R3) al pipeline y se introduce directamente en la etapa D. Se actualiza el PC para seguir alimentando instrucciones de la dirección siguiente a la instrucción de destino. Continúa la ejecución de la instrucción de destino del salto. Predicción Dinámica - 16

17 Predicción Dinámica de Saltos - 17

18 Un buen porcentaje de aciertos es fundamental para mantener un promedio elevado de instrucciones procesadas por ciclo. Por esto, ha habido bastantes propuestas de procedimientos de predicción para aumentar la tasa de aciertos respecto a los procedimientos sencillos. Entre ellos están los esquemas de predicción de dos niveles. Como su nombre indica, estos esquemas utilizan dos niveles de información para realizar la predicción. Por un lado se guarda información de comportamiento del salto (tomado/no tomado) que ha tenido la instrucción en sus últimas ejecuciones. Por otro, también se utilizan los bits de estado del autómata de predicción que hemos visto en el Buffer de Predicción de Saltos. En el ejemplo de arriba se muestran los dos niveles comentados, donde la tabla con la historia de este salto contiene la información de lo que sucedió con las últimas ejecuciones de ésa instrucción de salto. El esquema de predicción dinámica del salto contiene los bits que indican el estado del autómata de predicción para la instrucción, tal como vimos anteriormente en el BPB. Como vemos, en cualquier caso, toda la información considerada para hacer la predicción está basada en la historia de la propia instrucción de salto, esto es, en información local al salto. Otra posibilidad de los predictores multinivel es utilizar información correspondiente al comportamiento reciente de otras instrucciones de salto distintas, como es el caso de los predictores globales. Predicción Dinámica de Saltos - 18

19 Los mecanismos de predicción de una bifurcación que hemos visto hasta ahora, únicamente tienen en cuenta el comportamiento reciente de una instrucción de bifurcación para predecir el comportamiento futuro inmediato de esa instrucción bifurcación. La precisión de la predicción puede mejorarse si también se considera el comportamiento de las últimas instrucciones de bifurcación ejecutadas (instrucciones distintas de la que se está prediciendo su futuro comportamiento) y que pueden estar relacionadas con el comportamiento de la instrucción de salto actual, dando lugar a los predictores globales o correlacionados (correlating predictors). Veamos un ejemplo en la página siguiente. Predicción Dinámica - 19

20 En este fragmento de código, si se considera aisladamente el comportamiento de la bifurcación (C), no parece que sea fácil o inmediato predecir si se tomará el salto o no. En cambio, si se atiende a la historia reciente de los saltos (A) y (B), sí se puede determinar si se cumplirá o no la condición del sato (C). Resulta fácil ver que Si se toma el salto (A), la variable a tomará el valor cero. Lo mismo sucederá con el salto (B), que si se cumple la condición, la variable b también tomará el valor cero. Así, al llegar a la bifurcación (C), si se tomaron los saltos de (A) y (B), es fácil concluir con que las variables a y b tienen el valor cero, por lo que se puede predecir que la condición del salto se cumplirá. Este es un ejemplo sencillo de cómo el comportamiento global de varias bifurcaciones puede ayudar en la predicción de otras. A estos predictores se les denomina predictores globales, de dos niveles, o correlacionados (correlating predictors). Predicción Dinámica de Saltos - 20

21 Un descriptor global se describe mediante la tupla (G,L), donde: G es el número de bifurcaciones globales que se consideran en la predicción. L es el número de bits empleados en la predicción local de la instrucción de bifurcación en curso. Según esto, de los predictores que hemos visto anteriormente, los que solamente contemplan la historia del último salto, se describirían como un predictor (0,1), es decir, no utiliza ningún salto global, y solamente emplea un bit para la historia de esa bifurcación (dos estados: se saltó o no se saltó). Los predictores con más historia, como los de 4 estados vistos anteriormente, serían del tipo (0,2), pues utilizan 2 bits para codificar los 4 estados posibles que describen la historia. Predicción Dinámica - 21

22 En esta página y las dos siguientes se muestra cómo serían las tablas de los predictores globales de tres configuraciones distintas: (1,1), (1,2) y (2,2). En el predictor (1,1) que mostramos arriba, se dispone de una tabla de predicción para las últimas instrucciones de salto ejecutadas, indexadas por su dirección en memoria. Cada entrada, además de la dirección de la instrucción, contiene dos campos, correspondientes a si el último salto global se tomó o no se tomó. A su vez, cada uno de estos dos campos contiene un predictor local de un bit, correspondiente a la propia instrucción de salto. La predicción local de un bit indica si para la predicción global elegida, interesa tomar o no tomar el salto. Para elegir la rama SI o NO del último salto global, solamente hay que tener un registro de 1 bit en el que se guarda el comportamiento de la última instrucción de salto ejecutado, indicando si el salto se tomó o no. En general, para un predictor global (m,n), simplemente hay que disponer de un registro de desplazamiento de m bits en el que se van guardando los comportamientos (salto - no salto) de las últimas m instrucciones de bifurcación. Con estos m bits se indexa dentro de la tabla de predicción, dentro de la entrada correspondiente a la dirección de la instrucción de salto cuyo comportamiento se quiere predecir. Predicción Dinámica - 22

23 En el predictor (1,2), se dispone igualmente de una tabla de predicción para las últimas instrucciones de salto ejecutadas, indexada por su dirección en memoria. Como en el caso (1,1), cada entrada contiene dos campos, correspondientes a si el último salto global se tomó o no se tomó. Ahora, con el predictor (1,2), cada campo de la tabla contiene dos bits, correspondientes a un predictor local de 2 bits como el visto en el Buffer de Predicción de Saltos. Predicción Dinámica - 23

24 Obsérvese que cuando se considera un predictor global que considera los dos últimos saltos globales, las combinaciones de historia de estos dos saltos son las 4 siguientes: No se tomaron ninguno de los dos (No, No) No se tomó el primero y sí el segundo (No, Si) Se tomó el primero, pero no el segundo (Si, No) Se tomaron los dos saltos (Si, Si) Como en los casos anteriores, para cada una de estas entradas de la tabla se dispone de dos bits que se corresponden con los de los predictores locales de 2 bits vistos en el Buffer de Predicción de Saltos. El tamaño que ocupa el campo de estado en una tabla de predicción de saltos, para una predicción correlacionada del tipo (m,n), es el siguiente: Nº bits utilizados = 2 m x n x nº de entradas en la tabla Ahora se utiliza una mezcla de información global (últimas 2 instrucciones de salto) más el autómata de predicción local simple de la propia instrucción de salto en ejecución. Estos esquemas de predicción global pretenden aprovechar la información propia del contexto en el que se encuentra la instrucción de salto actual. Predicción Dinámica - 24

25 Existe la posibilidad de definir esquemas de predicción a partir de la hibridación de otros, de forma que para cada instrucción de salto se selecciona el esquema más adecuado en cada caso. Un ejemplo de estos predictores híbridos son los predictores adaptativos o por torneo (tournament predictors). Predicción Dinámica - 25

26 Los predictores adaptativos (tournament predictors) utilizan un esquema de predicción local y otro global, y seleccionan la predicción de uno de ellos según el estado de un contador de saturación o diagrama de estados visto en Buffer de Predicción de Saltos, en el que se requiere un cierto número de fallos consecutivos para cambiar de estrategia. Por ejemplo, se toma el predictor global con los estados 00 y 01, y el predictor local con los valores 10 y 11. Si se parte de elegir el comportamiento del predictor global, ante dos fallos consecutivos, se cambia al predictor local. Igualmente, si se producen dos fallos consecutivos del predictor local, se cambia a la estrategia del predictor global. Predicción Dinámica - 26