Adaptación: Julio J. Águila G. 1 Autores: Enriques Arias 2, Diego Cazorla 1

Transcripción

1 Adaptación: 1 Autores: Enriques Arias 2, Diego Cazorla 1 1 Departamento de Ingeniería en Computación-UMAG 2 Departamento de Sistemas Informáticos-UCLM martes 10 de marzo de 2015 (UMAG) martes 10 de marzo de / 37

2 1 2 3 (UMAG) martes 10 de marzo de / 37

3 1 2 3 (UMAG) martes 10 de marzo de / 37

4 Objetivo Incremento de las prestaciones de los algoritmos secuenciales habituales mediante la optimización en el uso de la jerarquía de memoria, de tal manera que se reduzca el tráfico entre el sistema de memoria central y el sistema de antememoria (caché). (UMAG) martes 10 de marzo de / 37

5 Ámbito de aplicación Sistemas monoprocesadores. Sistemas multiprocesadores con memoria compartida. (UMAG) martes 10 de marzo de / 37

6 Motivación Las aplicaciones pueden clasificarse en tres categorías en función de los recursos computacionales que requieren: Limitadas por la E/S: requieren realizar muchas operaciones de E/S. Limitadas por la memoria central: requieren un uso intensivo del sistema de memoria central. Los problemas relacionados con el álgebra lineal pertenecen a esta categoría. Limitadas por el procesador: requieren un uso intensivo del procesador. (UMAG) martes 10 de marzo de / 37

7 La diferencia entre la velocidad del procesador y la velocidad de acceso a la memoria central es cada vez mayor. En los computadores actuales el cuello de botella suele estar en el acceso al sistema de memoria central. Es necesario rediseñar los algoritmos para intentar conseguir que el ĺımite resida en el procesador y no en el sistema de memoria central. (UMAG) martes 10 de marzo de / 37

8 Niveles habituales de la jerarquía de memoria Registros de memoria del procesador. Memoria dentro del circuito del procesador (cache-on-chip o L1). Memoria externa al circuito del procesador (caché L2). Memoria principal o RAM. Memoria en disco o memoria virtual (disco duro). Objetivo Minimizar el tráfico de datos entre la memoria principal y la caché. (UMAG) martes 10 de marzo de / 37

9 1 2 3 (UMAG) martes 10 de marzo de / 37

10 Aplicaciones Gran número de aplicaciones en Ciencias e Ingeniería puede reducirse a la resolución de problemas numéricos algebraicos. La mayor parte de los problemas del álgebra lineal puede formularse en función de unas pocas operaciones básicas: producto de, resolución de sistemas, etc. Una implementación eficiente de estas operaciones permite obtener buenas prestaciones en numerosos problemas. (UMAG) martes 10 de marzo de / 37

11 En los años 70 un grupo de investigadores desarrolla un conjunto de rutinas que implementan las operaciones más habituales relacionadas con vectores. BLAS: Basic Linear Algebra Subroutines. Esta primera implementación de BLAS se rebautizó posteriormente como BLAS level 1 (BLAS-1) porque el costo de las operaciones es de O(n) flops. (UMAG) martes 10 de marzo de / 37

12 Ventajas de BLAS Estabilidad numérica: se tiene en cuenta aspectos matématicos y de precisión del computador que el programador no suele considerar. Portabilidad de los programas. Legibilidad de los programas. (UMAG) martes 10 de marzo de / 37

13 En los años 80 se desarrollaron BLAS-2 y BLAS-3 (1990). BLAS level 2 and 3 BLAS level 2 (BLAS-2): considera las operaciones matriz-vector más habituales. BLAS level 3 (BLAS-3): considera operaciones matriz-matriz. (UMAG) martes 10 de marzo de / 37

14 (UMAG) martes 10 de marzo de / 37

15 1 2 3 (UMAG) martes 10 de marzo de / 37

16 Notación matricial: matriz de dimensión m n a a 1n A R m n A = (a ij ) =.....,a ij R. a m1... a mn Los elementos de la matriz pueden denotarse mediante: a ij, [A] ij, A(i,j). (UMAG) martes 10 de marzo de / 37

17 Operaciones con Transposición: C = A T c ij = a ji. Suma: C = A+B c ij = a ij +b ij. Producto escalar-matriz con α R: C = αa c ij = αa ij. Producto matriz-matriz con A R m r B R r n : k=r C = AB c ij = a ik b kj, C R m n. k=1 (UMAG) martes 10 de marzo de / 37

18 Notación vectorial: vector de dimensión n x R n x = x 1. x n,x i R. Los elementos de x pueden denotarse x i o x(i). Se identifica R n con R n 1, es decir, se considera vectores columna. Un vector fila se representa mediante x T. Si se hubiera considerado R 1 n se tría vectores fila: x R 1 n x = ( x 1... x n ). (UMAG) martes 10 de marzo de / 37

19 Operaciones con vectores Producto escalar-vector con α R: z = αx z i = αx i. Suma: z = x +y z i = x i +y i. Producto escalar (dot product) con x R n y R n : i=n c = x T y c = x i y i, c R. i=1 Producto interno: z = x y z i = x i y i. Saxpy (scalar alpha x plus y) con α R: z = αx +y z i = αx i +y i. (UMAG) martes 10 de marzo de / 37

20 Operaciones con vectores y Producto externo de vectores (outer product) con x R m y R n : A = xy T a ij = x i y j, A R m n. Producto matriz-vector con A R m n x R n : k=n z = Ax z i = a ik x k, z R m. k=1 Gaxpy (general A x plus y) con A R m n x R n y R m : k=n z = Ax +y z i = a ik x k +y i, z R m. k=1 (UMAG) martes 10 de marzo de / 37

21 Dados los vectores x R n e y R n, el siguiente algoritmo calcula c R como c = x T y. Algoritmo dot (producto escalar): c = x T y function: c = dot( x, y) c = 0 n = length(x) for i = 1:n c = c + x(i) * y(i) dot Es una operación O(n), lineal en la dimensión del vector. (UMAG) martes 10 de marzo de / 37

22 Dados los vectores x R n e y R n, y un escalar α R, el siguiente algoritmo calcula el vector z R n como z = αx +y. Algoritmo saxpy (scalar alpha x plus y): z = αx +y function: z = saxpy( α, x, y) n = length(x) for i = 1:n z(i) = α * x(i) + y(i) saxpy Es también una operación O(n), lineal en la dimensión del vector. (UMAG) martes 10 de marzo de / 37

23 Dados los vectores x R m e y R n, el siguiente algoritmo calcula la matriz A R m n como A = xy T. Algoritmo outer (producto externo de vectores): A = xy T function: A = outer ij( x, y) m = length(x) n = length(y) for i = 1:m for j = 1:n A(i,j) = x(i) * y(j) outer ij Es una operación O(m 2 ). Hay una versión por columnas outer ji, intercambiando el orden de los bucles. Lo puede visualizar? (UMAG) martes 10 de marzo de / 37

24 Dados una matriz A R m n y un vector x R n, el siguiente algoritmo calcula el vector z R m como z = Ax, recorrio la matriz A por filas. Algoritmo matvec (producto matriz-vector): z = Ax function: z = matvec ij( A, x) m = rows(a) n = cols(a) z(1:m) = 0 for i = 1:m for j = 1:n z(i) = z(i) + A(i,j) * x(j) matvec ij Es una operación O(m 2 ). Hay una versión por columnas matvec ji, intercambiando el orden de los bucles. (UMAG) martes 10 de marzo de / 37

25 Una matriz puede representarse como una pila de vectores fila: A R m n A = a 1 T. a m T,a k R n. Algoritmo matvec (producto matriz-vector): z = Ax function: z = matvec ij( A, x) m = rows(a) z(1:m) = 0 for i = 1:m z(i) = a i T x producto escalar (dot) matvec ij Nótese que en cada iteración, la expresión implica a los n elementos de cada vector. (UMAG) martes 10 de marzo de / 37

26 Una matriz puede representarse como un conjunto de vectores columna: A R m n A = ( a 1... a n ),ak R m. Algoritmo matvec (producto matriz-vector): z = Ax function: z = matvec ji( A, x) m = rows(a) n = cols(a) z(1:m) = 0 for j = 1:n z = x(j)a j +z saxpy matvec ji Nótese que en cada iteración, los m elementos de z actúan como acumuladores. (UMAG) martes 10 de marzo de / 37

27 La notación dos puntos (colon notation) Permite representar filas y columnas de una matriz con una notación simplificada. La fila k-ésima de una matriz A R m n se representa mediante: A(k,:) = ( a k1... a kn ). La columna k-ésima de una matriz A R m n se representa mediante: A(:,k) = a 1k. a mk. (UMAG) martes 10 de marzo de / 37

28 Utilizando la notación dos puntos, los algoritmos del producto matriz-vector se pueden denotar de la siguiente forma: matvec ij for i = 1:m z(i) = A(i,:) x O también: for i = 1:m z(i) = dot(a(i,:),x) matvec ji z(1:m) = 0 for j = 1:n z = x(j) A(:,j) + z O también: z(1:m) = 0 for j = 1:n z = saxpy( x(j), A(:,j), z) (UMAG) martes 10 de marzo de / 37

29 Acceso a por filas/columnas La diferencia entre matvec ij y matvec ji es el modo de acceso a la matriz. Depio del lenguaje utilizado será preferible utilizar un acceso por filas (matvec ij) o por columnas (matvec ji). Por ejemplo: Por filas (row major): es el que utiliza C. Por columnas (column major): es el que utiliza Fortran. (UMAG) martes 10 de marzo de / 37

30 Dados los vectores x R n e y R m, y una matriz A R m n, el siguiente algoritmo calcula el vector z R m como z = Ax +y. Algoritmo gaxpy (general A x plus y): z = Ax +y function: z = gaxpy( A, x, y) n = cols(a) z = y for j = 1:n z = A(:,j) x(j) + z saxpy gaxpy Nótese que el vector z se actualiza con cada iteración mediante una secuencia de operaciones saxpy. Así, gaxpy es una generalización de saxpy. (UMAG) martes 10 de marzo de / 37

31 Nivel de una operación dot y saxpy son ejemplos de operaciones de nivel 1. Estas operaciones son lineales en la dimensión de la operación: O(n). gaxpy es de nivel 2. Es cuadrática en la cantidad de datos O(m n) y también cuadrática en la cantidad de trabajo O(m n). Operaciones de nivel 3 son aquellas que implican productos matriz-matriz. Estas operaciones son cuadráticas en la cantidad de datos y cúbicas en la cantidad de trabajo. (UMAG) martes 10 de marzo de / 37

32 Dadas dos 2 2, A y B, el cálculo del producto de C = AB puede realizarse por diferentes procedimientos. Versión producto escalar (dot) ( Versión saxpy ) ( ) = ( ) ( ) ( ) = ( ( ) ( ) ( ) ( ) ) Versión producto externo (outer) ( ) ( ) = ( 1 3 ) ( 5 6 ) + ( 2 4 ) ( 7 8 ) (UMAG) martes 10 de marzo de / 37

33 Dadas dos, A R m r y B R r n, se calcula la matriz C = AB mediante la operación producto escalar (dot) entre las filas de A y las columnas de B. Este es el método tradicional. Algoritmo matmat ijk function: C = matmat ijk( A, B) m = rows(a) r = cols(a) n = cols(b) C(1:m,1:n) = 0 for i = 1:m for j = 1:n for k = 1:r C(i,j) = C(i,j) + A(i,k) * B(k,j) matmat ijk (UMAG) martes 10 de marzo de / 37

34 Dadas dos, A R m r y B R r n, se calcula la matriz C = AB como una combinación lineal de columnas de A mediante la operación gaxpy. Algoritmo matmat jki function: C = matmat jki( A, B) m = rows(a) r = cols(a) n = cols(b) C(1:m,1:n) = 0 for j = 1:n for k = 1:r for i = 1:m C(i,j) = C(i,j) + A(i,k) * B(k,j) matmat jki (UMAG) martes 10 de marzo de / 37

35 Dadas dos, A R m r y B R r n, se calcula la matriz C = AB como el producto externo de C = C +a k b k T, mediante la operación outer. Algoritmo matmat kji function: C = matmat kji( A, B) m = rows(a) r = cols(a) n = cols(b) C(1:m,1:n) = 0 for k = 1:r for j = 1:n for i = 1:m C(i,j) = C(i,j) + A(i,k) * B(k,j) matmat kji (UMAG) martes 10 de marzo de / 37

36 En multiplicaciones matriz-vector tenemos 2 bucles y 2! formas de ordenarlos. En multiplicaciones matriz-matriz tenemos 3 bucles y 3! formas de ordenarlos. Orden Bucle Bucle Acceso en del bucle interno medio bucle interno ijk dot vector matriz A filas, B columnas jik dot matriz vector A filas, B columnas ikj saxpy gaxpy fila B filas jki saxpy gaxpy columna A columnas kij saxpy outer fila B filas kji saxpy outer columna A columnas (UMAG) martes 10 de marzo de / 37

37 Adaptación: 1 Autores: Enriques Arias 2, Diego Cazorla 1 1 Departamento de Ingeniería en Computación-UMAG 2 Departamento de Sistemas Informáticos-UCLM martes 10 de marzo de 2015 (UMAG) martes 10 de marzo de / 37