Diseño de fragmentación vertical

Transcripción

1 Diseño de fragmentación vertical Diseño de Fragmentación Vertical El objetivo de la fragmentación vertical es particionar una relación en un conjunto de relaciones mas pequeñas de tal manera que muchas aplicaciones de usuarios corran en un solo fragmento. La fragmentación vertical es mas complicada que la fragmentación horizontal. Esto es debido al número total de posibles de maneras de fragmentar una tabla crece exponencialmente. Por ejemplo: En fragmentación horizontal, si el número total de predicados simples en P es n, existen 2 n posibles predicados miniterminos que pueden ser definidos. En fragmentación vertical, si una relación tiene m atributos no primarios, el número de posibles fragmentos es igual a B(m), el cuál es el enésimo número Bell. Para valores grandes de m, B(M) aprox. m m ; por ejemplo: si m=10, B(10)=115,000; si m=15, B(15)=10 9 ; para m=30, B(30) = 10 23

2 Dos enfoques heurísticos existen para fragmentación vertical: 1. Agrupación: alcance en el cuál atributos son progresivamente agregados para constituir fragmentos. 2. Particionamiento: alcance en el cuál las relaciones globales son progresivamente divididas en fragmentos En ambos casos en cada iteración buscan la mejor opción factible basándose en fórmulas que indican cuál es la mejor agrupación o particionamiento posible. Requerimientos de información de la fragmentación vertical afinidad de atributos Afinidad de atributos nos indica que tan relacionados está los atributos respecto de las aplicaciones. El requerimiento principal de información relacionado a las aplicaciones es su frecuencia de acceso. Establescamos lo siguiente: Q = { q 1, q 2,..,q q } aplicaciones. R (A 1, A 2,.., A n ) conjunto de querys de las relación. Para cada query q i y cada atributo A J asociamos un valor de uso de atributo que definiremos como: 1 si A J es referenciado por q i use (q i, A J ) = 0 si A J no es referenciado por q i

3 Ejemplo 1: Considere la sig. tabla: J ( NoJ, nombrej, pto, cd) Y los sigs. querys: q1: SELECT pto q2: SELECT nombrej, pto FROM J FROM J WHERE NoJ = $value q3: SELECT nombrej q4: SELECT SUM (pto) FROM J FROM J WHERE cd = $value WHERE cd = $value Denotemos a: A 1 = NoJ ; A 2 = nombrej; A 3 = pto ; A 4 = cd. El valor de uso de cada atributo es mostrado en la siguiente matriz: A 1 A 2 A 3 Q A 4 Q Q Q Matriz de Uso de atributos Estos valores no representan el peso de las frecuencias de acceso de las aplicaciones, esta puede ser incluida en la definición de la medida de afinidad de atributos, aff(a i, A j ), que mide el grado de enlazamiento entre dos atributos de una relación de acuerdo a como ellos son accesados por las aplicaciones y se define de la sig. manera: Aff(A i, A j ) = Σ Σ ref l (q k ) acc l (q k ) k use(q k,a i )=1^ use(q k, A j )=1 S l

4 Donde: ref l (q k ) es el número de accesos a los atributos (A I,A j ) para cada ejecución de la aplicación q k en el sitio S l. acc l (q k ) es la frecuencia con que una aplicación q k se ejecuta en el sitio S l. El resultado es una matriz n*n, que llamaremos la matriz de afinidad de atributos. Ejemplo 2 Continuemos con el ejemplo 1; por simplicidad establescamos ref l (q k ) = 1 para todo q k y S l. Establezcamos las siguientes frecuencias de las aplicaciones. acc 1 (q 1 ) = 15 acc 2 (q 1 ) = 20 acc 3 (q 1 ) = 10 acc 1 (q 2 ) = 5 acc 2 (q 2 ) = 0 acc 3 (q 2 ) = 0 acc 1 (q 3 ) = 25 acc 2 (q 3 ) = 25 acc 3 (q 3 ) = 25 acc 1 (q 4 ) = 3 acc 2 (q 4 ) = 0 acc 3 (q 4 ) = 0 La afinidad entre A 1 y A 3 puede ser calculada de la sig. manera: Aff(A 1, A 3 ) = Σ Σ acc l (q k ) = acc 1 (q 1 ) + acc 2 (q 1 ) + acc 3 (q 1 ) = = 45 La matriz de afinidad (AA) es la sig. A 1 A 2 A 3 A A 4 A A A

5 La matriz de afinidad nos ayudará en el proceso de fragmentación, el cuál en forma general constará de dos pasos: 1.- Agrupar aquellos atributos con mayor afinidad. 2.- Dividir la relación de acuerdo a la agrupación. Algoritmo de Agrupación Un algoritmo de enlace de energía (BEA) deberá ser usado para esta actividad. El algoritmo BEA toma como entrada la matriz de afinidad de atributos (AA), permuta sus renglones y columnas y genera una matriz de afinidad agrupada (CA). Las permutaciones son realizadas de tal manera que se maximize la siguiente medida de afinidad global (AM) : n n AM = Σ Σ aff(a i,a j ) [aff(a i,a j-1 )+aff(a i,a j+1 )+aff(a i-1,a j ) + aff(a i+1,a j )] i = 1 j =1 Donde: aff(a 0,A j ) = aff(a i,a 0 )=aff(a n+1,a j ) = aff(a i,a n+1 ) = 0 Debido a que la matriz AA es simétrica, AM se puede definir: n n AM = Σ Σ aff(a i,a j ) [aff(a i,a j-1 )+aff(a i,a j+1 )] i = 1 j =1

6 El algoritmo BEA (para generar la matriz CA): Inicio CA(*,1) = AA (*,1) CA(*,2) = AA(*,2) índice = 3 Mientras índice <= n haz Para i haz desde 1 hasta (índice -1) contribucion(c i-1, C indice, C i ) /* C i es la columna i */ fin_para contribución(c índice-1, C índice, C índice+1 ) loc= colocación dada por máximo valor de contribución Para j haz desde índice hasta (loc+1) en paso de -1 CA(*, j) = CA(*, j-1) fin_para CA(*,loc) = AA(*,índice) índice = índice +1 fin_mientras ordena los renglones de acuerdo al orden relativo de las columnas fin { BEA} Donde contribución(a i,a k,a j ) = 2 bond(a i,a k ) + 2 bond(a k,a j ) - 2 bond(a i,a j ) Donde n bond(a x,a y ) = Σ aff(a z,a x ) * aff(a z,a y ) z = 1 Ejemplo 3: Considere la matriz AA y calculemos la contribución de mover el atributo A 4 entre los atributos A 1 y A 2 : contribución(a 1,A 4,A 2 ) = 2bond(A 1,A 4 )+2bond(A 4,A 2 ) - 2bond(A 1,A 2 ) 2bond(A 1,A 4 ) = 2 (45*0 + 0* *3 + 0*78) = 270 2bond(A 4,A 2 ) = 2 (0*0 + 75*80 + 3*5 + 78*75) = bond(A 1,A 2 ) = 2 (45*0 + 0* *5 + 0*75) = 450 contribución(a 1,A 4,A 2 ) = = 23550

7 Ejemplo 4: Considere la relación J y la matriz de afinidad AA del ejemplo 2. Siguiendo el algoritmo BEA Inicialización de CA CA índice = 3 i = 1 contribución(c 0,A 3,C 1 ) = i = 2 contribución(c 1,A 3,C 2 ) = contribución(c 2,A 3,C 4 ) = loc = 2 { colocamos a atributo 3 en columna 2}

8 índice = 4 i = 1 contribución(c 0,A 4,C 1 ) = 270. i = 2 contribución(c 1,A 4,C 2 ) = i = 3 contribución(c 2,A 4,C 3 ) = contribución(c 3,A 4,C 5 ) = loc = 4 { colocamos a atributo 4 en columna 4} Ordenando renglones de acuerdo a orden de columnas CA (final)

9 Partición de la matriz CA El objetivo de la actividad de división es encontrar un conjunto de atributos que sean accedidos por la mayor cantidad de distintas aplicaciones. Considere la sig. matriz CA; si un punto a lo largo de la diagonal es establecido, dos conjuntos de atributos son identificados. Un conjunto { A 1,A 2,..,A i }, denotado por TA, está colocado en la esquina superior izquierda y el segundo conjunto { A i+1,..,a n }, denotado BA, está en la esquina inferior derecha. Establezcamos lo siguiente: Q = { q 1, q 2,..,q q } -> conjunto de aplicaciones. AQ(q i ) = { A j use (q i, A j ) = 1} -> conjunto de atributos accesados por la aplicacion q i TQ = { q i AQ(q i ) esta incluído en TA} -> conjunto de aplicaciones que accesan solo a TA BQ = { q i AQ(q i ) esta incluído en BA} -> conjunto de aplicaciones que accesan solo a BA OQ = Q - { TQ U BQ} -> conjunto aplicaciones que accesan a TA y BA

10 Si existen n atributos de una relación existen n-1 posibles posiciones donde el punto de división puede ser colocado a lo largo de la diagonal de la matriz CA asociada a esa relación. La mejor posición para la división es aquella que produce los conjuntos TQ y BQ tal que el acceso total a un solo fragmento es maximizado mientras el acceso total a ambos fragmentos es minimizado. Por tanto definimos las siguientes ecuaciones. Σ Σ Σ ε Σ Σ Σ ε Σ Σ Σ ε La solución al problema de optimización es encontrar el punto x (1 <= x <= n-1) tal que la expresión es maximizada. Un aspecto importante es que la expresión anterior define dos fragmentos tal que los valores de CTQ y CBQ son muy parecidos.

11 Existen dos detalles del planteamiento expuesto: 1. La matriz es dividida solamente en dos grupos. Una solución a esta situación es aplicar recursivamente el algoritmo de partición binaria para cada uno de los grupos obtenidos durante la partición previa. 2. Un grupo de atributos pudiera encontrarse en la mitad de la matriz (no en una esquina). Para solucionar esto tendremos que rotar columnas y renglones de la matriz: la columna más a la izquierda de la matriz CA es rotada para que sea ahora la columna mas a la derecha y el renglón de más arriba es rotado hacia el renglón mas bajo. La idea es mover el bloque de atributos a la esquina superior izquierda. Algoritmo de Partición // Entrada: Matriz CA y tabla; Salida: Conjunto de fragmentos F = {f 1, f 2 } inicio mejorz = -infinito repite para i haz desde n-1 hasta 1 en paso de -1 calcula CTQ i calcula CBQ i calcula COQ i z = CTQ i * CBQ i - COQ i 2 si (z > mejor) entonces mejorz = z graba la estructura de la matriz rotada(ta,ba) fin_si fin para llamar a función ROTAR(CA) hasta no mas rotaciones posibles reconstruye CA de acuerdo a la estructura asociada a mejorz. f 1 = P TA (R) U K { K es la llave de R} f 2 = P BA (R) U K F = { f 1, f 2 ) fin {partición} Si aplicamos el algoritmo de partición a la matriz CA obtenida en el ejemplo 4, obtenemos los fragmentos f 1 = { A 1, A 3 } y f 2 = { A 1, A 2, A 4 }, es decir, f 1 = { NoJ, pto} y f 2 = { NoJ, NombreJ, Cd }