Almacenamiento y Recuperación de la Información

Transcripción

1 Almacenamiento y Recuperación de la Información Técnicas de Indexación Indices Dinámicos do Semestre 5 Wenceslao Palma M. <wpalma@inf.utfsm.cl>

2 Indices Dinámicos Indices tipo árbol B Al ser ocupado como estructura de índice no es necesario almacenar el registro en el nodo, basta con la clave y un puntero. La estructura de un nodo es la siguiente: P K K K 3 PTR PTR 3 PTR P P 3... P n

3 fb=3

4 Arbol B + Es una variación de un Arbol B, posee las mismas características pero se distingue en dos aspectos: En los nodos hoja se encuentran las referencias a los archivos de datos. En los nodos intermedios se almacenan las claves que corresponden al mayor valor que se puede alcanzar a través del sub-árbol izquierdo de la clave

5 Esta alternativa de indexación es importante ya que permite la posibilidad de dar un mejor soporte a consultas basadas en rangos o categorías y ser una alternativa más eficiente que un índice basado en árbol B y que la combinación Ordenamiento Externo y Mezcla + Búsqueda Binaria. Incluso es posible construir un índice B+ Clusterizado. En el caso de PostgreSQL existe la instrucción CLUSTER indexname ON tablename

6 En PostgreSQL existe la posibilidad de definir qué tipo de índices utilizar: b-tree (Leghman Yao High-Concurrency b-tree) r-tree (Guttman's quadratic split algorithm) GiST (Generalized Search Tree) hash (Litwin's linear hashing)

7 Ejercicio: Se tiene un archivo de registros cada uno de 5 bytes. Justifique cual es la mejor elección, para la recuperación de registros, si se desea construir un índice sobre la clave del archivo (9 bytes)? Para realizar la justificación considere índice basado en arbol B (punters de 3 bytes).. índice primario. un disco de 36 RPM, 8ms (seek) y 9 bytes/ms, bloques de KB. Caso : Indice primario área de datos factor de bloqueo: 4/5 = 4 cantidad ded bloques : /4 = 5 área de índice entradas: 5 factor de bloqueo: 4/=93 cantidad de bloques: 5/93= 538

8 accesos (área de índice + área de datos): log(538) + = tiempo de recuperación, considerando que todos los accesos son en disco: (8+8.3+(4/9))= 98.5ms Caso : Arbol B orden del árbol 3p+(9+3)(p-) <=4 p<= p = 69 con 3 niveles es suficiente. accesos : 3 + = 4 tiempo de recuperación, considerando que todos los accesos son en disco: 4(8+8.3+(4/9))= 8.5 ms Por lo tanto conviene usar árbol B.

9 Ejercicio: Considere un archivo de 3 registros, cada uno de los cuales tiene un tamaño de bytes. La clave de cada registro es de 9 bytes El disco en donde se almacenará tiene bloques de 5 bytes. Cuantos accesos a disco se necesitan si se desea recuperar registros usando un índice basada en un árbol B+ cuyos nodos se llenarán a un 69% de su capacidad? Puntero a nodo es de 6 bytes y el puntero a registro es de 7 bytes. Para el análisis considere las operaciones de : scan completo, búsqueda por igualdad y búsqueda por rango.

10 Indices Hashing Indice basado en hashing extendido. Para buscar k mod d

11 Indice basado en hashing lineal. Es una alternativa al hashing extendible. No es necesario el uso de un directorio. Comienza con d buckets, donde d es el número de bits utlizados para determinar la pertenencia a un bucket. La cantidad ded buckets crece gradualmente. El incremento en la cantidad de buckets puede ser gatillado por la existencia de overflow o cuando se ha alcanzado un factor de carga. El factor de carga fc es el número de registros almacenados dividido por el número de posibles ubicaciones de almacenamiento. El número inicial de buckets n es una potencia de, pero su creciemiento no siempre es en base a una potencia de. El número de ubicaciones de almacenamiento s=#buckets * #reg/bucket El número inicial de registros r es, y se incrementa cuando se inserta un registro. El factor de carga fc = r/s = r/(n*#reg/bucket)

12 Generalmente si fc >= 9% el espacio de almacenamiento se debe incrementar. Algoritmo de inserción se inserta un registro con clave K solo cuando se ha calculado el valor de la función de transformación H se toman los últimos d dígitos de H, recordar que d es la cantidad de dígitos usada para determinar la pertenencia a un bucket. buscar el bucket m donde K debería ser almacenada. si m<n, entonces existe un bucket para almacenar K, si el bucket no tiene espacio usar un bucket de overflow. si m>=n, entonces almacenar K en el bucket m- d- luego de cada inserción chequear si fc < umbral si fc >= umbral entonces incrementar el espacio de almacenamiento (split) considerando lo siguiente: agregar un nuevo bucket (esto podría incrementar d). redistribuir los registros entre el nuevo bucket n=b...b d y el bucket b...b d

13 Ejemplo: considere que el valor H está compuesto de 4 dígitos binarios. Inicialmente se almacenan, y. n=, d=, fb=, r=3 insertar luego de la inserción el fc=4/4 = % --> split!

14 Se agrega el nuevo bucket y se dividen los registros de buckets y d= n=3 r=4 Insertar. <, pero el bucket no tiene espacio --> bucket de overflow d= n=3 r=5

15 Insertar. pero >, entonces se ubica en el bucket m- d- =-= d= n=3 r=6 luego de la inserción el fc=6/6 = % --> split!

16 Se agrega el nuevo bucket y se dividen los registros de buckets y d= n=4 r=6

17 Indices Bitmap Indice Valor-Lista de un componente Corresponde a un cjto de bitmaps, uno por cada valor del dominio del atributo indexado. Cada bitmap tiene una cantidad de bits equivalente al número de registros del archivo que se esté indexando, de modo que cada bit represente un registro según la posición relativa que ambos tengan dentro del archivo o del índice, según corresponda. El i-ésimo bit valdrá si el i-ésimo registro del archivo tiene el valor v en el campo de indexación. A continuación se muestra el contenido de 9 bitmaps que indexan un atributo con dominio [..8] B B B B 3 B 4 B 5 B 6 B 7 B 8 Columna

18 Indice Valor-Lista de n componentes Para disminuir la memoria utilizada se puede realizar una representación en alguna base numérica que requiera menos bits. Considerando el caso anterior se puede tener una representación en base 3 para bajar de 9 a 6 bitmaps, teniendo dos componentes de bitmaps para hacer el almacenamiento. Si el valor a indexar es 8, se puede expresar como x3+, esto indica que en ambos componentes se setea el bit. Si el valor a indexar es 7, se puede expresar como x3+, esto indica que se setea el bit en el segundo componente y el bit en el primer componente B B B B B B

19 Indice codificado por rangos de componente En un esquema de igualdad (valor-lista de componente), se tienen b bitmaps según sea el tamaño del dominio del campo de indexación. En un esquema codificado por rangos, también hay b bitmaps pero la representación de un valor v tiene un valor cero en los v bitmaps más a la derecha y un valor uno en los restantes bitmaps (los que están más a la izquierda). Columna B 8 B 7 B 6 B 5 B 4 B 3 B B B

20 Indice bit-sliced Un índice bit-sliced de un atributo es una proyección de los bits que componen los valores de dicho atributo. Si el atributo A de cierto archivo está definido como un entero de bytes, el índice bit-sliced estará compuesto de 6 bitmaps. Si el valor es cuya representación binaria es B 5..B B 9 B 8 B 7 B 6 B 5 B 4 B 3 B B B... También es posible construir un índice de n componentes y otro codificado por rangos. En el caso de n componentes, si la base es, el se puede escribir como x + x +

21 Criterios para la selección de índices El diseño físico de una BD tienen como actividad la elección de las estructuras de almacenamiento y formas de acceso a los datos, con el objetivo de obtener un buen rendimiento. Al momento del diseño físico es importante considerar: Tiempo de respuesta: desde la entrada del proceso hasta la respuesta. Espacio en disco: dimensionar el espacio requerido. Rendimiento del sistema: throughput. La tareas necesarias son: Analizar las consultas sobre los datos : archivos involucrados, atributos sobre los cuales existen condiciones de selección, atributos sobre los cuales hay condiciones de selección que involucran a registros de otros archivos. Análisis de frecuencia esperada de la invocación de la consulta Análisis de posibles restricciones de tiempo de las consultas. Análisis de la frecuencia esperada de operaciones de actualización.

22 Método para realizar el diseño físico de una BD Una opción común es mantener los registros desordenados y crear muchos índices secundarios sobre atributos que se utilizan para operaciones de búsqueda y join. Otra alternativa es: escoger un atributo usado frecuentemente y definirlo como campo de ordenamiento para crear un índice primario o agrupado (según corresponda) sobre él. por cada atributo, que no es el campo de ordenamiento, y que es frecuentemente utilizado en operaciones de búsqueda y join, especificar un índice secundario. si las actualizaciones son muy frecuentes se debe reducir el número de índices. si un atributo es usado frecuentemente en operaciones de búsqueda y join pero no para recuperar registros en orden, un archivo tipo hashing puede ser utilizado, de lo contrario se puede usar árbol b+.