Modelo Físico. M. Andrea Rodríguez-Tastets. II Semestre Universidad de Concepción,Chile andrea

Transcripción

1 Bases de Modelo Físico M. -Tastets Universidad de Concepción,Chile andrea de un solo II Semestre

2 Bases de de un solo de un solo

3 Bases de Objetivos de la Unidad Entender el modelo físico y sus consecuencias en el rendimiento de un motor de base de datos relacional de un solo

4 Bases de Modelo Físico Define conceptos para implementar el modelo lógico Implementación integrado de un modelo de datos con procesamiento de consulta. Considera aspectos de eficiencia y tolerancia a fallas Por qué aprender un Modelo Físico? Para poder escoger entre DBMS Para usar las facilidades de un DBMS para mejoras de perfeccionamiento. Por ejemplo, una consulta está corriendo muy lento, uno puede crear un índice. Si la actualización es muy lenta uno elimina el índice y lo reconstruye después de las actualizaciones. de un solo

5 Bases de Almacenamiento Externo Discos: Pueden recuperar páginas aleatorias con un costo fijo, pero leer muchas páginas consecutivas es más lento que leerlas en forma aleatoria. Cintas: Pueden recuperar páginas sólo en forma secuencial. archivo: Método de ordenar archivos de registros en almacenamiento externo. Record id (rid) es suficiente para localizar físicamente un registro índices, son estructuras de datos que permiten encontrar los id de registros con valores dados en campos de llaves de búsqueda de índices Arquitectura: El administrador de buffer mueve páginas de memoria secundaria a principal. de un solo

6 Bases de Enfoque Básico Dado que las operaciones de E/S son consumidoras de tiempo, la idea es reducir al mínimo el número de accesos a disco. de un solo

7 Bases de El DBMS (SGBD) decide cuál registro necesita y solicita al manejador de archivos que extraiga dicho registro. El manejador de archivos decide cuál página contiene el registro buscado y le solicita al manejador de disco que lea esa página. (Recordar que una página es la unidad de E/S, es decir, es la cantidad de datos transferidos entre el disco y la memoria principal en un solo acceso al disco). de un solo El manejador de disco determina la localización física de la página en el disco y realiza la operación de E/S necesaria.

8 Bases de Solicita registro almacenado DBMS Manejador de archivos Devuelve registro almacenado Solicita página almacenada Operación de E/S en disco Manejador de disco Devuelve página almacenada leídos del disco de un solo Base de Almacenada

9 Bases de Manejador de Disco (1/2) Es un componente del sistema operativo subyacente. Se encarga de todas las operaciones físicas de E/S. Cuando el manejador de archivos necesita la lectura de una página p, el manejador de disco necesita saber dónde está situada esa página en el disco físico. Por lo tanto, maneja la correspondencia entre páginas p y direcciones físicas en el disco. El conjunto de páginas del disco se divide en un subconjunto de páginas ocupadas, con intersección vacía y un conjunto de páginas libres (disponibles). de un solo Cada uno de estos conjuntos tiene un identificador, así como también cada página del disco.

10 Bases de Manejador de Disco (2/2) Las operaciones que realiza el manejador de disco son las siguientes: Leer la página p del conjunto de páginas c Reemplazar la página p dentro del conjunto c Agregar una nueva página p dentro c (obtener una página vacía del conjunto de páginas de espacio libre y devolver el número de página p) Eliminar de c (volver a p al conjunto de páginas de espacio libre). La función principal del manejador de disco es conocida como administración de páginas. de un solo

11 Bases de Manejador de Cada conjunto de páginas contendrá uno o más archivos y cada archivo almacenado tiene un identificador, al igual que los registros. Un archivo es un conjunto de registros Las operaciones que realiza el manejador de archivos son las siguientes: Leer el registro almacenado r del archivo almacenado a Reemplazar r por otro en a Agregar un registro r (devuelve el identificador de registro) Eliminar r de a Crear a Eliminar a de un solo

12 Bases de Registros y tipos de Registros Los datos se almacenan casi siempre en forma de registros. Los registros son un conjunto de valores o elementos de datos relacionados y donde cada uno ocupa uno o más bytes y corresponde a un campo. Una colección de tipos de campos y sus tipos de datos correspondientes constituye una definición de tipo de registro o formato de registro. En aplicaciones recientes de bases de datos, puede ser necesario almacenar datos que consisten en objetos grandes no estructurados, que corresponden a imágenes, flujos de video o audio digitalizado, o texto libro. Estos se denominan BLOB (binary large objects). Por lo general un BLOB se almacenan aparte del registro. de un solo

13 Bases de Tipos de Registros Los registros de un archivo son del mismo tipo, pero uno más campos pueden tener tamaño variable. Los registros de largo fijo facilitan su manipulación, ya que se la localización de campos se determina a partir de esta longitud fija. Para registros de longitud variable, se utilizan caracteres separadores o una secuencian de pares < nombre de campo, valor de campo >. de un solo

14 Bases de Proceso de Carga Base de datos vacía Insertar proveedores P 1, P 2, P 3, P 4 y P 5. Se crea el conjunto de páginas de Proveedores Insertar Productos pr 1, pr 2, pr 3, pr 4, pr 5, pr 6. Se crea el conjunto de páginas de Productos. Insertar un nuevo proveedor P 6. de un solo Eliminar el Proveedor P 2 Insertar un nuevo producto pr 7. Eliminar el Proveedor P 4.

15 Bases de Proceso de Carga 0 1 P 1 2 P 2 3 P 3 4 P 4 5 P 5 6 pr 1 7 pr 2 8 pr 3 9 pr 4 10 pr 5 11 pr Después de la inserción de P 1, P 2, P 3, P 4, P 5, pr 1, pr 2, pr 3, pr 4, pr 5, pr 6. de un solo

16 Bases de Proceso de Carga 0 1 P 1 2 pr 7 3 P P 5 6 pr 1 7 pr 2 8 pr 3 9 pr 4 10 pr 5 11 pr 6 12 P Después de la inserción P 6, eliminar P 2, insertar pr 7 y eliminar P 4. de un solo

17 Bases de Proceso de Carga Si la carga inicial de la base de datos considera un buen agrupamiento, qué pasa después de sucesivas inserciones y eliminaciones? Para garantizar que páginas lógicamente adyacentes lo sean físicamente se utilizan punteros. Así, cada página tendrá un encabezado, que se utiliza como información de control. Este encabezado incluye la dirección física en el disco de la página que sigue a esa página dentro de la secuencia lógica. de un solo

18 Bases de Proceso de Carga 0 x 1 3 P pr P P 5 6 pr pr pr pr pr pr 6 12 x P de un solo

19 Bases de Proceso de Carga La pregunta es entonces, Cómo sabe el manejador de disco dónde están situados los diversos conjuntos de páginas?, Cómo localiza la primera página? Se define en página cero del disco un directorio: Páginas Dirección de inicio Espacio libre 4 Proveedores 1 Productos 6 Así, la función principal del manejador de archivos es la administración de registros almacenados. Los registros almacenados se sitúan en la parte superior de la página. de un solo

20 Bases de archivos Existen varias estructuras de almacenamiento, con diferentes niveles de desempeño, unas más adecuadas que otras, dependiendo del tipo de aplicaciones. Un SGBD, debe manejar varias de estas estructuras, con el objeto de almacenar diferentes porciones de la base de datos en diferentes formas. Alternativas: de pila (orden aleatoria), el cual es adecuado para accesos de barrido (scan) que recuperan todos los registros. ordenados, útil para registros que deben ser recuperados en cierto orden usando índices que aceleran la búsqueda para algunos tipos de registros de un solo

21 Bases de Direccionamiento Calculado Otro tipo de organización primaria de archivos se basa en el direccionamiento calculado o hashing que proporciona un acceso muy rápido a los registros con ciertas condiciones de búsqueda. Consiste en establecer una función de direccionamiento calculado o función de aleatorización que se aplica al valor de direccionamiento calculado o clave y produce la dirección de bloque en disco en el está almacenado el registro. de un solo

22 Bases de Direccionamiento Calculado Interno Se implementa como una tabla hash a través del uso de un array de registros. Supongamos que el intervalo del índice del array va de 0 a M 1, entonces tenemos M casillas cuyas direcciones corresponden a índices del array. de un solo

23 Direccionamiento Calculado Externo para Ficheros de Disco (1/3) Bases de El direccionamiento calculado en ficheros de disco se denomina direccionamiento calculado externo. El espacio de direccionamiento de destino se divide en cubetas, cada una de las cuales contiene varios registros. Cada cubeta es un bloque en disco o bien un grupo de bloques contiguos. La función hash establece una correspondencia entre la clave y el número de cubeta relativo, en vez de asignar una dirección absoluta de bloque a la cubeta. de un solo Una tabla que se encuentra en la cabecera del fichero convierte el número de cubeta en la dirección de bloque de disco correspondiente. El problema de colisiones en menos grave cuando se usan cubetas porque podrán asignarse a la misma cubeta tantos registros como quepan en la misma, sin causar problemas.

24 Direccionamiento Calculado Externo para Ficheros de Disco (2/3) Bases de Para cuando el problema de colisiones con cubetas persista, se puede emplear una variante del encadenamiento en la que mantenemos en cada cubeta un puntero a una lista enlazada de registros de desbordamiento para esa cubeta. Los punteros de la lista enlazada deberán ser punteros a registros (dirección de bloque y posición relativa). El direccionamiento hashing ofrece el acceso más rápido posible para recuperar registros arbitrarios, dado el valor de su campo de direccionamiento. de un solo Aunque la mayor parte de las funciones hash buenas no mantienen el orden de los registros de los valores de campo, algunas de ellas lo hacen. Un ejemplo de una función hash que preserva el orden es tomar los tres dígitos del campo número de factura como función hash y mantener los registros ordenados por factura dentro de cada cubeta.

25 Bases de Direccionamiento Calculado Externo para Ficheros de Disco (3/3) El esquema descrito anteriormente se denomina hashing estático, porque se asigna un número fijo de cubetas, lo que es limitante al instante de manejar en forma óptima el espacio ya que limita la espansión o contracción de archivos dinámicamente. Dos opciones a eso son: direccionamiento hash extensible o lineal. de un solo

26 Bases de Direccionamiento Calculado Externo Extensible (1/2) Se mantinen un tipo de directorio (array de 2 d direcciones de cubeta) donde d es a profundidad global del directorio. El valor entero que corresponde a los primeros d bits (los más significativos) de un valor hash se usan como índice de array para determinar una entrada del directorio, y la dirección contenida en esa entrada determinará la cubeta en la se almacena el registro. Varias posiciones del directorio que tengan los mismo d bits en sus valores hash pueden contener la misma dirección de cubeta si todos los registros que se direccionan en esas posiciones caben en una sola cubeta. Una profundidad local d especifica el número de bits en el que se basa el contenido de la cubeta. de un solo

27 Bases de Direccionamiento Calculado Externo Extensible (2/2) El valor d se puede aumentar o reducir en uno cada vez, con lo cual se duplicará o reducirá a la mitad el número de entradas de array de directorio. Se duplicará si se desborda una cubeta con profundidad local d que es igual a la profundidad global d. Se podrá reducir después de varias eliminaciones. La recuperación de un registro requerirá dos accesos, uno al directorio y otro a la cubeta. de un solo

28 Bases de Direccionamiento Calculado Lineal(2/2) La idea es permitir que el fichero aumente o disminuya dinámicamente sin necesidad de un directorio. Supongamos que el fichero comienza con M cubetas e utiliza la función h(k) = KmodM, la cual se denomina función hash inicial. El uso de cadenas de desbordamiento es necesario. Pero cuando se produce un desborde, la primera cubeta del fichero (cuberta 0) se divide en dos: la cubeta original 0 y una nueva cubeta M al final del fichero. Los registros que originalmente estaban en la cubeta 0 se distribuyen en las dos cubetas basada en h i+1 (K) = Kmod2M. En forma general, se definen hashing sucesivas: h i+j (K) = Kmod(2 j M). La división se puede controlar monitoreando el factor de carga en vez de sólo cuando se produce desbordamiento. El factor de carga de un fichero se determina: c = r/(fbl N), donde r el número actual de registros, fbl el número máximo de registros en una cubeta y N el número actual de cubetas. La división se produce cuando la carga excede un umbral. de un solo

29 Agrupamiento Bases de Consiste en almacenar juntos físicamente los registros que tienen una relación lógica entre sí y no necesariamente que sean del mismo tipo. Por ejemplo, si se quiere leer dos registros r 1 y r 2, almacenados en las páginas p 1 y p 2, respectivamente, se tiene que: Si p 1 y p 2 son la misma página, el acceso a r 2 no requerirá E/S física alguna. Si p1 y p 2 son distintas, pero cercanas físicamente, r 2 requerirá una operación de E/S física, pero el tiempo será pequeño, ya que las cabezas de lectura/escritura estarán cerca. Agrupamiento intra archivo: Dentro de un archivo. Por ejemplo, la lectura secuencial de todos los proveedores. Cada registro está cerca de otro. Agrupamiento inter archivos: Varios archivos. Registros alternados, por ejemplo los archivos proveedor y archivos de productos. Un SGBD debe permitir especificar diferentes clases de agrupamiento para un archivo determinado. de un solo

30 Bases de son estructuras adicionales al archivo que aceleran la selección sobre los campos de la clave de búsqueda. Cualquier subconjunto de los campos de la relación pueden ser una clave (llave) para el índice sobre un relación La clave de búsqueda no es lo mismo que la clave de un relación. Un índice contiene una colección de entradas de datos y soporta la recuperación eficiente de todas las entradas de datos k con un valor de clave dado k. La ventaja principal de los índices es que agilizan la obtención de datos, reduciendo el número de operaciones de E/S. La desventaja es que la actualización de los archivos se hace más lenta. Los tipos de índices más usados se basan en ficheros ordenados, es decir, se pueden hacer búsquedas binarias sobre archivo de índice (índices de un sólo nivel) y estructuras en árbol ( índices multiniveles, árboles B + ). Los índices se pueden construir basándose en hashing o otra estructuras de datos de búsqueda. de un solo

31 Bases de Tipos de de un primarios: está especificado sobre el campo clave de ordenación de un archivo de registros ordenados. de agrupación: está especificado sobre un campo de ordenación que no es clave (se pueden repetir). Cabe destacar que un archivo puede tener como máximo un campo de ordenación física, así que puede tener un índice primario o de agrupación pero no ambos. secundario: se puede especificar sobre cualquier campo que no sea el de ordenación. de un solo

32 Bases de Primarios Es un archivo de registros de largo fijo con dos campos: clave y una dirección de bloque. Hay una entrada de índice en el archivo de índice por cada bloque de datos. Esta entrada tiene la clave del primer registro de un bloque y un puntero a ese bloque < K i, P i >. Estos índices se dicen densos si es que tienen una entrada de índice por cada cada valor de la clave de búsqueda; de lo contrario, se llaman dispersos. Un problema importante de estos índices son la eliminación e inserción, ya que requiere de reordenación del archivo y la actualización de las entradas de índices. Una solución a este problema radica en el uso de archivos o listas de desbordamiento. de un solo

33 Bases de de Agrupamiento Es un archivo odenado con dos campos: campo del mismo tipo del campo de agrupación y una dirección de bloque. Hay una entrada de índice en el archivo de índice por cada valor distinto del campo de agrupación y un puntero al primer bloque del archivo que tenga un registro con ese valor en el campo de agrupación. Estos índices son un ejemplo de índices no densos. La inserción y eliminación siguen causando problemas. de un solo

34 Bases de Secundario Es también un archivo odenado con dos campos: campo del mismo tipo del campo de indexación (que no es el de ordenación) y una dirección de bloque o puntero a registro. En el caso que la clave de indexación sea una clave alternativa, existe una entrada en el índice por cada registro (osea, es un índice denso). Para campos no claves, existen varias opciones: - Incluir varias entradas en el índice con el mismo valor de clave de indexación, una por cada registro - Usar un campo multivaluado para el puntero asociado a una clave de indexación - Manejar un nivel de indirección adicional, donde el campo puntero de una entrada, apunte a un bloque de punteros a registros, cada uno de ellos a puntando a un registro de tenga esa misma clave de indexación (osea usa una estructura adicional) - Un índice secundario proporciona una ordenación lógica. de un solo

35 Bases de Estos índices se basan en la idea de reducir la parte del índice que se recorre con factor de fbl i (factor de bloques del índices), el cual se conoce con el nombre de fan-out (abanico) (fo). Una búsqueda en un índice multinivel requiere aproximadamente log fo b i para un índice con b i bloques, lo que es menos que log 2 b i, si el fo es mayor que 2. El índice multinivel considera el fichero índice como un fichero ordenado al que se llama primer nivel o nivel base y que tiene un valor distinto para cada clave. El segundo nivel crea un índice primario para el primer nivel, el cual tiene entradas por cada bloque del primer nivel. El proceso se repite para el segundo nivel, y así sucesivamente hasta que todas las entradas de un nivel t del índice quepan en un sólo bloque. Para resolver el problema de inserción y eliminación que ocurre al manejar los niveles ordenados, se crean los índices multinivel dinámicos, los que a menuda se implementan con las estructuras de datos llamadas árboles B y B +. de un solo

36 Bases de El esquema multinivel se puede usar para cualquier tipo de índice, ya sea primario, secundario o de agrupación, siempre que el índice de primer nivel tenga valores distintos de K i y entradas de longitud fija. Una organización de archivos que se usa mucho en procesamientos de datos de negocios es la secuencial indexada (ISAM). Este es un archivo ordenado con un índice primario multinivel sobre un campo de ordenación. La organzación ISAM de IBM usa un índice de dos niveles que está estrechamente ligado a la organización del disco. El primer nivel es el índice del cilindro y el segundo nivel es un índice de pistas. de un solo

37 Bases de Árboles de búsqueda Un árbol de búsqueda de orden p es un árbol tal que cada nodo contiene como máximo p 1 valores de un puntero a un nodo hijo ( o un puntero nulo), y cada clave K i es un valor de búsqueda proveniente de un conjunto ordenado de valores. Se supone que los valores de búsqueda son únicos. Las dos siguientes restricciones siempre deben cumplirse en un árbol de búsqueda: 1. Dentro de cada nodo K 1 < K 2 < < K q 1 2. Para todos los valores X del subárbol al cual apunta P i, tenemos K i 1 < X < K i, para 1 < i < q; X < K i para i = 1; y K i 1 < X para i = q. de un solo

38 Bases de Árboles B Cada nodo x tiene: N[x] número de claves, las claves están ordenadas de menor a mayor k 1 [x] < < k n[x] y una variable Boolean hoja[x] que es verdadera cuando el nodo x es una hoja. Si el nodo es interno, tiene n[x] + 1 punteros a hijos k i [x] separa los rangos que se almacenan las hojas están a la misma altura dado un t 2, nodos excepto la raíz tiene t 1 claves como mínimo y 2t 1 claves como máximo. de un solo

39 Bases de Árboles B P C G M T X A B D E F J K L N O Q R S U V Y Z de un solo

40 Árboles B Dado n 1, entonces cualquier n-key B-Tree de altura h y mínimo grado t 2 satisface que Bases de 1 t - 1 t - 1 t t t t - 1 t - 1 t - 1 t - 1 #nodos 1 2 2t de un solo h log t n n 1 + (t 1) h 2t i 1 i=1 ( t h ) (t 1) t 1 2t h 1

41 Bases de Ejercicio Btree Suponga que el campo de búsqueda tiene V = 9 bytes de longitud, que el tamaño de la página de disco es B = 512 bytes, que un puntero de registro de datos tiene P r = 7 bytes y que un puntero de bloque tiene P = 6 bytes. Cada nodo del Btree tiene como máximo p punteros. Si queremos que cada nodo de un árbol quepa en un bloque, entonces derive la expresión que define p. (p P) + ((p 1) (P r + V )) B (p 6) + ((p 1) (7 + 9) 512 (22 p) 528 de un solo

42 Bases de Árboles B + La mayoría de los esquema de indexación multinivel dinámicos emplean una variación del Btree llamado B +. En un B + los punteros a datos se almacenan sólo en los nodos hoja del árbol, por lo que la estructura de las hojas difiere de los nodos internos del árbol. Si el campo de búsqueda es clave, entonces los punteros de datos apuntan a un registro. Si el campo de búsqueda no es clave, el puntero apunta a un bloque que contiene punteros a los registros del archivo de datos. Los nodos hojas del B + suelen estar enlazados para ofrecer un acceso ordenado a los registros según sea el campo de búsqueda. de un solo

43 Bases de Árboles B + La estructura de los nodos interno de un árbol B + de orden p se definen de la siguiente forma: Todo nodo interno es de la siguiente forma: < P 1, K 1, P 2, K 2,..., K q 1, P q >, donde q p y cada P i es un puntero de árbol. Dentro de cada nodo interno K 1 < K 2 < < K q 1. Para todos los valores X del campo de búsqueda en el subárbol al que apunta P i tenemos K i 1 < X K i para 1 < i < q; X K i para i = 1; y K i 1 < X para i = q. Cada nodo interno tiene como máximo p punteros de árbol. Cada nodo interno, excepto la raíz, tiene por lo menos (p/2) punteros de árbol. El nodo raíz como mínimo dos dos punteros de árbol si es un nodo interno. Un nodo con q punteros, q p, tiene q 1 valores de campo de búsqueda. de un solo

44 Bases de Árboles B + La estructura de los nodos hoja de un árbol B + de orden p se definen de la siguiente forma: Todo nodo hoja es de la siguiente forma: << K 1, Pr 1 >, < K 2, Pr 2 >,..., < K q 1, Pr q 1 >, P siguiente >, donde q p, Pr es un puntero a datos y P siguiente es un puntero al siguiente nodo hoja del árbol. Dentro de cada nodo interno K 1 < K 2 < < K q 1. Cada Pr i es un puntero a datos que apunta al registro cuyo valor de campo de búsqueda es K i o a un bloque del archivo que contiene dicho registro ( o a un bloque de punteros que apuntan a registros cuyo valor del campo de búsqueda es K i si el campo de búsqueda no es clave). Cada nodo hoja tiene por lo menos (p/2) valores de clave. de un solo Todos los nodos hojas están al mismo nivel.

45 Al igual que para el B tree, esta estructura puede requerir mas campos en cada nodo para la implementación de los algoritmos de inserción y eliminación. Por ejemplo, tipo de nodo, número de entradas en el nodo, punteros a padres, etc. Ejercicio B + Bases de Suponga que el campo de búsqueda tiene V = 9 bytes de longitud, que el tamaño del bloque de disco es B = 512 bytes, que un puntero de registro de datos tiene P r = 7 bytes y que un puntero de bloque tiene P = 6 bytes. Un nodo interno del B + puede tener hasta p punteros de árbol y p 1 valores de campo de búsqueda; éstos deben caber en un solo bloque. Entonces p con respecto a los nodos internos del árbol es determinado por: (p P) + ((p 1) (V )) B (p 6) + ((p 1) (9) 512 El número de nodos hojas se calcula: (15 p) 521 de un solo (p hoja (Pr + V )) + P B (p hoja (7 + 9)) (16 p hoja ) 506

46 Bases de Algoritmo de Búsqueda n bloque que contiene el nodo raíz del árbol B + ; leer bloque; mientras (n no sea nodo hoja del árbol B + ) hacer principio q número de punteros de árbol del nodo n; si K n.k 1 (*n.k 1 se refiere al i-ésimo valor del campo de búsqueda en el nodo n*); entonces n n.p 1 (*n.p 1 se refiere al i-ésimo puntero de árbol en el nodo n*); el nodo n*); si no si K > n.k q 1 ; entonces n n.p q; si no principio; buscar en el nodo n una entrada i tal que n.k i 1 < K n.k i ; n n.p i ; fin ; leer bloque n ; fin ; buscar en el bloque n la entrada (K i, pr i ) con K = K i ; (*buscar nodo hoja*) ; si se encuentra entonces leer el bloque del fichero de datos con dirección Pr i, y recuperar el registro si no el registro con valor de campo de búsqueda K no está enn el fichero de datos; de un solo

47 Bases de sobre Claves Múltiples En general se considera una estructura de acceso que proporcione un acceso eficiente mediante un valor de clave que sea una combinación de esos atributos. Múltiples atributos también pueden ser ordenados lexicográficamente y se pueden usar los índices ya descritos. Un direccionamiento partido usa una función hash por cada uno de los n componentes de la clave y los resultados de las funciones son concatenados para formar la dirección donde se encuentra la dirección del registro. Otra forma es usar un registro rejilla, donde el registro se organiza como un arreglo donde una celda i, j, corresponde a un valor de clave i y al otro valor j. de un solo