Indice. 1.- Visión General. 2.- Aplicaciones y beneficios de las Tablas Externas. 3.- Historia y Evolución (9i, 10g, 11gR2) 4.

Transcripción

1 TABLAS EXTERNAS

2 Indice 1.- Visión General 2.- Aplicaciones y beneficios de las Tablas Externas 3.- Historia y Evolución (9i, 10g, 11gR2) 4.- Sintaxis y uso 4.1 Creación y modificación 4.2 Uso del Driver ORACLE_LOADER 4.3 Uso del Driver ORACLE_DATAPUMP 4.4 Definir tablas externas con SQL*Loader 4.5 Uso con un preprocesador 4.6 Privilegios 4.7 Vistas del Diccionario. 5.- Transformación de datos PIPELINED, usando tablas externas

3 1.- Visión General Las tablas externas son tablas cuyos datos se almacenan fuera de la base de datos en ficheros planos o binarios. Complementan la funcionalidad de carga de datos de SQL*Loader, o de transmisión de datos/carga de DATAPUMP. Son similares a las tablas SQL normales, pero no residen en la base de datos, por lo tanto su organización es externa. Se pueden consultar directamente y también en paralelo usando SQL. De hecho, la tabla externa actúa como una vista. Los metadatos de la tabla externa, son creados en el diccionario de la base de datos usando la sentencia CREATE TABLE ORGANIZATION EXTERNAL. No se permiten operaciones de manipulación de datos en la misma (DML), ni tampoco creación de índices sobre sus datos. Los datos existen fuera de la base de datos. Una vez que la definición de la tabla externa (metadatos) exista en el diccionario, puede ser seleccionada, incluso en paralelo, produciéndose entonces el proceso de extracción de las fuentes externas, especificadas en los metadatos de la misma. Se puede realizar una operación de tipo CREATE TABLE tabla_convencional AS SELECT FROM tabla_externa, permitiendo una variación del proceso de extracción y carga. También podemos extraer datos de tablas convencionales y rellenar una tabla externa de tipo DATAPUMP (unload), mover el/los ficheros donde estos datos externos han sido creados y crear los metadatos de esa tabla externa en otra base de datos diferente, facilitando el proceso de transmisión/carga de datos entre bases de datos. Para poder usarlas, es preciso conocer el formato de los ficheros de texto y de los registros que la componen, si el driver que utilizamos es ORACLE_LOADER. Si utilizamos ficheros binarios, es preciso conocer ORACLE_DATAPUMP.

4 2.- Aplicaciones y beneficios de las Tablas Externas Las tablas externas, nos permiten usar datos externos como si fueran una tabla virtual, y por lo tanto pueden ser consultadas o unidas a tablas normales, sin necesidad de cargar sus datos en tablas convencionales o tablas intermedias. Es decir, cada vez que son accedidas, la información se almacena en memoria de usuario (PGA). Veamos algunas características: - El paralelismo transparente, no está limitado por el número de ficheros que lee la tabla externa. - No es preciso almacenar los datos en áreas intermedias o de stage para las aplicaciones de tipo ETL en los datawarehouse. - Son muy útiles, cuando una fuente externa, tiene que ser unida o joined con objetos de la base de datos y luego transformada. - También son útiles cuando el volumen de datos es grande, y no se consultan permanentemente. - Complementa las funcionalidades de SQL*Loader en el paralelismo transparente y en las capacidades de inserción directa. 3.- Historia y Evolución (9i, 10g, 11gR2) La primera versión de las tablas externas, aparece en los años 2001 y 2002, con Oracle Database Release 9i (r1 y r2). Inicialmente sólo permitía el uso del driver ORACLE_LOADER, y el tipo de ficheros que se podían leer, eran sólo de texto (los mismos que SQL*Loader). En la versión 9, con el driver ORACLE_LOADER, era preciso tener privilegios de lectura (READ) sobre un objeto de tipo DIRECTORY, donde residían los ficheros de texto con los datos. La segunda versión, aparece en torno al año 2006, con Oracle Database Release 10g (r2). Es en este momento cuando se introduce el uso del driver ORACLE_DATAPUMP, que permite crear un fichero binario, con datos procedentes de todo tipo de tablas, para la descarga/transporte a otras bases de datos. También se permite la posibilidad de trabajar con la cláusula PROJECT COLUMN REFERENCED o PROJECT COLUMN ALL, que determina cómo el driver valida los datos procedentes de los ficheros donde residen las fuentes de datos.

5 En la versión 10, se mantienen los mismos privilegios, pero si queremos rellenar una tabla externa sobre un fichero binario que resida en un objeto DIRECTORY, es preciso tener privilegios de escritura (WRITE) sobre el objeto DIRECTORY. La tercera versión se produce en a finales del 2009, con la aparición de Oracle Database 11g R2. Esta versión incluye la posibilidad de invocar a un preprocesador (programa), que trate/manipule los ficheros externos, antes de ser leídos. En concreto, se puede invocar a gunzip, a un fichero.sh (shell) o.bat (lotes). Es decir, los datos a leer pueden estar comprimidos, y en el momento de ser accedidos, se invoca al preprocesador que los descomprime y transfiere. En esta versión, es necesario un permiso especial, sobre el DIRECTORY donde reside el preprocesador: EXECUTE. 4.- Sintaxis y uso 4.1 Creación y modificación CREATE: Para crear una tabla externa, utilizamos el comando SQL CREATE TABLE ORGANIZATION EXTERNAL, con los siguientes atributos: - TYPE: Tipo de tabla externa. Puede ser ORACLE_LOADER (defecto), o ORACLE_DATAPUMP - DEFAULT DIRECTORY: Directorio por defecto donde residen los ficheros que son leídos/escritos por las tablas externas. - ACCESS PARAMETERS: Describen las fuentes de datos externas que implementan el tipo de tabla externa específico. - LOCATION: Nombres de los ficheros donde residen los datos externos. ALTER: Para modificar una tabla externa utilizamos el comando SQL ALTER TABLE, como en las tablas regulares.

6 ALTER TABLE Descripción Examplo REJECT LIMIT Cambia el límite de registros rechazados o máximo de errores permitidos PROJECT COLUMN Determina cómo el access driver valida las filas en las consultas que se realicen contra la tabla externa: PROJECT COLUMN REFERENCED: el access driver procesa solo la lista de columnas que están en la SELECT de la consulta. DEFAULT DIRECTORY ACCESS PARAMETERS LOCATION PARALLEL ADD COLUMN Este valor puede dar una visión inconsistente de las filas, cuando se consultan otras columnas de la misma tabla externa. PROJECT COLUMN ALL: el access driver procesa TODAS las columnas definidas en la tabla externa (aunque la consulta sólo seleccione una). Éste valor siempre proporciona una visión consistente de los datos cuando se consultan tablas externas. Es el valor por defecto. Cambia la especificación del directorio por defecto. Permite cambiar los parámetros de acceso a la tabla externa, sin tener que recrearla. Permite cambiar los nombres de las Fuentes de datos (ficheros externos), sin tener que recrearla. Igual que en tablas regulares. Cambia el grado de paralelismo. Igual que en tablas regulares. Añade una columna a la tabla externa. No se permiten columnas virtuales. MODIFY COLUMN Igual que en tablas regulares. Modifica una columna de la tabla externa. No se permiten columnas virtuales. SET UNUSED Se transforma de forma transparente en una sentencia ALTER TABLE DROP COLUMN. Como las tablas externas consisten solo en metadatos en ALTER TABLE admin_ext_employees REJECT LIMIT 100; ALTER TABLE admin_ext_employees PROJECT COLUMN REFERENCED; ALTER TABLE admin_ext_employees PROJECT COLUMN ALL; ALTER TABLE admin_ext_employees DEFAULT DIRECTORY admin_dat2_dir; ALTER TABLE admin_ext_employees ACCESS PARAMETERS (FIELDS TERMINATED BY ';'); ALTER TABLE admin_ext_employees LOCATION ('empxt3.txt', 'empxt4.txt');

7 ALTER TABLE Descripción Examplo DROP COLUMN la base de datos, el comando DROP COLUMN lo realiza de forma equivalente al SET UNUSED. Igual que en tablas regulares. Borra una columna de una tabla externa. RENAME TO Igual que en tablas regulares. Permite renombrar una tabla externa. 4.2 Uso del Driver ORACLE_LOADER Ejemplo para crear una tabla externa de tipo ORACLE_LOADER. 1.- Identificar el formato del fichero plano: El fichero empxt1.dat contiene los siguientes datos de muestra: El fichero empxt2.dat contiene los siguientes datos de muestra:

8 2.- Crear los objetos DIRECTORY y dar permisos:

9 3.- Crear la tabla externa en el esquema HR:

10 4.- Probamos que devuelve datos y lo creado en los directorios bad y log: 5.- Cargar los datos de la tabla externa, en una tabla convencional, en paralelo.

11 4.3 Uso del Driver ORACLE_DATAPUMP Este tipo de driver, permite la descarga/carga de datos sobre ficheros binarios. La tabla externa es creada con una sentencia SQL CREATE TABLE AS SELECT y los registros devueltos por la sentencia SELECT, son escritos en un dumpfile (fichero binario) en formato DATAPUMP. En este ejemplo, vemos como rellenar la tabla externa emp_ext, utilizando un subconjunto de datos procedentes de las tablas employees y departments. En el ejemplo, los empleados que trabajan en los departamentos de Marketing y Purchasing, son descargados en el fichero emp1.exp sobre el directorio al que apunte admin_dat_dir. Comprobemos el fichero en el S.O. y consultemos la tabla externa.

12 4.4 Definir tablas externas con SQL*Loader Si tenemos un fichero de control (.ctl), SQL*Loader, puede generar un fichero de log, con comandos SQL que permitan lo siguiente: - Crear metadatos para la tabla externa. - Insertar datos en la tabla destino - Borrar los metadatos de la tabla externa. Veamos un ejemplo: - Creamos una tabla convencional en el esquema hr llamada dept:

13 - Creamos un fichero carga_dep.ctl para simular la carga en dept. Veamos su contenido. - Invoquemos a sqlldr para generarr el log file con los comandos paraa generar la tabla externa y el directorio. - Veamos qué contiene carga_dep.sql

14

15

16 Ahora podríamos ejecutar los comandos sql generados en el fichero carga_dep.sql, para crear directorio/tabla externa, cargar datos en dept procedentes de la tabla externa y finalmente borrar el directorio/tabla externa. 4.5 Uso con un Preprocesador En Oracle Database 11g R2, la sintaxis del driver ORACLE_LOADER, ha sido mejorada, para permitir la especificación de un programa que procese o trate los ficheros de datos que van a ser leídos por la tabla externa. Con esta nueva prestación, se introduce también un nuevo privilegio EXECUTE, para los objetos de tipo DIRECTORY. Al leer los datos de la tabla externa con un preprocesador, el driver ORACLE_LOADER creará un proceso que ejecute un programa que a su vez, procese los ficheros de datos de la tabla externa. Este programa ha de residir en un DIRECTORY, de ahí el privilegio EXECUTE. Sólo un usuario al que se le haya concedido el privilegio EXECUTE sobre el DIRECTORY, tendrá permisos de ejecutar programas en él.

17 Hay algunas implicaciones de seguridad al usar preprocesadores. Como el programa que va a ser ejecutado, corre bajos las credenciales que tiene en el SO el usuario ORACLE, el preprocesador también puede acceder a cualquier fichero del SO al que puede acceder el usuario ORACLE. El DBA debe verificar que el preprocesador, no dañe ningún fichero ni del SO ni de la base de datos. Ejemplo de Preprocesamiento en LINUX La tabla sales_transactions_ext es la tabla externa. El directorio exec_file_dir es el DIRECTORY sobre el que el usuario ha de tener privilegio EXECUTE. 'gunzip' es el nombre del programa preprocesador de los datos, que a su vez puede ser invocado con diferentes opciones. El fichero 'sh_sales.dat.gz' es el fichero externo, que será descomprimido por la utilidad GNU zip. gzip (GNU zip) es una utilidad de compresión que reemplaza a la utilidad compress. Ha sido adoptada por el proyecto GNU, y es muy popular en Internet. Gzip produce ficheros con extensión.gz. gunzip puede descomprimir los ficheros creados con los comandos gzip, compress o pack. Los ficheros de log/bad, se encuentran el directorios diferentes de preprocesor.

18 Ejemplo de preprocesamiento en WINDOWS: En el ejemplo de Windows, la tabla a cargar tiene una sola columna de tipo VARCHAR2. El fichero batch bar.bat es el programa que preprocesa las filas. Va a convertir la cadena de caracteres del fichero de entrada, hello word en Hello Word. El contenido del fichero.bat es Lo que hace el transformar hw en HW. El al principio del fichero, es evitar que los datos del fichero de entrada se muestren por pantalla. En Windows, los argumentos de los ficheros.bat son referenciados con % (%1) en ved de $ ($1), que se usa en Linux con ficheros.sh.

19 Vamos a realizar el mismo ejemplo para insertar registros en EMPLOYEES, pero comprimiendo los ficheros.dat con gzip: - Vemos dónde residen los ficheros, y los comprimimos:

20

21 - Borramos la antigua tabla admin_ext_employees. - Damos permiso EXECUTE, sobre el directorio donde residen el preprocesador gunzip.

22 - Creamos un preprocesador llamado uncompress.sh, para invocar a gunzip -c (cuando se llama a un programa con opciones, es necesario hacerlo a través de ShellScript). El script precisa permisos de ejecución y el path absoluto a binario gunzip. $1 recibe los argumentos de LOCATION.

23 - Creamos de la tabla externa, ahora con preprocesador, en el esquena HR.

24 - Probamos que funciona el preprocesador, seleccionando datos. 4.6 Privilegios Paraa poder acceder a tablas externas creadas por otros usuarios necesitamos los siguientes privilegios: - SELECT en la definición de la tabla. - READ sobre el directorio que contiene el/los ficheros de datos. - WRITE sobre el directorio para los ficheros de tipo BAD y LOG. Ejemplo:

25 4.7 Vistas del Diccionario. Las más importantes son las siguientes: DBA_EXTERNAL_TABLES: Contiene los atributos de todas las tablas externas del sistema. OWNER: Dueño de la tabla externa NAME: Nombre de la tabla externa TYPE_OWNER: Dueño del tipo de implementación TYPE_NAME: Nombre del tipo de implementación DEFAULT_DIRECTORY_OWNER: Dueño del directorio por defecto de la tabla externa DEFAULT_DIRECTORY_NAME: Nombre del directorio por defecto de la tabla externa REJECT_LIMIT: Límite de registros rechazados DBA_EXTERNAL_LOCATIONS: Contiene la lista de ficheros planos y sus directorios correspondientes. OWNER: Dueño de la table externa TABLE_NAME: Nombre de la table externa LOCATION: Nombre del fichero plano DIRECTORY_OWNER: Dueño del directorio de la table externa DIRECTORY_NAME: Nombre del directorio de la tabla externa DBA_DIRECTORIES también es importante, porque puede mostrar los PATHS asignados a directorios a través de variables como DATA_DIR o LOG_DIR, durante la creación de la tabla externa.

26 5.- Transformación de datos PIPELINED, usando tablas externas El flujo de un proceso ETL (Extracción, Transformación y Carga) en un datawarehouse, puede ser remodelado, para que el flujo de datos y su transformación se conviertan en un proceso más escalable y no interrumpido (como sucede en la transformación multistage). En este tipo de procesos, se leen, transforman y cargan los datos a través de un solo proceso. Veamos un ejemplo de este estilo, usando TABLE FUNCTIONS. Las TABLE FUNTIONS son funciones que pueden producir un conjunto de filas como output, así como leer un consulto de filas como input. Soportan ejecución de tipo PIPELINED y PARALLEL, usando PL/SQL, C o JAVA. Se usan en la clausula FROM de una sentencia SELECT.

27 - Creamos un tipo de dato objeto para la especificación de la fila: CREATE OR REPLACE TYPE rec_sales_type IS OBJECT ( PROD_ID NUMBER, CUST_ID NUMBER, TIME_ID DATE, CHANNEL_ID number, PROMO_ID NUMBER, QUANTITY_SOLD NUMBER(3), AMOUNT_SOLD NUMBER (10,2)); - Creamos un tipo de dato tabla, con ese tipo de dato objeto. CREATE OR REPLACE TYPE table_sales_type IS TABLE OF rec_sales_type; - Creamos la TABLE FUNCTION. En el ejemplo, la función manipulation, consulta la tabla externa SH.SALES_DELTA_XT y transforma el resultado durante la carga. La tabla externa tiene una columna, CHANNEL_ID en formato texto. Se transforma a formato numérico, y dependiendo del valor de entrada, se asignan diferentes canales de salida (ej. 1 o 99).

28 CREATE OR REPLACE FUNCTION manipulation RETURN table_sales_type PIPELINED IS out_rec rec_sales_type := rec_sales_type(null,null,null,null,null,null,null); BEGIN FOR in_rec IN (SELECT * FROM sh.sales_delta_xt) LOOP out_rec.prod_id := in_rec.prod_id; out_rec.time_id := in_rec.time_id; out_rec.cust_id := in_rec.cust_id; out_rec.promo_id := in_rec.promo_id; out_rec.channel_id := CASE in_rec.channel_id WHEN 'S' THEN to_number('1') ELSE to_number('99') END; out_rec.amount_sold := in_rec.amount_sold; out_rec.quantity_sold := in_rec.quantity_sold; PIPE ROW (out_rec); END LOOP; RETURN; END; - Invocar a la TABLE FUNCTION con una sentencia SELECT. SELECT * FROM TABLE(manipulation);

29 - Llamar a la TABLE FUNCTION desde una subconsulta: INSERT /*+ APPEND, PARALLEL(sales) */ INTO sales SELECT * FROM TABLE(manipulation); Las funciones de tipo pipelined (tubería), se pueden usar en la cláusula FROM de una sentencia SELECT. Las filas resultantes son recuperadas iterativamente desde la implementación de la TABLE FUNCTION. Múltiples llamadas a la TABLE FUNCTION, ya sea en la misma consulta o en consultas separadas, provocan muchas ejecuciones de la implementación de la función, sin buffering o reutilización de filas.