Bases de Datos UN IVERSIDAD N AC IONAL D E MISIONES FACULTAD IENCIAS EXACTAS, QUÍMICAS Y NATURALES

Transcripción

1 CATEDRA: INTRO. BASES DE DATOS PROFESOR: Asc. PAUTSCH, German TITULAR: Ing. CASTAÑO Rubén UN IVERSIDAD N AC IONAL D E MISIONES FACULTAD IENCIAS EXACTAS, QUÍMICAS Y NATURALES Bases de Datos 1. Introducción Bases de datos Definición Objetivos y Características Sistemas OLTP Data Warehouse Definición Características y Objetivos Arquitectura de una Data Warehouse Sistemas OLAP...9 Base de datos multidimensional Diferencias entre OLTP y OLAP...13

2 1. Introducción Todos los días, y casi sin darnos cuenta, estamos generando gran cantidad de datos. Cuando realizamos una compra, cuando marcamos el ingreso y el egreso en nuestros trabajos, cuando pasamos con nuestro coche por una carretera que es monitoreada. Particularmente en la universidad, cada vez que los alumnos se inscriben a cursar o rendir una materia, cuando aprueban o reprueban la misma, están generando gran cantidad de datos. Las computadoras actuales con su gran capacidad de almacenamiento nos permiten registrar todas estas acciones en transacciones. Esta capacidad de almacenar datos se ha potenciado como nunca en los últimos años, se estima que las bases de datos de las organizaciones se duplican cada veinte (20) meses. Pero las técnicas de análisis de la información no han tenido un desarrollo equivalente. Muchas organizaciones mantienen grandes bases de datos, pero dentro de esta masa de datos hay información oculta de gran importancia que a través de la Minería de Datos (MD) (data mining) se podría llegar a descubrir. Lo que se busca con esta tecnología es descubrir conocimiento oculto útil y no evidente a partir de grandes bases de datos. Fundamentalmente, la diferencia de la MD con otras técnicas reside en que permite construir modelos de manera automática. La MD es una etapa dentro de un proceso más amplio llamado extracción de conocimiento en bases de datos (Knowledge Discovery Descubrimiento del Conocimiento) Data mining concentra varias áreas como la Inteligencia Artificial, la Computación Gráfica, las Bases de Datos y el Procesamiento Masivo, principalmente usando como materia prima las

3 bases de Información. Este último concepto esta asociado a un proceso esencial en la minería de datos como es la construcción de una Data Warehouse (DW o Almacén de Datos). 1.1 Bases de datos Definición Una base de datos es un sistema computarizado que, en general, tiene la finalidad de almacenar información para luego permitir a los usuarios recuperar, eliminar y actualizar sus datos. De esta manera ayudan a las organizaciones en el proceso de administración, haciendo que sus operaciones, al menos las más importantes, queden registradas. Estas funciones integran un proceso denominado OLTP (On Line Transaction Processing o Procesamiento de transacciones en línea) Objetivos y Características Una base de datos que soportar procesos OLTP, ha sido diseñada para maximizar la capacidad transaccional de sus datos y las conexiones concurrentes de varios usuarios. Generalmente tiene cientos de tablas y la gran mayoría están normalizadas. Su diseño esta orientado hacia los procesos operacionales de la empresa. Su estructura es estable y sus tablas principales están en constantes y continuo cambio. Si bien a través de sentencias SQL se pueden realizar consultas sobre la base de datos, en la misma hay información oculta de gran importancia para la toma de decisión de las organizaciones. Para extraer dicha información es necesario emplear otras técnicas.

4 1.1.3 Sistemas OLTP En estos tiempos tan competitivos las organizaciones intentan sacar la mayor utilidad de la información disponible en sus bases de datos. Pero, el hecho de que se cuente con un gran volumen de información o con millones de registros, no garantiza una buena calidad en la misma. Esto influye directamente en la toma de decisiones. Algunos de los principales inconvenientes que presentan las bases de datos son: Información proveniente de varias fuentes. Por lo general no existe una base de datos única donde se pueda consultar sobre los distintos temas, sino que se cuenta con varios sistemas independientes en las distintas áreas (Por ejemplo: sistema de facturación, contaduría, stock) Datos que se representan de distinta formato o codificación (por ejemplo: el estado civil, el sexo o fecha) Datos históricos que a menudo son resguardados, comprimidos y sacados del sistema OLTP. El nivel de detalle en los sistemas OLTP no suele ser apropiado para permitir a los administradores de las organizaciones, establecer decisiones estratégicas.

5 1.2 Data Warehouse Definición Podríamos empezar diciendo que DW es una combinación de hardware de alto rendimiento y capacidad de almacenamiento que combinado con varios software especializados, consolida, integra y analiza datos provenientes de distintas fuentes. Esto, con el objetivo de apoyar y mejorar la toma de decisión de los administradores en los niveles estratégicos de las empresas u organizaciones. Podemos citar una definición dada por W: H. Inmon Data Warehouse es un conjunto de datos integrado orientados a una materia, que varían con el tiempo y que no son transitorios, los cuales soportan el proceso de toma de decisiones de una administración Características y Objetivos Si analizamos esta frase dada en el párrafo anterior, podemos describir en profundidad las siguientes características: Integrado: Los datos tomados de los diferentes sistemas de la organización y/o fuentes externas, son recopilados y almacenados de forma coherente. En una aplicación el sexo de una persona podría codificarse como M (masculino) y F (femenino), y en otra simplemente como 0 y 1. Cuando los datos fluyen de un entorno OLTP a una DW, asumen una codificación consistente. Por ejemplo sexo siempre será almacenado como M y F.

6 Orientado: Los datos en un DW están orientados para consultar de modo eficiente la información relevante relacionada a la operatoria de la organización. Los sistemas OLTP solo poseen información de las áreas para la cual fueron creados (Contaduría, Stock, Facturación, etc.). Variables en el tiempo (histórico y no volátil): Los datos en una DW siempre son agregados y nunca removidos. Tampoco son actualizados. Esto permite analizar los temas y ver a la organización a través del tiempo. Podemos decir que el objetivo de una DW es convertir datos en información. En este proceso se toman datos de distintas fuentes, se los consolida y almacena en una DW. A partir de aquí de crean subconjuntos de esta para permitir su utilización a los usuarios finales y así satisfacer sus necesidades específicas. La utilización de una DW exige a los usuarios la necesidad de disponer de la información al momento de la toma de decisión. Esta base de información debe generar una demanda atractiva y los usuarios deben percibir su utilidad Arquitectura de una Data Warehouse La arquitectura de un DW esta integrada por los siguientes componentes (Figura 1):

7 Middle Ware Figura 1. Arquitectura de una Data Warehouse. Fuentes internas (OLTP): Son las bases de datos de los distintos sistemas de gestión que operan en la companía o entidad, en los cuales se reflejan las transacciones día a día. Fuentes externas: Son los datos que deben ser obtenidos fuera de la empresa u organización. Consolidación (ETL): Es el proceso que se encarga de producir el cambio de OLTP a OLAP (On Line Analytical Process). Consolida, sumariza, disgrega y transforma los datos de las aplicaciones que no están integradas. Este procedimiento se compone por tres etapas: Extracción, Transformación y Carga (Load) (Figura 2): Extracción: de datos de las distintas bases de datos operacionales. Transformación: de los datos en un formato consistente de forma que se puedan insertar en el DW.

8 Carga: toma la masa de datos transformados y los transfiere a la DW (proceso Batch). Esto se repite frecuentemente a medida que los sistemas OLPT y las fuentes externas van incrementando su volumen (se refresca la DW con la nueva información) Figura 2. Extracción, Transformación y Transporte de datos Middleware: Es un software que se encuentra entre el cliente y en el servidor de comunicaciones. Su función es la de actuar como traductor entre las distintas tecnologías, permitiendo que los sistemas trabajen juntos aunque no estén preparados para hacerlo. Algunas características son:

9 Poseer más de una máquina virtual para soportar diferentes entornos de desarrollo. Gestiona la comunicación con la DW. Controla los procesos Batch y la concurrencia. Contienen una biblioteca de controladores de bases de datos para acceder a las distintas fuentes, como por ejemplo: Oracle, Sybase, Informix, etc. Data Mart Son subconjuntos de datos que se crean una vez que la base de información (DW) ya esta totalmente integrada. El objetivo de un Data Mart es satisfacer la necesidad de información a un grupo, sección o área específica dentro de la organización. Se caracterizan por poseer menos datos detallados y más información agregada. Aplicaciones EIS (Executive Information System): Son herramientas que proveen información estratégica para la toma de decisión a los directivos de las organizaciones. Esto lo realizan mediante reportes, gráficos y tableros de control multidimensionales. DDS (Decisión Support System): Suma a las posibilidades del EIS reglas de decisión y análisis. Podemos encontrar también aplicaciones como sistemas expertos o sistemas de simulación Sistemas OLAP Son aplicaciones que generan información táctica y estratégica que sirve a la organización como soporte para la toma de decisiones.

10 A diferencia de los sistemas OLTP que utilizan bases de datos relacionales u otros archivos, OLAP (On Line Analytical Process Procesamiento Analítico En Línea) logra su máximo rendimiento y flexibilidad trabajando sobre una data warehouse. Presentan al usuario un esquema multidimensional en el cual se pueden realizar consultas seleccionando atributos sobre el tema en particular que se trate. Esto desconociendo totalmente la estructura interna del DW. La aplicación OLAP se encarga de generar la consulta y enviarla al gestor, por ejemplo, a través de una sentencia Select Base de datos multidimensional Las bases de datos multidimensionales, proveen una estructura que permite, a través de la creación y consulta a una estructura de datos determinada (cubo multidimensional, Business Model, etc), tener acceso flexible a los datos, para explorar y analizar sus relaciones, y consiguientes resultados. Las bases de datos multidimensionales implican tres variantes posibles de modelamiento, que permiten realizar consultas de soporte de decisión: Esquema en Estrella (Star Scheme). Esquema Copo de Nieve (Snowflake Scheme). Esquema Constelación o copo de estrellas (Starflake Scheme). Los mencionados esquemas pueden ser implementados de diversas maneras, que, independientemente al tipo de arquitectura, requieren que toda la estructura de datos este desnormalizada o semi desnormalizada, para evitar desarrollar uniones (Join) complejas para

11 acceder a la información, con el fin de agilizar la ejecución de consultas. Los diferentes tipos de implementación son los siguientes: Relacional ROLAP. Multidimensional MOLAP. Híbrido HOLAP. La estructura multidimensional consta de una tabla de sucesos o hechos (por ejemplo ventas), cuyos atributos describen la actividad que es el objeto del análisis, y varias tablas llamadas dimensiones. Los atributos de cada dimensión tienen el objetivo de aportar información particular sobre cada ítem de la tabla de hechos, por ejemplo, lugar donde se realizan las ventas, fecha o periodo realizadas, sucursal, etc. (Figura 3) en que fueron Figura 3. Estructura multidimensional

12 Estas vistas multidimensionales son llamadas Cubos y pueden ser construidos de distintas formas: ROLAP Se implementa sobre tecnología relacional. Utiliza un esquema en estrella cuyo nodo central es la tabla de hechos y los extremos o puntas, las dimensiones. Existen variantes del esquema en estrella como ser las constelaciones de hechos o copos de nieve. Con esta metodología, cuando la consulta es realizada se genera el cubo correspondiente. Esta alternativa de generación de cubos se utiliza cuando no se posee gran capacidad de almacenamiento. Al generarse los cubos en tiempo de ejecución su rendimiento es pobre MOLAP Tiene la estructura de arrays multidimensionales. Los cubos son generados y almacenados antes de ser consultados. Los datos son tomados de la tabla de hechos y las dimensiones son calculadas y almacenadas. Si se dispone de suficiente espacio en disco, esta alternativa aumenta el rendimiento y mejora los tiempos de respuesta (Figura 4) HOLAP Es una combinación de las técnicas ROLAP y MOLAP. Los cubos frecuentemente consultados son generados y almacenados. Cualquier otra consulta debe generarse en tiempo de ejecución

13 Figura 4. Modelo ROLAP y MOLAP Diferencias entre OLTP y OLAP Las principales diferencias entre un sistema OLTP y OLAP, se expresan en la Tabla 1. Sistemas OLTP Sistemas OLAP Datos actuales. Datos actuales más históricos. Volumen de datos acotados. Gran Volumen de datos. Actualización continua. Estable. Actualizacion On Line. Actualización Batch. Atomizado. Sumarizado. Un registro a la vez. Varios registros a la vez. Orientado a la Aplicación. Orientado al sujeto. Orientado a la Operación. Orientado a la Información Estratégica. Muchos usuarios concurrentes. Pocos usuarios concurrentes. Consultas predefinidas y actualizables. Consultas complejas no anticipadas (ad-hoc) Requerimientos de respuesta inmediata. Los tiempos de respuesta no son críticos. Datos con relaciones. Datos Multidimensionales. Baja Redundancia. Alta Redundancia. Tabla 1. Principales diferencian entra OLTP y OLAP