TEMA 36: Herramientas de análisis de la información. OLTP y OLAP. Sistemas EIS y DSS. Data WareHouse. DataMining.

Transcripción

1 Tema 36: Herramientas de análisis de la información. TEMA 36: Herramientas de análisis de la información. OLTP y OLAP. Sistemas EIS y DSS. Data WareHouse. DataMining. Índice 1 INTRODUCCIÓN 1 2 HERRAMIENTAS DE AYUDA A LA TOMA DE DECISIONES DSS Decisión Suport System EIS Executive Information System ENTORNOS OLTP Y OLAP OLTP On-line Transaction Processing OLAP On-line Analitycal Process DATA WAREHOUSE La arquitectura de un data Warehouse es: Sistema de consolidación Modelo de Datos Corporativo La base de datos OLAP Datos multidimensionales Tecnologías para entornos Datawarehouse MINERIA DE DATOS -DATA MINING Utilización de la Minería de Datos Fases del proceso de minería de datos Técnicas en Minería de Datos IMPACTO DE LAS TECNOLOGÍAS DE ANÁLISIS DE DATOS 10 1 Introducción Las grandes organizaciones, como bancos, administraciones públicas, multinacionales, etcétera, gestionan y almacenan grandes cantidades de información. Esta información se encuentra almacenada en sus sistemas informáticos dentro de un conjunto de bases de datos heterogéneas e independientes. Los mandos directivos necesitan analizar toda esta información para poder tomar decisiones correctas. El análisis de la información es difícil por el gran volumen de datos que manejan estas organizaciones y por su complejidad. Por ello, han surgido diferentes herramientas de ayuda en el análisis de la información de una organización. Página 1 de 11

2 2 Herramientas de ayuda a la toma de decisiones Son aplicaciones de análisis de datos que aparecen con las primeras BBDD. Son aplicaciones diseñadas para proporcionar información analítica de la organización a los directivos. Informan del funcionamiento de los procesos internos de la organización y de sus relaciones con el exterior. Sus ventajas son: Proporciona información exacta y actualizada. Acceso instantáneo, o muy rápido, a la información. Permite calcular información más compleja que con aplicaciones de gestión. Estas ventajas permiten que los directivos puedan estar mejor informados a la hora de tomar decisiones. Estas aplicaciones se agrupan en las denominadas aplicaciones DSS Sistemas de soporte a decisiones-, siendo las EIS Sistemas de información a ejecutivos- el tipo de DSS más común. 2.1 DSS Decisión Suport System- Las aplicaciones DSS ayudan a la toma de decisiones por parte de la directiva de una organización, proporcionándoles datos analíticos sobre la organización y su funcionamiento. Se diferencian de las aplicaciones de gestión como los ERP, en que integran toda la información de la organización, incluida información histórica, y son muy flexibles a la hora de proporcionar información. Los sistemas de DSS se utilizan para predecir el resultado de posibles decisiones dentro de la organización. El DSS contiene un modelo abstracto la organización sobre la que se trabaja, denominado modelo de decisión. Por ejemplo: Un modelo de la ubicación de los productos y las compras de los clientes de una cadena de supermercados. El usuario, ante una decisión, presenta una serie de alternativas a la misma al sistema que calcula el resultado óptimo para cada alternativa. Las alternativas se especifican estableciendo valores para las variables del modelo. En cada alternativa, existen unas variables incontrolables por el sistema, a la que se le pasan unos valores fijos, y unas variables de decisión sobre las cuales el sistema trabaja. Para un determinado valor de las variables, el modelo tiene un valor resultado. Var. Resultado = modelo de decisión (variables de decisión, variables incontrolables). Las variables de decisión para cada alternativa se adoptan buscando obtener el mejor valor resultado. La mejor alternativa será la que tenga mejor valor resultado. En la práctica los modelos de decisión adoptan muchas formas diferentes, que van desde una simple ecuación matemática a complejas modelos de simulación o sistemas expertos. Muchos sistemas DSS incorporan tecnologías de Inteligencia Artificial. Pag

3 Un sistema DSS se compone de: 1. Una base de datos de conocimiento: Almacena la información sobre la organización. Esta información puede proceder de diversos orígenes. Se usan en entornos OLAP 2. Un sistema gestor de modelos: Se ocupa de representar los hechos que aparecen en la BBDD de conocimientos utilizando modelos diferentes. 3. Un sistema gestor del diálogo: Se trata de la interfaz de usuario; es el componente que permite a un usuario interactuar con el sistema. Los sistemas DSS dos sistemas más comunes son: 1. Los Sistemas de Información Ejecutiva (EIS): Los explicará posteriormente. 2. Los Sistemas expertos basados en inteligencia artificial: Son los sistemas que utilizan el conocimiento almacenado de la organización para resolver problemas concretos. Usan técnicas de DataMining 2.2 EIS Executive Information System- Los Sistemas de información de un ejecutivo son aplicaciones que proveen de información estratégica a los directivos de una organización. Proporcionan acceso directo on-line a la información relevante de una forma útil, garantizando que la información es exacta y actualizada. Un EIS difiere de un sistema de información tradicional en los siguientes aspectos: Está específicamente diseñado para satisfacer las necesidades de los directivos. Proporcionan información de fuentes variadas, tanto internas como externas. Proporciona herramientas de análisis on-line que incluyen análisis de tendencias, informes de excepciones... Son de fácil uso. Son empleados por los directivos sin necesidad de asistencia técnica. Instrumentos básicos utilizados para mostrar la información son: 1. Informes de resumen: La presentación de información resumida es el medio más ampliamente utilizado para mostrar datos de forma útil. Se suelen emplear técnicas estadísticas para el análisis y la agrupación de los datos. 2. Consultas ad hoc. El usuario establece la fuente de los datos, los criterios de selección y los campos buscados al sistema que calcula los datos. La consulta se utiliza utilizando lenguajes de consulta (como SQL) o herramientas gráficas. 3. Informes de excepción. La información de excepción se considera como un técnica en el que el sistema realiza consultas permanentemente con el objetivo de detectar condiciones que el usuario ha establecido como excepciones. Generalmente las excepciones se definen respeto a variables cuantitativas. 4. Informes gráficos: La representación gráfica permite mostrar la información de forma clara, intuitiva y sintética. Pag

4 3 Entornos OLTP y OLAP Dentro de una organización encontramos dos tipos de entornos de gestión de datos que se diferencian en el uso que se realiza de los datos. 3.1 OLTP On-line Transaction Processing Define el comportamiento habitual de un entorno operacional de gestión de datos. Un entorno en que se almacenan y usan los datos de las operaciones diarias de la organización. Suelen estar constituidos por bases de datos y sistemas on-line optimizados para el manejo de un gran número de registros, normalmente, usados de uno en uno. Un ejemplo de sistema OLTP, sería la aplicación de un punto de venta de un supermercado, en la que se almacenan las operaciones de venta realizadas. Las transacciones se realizan desde diferentes cajeros, y se almacenan en una misma base de datos on-line. Las características de este entorno son: Transacciones rápidas de todo tipo. (Altas, bajas, modificaciones y consultas) Consultas rápidas, escuetas y predecibles. BBDD con poco volumen de información (del orden de Megabytes - Gigabytes) Gran nivel de concurrencia en la BBDD. (Muchos usuarios) De la información almacenada en las bases de datos OLTP puede obtenerse información analítica, pero su uso para esta funciones tiene los inconvenientes siguientes: Bajo rendimiento: Las bbdd OLTP están diseñadas y configuradas para realizar eficientemente las operaciones inserción y modificación. Las operaciones están repartidas en muchas tablas y la organización de las mismas sigue criterios operativos, como por ejemplo la situación geográfica de sus usuarios. Todo esto provoca que estas bbdd no sean apropiadas para realizar las operaciones que necesita el análisis de datos. Heterogeneidad: Una organización suelen tener una gran variedad de bbdd de donde almacenan los datos operativos. El modelo de los datos y el formato de representación de los datos varían entre los BBDD. La multiplicidad de los datos suele provocar inconsistencias. 3.2 OLAP On-line Analitycal Process Es el entorno en que se analiza la información contenida en los sistemas de información para obtener información estratégica y táctica que sirva como soporte a la toma de decisiones. Sus características son: Sólo se realizan consultas. Éstas son pesadas, pues manejan gran cantidad de información, y son impredecibles. Almacenan información histórica de la organización. Los datos ofrecen una organización jerarquizada y multidimensional. Las BBDD deben poder almacenar gran cantidad de información (alcanzan los Terabytes) La actualización de los datos se realiza vía Batch Pag

5 Las características diferentes de los dos tipos de entorno de gestión de los datos hace que no sea viable para una organización utilizar una misma base de datos para ambos. Pues la organización de los datos para cada entorno es diferente. 4 Data Warehouse El Data Warehouse es un repositorio de datos dónde se almacenan de forma centralizada los datos de la organización y permite disponer de un único modelo de trabajo sobre estos datos. Está especialmente indicado para el análisis de datos: estudiar escenarios posibles, comparar unos datos en función de otros... El Data Warehouse es el sistema de almacenamiento destinado a ser utilizado en los entornos OLAP. Sus características son: Los datos tiene una organización conceptual por temas en vez de adoptar una organización dependiente de su uso operacional. Está integrado: Los datos son consistentes en lo que se refiere a su representación y almacenamiento. Se organizan en un solo modelo de datos. Almacena información temporal de los datos: Los datos almacenados muestran una imagen estática del estado de la organización en cada momento. No es volátil: Los usuarios no pueden modificar ni eliminar la información almacenada. Existe una versión reducida de los DataWarehouse que maneja menos volumen de datos y menos dimensiones. Son los DataMarts, repositorios de datos departamentales orientados a mantener información táctica de un área de negocio. 4.1 La arquitectura de un data Warehouse es: OLTP Data Mining OLTP Sistema de consolidación OLAP DSS Usuarios... OLTP Fuentes de datos Aplicaciones de análisis de datos Elementos del Data Warehouse: Fuentes de datos : Los datos almacenados provienen de los entornos operativos OLTP de la organización y de fuentes externas. Estos proveedores tienen características heterogéneas. Sistema de consolidación: Es el encargado de agregar los datos provenientes de las bbdd OLTP a la bbdd OLAP. Pag

6 BBDD OLAP. Repositorio de los datos de la organización. Los datos están organizados según un único modelo corporativo. Aplicaciones de análisis: Son las aplicaciones que utilizan la información almacenada en el data Warehouse para proveer de datos tácticos y estratégicos a la organización. 4.2 Sistema de consolidación Es el conjunto de procesos encargado de agregar información al Data Warehouse. Realiza las siguientes tareas: Identificación de las fuentes de datos: Determina a que sistemas hay que acceder para recopilar los datos buscados. Limpieza de los datos: Busca y corrige las inconsistencias, errores, repeticiones o cualquier otra anomalía presente en los datos. Conversión de formatos: Los datos se convierten a un único formato de representación. Migración y carga: Los datos limpios y homogéneos son agregados a la BBDD OLAP, siguiendo el modelo de datos corporativos. En los sistemas de consolidación hay que tener en cuenta factores técnicos como el formateo de datos, el mecanismo de transporte de los datos y los tiempos de carga. 4.3 Modelo de Datos Corporativo El modelo de datos corporativo sirve para establecer un único esquema lógico de los datos de la organización, resolviendo la fragmentación producida por la existencia de sistemas de información departamentales. Las BBDD de cada departamento, representan la visión local de la organización, pero no dan una visión global de la información, dificultando así la integración de la información que proviene de cada uno de ellos. Por este motivo el paso previo a la construcción del DataWarehouse, es la determinación del modelo de datos corporativo, que identifique y estructure los requisitos de información que habrán de satisfacer el Data Warehouse. Como resultado de este proceso, se obtiene un esquema conceptual válido para toda la organización, que ofrece una visión estratégica global de los datos, permitiendo a la vez la creación de vistos parciales adecuadas para les necesidades de cada departamento. 4.4 La base de datos OLAP Es el repositorio de datos del DataWarehouse, permite la síntesis, el análisis y la consolidación dinámica de grandes volúmenes de datos multidimensionales. Al hablar de tecnología OLAP, el adjetivo más utilizado es multidimensional, ya sea por referirse a los datos, a su estructura o a la base de datos que utiliza. Esta caracterización llega hasta el punto de identificar el OLAP y las bases de datos multidimensionales como una misma cosa. A pesar de que ambas tecnologías estén relacionadas, la utilización de OLAP no implica necesariamente la utilización de bases de datos multidimensionales. Pag

7 4.4.1 Datos multidimensionales El modelo de datos multidimensional se basa en organizar los datos en varias jerarquías de forma simultánea. En este modelo, los datos se denominan hechos. Cada hecho se relaciona con una serie de dimensiones, denominadas agentes de negocio, formando un hipercubo. Esta organización de los datos permite acceder a los datos desde cualquiera de las dimensiones del hipercubo. Existe un modelo multidimensional simplificado denominado modelo de estrella, en que cada hecho se relaciona con una dimensión simple. Un ejemplo sería: Tiempo Localización Ventas Clientes Productos Un modelo más genérico para entender la organización multidimensional se denomina modelo de copo de nieve. En el que las dimensiones de organizan en forma jerárquica. Ejercicio 2004 Ejercicio América Tiempo Estratégicos Europa Localización Ventas Clientes Nuevos Asia... Productos... Consumibles Portátiles... Una estructura de datos muldimensional tiene la ventaja de poder analizar de forma eficiente los datos desde cualquier dimensión considerada en el modelo. Esto es una gran ventaja en un entorno de análisis de datos en que las consultas pueden ser impredecibles. También permite obtener vistas del hipercubo, en el que los hechos se muestran organizados por una subconjunto de las dimensiones del hipercubo, normalmente no más de dos o tres. Pag

8 Ejemplo: Una vista de las ventas por tipo de cliente y productos suministrados: Servidores Portátiles... Clientes Estratégicos Total ventas 1 Total ventas 2 Clientes Nuevos Total ventas 3 Total ventas Tecnologías para entornos Datawarehouse Debido a que en su uso el entorno OLAP maneja los datos de forma organizada en dimensiones, el entorno natural de trabajo de los sistemas OLAP son las bases de datos multidimensionales. Pero también se puede trabajar sobre bases de datos relacionales atendiendo a criterios económicos o de disponibilidad, a pesar de que sus prestaciones se vean reducidas. Los sistemas OLAP se pueden dividir en dos tipos: MOLAP (Multidimensional OLAP): Funciona sobre bases de datos multidimensionales. Requiere de un esfuerzo inicial previo de modelización y construcción de la base de datos multidimensional y de otro continuo consistente en la migración de datos desde el formato relacional hacia el nuevo formato multidimensional. A cambio ofrecen un rendimiento muy superior a la hora de realizar la extracción y el análisis de los datos, debido a que los datos a las que se accede ya están estructuradas en dimensiones y jerarquías. ROLAP: (Relational OLAP): Funcionan sobre bases de datos relacionales. Permiten trabajar sobre las bases de datos corporativas ya establecidas, ahorrando así el trabajo de creación y mantenimiento de nuevas bases de datos multidimensionales. A cambio, estos sistemas se ocupan de realizar la conversión entre la visión relacional de los datos y la utilización multidimensional y jerárquica que ha de ofrecer al usuario, que hace que lleve asociado un coste en tiempo y recursos de máquina. En la práctica resulta común encontrar sistemas de almacén de datos, con sus correspondientes herramientas de OLAP y minería de datos, implementadas mediante bases de datos relacionales. Esto es debido a la mayor experiencia de que se dispone para trabajar sobre bases de datos relacionales, a la gran cantidad de productos existentes en el mercado y a la confianza que tienen las organizaciones en estos tipos de bases de datos. Para simular bases de datos multidimensionales cuando tan sólo se dispone de un gestor de bases de datos relacional, sin que esto implique un efecto negativo en los tiempos de respuesta, se utilizan los siguientes diseños: 1. Diseño en estrella: Se tiene una gran tabla donde cada registro es un hecho, y unas tablas más pequeñas para cada dimensión. Se establece una relación N:1 entre la tabla de hechos y cada tabla de dimensión. Para recuperar información, las tablas de dimensión son utilizadas como puntos de acceso a los datos almacenados en la tabla de hechos. El SGBD está optimizado para estas consultas. 2. Diseño de copo de nieve. Se implementa de forma similar al anterior. Excepto que para cada dimensión, en vez de una tabla, se tiene una estructura en árbol para modelar la estructura jerárquica de las dimensiones. Pag

9 3. Índices Bitmap: Los índice bitmap son un tipo especial de índice que almacena la información en bits en lugar de bytes o sus múltiplos. Sirve para acelerar el acceso a filas con atributos de baja cardinalidad, por ejemplo: El atributo sexo (Hombre o mujer). Se mejora la velocidad al efectuar operaciones con esta estructura de datos es gracias a que se utilizan las operaciones lógicas AND, OR, NOT, mucho más rápidas que las otras. 5 MINERIA DE DATOS -DATA MINING- La mineria de datos consiste en un conjunto de técnicas y procesos de análisis que permiten extraer información oculta dentro de bases de datos con información histórica de una organización. La información la obtiene mediante la busca automática de patrones y relacionesno explicitas dentro de los datos históricos. Las técnicas agrupadas dentro de la minería de datos tienen en común las siguientes características: Necesitan disponer de un repositorio de datos históricos a partir de los que realizar el proceso de minería. El proceso de minería es automático, en la mayor medida posible, dado la gran cantidad de datos a analizar. Los resultados obtenidos deben representar conocimiento útil y no evidente a simple vista. 5.1 Utilización de la Minería de Datos 1. De verificación: Se asemeja al proceso tradicional de extracción de información basado en lenguajes de consulta de bases de datos (SQL, etc.). No extrae información nueva, sino que basándose en los datos del almacén, verifica la validez de las afirmaciones que se le presentan. El proceso empieza por el establecimiento de una hipótesis por parte del usuario, que la herramienta debe verificar su validez. 2. De Descubrimiento. Es una técnica destinada a descubrir nueva información que no estaba anteriormente en el almacén de forma explicita. La herramienta tiene capacidad de iniciativa para plantear sus propias preguntas sin intervención humana, aunque los usuarios pueden intervenir para guiar los caminos a explorar. A través de la búsqueda de patrones o relaciones implícitas entre los datos, es capaz de crear categorías dentro de un grupo de datos que, en principio, parecían homogéneos. Por ejemplo: Crear una clasificación los clientes en función de hábitos de consumo no establecidos a priori. También es común la busca de elementos extraños o fuera de lo corriente, que puede ser de utilidad para detectar posibles fraudes como, por ejemplo, operaciones extrañas y sin sentido entre cuentas bancarias. 3. Predictivo El objetivo de este modelo de minería consiste en la realización por parte de la herramienta de predicciones sobre el comportamiento futuro de ciertas variables, a partir de los patrones o relaciones existentes entre los datos. Pag

10 En este caso el usuario indica sobre qué variables quiere obtener la predicción y el sistema proporciona la respuesta. Esta respuesta la puede proporcionar explicando como lo ha conseguida, esta explicación puede ser tan valiosa como la respuesta en sí misma. 5.2 Fases del proceso de minería de datos El proceso de minería se puede dividir en las siguientes fases Selección y preprocesamiento de los datos : Selecciona los datos a utilizar en el proceso de minería de datos, decide la organización lógica y física más adecuada para ello y los procesa y depura para eliminar los errores e inconsistencias. Innecesario en caso de contar con un Data Warehouse. Búsqueda de patrones. En esta fase, se analiza la información para extraer la información oculta. El resultado de la busca será un informe que habrá de ser analizado por un operador humano en la fase siguiente. Interpretación y evaluación. Esta fase final consiste en la interpretación de los resultados producidos en la fase de busca. Como resultado de esta interpretación se pueden llevar a término alguna de las siguientes acciones: Volver otra vez a la busca de patrones, con consultas más refinadas si se está utilizando el modelo de verificación. Utilizar los resultados como entrada por un sistema de apoyo a la decisión Utilizarlos directamente en la preparación de un informe para la dirección. 5.3 Técnicas en Minería de Datos Las técnicas más empleadas para la extracción de información son las siguientes: 1. De consulta e informe. Permiten crear de consultas de forma fácil mediante interfaces gráficas, y, tras la consulta, muestran los resultados en forma de tablas o gráficos. Adicionalmente pueden utilizar técnicas estadísticas para analizar los datos obtenidos. Una técnica apropiada para la minería de verificación. Trabajan sobre BD relacionales y existen en el mercado gran cantidad de herramientas de este tipo. 2. De inteligencia artificial. Se aplican técnicas de inteligencia artificial al análisis de datos, como pueden ser los sistemas expertos. Se utilizan en la minería de datos predictiva y de descubrimiento, puesto que son muy buenas para la detección de patrones. Se fácil encontrarlas formando parte de lo que se ha dado denominar agentes inteligentes. 3. De análisis multidimensional. Están basadas en la utilización de bases de datos multidimensionales y su facilidad para obtener vistas desde diferentes dimensiones de los datos de forma dinámica, rápida y simple. 6 Impacto de las tecnologías de análisis de datos El éxito de cualquier tecnología de análisis de datos no está en su correcta implantación, sino que sea utilizada para mejorar el funcionamiento de la organización. Los usuarios eliminarán los largos tiempos de análisis y programación para obtener información valiosa. Las decisiones dentro de la organización serán tomadas más rápidamente por personas mejor informadas. Pag

11 La calidad de la información almacenada va mejorando con el uso de la aplicación de análisis, pues se irán descubriendo y subsanando los errores. Esto aumenta la confianza de los usuarios. Podremos entender que la adopción de la herramienta de análisis de datos es un éxito, cuando los directivos la utilizan para satisfacer sus necesidades de información. Pag