Herramientas de Business Intelligence

Transcripción

1 Herramientas de Business Intelligence Curso Departamento de Lenguajes y Sistemas Informáticos II ISI/SI - 1

2 Sistemas de Datawarehousing Son el núcleo de las aplicaciones de BI Elementos principales Tecnologías de Datawarehousing: Recogida y gestión de grandes volúmenes de datos Tecnologías OLAP y Datamining: Análisis de datos Software de consulta amigable e intuitivo para el usuario final Características: Semántica expresada en términos del negocio Diseñada para su rápida recuperación y análisis Orientado información relevante para el negocio Modelo de datos multidimensional para hacer mas fácil la navegación y explotación de datos ISI/SI - 2

3 Datawarehouse Datawarehouse = Almacenes de datos Datawarehouse Inteligencia de negocio Busca dar una visión unificada de los datos Incluyendo el de los sistemas transaccionales y legados Almacén consistente separado y homogéneo donde son cargados datos transformados provenientes de diferentes fuentes, disponible a usuarios finales de forma que ellos puedan entenderlos y usarlos en el contexto de un negocio (Barry Devlin) ISI/SI - 3

4 Objetivos de un Datawarehouse Orientado a temas Los datos están organizados de manera que todos los elementos queden unidos entre sí. Registro histórico Los cambios producidos a lo largo del tiempo quedan registrados para que los informes puedan reflejar esas variaciones. No volátil La información no se modifica ni se elimina, una vez almacenado se convierte en sólo lectura, y se mantiene para futuras consultas. Integrado Contiene los datos de todos los sistemas operacionales de la organización, y dichos datos deben ser consistentes. ISI/SI - 4

5 DWH como registro histórico Los datos son relativos a un periodo de tiempo y deben ser incrementados periódicamente Los datos son almacenados como fotos (snapshots) correspondientes a periodos de tiempo. Tiempo 01/ / /2003 Datos Datos de Enero Datos de Febrero Datos de Marzo

6 DWH - No volátil Los datos almacenados no son actualizados, sólo son incrementados. Carga Bases de datos operacionales Almacén de Datos INSERT UPDATE DELETE READ READ El periodo de tiempo cubierto por un DWH varía entre 2 y 10 años. ISI/SI - 6

7 Sistemas Transaccionales vs Datawarehouse Características Sistemas Transaccionales Datawarehouses Datos Actuales y Actualizables Históricos y estáticos Almacenamiento BD pequeñas y medianas BD grandes (GB y TB) Procesos Repetitivos No previsibles Estructura Detallada Detallada con niveles de agregación Usos Soporte operacional orientado a procesos Unidad de ejecución Transaccional Consulta Cantidad de datos Miles Millones Modelo de accesos Escritura principalmente y lectura Soporte de análisis orientado a info. Relevante Lectura principalmente Tiempo de respuesta Segundos-minutos Segundos-horas ISI/SI - 7

8 Desarrollo del DWH Tener en cuenta algunos aspectos de la organización: Situación actual de partida Tipo y Características del negocio Entorno técnico (Hw, Aplicaciones, Herramientas actuales ( DSS) etc) Expectativas de los usuarios Etapas de desarrollo de un DWH Desarrollo Modelo Conceptual Prototipo Piloto Prueba de concepto tecnológico ISI/SI - 8

9 Ventajas e inconvenientes de los DWH Ventajas Inconvenientes Acceso fácil para usuarios finales Mejora funcionamiento de sistemas de apoyo a la decisión Trabajo en conjunto con otras aplicaciones empresariales Altos costos (mantenimiento) Información subóptima en consultas Posibilidad de obsolescencia ISI/SI - 9

10 Arquitectura de un DWH Fuentes Internas BD ERP CRM Fuentes Externas ETL Data Marts DATAWAREHOUSE Interfaz y Operadores (Metadata) Consultas e informes Herramientas EIS Herramientas OLAP FD1 FD 2 FD 3 Copia de Seguridad Minería de Datos ISI/SI - 10

11 Elementos de un DWH Funciones ETL: Extracción(extraction), transformación (transformation) y carga (load) Extracción Acción de obtener la información deseada a partir de los datos almacenados en fuentes externas. Transformación Cualquier operación realizada sobre los datos para que puedan ser cargados en el data warehouse o se puedan migrar de éste a otra base de datos. Carga. Consiste en almacenar los datos en la base de datos final, por ejemplo el data warehouse objetivo normal. Metadatos: "datos acerca de los datos Documenta y recoger todas las definiciones referentes a: Tablas, Columnas de tablas, Relaciones entre tablas, Jerarquías y Dimensiones de datos y Entidades y Relaciones Middleware Asegura la conectividad entre todos los componentes de la arquitectura de un almacén de datos. Servicios u operaciones que hacen posible el funcionamiento de aplicaciones distribuidas sobre plataformas heterogéneas que se sitúa entre las capas de aplicaciones y las capas inferiores (sistema operativo y red). ISI/SI - 11

12 Arquitectura de un Almacén de Datos Modelo multidimensional: Se representa una actividad que es objeto de análisis (hecho) y las dimensiones que caracterizan la actividad (dimensiones). Info relevante sobre el hecho (actividad) se representa por un conjunto de indicadores (medidas o atributos de hecho). Info descriptiva de cada dimensión se representa por un conjunto de atributos (atributos de dimensión). Ejemplo: Organización: Cadena de supermercados. Actividad objeto de análisis: ventas de productos. Información registrada sobre una venta: del producto Tauritón 33cl se han vendido en el almacén Almacén nro.1 el día 17/7/2003, 5 unidades por un importe de 103,19 euros. Para hacer el análisis no interesa la venta individual (ticket) realizada a un cliente sino las ventas diarias de productos en los distintos almacenes de la cadena. ISI/SI - 12

13 Producto Arquitectura de un Almacén de Datos Marca Dimensiones (puntos de vista) desde los que se puede analizar la actividad. Descripción Categoría hecho Semana Departamento Tipo Nro_producto Día Mes Año Trimestre Actividad que es objeto de análisis con los indicadores que interesa analizar importe unidades atributos medidas Almacén Ciudad Tipo Región

14 Arquitectura de un Almacén de Datos Entre los atributos de una dimensión se definen jerarquías Producto nro. producto categoría departamento Almacén almacén ciudad tipo región Tiempo día mes trimestre año semana ISI/SI - 14

15 Arquitectura de un Almacén de Datos Este esquema multidimensional recibe varios nombres: Estrella: si la jerarquía de dimensiones es lineal Estrella jerárquica o copo de nieve: si la jerarquía no es lineal. tiempo tiempo lugar PERSONAL equipo VENTAS proyecto producto ISI/SI - 15

16 Data Mart Se puede recopilar toda la información necesaria en un único esquema estrella o copo de nieve? NO: necesidad de varios esquemas. tiempo producto proveedor producto tiempo VENTAS lugar lugar PRODUCCIÓN tiempo Almacén formado por 4 datamarts. equipo PERSONAL proyecto producto lugar CAMPAÑA tiempo Cada uno de estos esquemas se denomina Datamart. ISI/SI - 16

17 Data Mart Qué es? Parte de un DWH De un fin específico Solución táctica Subconjunto de un almacén de datos, generalmente en forma de estrella o copo de nieve. Por qué Consultas mas rápidas y menos usuarios Desarrollo mas rápido Integrados Asegurar la consistencia de los datos Requiere de una planificación avanzada ISI/SI - 17

18 Análisis de Datos en DWH OLTP : Procesamiento Transaccional en Línea (Online Transacction Process) Operacionales Transacciones en línea OLAP: Procesamiento analítico en línea (Online Analytical Process) Respuestas rápidas a problemas ad hoc. Alto nivel de detalle en cada operación Elementos de control Variables de decisión: Representan una medición del negocio Se basan en el concepto de cubo ISI/SI - 18

19 Análisis de datos en DWH Se pueden obtener hechos a diferentes niveles de agregación Obtención de medidas sobre los hechos parametrizadas por atributos de las dimensiones y restringidas por condiciones impuestas sobre las dimensiones HECHO: El primer trimestre de 2004 la empresa vendió en Valencia el producto tauritón 33 cl. por un importe de euros Ventas en miles de Euros PRODUCTO: artículo LUGAR: ciudad Murcia Alicante Zaragoza Madrid Barcelona Valencia Zumo Piña 1l. 17 Cola 33cl. 57 Jabón Salitre 93 Tauritón 33cl 22 Cerveza Kiel 20 cl 5 Leche Entera Cabra 1l TIEMPO: trimestre Jerarquía de dimensiones: PRODUCTO LUGAR TIEMPO Categoría País Año / \ Gama Prov. Ciudad Trimestre \ \ / / \ Artículo Supermercado Mes Semana \ / Día Hora Un nivel de agregación para un conjunto de dimensiones se denomina cubo ISI/SI - 19

20 Herramientas OLAP Operaciones OLAP Carácter de agregación Redimensio nar Selección y proyección de datos Roll: Eliminar criterio de agrupación existente Drill: Nuevo criterio a partir de los grupos actuales Pivot: Reorientar dimensiones del informe Slice: En dos dimensiones Dice: En mas de dos dimensiones ISI/SI - 20

21 Herramientas OLAP Las herramientas de OLAP se caracterizan por: Ofrecer una visión multidimensional de los datos (matricial). No imponer restricciones sobre el número de dimensiones. Ofrecer simetría para las dimensiones. Permitir definir de forma flexible (sin limitaciones) sobre las dimensiones: restricciones, agregaciones y jerarquías entre ellas. Ofrecer operadores intuitivos de manipulación: drill-down, rollup, slice-and-dice, pivot. Ser transparentes al tipo de tecnología que soporta el almacén de datos (ROLAP o MOLAP). ISI/SI - 21

22 Sistemas ROLAP Variaciones de OLAP Se implementan sobre tecnología relacional, pero disponen de algunas facilidades para mejorar el rendimiento (índices de mapas de bits, índices de JOIN). Sistemas MOLAP Disponen de estructuras de almacenamiento específicas (arrays) y técnicas de compactación de datos que favorecen el rendimiento del almacén. Sistemas HOLAP Sistemas híbridos entre ambos. ISI/SI - 22

23 ROLAP y MOLAP ROLAP MOLAP Desktop Herramienta OLAP Servidor Multidimensional Herramienta OLAP Servidor Relacional Warehouse

24 Minería de datos: Extraer información precisa Proceso semiautomático de análisis de grandes bases de datos con el fin de encontrar patrones interesantes para el usuario Data Mining Minería de Datos ISI/SI - 24

25 Minería de Datos Es la extracción automática de información predictiva escondida desde bases de datos. Estudia métodos y algoritmos que permiten la extracción automática de información sintetizada que permite caracterizar las relaciones escondidas. Tecnología que ayuda a enfocarse en la información más importante en los almacenes de datos. ISI/SI - 25

26 Proceso de Minería de Datos BD Datos Selección Pre procesamiento Selección de características Extracción de conocimiento Evaluación Conocimiento Modelo clasificador

27 Herramientas Minería de Datos Predicen tendencias futuras y comportamientos. Pueden responder a preguntas que consumarían demasiado tiempo para resolverlas. La automatización, provee herramientas típicas de soporte de decisión. Obtienen de las bases de datos patrones escondidos. Pueden ser implementadas en diferentes tipos de arquitecturas ISI/SI - 27

28 Técnicas Reconocimiento de Patrones Minería de Datos Aprendizaje automático Modelamiento matemático Bases de Datos Ciencias de Administración y Sistemas de Información ISI/SI - 28

29 Técnicas de Minería de Datos Son el resultado de un largo proceso de investigación y desarrollo de productos. Pueden ser implementadas rápidamente en software y en las plataformas de hardware existente. La Minería de Datos esta soportada por tres tecnologías maduras: Colección masiva de datos. Multiprocesamiento. Algoritmos de minería de datos. ISI/SI - 29

30 Taxonomía de la Minería Data Mining Verification Driven DM Discovery Driven DM SQL SQL Generator Description Prediction Query Tools Visualization Clustering Clasification Statistical Regression OLAP Association Decision Tree Rule Induction Secuential Association Distillation Neural Network

31 Métodos de la Minería Métodos Estadísticos Anova JI Cuadrado Análisis de clusters Regresión Lineal Análisis de Covarianza Contrasta la independencia de variables Clasifica poblaciones Variables dependientes e independientes ISI/SI - 31

32 Técnicas de la Minería Arboles de Decisión Subconjuntos que a su vez son particionados Reglas de Asociación Algoritmos genéticos Lógica difusa Series temporales Redes bayesianas Inducción a reglas Sist. Basados en conocimiento y sist expertos Información por coincidencia SI Entonces Técnicas de reproducción para búsqueda y optimización Utilizada en primeras fases de minería de datos Modelamiento real evitando el determinismo Tratamiento probabilístico Estudio de una variable a través del tiempo Se basa en ciclos tendencias y estaciones Aprender sobre relaciones de dependencia Trabajo con BD incompletas Entrada: Conjunto de casos asociados a una clasificación Se usan árboles de decisión Formalización de árboles y reglas de decisión Posee motores de inferencia ISI/SI - 32

33 Evaluación de la Minería Selección de técnicas adecuadas. El mínimo aceptable para elegir una tecnología de MD y un producto depende de qué tanto el producto beneficia al negocio: Ingresos. Costos disminuidos. Rendimiento de inversiones. Para desarrollar con éxito un negocio, el MD debe buscar algo más que patrones deseados. Se tienen tres medidas claves, para una evaluación de las herramientas. Precisión Explicación Integración ISI/SI - 33

34 Retos de las herramientas de BI Evitar caer en una falsa interpretación equivocarse. Tiempo y espacio. Privacidad ISI/SI - 34

35 Tendencias en Business Intelligence Tecnologías verdes Redes sociales Visualización de datos BI móviles BI en la nube Minería de texto Minería de web ISI/SI - 35

36 Minería de Web y de Texto Aplicación de técnicas de DM para la extracción de información de la web y de textos Text mining Entradas Establecer el Corpus Crear matriz TD Extraer Conocimiento Diversas Fuentes de datos Desestructurados o Semiestructurados Recolectar y organizar la información de un dominio específico TD: Término- Documento Estructura el Corpus Descubrir nuevos patrones en la matriz TD Web mining Web Content Mining Fuente: Contenido textual no estructurado (usualmente HTML) Web Structure Mining Fuente: Enlacies URL contenidos en las páginas Web Usage Mining Fuente: Descripción de las visitas de un website (clicks por sesión, etc) ISI/SI - 36

37 Tecnologías Verdes Green computing, green IT Estudio y práctica para el diseño, creación y uso de artefactos informáticos de manera eficiente minimizando el impacto al medio ambiente. Elementos creados: monitores, impresoras, dispositivos de almacenamiento, sistemas de comunicación y de redes Objetivos: Reducir el uso de materiales contaminantes Uso eficiente de la energía durante el periodo de vida de los productos Fomentar la reciclabilidad y biodegradabilidad de los productos obsoletos Ejemplos: La norma Energy Star Certificación TCO ISI/SI - 37

38 Redes sociales Red Social Usuarios (Visitantes únicos) Porcentaje Facebook.com 792,999, % Twitter.com 167,903, % LinkedIn.com 94,823, % Google+ 250,000, % MySpace 61,037, % Others 255,539, % Total 1,438,877, % Tomado de: ComScore: Google+ Grows Worldwide Users From 65 Million In October To 67 Million In November". December 22, unch%29. ISI/SI - 38

39 BI en Redes Sociales Inteligencia de negocios 2.0: Herramientas para analizar y decidir libremente qué tipo de comunicación, información y colaboración quieren llevar a cabo con las marcas y organismos Colaboración entre usuarios Amplitud de fuentes de información Generar interacción con los usuarios Métricas asociadas: Retorno de la Interacción Retorno de implicación Retorno de la participación Retorno de la confianza ISI/SI - 39

40 Visualización de datos Comunicar información de manera clara y efectiva a través de gráficos Visualización atractiva e interesante de la información Ejemplo: blogs o websites p.e. ISI/SI - 40

41 Visualización de datos Ejemplo: Nubes de palabras Frecuencia de términos ISI/SI - 41

42 BI en la nube En 2012 los medianos y pequeños negocios que no tengan los recursos de IT suficientes llevaran y adoptarán sus negocios hacia la nube SaaS BI = Alojar una aplicación o plataforma de BI en la nube y proporcionar funciones bajo demanda para los usuarios empresariales Reducción de costos Menos infraestucturas ETL puede subir datos a la nube para su procesamiento El 46% de los encuestados considera que es "difícil" trasladar los datos a la nube y desde ella en un entorno de BI SaaS. ISI/SI - 42

43 BI en dispositivos móviles Compañías están probando aplicaciones móviles que sirvan para mejorar sus labores a nivel de negocio. Dispositivos móviles usados mas allá de labores de comunicación Apple calcula que un 92% de las empresas de la lista Fortune 500 desarrollarán aplicaciones para ipad. ISI/SI - 43

44 Herramientas de BI en 2.0 Trends in Business Analytics. ated Mobile BI is on the move. LITEBI: Business Intelligence in the Cloud. La inteligencia de negocio y su potencial en Redes Sociales Observatorio de Redes Sociales TVE En Portada. Ciberbasura sin fronteras ISI/SI - 44

45 Resumiendo ISI/SI - 45

46 Bibliografía Beltrán Martínez, Beatriz. Minería de Datos. Turban, Efraín; Sharda, Ramesh; Denle, Dursun; King, David. Business Intelligence. A managerial Approach. 2nd Edition.Pearson. ISBN 10: X Pérez López, César. Minería de Datos: técnicas y herramientas. Paraninfo ISBN: Piattini, Mario; Marcos, Esperanza; Calero, Coral y Vela, Belén. Tecnologías y diseño de bases de datos. Ra-Ma ISBN: ISI/SI - 46