UNIVERSIDAD CENTRAL DEL ECUADOR

Transcripción

1 UNIVERSIDAD CENTRAL DEL ECUADOR FACULTAD DE INGENIERÍA, CIENCIAS FÍSICAS Y MATEMÁTICA CARRERA DE INGENIERÍA INFORMÁTICA IMPLEMENTACIÓN DE UN SISTEMA DE INTELIGENCIA DE NEGOCIOS EN EL DEPARTAMENTO DE VENTAS DE UNA EMPRESA NACIONAL DEL SECTOR LÁCTEO Y DESARROLLO DE REPORTES DINÁMICOS UTILIZANDO HERRAMIENTAS DE SOFTWARE LIBRE TRABAJO DE GRADUACIÓN PREVIO A LA OBTENCIÓN DEL TITULO DE: INGENIERA INFORMÁTICA AUTOR: CLAUDIA ESTEFANÍA JARAMILLO MEJÍA TUTOR: ING. LUIS FELIPE BORJA BORJA Quito Ecuador 2015

2 DEDICATORIA Dedico esta tesis primeramente a Dios por haberme dado la vida y permitirme llegar a esta instancia de mi formación profesional. A mis padres por ser el pilar fundamental en la enseñanza de buenos sentimientos, hábitos y valores, lo cual me ayudó a ser fuerte para salir adelante en los momentos más difíciles, a mi hermano que siempre ha estado junto a mí con sus consejos para afrontar los retos que se han presentado en mi camino. A toda mi familia por haberme brindado su apoyo incondicional, por compartir buenos y malos momentos. A todas las personas que me apoyaron directa o indirectamente en el desarrollo de este trabajo. Claudia E. Jaramillo Mejía II

3 AGRADECIMIENTO Agradezco infinitamente a Dios por haberme dado la fuerza y el valor para poder culminar esta etapa de mi vida. Agradezco a mis padres y hermano por el apoyo incondicional y el amor demostrado durante toda mi vida. Agradezco a mis profesores que fueron parte de mi formación académica, que con sus consejos, enseñanzas y orientación han hecho una persona de bien y útil para la sociedad. Agradezco a mi Tutor de tesis el Ing. Luis Felipe Borja por sus sabios consejos que fueron una guía para el desarrollo de este proyecto. Agradezco a los directivos y personal de empresa Pasteurizadora Quito que hicieron posible la implementación de reportes e indicadores para el área de ventas utilizando un Sistema de Inteligencia de Negocios. Agradezco a todas las personas que de una u otra forma colaboraron en mi formación profesional y poder culminar una etapa más en mi vida. Claudia E. Jaramillo Mejía III

4 AUTORIZACIÓN DE LA AUTORÍA INTELECTUAL IV

5 CERTIFICACIÓN V

6 APROBACIÓN DEL TEMA VI

7 GRADUACIÓN VII

8 CONTENIDO DEDICATORIA... II AGRADECIMIENTO... III AUTORIZACIÓN DE LA AUTORÍA INTELECTUAL... IV CERTIFICACIÓN... V APROBACIÓN DEL TEMA... VI GRADUACIÓN... VII CONTENIDO... VIII LISTA DE FIGURAS... XI LISTA DE TABLAS... XIII RESUMEN... XIV ABSTRACT... XV INTRODUCCIÓN... 1 CAPÍTULO I... 2 PRESENTACIÓN DEL PROBLEMA PLANTEAMIENTO DEL PROBLEMA FORMULACIÓN DEL PROBLEMA INTERROGANTE DE LA INVESTIGACIÓN OBJETIVOS GENERAL ESPECÍFICOS ALCANCE Y LIMITACIÓN DEL PROYECTO ALCANCE LIMITACIONES JUSTIFICACIÓN DEL PROYECTO... 5 CAPÍTULO II... 6 MARCO TEÓRICO Y LEGAL ANTECEDENTES FUNDAMENTACIÓN TEÓRICA SISTEMAS DE INTELIGENCIA DE NEGOCIOS - BI... 7 QUÉ ES UN SISTEMA BI?... 7 QUÉ PUEDE HACER CON UN SISTEMA BI?... 8 BENEFICIOS DE UN SISTEMA BI PLATAFORMA DE UN SISTEMA DE INTELIGENCIA DE NEGOCIOS... 9 PENTAHO... 9 VIII

9 REPORTING ANÁLISIS DASHBOARDS DATA MINING INTEGRACIÓN DE DATOS DATA WAREHOUSE DATA MART DATA WAREHOUSE VS DATA MART TIPOS DE DATA MART DATA MART DEPENDIENTES DATA MART INDEPENDIENTES ETL EXTRACCIÓN TRANSFORMACIÓN CARGA REPORTES BASE DE DATOS OLTP Y OLAP OLTP OLAP MODELO ESTRELLA DIMENSIONES VARIABLES IDENTIFICACIÓN DE VARIABLES VARIABLES INDEPENDIENTES VARIABLES DEPENDIENTES VARIABLES INTERVINIENTES HIPÓTESIS CAPÍTULO III MARCO METODOLÓGICO DISEÑO DE LA INVESTIGACIÓN DISEÑO EXPERIMENTAL PLAN DE RECOLECCIÓN DE DATOS PLAN DE PROCESAMIENTO DE DATOS METODOLOGÍA DE DESARROLLO CAPÍTULO IV DISEÑO DE LA SOLUCIÓN DESCRIPCIÓN DE LA ARQUITECTURA ANÁLISIS DE LAS FUENTES DE DATOS CALIDAD DE DATOS FRECUENCIA DE CARGA MODELO MULTIDIMENSIONAL DISEÑO RELACIONAL DE LA BASE DE DATOS QUE SOPORTA A LOS CUBOS IX

10 CAPÍTULO V IMPLEMENTACIÓN DEL PROTOTIPO CONFIGURACIÓN E INSTALACIÓN CONFIGURACIÓN DE MÁQUINAS VIRTUALES CONFIGURACIÓN DE LA BASE DE DATOS CONFIGURACIÓN DE HERRAMIENTA BI- PENTAHO CONFIGURACIÓN DE USUARIOS EN BI- PENTAHO CONFIGURACIÓN DE DATA SOURCE EN BI -PENTAHO COMPONENTES DE LA ARQUITECTURA DE PENTAHO EXTRACCIÓN, TRANSFORMACIÓN Y CARGA PENTAHO - DATA INTEGRATION CREACIÓN DEL REPOSITORIO PROCESOS ETL PROCESO ETL EXTRACCIÓN DE LOS DATOS PROCESO ETL TRANSFORMACIÓN DE DATOS PARA LAS DIMENSIONES PROCESO ETL TRANSFORMACIÓN DE DATOS PARA LA TABLA DE HECHOS PROCESO ETL CARGA DE DATOS CUBOS OLAP SCHEMA WORKBENCH CUBO DE VENTAS REPORTES CAPÍTULO VI CONCLUSIONES RESULTADOS CONCLUSIONES RECOMENDACIONES BIBLIOGRAFÍA ANEXOS DETALLE DE TABLAS DEL CUBO DE VENTAS SENTENCIAS SQL PRESUPUESTO DE DEL PROYECTO DE TESIS CRONOGRAMA DEL PROYECTO ACTAS DE REUNIONES X

11 LISTA DE FIGURAS Ilustración 1. Beneficios de Inteligencia de Negocios. ()... 9 Ilustración 2. Schema Workbench Ilustración 3. Spoon () Ilustración 4. Arquitectura de un Data WareHouse () Ilustración 5. Data Mart Dependiente () Ilustración 6. Data Mart Independiente () Ilustración 7. Diseño y Construcción -Proceso ETL () Ilustración 8. Modelos Estrella y Copo de Nieve Ilustración 9. Arquitectura de un Data Mart () Ilustración 10. Arquitectura de la Solución () Ilustración 11. Sistema Dynamics Ilustración 12. Base datos SQL SERVER Ilustración 13. Dimensión Tiempo Ilustración 14. Relación dimensional - Cubo de Ventas Ilustración 15. Modelo Multidimensional- Cubo de Ventas Ilustración 16. Inicio de Servidor MySql Ilustración 17. Usuario administrador- MySql Ilustración 18. Base de datos- MySql Ilustración 19. Carpeta Pentaho Ilustración 20. Driver de Conexión Ilustración 21. Archivo WEB.XML Ilustración 22. Configuración del archivo WEB.XML Ilustración 23. Archivo start-pentaho.sh Ilustración 24. Pantalla de inicio Pentaho Ilustración 25. Menú Archivo Administration Ilustración 26. Pantalla de creación de usuarios Ilustración 27. Menú Archivo Home-Manage Data Source Ilustración 28. Configuración Conexión a la Base de datos PQSAETL Ilustración 29. Conexión PqsaETL Ilustración 30. Arquitectura de Pentaho- Suite Ilustración 31. Ejecución de la herramienta Spoon.sh Ilustración 32. Creación de repositorio Ilustración 33. Conexión Base de datos destino- PqsaETL Ilustración 34. Conexión Base de datos origen- PqsaProduccionFacElec Ilustración 35. Pantalla Inicio Repositorio Ilustración 36. Área de trabajo Spoon Ilustración 37. Creación de una transformación Ilustración 38. Tabla Entrada Ilustración 39. Pantalla de ingreso de consultas SQL Dimensión Cliente Ilustración 40. Tabla de hechos Venta Ilustración 41. Tabla Salida Ilustración 42. Pantalla de Definición de Dimensiones Ilustración 43. Definición de la tabla dimensión XI

12 Ilustración 44. Sentencia SQL Ejecutada Ilustración 45. Trasformación DM_LOTE Ilustración 46. Trasformación DM_ESTABLECIMIENTO Ilustración 47. Trasformación DM_UBICACION Ilustración 48. Trasformación DM_CLIENTE Ilustración 49. Trasformación DM_TRANSFORMACION Ilustración 50. Datos -DM_TIEMPO Ilustración 51. Transformación Tabla Conversion Ilustración 52. Tablas en Mysql Dimensiones del Cubo Ilustración 53. Trasformación DW_VENTAS Ilustración 54. Ejecución de Trasformación Ilustración 55. Herramientas para crear un Trabajo Ilustración 56. Definición de periodo de ejecución del Trabajo Ilustración 57. Relación Trabajo y Transformación Ilustración 58. Ejecución de Trabajo Ilustración 59. Definición de Esquemas Ilustración 60. Definición del Cubo de Ventas Ilustración 61. Definición de una Dimensión Ilustración 62. Definición de un Nivel Ilustración 63. Cubo de Ventas - Jerarquía Bodega Ilustración 64. Cubo de Ventas - Jerarquía Cliente Ilustración 65. Cubo de Ventas - Jerarquía Producto Ilustración 66. Cubo de Ventas - Jerarquía Lote Ilustración 67. Cubo de Ventas - Jerarquía Establecimiento Ilustración 68. Cubo de Ventas - Jerarquía Tiempo Ilustración 69. Cubo de Ventas - Jerarquía Vendedor Ilustración 70. Cubo de Ventas Medida Cantidad Ilustración 71. Cubo de Ventas Medida Litros Ilustración 72. Cubo de Ventas Ilustración 73. Publicación de los Cubos de Datos Ilustración 74. Configuración repositorio de Cubo de Datos Ilustración 75. Pantalla Pentaho Lista de Cubo de Datos Ilustración 76. Pantalla Pentaho Cubo de Ventas Ilustración 77. Pantalla de manejo de las dimensiones y medidas Ilustración 78. Reporte Producto Vendido por Fecha Ilustración 79. Reporte Ventas Canal Tradicional Preventa Ilustración 80. Reporte Ventas Canal Tradicional Autoventa Ilustración 81. Línea de Tiempo Ilustración 82. Acta Inicio del Proyecto Ilustración 83. Acta Inicio del Proyecto Ilustración 84. Acta de Requerimientos Ilustración 85. Acta de Requerimientos Ilustración 86. Acta de Revisión Ilustración 87. Acta de Revisión Ilustración 88. Acta de Presentación y Entrega XII

13 Ilustración 89. Carta de Aceptación LISTA DE TABLAS Tabla 1. Cuadro comparativo de redundancia de datos Tabla 2. Cuadro comparativo de los datos... 7 Tabla 3. Tabla DM_BODEGA Tabla 4. Tabla DM_CLIENTE Tabla 5. Tabla DM_ESTABLECIMIENTO Tabla 6. Tabla DM_LOTE Tabla 7. Tabla DM_PRODUCTO Tabla 8. Tabla DM_VENDEDOR Tabla 9. Tabla DM_TIEMPO Tabla 10. Tabla DW_VENTAS Tabla 11. Tabla Presupuesto Tabla 12. Cronograma Proyecto XIII

14 RESUMEN IMPLEMENTACIÓN DE UN SISTEMA DE INTELIGENCIA DE NEGOCIOS EN EL DEPARTAMENTO DE VENTAS DE UNA EMPRESA NACIONAL DEL SECTOR LÁCTEO Y DESARROLLO DE REPORTES DINÁMICOS UTILIZANDO HERRAMIENTAS DE SOFTWARE LIBRE Algunos son los factores o propósitos que conlleva a la implementación de un Sistema de Inteligencia de Negocios en una empresa, entre los principales es automatizar los procesos que se utilizan para obtener todos los datos como una información consolidada, descifrable y sobre todo confiable para futuras acciones o para la toma de buenas decisiones. El presente proyecto como Trabajo de Grado tiene como fin crear un Data Mart para generar reportes e indicadores que faciliten información valiosa en el Departamento de Ventas de la empresa del Sector Lácteo, este diseño desarrollarlo con herramientas de software libre y sin restricción de acceso de usuarios. El proyecto estima evitar trabajos manuales, los reportes Excel, consultas directas a la base de datos, disminuir el tiempo de obtención de la información, evitar datos que no aporten y confundan en el análisis y estudio de los mismos. DESCRIPTORES: DISEÑO DE UN DATA MART EN VENTAS / APLICACIÓN BI. EN EL SECTOR LÁCTEO / DISEÑO DE REPORTES EN PENTAHO / IMPLEMENTACION ETL PENTAHO / MODELO ESTRELLA EN VENTAS DE PRODUCTOS LÁCTEOS / DEFINICIÓN Y MANEJO DE LA HERRAMIENTA PENTAHO / CONCEPTOS BÁSICOS DE INTELIGENCIA DE NEGOCIOS XIV

15 ABSTRACT IMPLEMENTATION OF A BUSINESS INTELLIGENCE SYSTEM IN THE SALES DEPARTMENT OF A NATIONAL COMPANY AT THE DAIRY AREA AND THE DEVELOPMENT OF DYNAMIC REPORTS TAKING ADVANTAGES OF THE FREE SOFTWARE TOOLS. Some are the factors or purposes that lead to the implementation of a Business Intelligence System in a company, one of the main factors is to automate the processes used to obtain all the data as consolidated information, decipherable and especially reliable for future actions or for making good decisions. This project as a Degree work has the objective to create a Data Mart to generate reports and indicators that provides valuable information in the Sales Department of the company's Dairy Area; this design is developed with free software without any restricting to the user access. The project estimate to avoid manual work, Excel reports, direct consultations to the database, reduce the time for obtaining information and to avoid data that doesn't contribute or confuse the analysis and studies of it. DESCRIPTORS: DESIGN OF DATA MART IN SALES / BI. APPLICATION IN THE DAIRY AREA/ DESIGN REPORTS IN PENTAHO / ETL - PENTAHO IMPLEMENTATION / ROL MODEL ON SALES OF DAIRY PRODUCTS / DEFINITION AND MANAGEMENT OF THE PENTAHO TOOL/ BASIC CONCEPTS OF BUSINESS INTELLIGENCE XV

16 XVI

17 XVII

18 INTRODUCCIÓN El presente trabajo tiene como solución automatizar los procesos utilizados en la obtención de toda la información que contiene el Departamento de Ventas de una empresa del Sector Lácteo, empresa dedicada al procesamiento y distribución de productos Lácteos, con la finalidad de minimizar tiempos de respuesta, disponer de datos actualizados, mejorar la calidad y credibilidad de la información visualizada en los diferentes reportes en indicadores a realizarse con la herramienta de software libre en la implementación del Sistema de Inteligencia de Negocios, para una correcta toma de decisiones. En el proyecto se trata de realizar transformaciones complejas a partir de datos históricos y diarios de ventas obtenidos de distintas fuentes, realizar un levantamiento de requerimientos, documentación del proceso ETL, manejo de herramientas de software libre para la implementación del Sistema de Inteligencia de Negocios que facilite a todos los usuarios autorizados ver los reportes con la información final deseada. A partir de los requerimientos establecidos por el personal a cargo del proyecto, de las limitaciones que tiene la empresa, se define los objetivos, el alcance y las herramientas de software libre con las que se va a trabajar en desarrollo e implementación de los procesos ETL y manejo de la herramienta. El Sistema de Inteligencia de Negocios se compone por dos grandes partes: la primera, la integración de los datos que incluye el análisis y el proceso ETL con sus propios esquemas, el segundo, es el control y verificación de datos para la aplicación del software libre Pentaho basado en la metodología de Inteligencia de Negocios, permitiendo la clasificación, predicción y generación de información disponible para cualquier usuario autorizado. \ 1

19 CAPÍTULO I PRESENTACIÓN DEL PROBLEMA 1. PLANTEAMIENTO DEL PROBLEMA La empresa dedicada a la recolección y tratado de la leche tiene como visión para los próximos años ser una de las mejores empresas nacionales del Sector Lácteo y tener una buena rentabilidad en el mercado. En la actualidad la empresa ha visto un mayor crecimiento de información referente a sus ventas por lo cual para obtener sus propósitos se requiere implementar procesos automáticos que cumplan con normas y estándares de calidad certificadas por la ley, tener datos actualizados en ventas, mejorar tiempos de repuesta en la obtención de la información que ayudará en una acertada y mejor decisión ante cualquier problema que se presente. La presente investigación se realizará en la empresa nacional del Sector Lácteo, toda la información alojada en las aplicaciones de producción de la empresa y que es proporcionada por las personas involucradas y con conocimiento de operaciones de venta se la extraerá, transformará y cargará a los sistemas de Inteligencia de Negocios. El tiempo planificado para el estudio del problema e implementación de las posibles soluciones es aproximadamente de seis meses ya que si no se realiza correctamente todos los procesos anteriormente mencionados la carga de datos masivos pueden llegar a colapsar el sistema, volviéndolo lento y que el uso diario sea tedioso y complicado de manejar. 2. FORMULACIÓN DEL PROBLEMA Causas La falta de herramientas de software libre para la visualización de información de ventas. Ausencia de procesos automáticos en la obtención de información Efecto Todos los usuarios autorizados por la empresa no puedan elaborar reportes para visualizar la información de las ventas. 2

20 La manera de obtener la información no es la correcta y toma demasiado tiempo en visualizarse. Dificultad en transformar los datos en información. Consecuencia No permite al departamento de ventas la elaboración de informes de manera rápida y ágil. No permitir a los usuarios de otros departamentos navegar por la información y análisis de la misma. No lograr una mejora en el proceso de gestión de información. Falta de credibilidad de los datos Posibles Soluciones Desarrollo de procesos ETL para automatizar la obtención y disminución de redundancia de información. Implementación del Sistema de Inteligencia de Negocios para utilización de la información en una acertada toma de decisiones. Tomar la tecnología como ubicuo en todos los aspectos del negocio y de la vida personal como un rol importante en estas actividades. 3. INTERROGANTE DE LA INVESTIGACIÓN Cómo beneficiaría la implementación de un Sistema de Inteligencia de Negocios y desarrollo de reportes dinámicos en el Departamento de Ventas en la empresa nacional del Sector Lácteo? Actualmente en el Departamento de Ventas de la empresa dedicada al procesamiento y distribución de productos Lácteos, la obtención de información requerida se maneja con procesos manuales como es: la ejecución de las consultas directas a la base de datos, el usos de hojas de cálculo que toman su tiempo, adicional la empresa consta con accesos limitados a un sistema de reportes de ventas, por tales razones se desea implementar procesos automáticos, uso de herramientas de software libre que implemente la Inteligencia de Negocios para con esto ayudar a la empresa a mejorar los tiempos de visualización de la información, a buscar la manera rápida y fácil de elaborar reportes dinámicos que sean disponibles a todos los usuarios que lo requieran. Ofrecer a los gerentes y encargados de estas tareas una visión clara y cercana de la realidad de sus ventas, llegar a tomar decisiones apropiadas y acertadas. 3

21 4. OBJETIVOS 4.1 GENERAL Implementar un Sistema de Inteligencia de Negocios y desarrollo de reportes dinámicos relacionados con el Departamento de Ventas de una empresa del Sector Lácteo, utilizando herramientas de software libre. 4.2 ESPECÍFICOS Definir las bases de datos necesarias a utilizar en el proceso ETL del Departamento de Ventas. Analizar los datos extraídos de las diferentes fuentes que contienen información de ventas. Verificar la información que cumplen con las especificaciones y pautas necesarias para los resultados esperados. Desarrollar el modelo estrella en el cual se definirá las tablas de hechos y sus dimensiones. Cargar los datos procedentes de las diferentes bases relacionales en el sistema de destino y diseñar el Data Mart. Desarrollar la interface de visualización de los datos para los usuarios finales utilizando herramientas de software libre, de acuerdo a las necesidades de la empresa de su área en estudio. Disminuir los tiempos de accesibilidad a la información. Facilitar los trabajos de análisis al departamento y usuarios que requiera la información de ventas de la empresa. 5. ALCANCE Y LIMITACIÓN DEL PROYECTO 5.1 ALCANCE En el proyecto para la implementación de un Sistema de Inteligencia de Negocios se realizará las siguientes acciones: Aplicar en el Departamento de Ventas de la empresa del Sector Lácteo. 4

22 Obtener los datos históricos de ventas desde el 2008 hasta la fecha presente que se almacenan en las distintas fuentes de datos a utilizar( SqlServer 2008 y ERP Microsoft Dynamics) Realizar la extracción, transformación y carga de datos Mostrar los datos mediante reportes específicos de ventas en los navegadores web. 5.2 LIMITACIONES Al tratar de abrir los reportes en los diferentes navegadores estos no se mostrarán de la misma forma en todos. El funcionamiento correcto de la aplicación es dependiente de la información que se obtendrá del Data Mart El tamaño de la información a ser cargada puede provocar que los sistemas funcionen con eficiencia. 6. JUSTIFICACIÓN DEL PROYECTO La empresa actualmente se maneja con algunos procesos manuales, consultas directas a la base de datos tomándose mucho tiempo para la obtención de información de todos los datos históricos y que ingresan diariamente sobre las ventas realizadas, esta información no es de acceso libre para cualquier usuario que la necesite. Con la implementación de Inteligencia de Negocios se ayudará a disminuir el tiempo de entrega, facilitará el acceso a la información correspondiente al Departamento de Ventas de la empresa del Sector Lácteo, permitirá aprovechar los grandes volúmenes de datos cuantitativos que el departamento recolecta todos los días en sus diversas bases de datos. Es importante la implementación de una interfaz atractiva y fácil de entender la información resultante de todo el proceso de Inteligencia de Negocios para ayudar a los gerentes y personas relacionadas con el departamento de ventas a tener una visión clara y general de sus ventas. 5

23 CAPÍTULO II MARCO TEÓRICO Y LEGAL 1. ANTECEDENTES En la actualidad se ha dado mucha importancia a los Sistemas de Inteligencia de Negocios en las empresas y con la ayuda de los avances tecnológicos se han creado diversas soluciones a los problemas de recolección e integración y análisis de datos, igualmente al diseño y construcción de procesos unificados. 2. FUNDAMENTACIÓN TEÓRICA La empresa del Sector Lácteo pretende automatizar algunos los procesos que se manejan en el Departamento de Ventas, con la finalidad de minimizar los tiempos, obtener automáticamente información actualizada y visualizarla en reportes dinámicos. Los procesos automáticos para obtener la información de ventas serán diseñados con la herramienta de software libre Pentaho, para un fácil acceso a los usuarios y mejorar la calidad y credibilidad de las decisiones tomadas en el Departamento de Ventas. Con la aplicación de sistemas de Inteligencia de Negocios y procesos ETL se obtendrá: Para la redundancia en datos: OLAP: son bases de datos orientadas al procesamiento de transacciones. Propiedad de la redundancia Acelerar consultas con datos precalculados Mayor tiempo en actualización con datos Mayor probabilidad de generar inconsistencias Mejorar controles Base OLTP X Efectos Data Warehouse X Tabla 1. Cuadro comparativo de redundancia de datos. 1 X 1 Link: 6

24 En obtención de datos como información Datos Operacionales * Orientados a una aplicación * Integración limitada * Constantemente actualizados * Solo valores actuales * Soportan operaciones diarias Datos Informativos * Orientados a un tema * Integrados * No volátiles * Valores a lo largo del tiempo * Soportan decisiones de administración Tabla 2. Cuadro comparativo de los datos Para el propósito de un Data Mart, el modelo relacional (ER) presenta los siguientes problemas: Legibilidad limitada. Los usuarios finales no son capaces de entender el modelo ER. Por tanto, no pueden navegar por dicho modelo en busca de información. Dificultad para las herramientas de consulta en el acceso a un modelo ER general. Las herramientas de consulta a menudo poseen resultados pobres o inaceptables cuando se trabaja en entornos relacionales de grandes volúmenes de información. (1) La utilización de la técnica de modelado ER frustra el principal atractivo del Data Mart, porque se impide la recuperación de información intuitiva y con alto rendimiento. Actualmente la empresa no cuenta con herramientas de software libre que permita acceso a todos los usuarios interesados y autorizadas para la consulta de la información de ventas. Los procesos empresariales pueden ser optimizados. El tiempo perdido esperando por información que finalmente es incorrecta o no encontrada, es eliminado y el acceso a esta información será eficiente y efectivo. 2.1 SISTEMAS DE INTELIGENCIA DE NEGOCIOS - BI QUÉ ES UN SISTEMA BI? El Sistema de Inteligencia de Negocios es un software que tiene como objetivo convertir los datos de una empresa en información que sirva como conocimiento y crear un valor competitivo ante el mercado. 1 Link: 7

25 QUÉ PUEDE HACER CON UN SISTEMA BI? Con un Sistema BI: Diseñar reportes para departamentos, áreas o globales en una empresa Generar una base de datos para clientes Dependiendo para la toma de decisiones crear escenarios Anticiparse con posibles resultados de ventas y devoluciones Compartir entre áreas, departamentos de una empresa la información Estudios de diseños multidimensionales Extraer, transformar y procesar datos Dar un nuevo enfoque en la toma de decisiones Mejorar la calidad de servicio al cliente Estos Sistemas de Inteligencia de Negocios permiten agrupar, analizar, escoger, transformar los datos que se ingresan en operaciones diariamente que pueden ser: orden, nota de ventas, facturas, movimientos contables, lista de usuarios, operaciones en información estructurada y convertir en conocimiento que ayude en la toma de decisiones de negocio. (2) BENEFICIOS DE UN SISTEMA BI Los beneficios que aporta un Sistema de Inteligencia de Negocios, es la unión de varias fuentes de información, crear perfiles de usuarios para el manejo de la información, disminuir la dependencia del Departamento de Sistemas, la reducción en los tiempos de obtención de la información y mejorar el análisis, disponibilidad de la información en el momento que se necesita, criterios que se ajustan al estado actual de la empresa. Cuando diseñamos la arquitectura de un sistema de Data Warehouse nos hemos de plantear los diferentes entornos por los que han de pasar los datos en su camino hacia su Data Mart o Cubo de Datos destino. Dada la cantidad de transformaciones que se han de realizar, y que normalmente el Data Warehouse, además de cumplir su función de soporte a los requerimientos analíticos, realiza una función de integración de datos que van a conformar el Almacén Corporativo y que van a tener que ser consultados también de la manera tradicional por los sistemas operacionales, es muy 2 Link: 8

26 recomendable crear diferentes áreas de datos en el camino entre los sistemas origen y las herramientas OLAP. (3) Ilustración 1. Beneficios de Inteligencia de Negocios. (4) 2.2 PLATAFORMA DE UN SISTEMA DE INTELIGENCIA DE NEGOCIOS PENTAHO Pentaho es un software de código, libre comercial para el "business intelligence" (BI) o "Inteligencia de Negocios". Pentaho Open BI Suite proporciona reporting intuitivo, análisis OLAP, cuadros de mando, integración de datos, minería de datos y Plataforma BI. Esta suite se ha convertido en la líder mundial y la más ampliamente utilizada como herramientas BI de código libre. El modelo de negocios de software libre y comercial Pentaho proporciona soporte, servicios y mejoras del producto vía suscripciones anuales. (5) Los módulos de la plataforma Pentaho son: 3 Link: que sirve un sistema de business intelligence.html 4 Link: que sirve un sistema de business intelligence.html 5 Link: que sirve un sistema de business intelligence.html 9

27 REPORTING Un módulo de los informes: Ofrece una herramienta de diseño de reportes, informes ágiles y de gran capacidad acorde a las necesidades de los usuarios, solución basada en JFreeReport. (6) Pentaho Reporting Es una herramienta libre de acceso y en cualquier prestación de una manera fácil y rápida. Es un editor basado en Eclipse capacidades profesionales con la capacidad de desarrollo de informes a las necesidades que presente el negocios en estudio o destinado a desarrolladores. Pentaho Reporting nos muestra de manera ordenada los resultados del análisis pudiendo imprimir o exportar en varios formatos (PDF, XLS, HTML y texto). Los reportes Pentaho permiten también programación de tareas y ejecución automática de informes con una determinada periodicidad. ANÁLISIS Un sistema avanzado de análisis de información para el uso de los usuarios. Con uso de las tablas dinámicas, generadas por herramienta Mondrian y JPivot, el usuario puede navegar y consultar los datos según lo requiera el usuario y ajustando a la necesidades y visión de los datos, los filtros de visualización, añadiendo o quitando los campos de agregación. Los datos pueden ser representados en una forma de SVG o Flash, los dashboards widgets, o también integrados con los sistemas de minería de datos y los portales web (portlets). Además, con el Microsoft Excel Analysis Services, se puede analizar los datos dinámicos en Microsoft Excel (usando la conexión a OLAP server Mondrian). Pentaho Analysis Este módulo ayuda a trabajar con máxima efectividad para ganar tiempo, sutileza y entender lo suficiente y poder tomar decisiones. Las características generales son: Vista multidimensional de datos (por ventas, por período, por empleados, etc.). Navegar y explorar (Análisis Ad Hoc, Drill-Down, etc.). Interactuar con alto rendimiento mediante tecnologías optimizadas para la rápida respuesta interactiva. (7) 6 Link: es pentaho y para que sirve/ 10

28 Pentaho Worbench Para un análisis multidimensional, Pentaho tiene en su plataforma BI una módulo ROLAP a través de lo que llaman Pentaho Analysis Services. PAS está basado en Mondrian, que es el corazón de este, y en Jpivot, que es la herramienta de análisis de usuario, con el que realizamos la navegación multidimensional sobre los Cubos de Datos desde la plataforma BI y visualizamos los resultados de las consultas. Estas son ejecutadas por Mondrian, que traduce los resultados relacionales a resultados multidimensionales, que a su vez son mostrados al usuario en formato Html por Jpivot (8) DASHBOARDS Ilustración 2. Schema Workbench Todos los componentes del módulo Pentaho Reporting y Pentaho Análisis pueden formar parte de un Dashboard. En Pentaho Dashboards es muy fácil de incluir una variedad de tipos de gráficos, tablas y velocímetros (dashboard widgets) e integrarlos con los Portlets JSP, en donde podrá visualizar informes, gráficos y análisis OLAP. DATA MINING Análisis en Pentaho: Se realiza con una herramienta WeKa. 7 Link: 8 Link: 11

29 Es un grupo de técnicas y tecnologías que admiten investigar bases de datos grandes de una manera automática o semiautomática, con el propósito de encontrar patrones en la información, tendencias o reglas que expliquen el comportamiento de los datos en un determinado contexto. (9) Básicamente, el Data Mining una herramienta que nos permite comprender el toda la información que se encuentra en un repositorio de datos. Con este fin, hace uso de prácticas estadísticas y, en algunos casos, de algoritmos de búsqueda próximos a la Inteligencia Artificial y a las redes neuronales. INTEGRACIÓN DE DATOS Se realiza con una herramienta Kettle ETL (Pentaho Data Integration) que permite implementar los procesos ETL. Últimamente Pentaho lanzó una nueva versión que marcó un gran paso adelante en OSBI ETL y que hizo Pentaho Data Integration una alternativa interesante para las herramientas comerciales. (10) Pentaho Data Integration Kettle es un proyecto Open Source que incluye un conjunto de herramientas para realizar ETL ahora forma parte de la suite de Inteligencia de Negocios Pentaho y este a su vez consiste principalmente de las aplicaciones Spoon, Pan,kitchen. Spoon Herramienta gráfica de desarrollo para realizar las transformaciones y trabajos ETL una vez diseñados serán ejecutados ya sea manual o automáticamente, a su vez permite organizar las trasformaciones en trabajos. Contiene un editor de consultas SQL para facilitar la creación de los datos que serán utilizados en los diferentes informes e indicadores. 9 Link: 10 Link: 12

30 Ilustración 3. Spoon (11) 2.3 DATA WAREHOUSE Un Data Warehouse es una base de datos corporativa que se caracteriza por integrar y depurar información de una o varias fuentes distintas, con un análisis exhaustivo con varias perspectivas es procesarla a mejores velocidades de respuesta. La creación de un Data Warehouse representa en la mayoría de las ocasiones el primer paso, desde el punto de vista técnico, para implantar una solución completa y fiable de Inteligencia de Negocios. La ventaja principal de este tipo de bases de datos radica en las estructuras en las que se almacena la información (modelos de tablas en estrella, en copo de nieve, cubos relacionales, etc). Este tipo de persistencia de la información es homogénea y fiable, y permite la consulta y el tratamiento jerarquizado de la misma (siempre en un entorno diferente a los sistemas operacionales). (12) Un Data Warehouse se caracteriza por ser: Integrado En un Data Warehouse los datos almacenados deben componer una estructura consistente, por las debilidades existentes entre los algunos sistemas operacionales los cuales debe ser eliminada. La información también se estructura en distintos niveles de referencia para ajustar a las necesidades de los usuarios. 11 Link: 12 Link: 13

31 Temático Sólo datos importantes en el proceso de generación del conocimiento del negocio se integran desde el entorno operacional. Los datos se organizan por niveles para ayudar al acceso y fácil entendimiento por parte de los usuarios finales. Por ejemplo, todos los datos sobre clientes pueden ser consolidados en una única tabla del Data Warehouse. De esta forma, las peticiones de información sobre clientes serán más fáciles de responder dado que toda la información reside en el mismo lugar. Histórico El tiempo es parte implícita de la información contenida en un Data Warehouse. En los sistemas operacionales, los datos siempre reflejan el estado de la actividad del negocio en el momento presente. Por el contrario, la información almacenada en el Data Warehouse sirve, entre otras cosas, para realizar análisis de tendencias. Por lo tanto, el Data Warehouse se carga con los distintos valores que toma una variable en el tiempo para permitir comparaciones. No volátil El almacén de información de un Data Warehouse existe para ser leído, pero no modificado. La información es por tanto permanente, significando la actualización del Data Warehouse la incorporación de los últimos valores que tomaron las distintas variables contenidas en él sin ningún tipo de acción sobre lo que ya existía. (13) 2.4 DATA MART Un Data Mart es una base de datos que se aplica a un departamento específico de una empresa, especializada en el almacenamiento de los datos de un área de negocio específica. Se caracteriza por disponer la estructura óptima de datos para analizar la información al detalle desde todas las perspectivas que afecten a los procesos de dicho departamento. Un Data Mart puede ser alimentado desde los datos de un Data Warehouse, o integrar por sí mismo un compendio de distintas fuentes de información. (14) 13 Link: tools.info/es/bi/almacendedatos_esquema estrella.htm 14 Link: 14

32 Los Data Mart que están dotados con estas estructuras óptimas de análisis presentan las siguientes ventajas: Menos cantidad de datos que un DW Mayor velocidad en las consulta Consultas sencillas de SQL Ilustración 4. Arquitectura de un Data WareHouse (15) 2.5 DATA WAREHOUSE VS DATA MART Un Data Mart es una aplicación de Data Warehouse, construida rápidamente para soportar una línea de negocio simple. Los Data Mart, tienen las mismas características de integración, no volatilidad y orientación temática que el Data Warehouse. Representan una estrategia de "divide y vencerás" para ámbitos muy genéricos de un Data Warehouse. (16) 2.6 TIPOS DE DATA MART DATA MART DEPENDIENTES Son los que se forman a partir de los Data Warehouse central, es decir reciben sus datos de un repositorio empresarial central. 15 Link: 16 Link: vs datamart 15

33 Ilustración 5. Data Mart Dependiente (17) DATA MART INDEPENDIENTES Son aquellos que pueden recibir los datos directamente del ambiente operacional y no dependen de un Data Warehouse central, ya sea mediante procesos internos de las fuentes de datos o de almacenes de datos operacionales. 2.7 ETL Ilustración 6. Data Mart Independiente (18) ETL son las siglas en inglés de Extraer, Transformar y Cargar (Extract, Transform and Load). Es el proceso que admite a las empresas mover los datos desde algunas fuentes, transformarlos, eliminar datos que no aporten al estudio, y cargarlos en otra base de datos, Data Mart, o Data Warehouse o en otro sistema operacional para para analizarlos y apoyar un proceso de negocio. 17 Link: dimensional 1.html 18 Link: dimensional 1.html 16

34 Ilustración 7. Diseño y Construcción -Proceso ETL (19) El proceso ETL Determina el éxito o fracaso de la implementación de un Data Mart. El proceso ETL agrega un valor significativo a los datos. Los subproceso que se manejan en el proceso ETL son: EXTRACCIÓN Este proceso trata de obtener los datos del sistema origen, realizando pasos completos o incrementales, actúa como pasarela entre los sistemas fuente origen y los sistemas destino, y cuyo objetivo principal radica en impedir la saturación de los servidores funcionales de la organización. TRANSFORMACIÓN Los datos originarios de bases distintas no suelen coincidir en formato. Por tanto, para conseguir integrarlos resulta necesario realizar operaciones de transformación. El objetivo no es otro que evitar duplicidades innecesarias e impedir la generación de fuentes de datos aislados. 19 Link: warehouse oalmacen de datosy.html 17

35 CARGA Se trata de cargar los datos, con un formato deseado y común dentro del sistema destino. Para la carga masiva de datos suele ser necesario desactivar temporalmente la integridad referencial de la base de datos destino. Las más populares herramientas y aplicaciones ETL del mercado: IBM Websphere DataStage (anteriormente Ascential DataStage y Ardent DataStage) Pentaho Data Integration (Kettle ETL) SAS ETL Studio Oracle Warehouse Builder Informática PowerCenter Cognos Decisionstream Ab Initio BusinessObjects Data Integrator (BODI) Microsoft SQL Server Integration Services (SSIS) (20) 2.8 REPORTES Los reportes brindan beneficios como: la rapidez en la toma de decisiones inteligentes y acertadas, una mejor distribución de la información, etc. y se pagan por si solos sobre la marcha. Tanto los usuarios finales como el Departamento de Sistemas tienen fácil acceso a los datos, no importa dónde estos se encuentren. Los reportes traen múltiples análisis para obtener más respuestas a partir de los datos y ofrecer una distribución rápida y fácil de los reportes y resultados. 2.9 BASE DE DATOS OLTP Y OLAP OLTP Los sistemas OLTP son bases de datos encaminadas al procesamiento de transacciones. Una transacción genera un proceso elemental (que debe ser validado con un commit, o invalidado con 20 Link: tools.info/es/bi/proceso_etl.htm 18

36 un rollback), y que puede involucrar operaciones de inserción, modificación y borrado de datos. El proceso transaccional es propio de las bases de datos operacionales. (21) Se constituyen los datos según el nivel de aplicación (programa de gestión a medida, ERP o CRM implantado, sistema de información departamental.). El acceso a los datos está optimizado para tareas frecuentes de lectura y escritura. (Por ejemplo, la enorme cantidad de transacciones que tienen que soportar las BD de bancos o hipermercados diariamente). El historial de datos saben limitarse a los datos actuales o recientes. Los formatos de los datos no son necesariamente uniformes en los diferentes departamentos (es común la falta de compatibilidad y la existencia de fuentes de datos). OLAP Los sistemas OLAP son bases de datos encaminadas al procesamiento analítico. Este análisis implica, generalmente, la lectura de grandes cantidades de datos para llegar a extraer algún tipo de información útil: tendencias de ventas, patrones de comportamiento de los consumidores, elaboración de informes complejos, etc. Este sistema es típico de los Data Mart. Se estructuran los datos según las áreas de negocio, y los formatos de los datos están integrados de manera uniforme en toda la organización. El acceso a los datos suele ser de sólo lectura. La acción más común es la consulta, con muy pocas inserciones, actualizaciones o eliminaciones. El historial de datos es a largo plazo, normalmente de dos a cinco años. Las bases de datos OLAP se suelen cargar la información procedente de los sistemas operacionales existentes, mediante un proceso de extracción, transformación y carga (ETL). (22) 21 Link: 22 Link: 19

37 2.10 MODELO ESTRELLA Es una arquitectura de almacén de datos simple. En este diseño del almacén de datos la tabla de variables (hechos) está rodeada por dimensiones y juntos forman una estructura que permite implementar mecanismos básicos para poder utilizarla con una herramienta de consultas OLAP. El objetivo de un modelo estrella, es optimizar el tiempo de respuesta de Base Datos y dar información a un usuario en menos tiempo posible para dejar de mantener las tablas en el modelo relacional y permitir el almacenamiento de información redundante. En este modelo, para obtener información solicitada no hay que construir una sentencia SQL muy compleja que enlace muchas tablas a la vez. Una herramienta de consultas sólo tiene que acceder una tabla. (23) DIMENSIONES Ilustración 8. Modelos Estrella y Copo de Nieve Las dimensiones de un Cubo de Datos son atributos referentes a las variables, son las vistas de análisis de las variables (forman parte de la tabla de dimensiones). Son inventarios de información complementaria necesaria para la presentación de los datos a los usuarios, como por ejemplo: descripciones, nombres, zonas, rangos de tiempo, etc. Es decir, la información general complementaria a cada uno de los registros de la tabla de hechos. La clave primaria de una tabla de hechos está formada por todas las columnas que corresponden a las dimensiones. VARIABLES También llamadas indicadores de gestión, son los datos que están siendo analizados. Forman parte de la tabla de hechos. Más formalmente, las variables representan algún aspecto cuantificable 23 Link: tools.info/es/bi/almacendedatos_esquema estrella.htm 20

38 o medible los objetos o eventos analizar. Normalmente, las variables son representadas por valores detallados y numéricos para cada instancia del objeto o evento medido. En forma contraria, las dimensiones son atributos relativos a las variables, y son utilizadas para indexar, ordenar, agrupar o abreviar los valores de las mismas. Las dimensiones poseen una granularidad menor, tomando como valores un conjunto de elementos menor que el de las variables; ejemplos de dimensiones podrían ser: productos, localidades (o zonas), el tiempo (medido en días, horas, semanas, etc.) (24) 3. IDENTIFICACIÓN DE VARIABLES 3.1 VARIABLES INDEPENDIENTES Reglas y Estándares Normas de la organización que posiblemente pueda afectar al desempeño del proyecto y se encuentran fuera del alcance del mismo. Organización Por la falta de organización en la información se puede ver afectado el momento de tomar las correctas y acertadas de decisiones. Tiempo Magnitud física que se utiliza para realizar la medición de cuánto dura algo que es idóneo de cambios que se presenten; el tiempo permite ordenar los sucesos o actividades en secuencias. 3.2 VARIABLES DEPENDIENTES Integración El conjunto de varias fuentes de datos origen contenidas dentro del Departamento de Ventas de la empresa, el resultado final debe ser un esquema único e imagen colectiva. 24 Link: warehouse sql/data warehouse sql2.shtml 21

39 Eficiencia Expresión que se emplea para medir la capacidad o cualidad de actuación de un producto o servicio, para lograr el cumplimiento de objetivos determinados, minimizando el uso de recursos. Productividad Termino que se utiliza para calcular el nivel de efectividad con el que se miden los logros y objetivos que se han alcanzado en el tiempo, costo y calidad de las tareas o actividades siendo complicado el manejo, localización y análisis de un gran número de fuentes de información. 3.3 VARIABLES INTERVINIENTES Proceso ETL Son probablemente los componentes más importantes y de mayor valor añadido en una infraestructura que implique la integración de varias fuentes de datos, especialmente se requiere mucha precisión y actualización en los datos. 4. HIPÓTESIS Si aplicamos la herramienta de software libre Pentaho con Inteligencia de Negocios mejoraría los procesos de gestión de la información y acortar el tiempo de acceso para todos los usuarios a la información que se maneja en el Departamento de Ventas de la empresa nacional del Sector Lácteo. 22

40 CAPÍTULO III MARCO METODOLÓGICO 1. DISEÑO DE LA INVESTIGACIÓN El estudio para el desarrollo de un Sistema de Inteligencia de Negocios se basa en definiciones de modelos de información, desarrollo de indicadores y dimensiones. Con la aplicación de los procesos de extracción, transformación y carga resultan los modelos multidimensionales que conllevan al desarrollo de una interface gráfica para la visualización de información. El Sistema de Inteligencia de Negocios se considera adecuado ponerlo en funcionamiento en el Departamento de Ventas de la empresa Nacional del Sector Lácteo para automatizar procesos, facilitar acceso a todos los usuarios autorizados para realizar y visualizar reportes que ayudan en la toma de decisiones. En la primera fase para llegar al desarrollo del modelo de Data Mart se extrae la información de las distintas bases de datos relacionales que facilita el Departamento de Ventas, se la analiza, transforma y carga en base de datos destino dimensional. En la segunda fase se implementa una interface atractiva para visualizar la información que ayudará en la toma de decisiones y acceso a los usuarios. 2. DISEÑO EXPERIMENTAL En este proyecto para el diseño experimental se analiza las variables independientes de la investigación que afectan en los procesos de la empresa del Sector Lácteo, por ejemplo la falta de organización de la información, consultas pobres y repetitivas de las fuentes de datos provocando problemas para la toma de decisiones y control de los productos de venta de la empresa. Por todos estos inconvenientes se desarrolla un Data Mart que ofrece datos de forma organizada para una mejor visión en la toma de decisiones. La construcción de un Data Mart involucra el proceso de extraer los datos de distintos sistemas transaccionales, transformarlos en información organizada, visualizarlos en un formato amigable para los usuarios. 23

41 El fin de un Data Mart es poder analizar e interpretar fácilmente la información transformada para una mejor y rápida toma de decisiones basado en hechos. DATA MART Ilustración 9. Arquitectura de un Data Mart (25) 3. PLAN DE RECOLECCIÓN DE DATOS Entrevista con los involucrados en el proyecto y definición de parámetros en proyecto. Identificar las fuentes de datos candidatas a utilizarse. Reuniones con los responsables de la información de ventas. Reuniones con las personas responsables de las bases de datos. Recopilación de los reportes en información utilizada actualmente. Analizar los sistemas origen con herramientas de análisis de datos. Validar los cálculos y fórmulas a tomar en cuenta para el diseño de Data Mart. 25 Link: &script=sci_arttext 24

42 4. PLAN DE PROCESAMIENTO DE DATOS Para diseñar el modelo de datos para el Data Mart: Una vez hecho el análisis anterior se puede elaborar el mapa lógico de datos ( Un mapa lógico de datos es una estructura, por lo general una tabla con las características de las fuentes de información), algunos elementos que tiene el mapa: Nombre de la tabla destino Nombre de la columna destino Tipo de tabla SCD (Grado del cambio de dimensión) Base de datos fuente Nombre de la tabla origen Nombre de la columna destino Transformaciones Traer fuentes de datos tan dispersas y diversas a un único modelo dimensional es una práctica común dentro del proceso ETL, minimizando la necesidad de almacenar toda la información dentro de una misma base de datos Para elaborar el mapa lógico de datos, se procede por diversas fases: La fase de exploración y descubrimiento de información. La fase de análisis del contenido de datos. La fase de recolección de reglas de negocio La fase de integración de fuentes de datos heterogéneas Posterior al análisis de las fuentes de información se procede con la implantación de los mecanismos de extracción de información sobre las diversas fuentes de datos. Las fases por las que se pasa en este proceso son: Conexión a diversas fuentes de información A través de ODBC Lectura de archivos contenidos en diversos esquemas Extracción sobre datos que se han modificado: Detección de cambios 25