Una int roduc c ión al Dat a Warehousing

Transcripción

1 Una int roduc c ión al Dat a Warehousing La integración de información para la mejor toma de decisiones DQLHOD&DULQDRPLQJXH] ddomingu@iinfo.unsj.edu.ar /DXUD1HLUD lneira@iinfo.unsj.edu.ar FACULTAD DE CIENCIAS EXACTAS, FÍSICAS Y NATURALES UNIVERSIDAD NACIONAL DE SAN JUAN Area Tem át i c aingeniería de Software Resum en Un Data warehousing es una colección de tecnologías de soporte de decisiones, dirigido a permitir al trabajador del conocimiento (ejecutivo, administrador, analista) tomar mejores y más rápidas decisiones. El presente trabajo intenta mostrar aquellos aspectos fundamentales de un Data Warehouse, debido al auge de esta nueva metodología y a la creciente cantidad de productos y servicios ofrecidos así también como la adopción de esta tecnología por la industria.

2 DWDZDUHKRXVLQJ /DLQWHJUDFLyQGHLQIRUPDFLyQSDUDODPHMRUWRPDGHGHFLVLRQHV,QWURGXFFLyQ Un Data warehousing es una colección de tecnologías de soporte de decisiones, dirigido a permitir al trabajador del conocimiento (ejecutivo, administrador, analista) tomar mejores y más rápidas decisiones. En los últimos tres años ha aumentado el número de productos y servicios ofrecidos así como la adopción de esta tecnología por la industria. De acuerdo al grupo META, el mercado de data warehousing, incluye hardware, software de base de datos y herramientas. En 1997 se proyectó un crecimiento de $2 billones en 1995 a $8 billones en Las tecnologías de data warehousing han sido aplicadas en muchas industrias manufactureras (ordenes de envío y soporte de clientes), ventas al por menor (perfiles de usuarios y administración de inventarios), servicios financieros (análisis de reclamos, análisis de riesgo, análisis de tarjetas de créditos y detección de fraudes), utilidades (poderosos análisis de uso), y cuidados de salud (resultado de análisis). Los data warehouses apuntan al soporte de decisiones. El data warehousing (almacenamiento de datos) representa el proceso de reunir información histórica de una organización en un depósito central, y se ha convertido en una tecnología común y fundamental. Los datos históricos, resumidos y consolidados son más importantes que los detalles y registros individuales. Como un data warehouse contiene datos consolidados, quizás de varias bases de datos operacionales, por largos períodos de tiempo. 4XpHVXQDWDZDUHKRXVH" De acuerdo con W.H. Inmon, quien es considerado como el padre del data warehouse 8Q GDWD ZDUHKRXVH HV XQ FRQMXQWR GH GDWRV LQWHJUDGRV RULHQWDGRV D XQD PDWHULD TXH YDUtDQ FRQ HO WLHPSR \ TXH QR VRQ WUDQVLWRULRV ORV FXDOHV VRSRUWDQ HO SURFHVR GH WRPD GHGHFLVLRQHVGHXQDDGPLQLVWUDFLyQ. Metas obtener la información correcta para las personas adecuadas en el momento conveniente para que tomen decisiones que pueden valer millones de dólares. Típicamente, el data warehouse es mantenido separadamente de las bases de datos operacionales de la organización. El data warehouse soporta procesamientos analíticos en líneas (OLAP). $UTXLWHFWXUD Esta arquitectura incluye herramientas para Extracción de datos desde múltiples bases de datos operacionales y fuentes externas. Depuración, transformación e integración de esos datos. Carga de un dato en un data warehouse. Refrescar periódicamente el warehouse para reflejar día a día las fuentes y depurar los datos del warehouse, quizás sobre almacenamientos más lentos de archivos. 2

3 En adición al warehouse principal, pueden haber varios mercados de datos departamentales. Los datos en el warehouse y los mercados de datos están almacenados y administrados por uno o más servidores warehouse, los cuales presentan vistas multidimensionales de datos de una variedad de herramientas de front end herramientas de consultas, reportes escritos, herramientas de análisis, y herramientas de data mining. Finalmente, hay un repositorio de almacenamiento y administración de metadatos, y herramientas de monitoreo y administración de sistemas de warehousing. Arquitectura de un Data Warehouse 0RQLWRUHR $GPLQLVWUDFLyQ 5HSRVLWRULRGH 0HWDGDWRV 6HUYLGRUHV 2/$3 $QiOLVLV )XHQWHV ([WHUQDV DWDDUHKRXVH &RQVXOWDV5HSRUWHV ([WUDFFLyQ 6HUYLU 2SHUDFLRQDO 7UDQVIRUPDFLyQ &DUJD $EDVWHFHU GEV 5HIUHVFR DWD0LQLQJ 0HUFDGRVGHDWRV +HUUDPLHQWDV DWDZDUHKRXVH En muchos casos, el data warehouse se basa en resúmenes de información provenientes de sistemas de producción. Construir un data warehouse, en algunos casos, implica comprender la forma de como estos sistemas manejan y almacenan datos (las definiciones de sus datos, PHWDGDWRV). Asimismo, significa entender cómo construir extractores, los cuales transfieren datos de los sistemas de producción al data warehouse, y el software de sincronización que conserva razonablemente actualizado el data warehouse con la información del sistema de producción. Un data warehouse guarda información histórica (y en algunas ocasiones actual) de un negocio de manera organizada, permitiendo consultas especializadas y recuperaciones de datos con facilidad. Esta capacidad es aprovechada por el usuario final para conocer, examinar y consultar herramientas que ofrecen diversas funciones de reporte, las cuales incluyen la capacidad de exponer progresivamente más detalles (profundizar). Las técnicas de comunicación proporcionan a una organización interfaces gráficas para usuario final convenientes y fáciles de usar para apoyar las tareas de análisis. Una importante consideración es el uso apropiado de técnicas gráficas como la graficación, despliegues en forma de árbol, despliegues en red, las curvas de tendencias y análisis multidimensionales. Básicamente, el data warehouse es una implementación de base de datos que usa su propio sistema de administración. Este sistema deriva su información de otros sistemas de bases de datos que sustentan las operaciones empresariales diariamente. Las bases de datos operacionales se implementan en diversas tecnologías, tales como DB2, IMS, VSAM, Oracle, 3

4 Sybase, Informix, DL/I, y Flat Files. Muchos administradores de bases de datos actuales que sustentan la base de datos real son relacionales. Algunos ejemplos son la familia DB2/X, Oracle, Sybase e Informix. Diversos mecanismos de transporte llevan los datos de las fuentes de producción al data warehouse. Se usan distintos métodos de propagación y duplicación para mantener información consistente en todas las bases de datos. Se emplean extractores para obtener y cargar información de una base de datos a otra. Los datos extraídos deben ser uniformes para poder combinar los datos de diferentes fuentes dentro del data warehouse. Este proceso se llama transformación. La WUDQVIRUPDFLyQ significa codificar datos que se han decodificado en forma inconsistente en diferentes fuentes (por ejemplo, abreviaturas de estados, código de productos y lugares de negocios). El software de transformación convierte los datos durante el traslado para asegurar que la información sea compatible con la base de datos que la recibe. Desarrollar, seleccionar e integrar estas piezas de software requiere técnicas de administración de datos y de administración de base de datos. También se requieren técnicas en el área de afinar la ejecución de consultas en la base de datos para obtener un rendimiento aceptable de la solución del data warehouse. (OGDWDZDUHKRXVHFRPRXQVLVWHPDGHPLVLyQFUtWLFD Conforme las organizaciones confían más y más en la disponibilidad de información y en el acceso a un data warehouse, éste se convierte en un 6LVWHPD GH 0LVLyQ &UtWLFD. &XiQGRVHFRQYLHUWHXQVLVWHPDHQ0LVLyQ&UtWLFD" Una aplicación de software se vuelve un sistema de Misión Crítica cuando se tiene confianza en sus operaciones y se usa todos los días. También se torna fundamental para la misión del negocio que apoya. Su falla puede provocar una falla en el negocio mismo. Cómo se incorpora una nueva tecnología en un importante sistema de Misión Crítica (Ciclo de madurez de la tecnología).,psruwdqfld Prueba de conceptos Demostración de la tecnología Experimentos iniciales 7LHPSR Implementación expandida Ámbito más grande Uso del personal Uso para apoyar decisiones Sistema secundario Piloto Inicial Ámbito pequeño Resuelve un problema determinado Sólido Uso diario Uso operacional y estratégico. Se mueve hacia un sistema primario &RQGXFLGRSRU ODWHFQRORJtD 0LVLyQ &UtWLFD 4

5 Conforme la compañía comienza ha usar cada vez más la información del data warehouse para las actividades diarias, su disponibilidad comienza a ser cada vez más importante. Los patrones empíricos de uso de información indican que conforme hay más información de consulta rápida y fácil, más personas posponen hasta el último minuto las solicitudes de información. Cuando esto ocurre, se vuelve muy importante que el sistema de data warehouse, y todas las aplicaciones que lo acceden, estén disponibles todo el tiempo. Los requerimientos para un sistema de Misión Crítica incluyen lo siguiente Disponibilidad Consistencia y precisión Fuerza Estándares Actividades basadas en requerimientos Compatibilidad con la tecnología existente y la infraestructura de base. Uso diario Uso amigable Desempeño Verificable Seguridad Entender los requerimientos para un sistema de Misión Crítica permite definir los requerimientos de data warehouse. &RQVWUXFFLyQGHOGDWDZDUHKRXVH El data warehouse sigue el mismo ciclo de perfeccionamiento que todos los desarrollos de software. Las fases son las mismas, lo mismo que su secuencia. Ciclo de desarrollo de software utilizado para el data warehouse 358(%$ (6$552//2 &216758&&,Ï1,6(f2 3/$1($&,Ï1 $1È/,6,6 5(48(5,0,(1726 3ODQHDFLyQ Los pasos que deben seguirse para implementar la fase de planeación del sistema del data warehouse son 6HOHFFLyQGHODHVWUDWHJLDGHLPSOHPHQWDFLyQ Es uno de los primeros pasos más importantes. La decisión tiene mucho que ver con la cultura de la organización y se basa en cómo se llevan a cabo las tareas dentro de la organización. Las siguientes 5

6 son estrategias de implementación que han (O DOPDFHQDPLHQWR RSHUDFLRQDO HQ demostrado su popularidad El enfoque de arriba hacia abajo (de lo FRPSDUDFLyQ FRQ HO XVR GH FRSLDV GH GDWRV RSHUDFLRQDOHV (un data warehouse hace copias general a lo particular). El enfoque de abajo hacia arriba (de lo particular a lo general). Una combinación de los anteriores. de información operacional e histórica y las almacena para uso privado). 6yORGDWDZDUHKRXVH(por lo general, todas las aplicaciones del data warehouse requieren diversas operaciones que se aplican sobre las 6HOHFFLyQGHODPHWRGRORJtDGHGHVDUUROOR En teoría, un data warehouse puede desarrollarse fuentes de datos). 6yOR PHUFDGRV GH GDWRV (cada departamento por medio de cualquier metodología. En realidad, funcional en una organización tiene sus propias los requerimientos de la implementación de un data necesidades específicas y que un solo data warehouse descartan el uso de cualquier warehouse corporativo no puede satisfacer metodología que requiera una fase prolongada de acopio de requerimientos y análisis, una fase de todas las necesidades). DWD ZDUHKRXVH \ PHUFDGRV GH GDWRV (las desarrollo monolítico que tome muchos meses y necesidades del data warehouse específicas de una fase de despliegue que ocupe también varios un departamento se deben abordar junto con la meses. Las dos metodologías populares en el desarrollo de software son Método de análisis y diseño estructurado necesidad de un data warehouse corporativo. 6HSDUDFLyQ GH SODWDIRUPD H LQIUDHVWUXFWXUD (los cortes arquitectónicos se usan para separar (en cascada). Método de desarrollo espiral. la plataforma para el data warehouse, los mercados de datos, las fuentes de datos y las herramientas del usuario final, posee flexibilidad 6HOHFFLyQGHOiPELWRGHLPSOHPHQWDFLyQ En la mayoría de las organizaciones, la motivación y se pueden compartir plataformas). $UTXLWHFWXUD FOLHQWHVHUYLGRU GH GRV KLOHUDV principal del proyecto de data warehouse es una (es el empleo de dos capas de plataformas, una primera implementación que produzca beneficios capa contiene a los clientes aplicaciones inmediatos a un grupo de usuarios. Después de gráficas- y la otra al servidor estación de definir un rumbo general y un conjunto general de objetivos para el data warehouse, se hace trabajo, macrocomputadora-). $UTXLWHFWXUD FOLHQWHVHUYLGRU GH WUHV KLOHUDV necesario derivar con rapidez un ámbito limitado (hay tres capas una capa cliente estación de para la primera implementación. El ámbito del trabajo -, una capa intermedia con base en un proyecto de data warehouse puede restringirse servidor y una tercera capa establecida en una entre muchas dimensiones. Las dimensiones se macrocomputadora). dividen en dos categorías principales Ámbito determinado a partir de la HVDUUROORGHXQSURJUDPD\GHOSUHVXSXHVWRGHO perspectiva del usuario empresarial del SUR\HFWR data warehouse. Determinación del ámbito con base en consideraciones tecnológicas. Uno de los aspectos más importantes de la planeación consiste en poder realizar Articular tanto un plan de programa como un conjunto de planes de proyecto (un plan de 6HOHFFLyQGHOHQIRTXHDUTXLWHFWyQLFR programa es una visión general de la actividad El implementador dispone de las siguientes del data warehouse y su función en la vida opciones arquitectónicas diaria y semanal de la organización. El plan de 6

7 programa proporciona la estrategia y los planes 5HFRSLODFLyQGHPHWDGDWRV de proyecto proporcionan la táctica). Reservar un presupuesto adecuado para el Recopilar varios elementos de diseño relacionados con los metadatos. 0HWDGDWRV es el término que se programa al tiempo que se compromete el gasto emplea para las definiciones de datos. Los para proyectos específicos. La planeación de metadatos son usados para el anteproyecto este presupuesto se basa en dos enfoques utilizado para la construcción del data warehouse. Estimación del costo, con base en el historial Los metadatos reunidos durante la fase de de la organización en el desarrollo de planeación del data warehouse provienen de las software. Estimación del costo, con base en la arquitectura de referencia. Proporcionar medidas para la estimación de la retribución del data warehouse. siguientes fuentes Los modelos empresariales (deben basarse en la naturaleza del negocio) construidos por la organización son modelos de datos abstractos utilizados para caracterizar los tipos de información que necesita, recopila y utiliza una HVDUUROORGHHVFHQDULRVGHXVRHPSUHVDULDO Las personas que utilizan el data warehouse son distintas a los desarrolladores y gerentes, por lo que puede ser útil que los usuarios finales se involucren en el establecimiento de las expectativas de lo que puede ofrecer el data warehouse. Los escenarios empresariales son una importante herramienta del prototipo de requerimientos. Estos escenarios ayudan a definir las expectativas del usuario final con respecto al data warehouse. organización. Los depósitos y diccionarios de datos que manejan los administradores de datos contienen definiciones de datos operacionales ubicados en diversas bases de datos relacionales y no relacionales. Las fuentes externas de datos que se requieren para responder consultas empresariales pueden estar estructuradas o no para el acceso y recuperación. Algunos de estos pasos que constituyen la planeación pueden efectuarse al mismo tiempo (en paralelo), lo cual acorta la duración de esta fase. 5HTXHULPLHQWRV Es una especificación precisa de las funciones que se obtendrán del data warehouse. Los requerimientos describirán con claridad el ambiente operativo en el que se entregará el data warehouse, así como las características y funciones necesarias. El volumen de acopio de requerimientos que se debe realizar depende del enfoque de implementación que se tome. Si se toma el enfoque de arriba hacia abajo, la actividad de acopio de requerimientos es significativamente grande, pero debido a que las actividades están conducidas por el negocio están bien entendidas y pueden catalogarse con facilidad. Si se toma el enfoque de abajo hacia arriba, la mayoría de los requerimientos se construyen de manera oportunista con base en las esperanzas y expectativas. Aquí, el conductor principal es la implementación rápida y de bajo costo. 0DUFR GH UHIHUHQFLD GH DQiOLVLV GH UHTXHULPLHQWRV Se trata de ver a un sistema de información desde la perspectiva de varios depositarios. Cada depositario tiene expectativas distintas del sistema, 7

8 los requerimientos del sistema. Pasos del análisis de requerimientos. HILQLUORVUHTXHULPLHQWRVGHOSURSLHWDULR HILQLUORVUHTXHULPLHQWRVGHODUTXLWHFWR 5(48(5,0,(1726 HILQLUORVUHTXHULPLHQWRVGHOGHVDUUROODGRU HILQLUORVUHTXHULPLHQWRVGHORVXVXDULRVILQDOHV Los requerimientos para la solución del data warehouse desde varias perspectivas de la gente involucrada en su planeación e implementación. $QiOLVLV Significa convertir los requerimientos acopiados en la fase anterior de requerimientos, en un conjunto de especificaciones que puedan apoyar el diseño. En lo abstracto, hay tres especificaciones principales de entrada para el data warehouse Requerimientos de enfoque empresarial que delinean las fronteras de la información que debe comprender el data warehouse; determinará la audiencia y sus requerimientos. Especificaciones de requerimientos de fuentes de datos que delinean las fronteras de información disponible en las fuentes de datos actuales. Especificaciones de requerimientos de usuario final y acceso, las cuales definen cómo se utilizará la información del data warehouse. Especificación de los tipos de herramientas y técnicas de exhibición que usan. El proceso de análisis consiste en derivar modelos físicos y lógicos de datos para el data warehouse y los mercados de datos y definir los procesos necesarios para conectar las fuentes de datos, el data warehouse, los mercados de datos y las herramientas de acceso del usuario final. LVHxR Los modelos lógicos desarrollados en la fase de análisis se convierten en modelos físicos. Los procesos identificados en la fase de análisis para conectar las fuentes de datos con el data warehouse, el data warehouse con los mercados de datos y el data warehouse/mercado de datos con herramientas de estación de trabajo del usuario final, se convierten en diseños para programas que realizarán las tareas requeridas por los procesos. También se identifican y detallan los procesos que requiere, de manera interna, 8

9 cada bloque de la arquitectura de referencia del data warehouse. En la fase de diseño se encuentran dos actividades principales LVHxRGHWDOODGRGHODDUTXLWHFWXUDGHGDWRV Comprende las siguientes actividades ƒ ƒ Desarrollo de modelos físicos de datos para las bases de datos de almacenamiento del data warehouse y mercado de datos. Pudiera requerirse también el desarrollo de modelos físicos para el almacenamiento local necesario para las herramientas de usuario final. Correspondencia de los modelos físicos de datos de las fuentes de datos con los modelos físicos del data warehouse/mercados de datos. Esta correspondencia ayuda a los procesos de extracción, refinamiento y reingeniería a efectuar sus funciones dentro del data warehouse/mercado de datos. ƒ ƒ ƒ ƒ ƒ ƒ extracciones parciales de información y procesos que conectan las fuentes de datos con el data warehouse (o los mercados de datos si no necesitan un data warehouse). Procesos que son internos al data warehouse y se usan para fines de manejo interno. Procesos que conectan al data warehouse con los mercados de datos (si se usan). Procesos que son internos a los mercados de datos (si se usan) y se emplean para fines de manejo interno. Procesos que conectan al data warehouse (o a los mercados de datos) con herramientas de usuario final. Procesos que son internos al data warehouse y a los mercados de datos y para iniciar herramientas de análisis. Procesos que sustentan tareas de manejo, administración y prácticas internas para el data warehouse como sistema. LVHxRGHWDOODGRGHODDUTXLWHFWXUDGHDSOLFDFLyQ Está comprendido en las siguientes aplicaciones ƒ Procesos que son internos a las fuentes de datos y se relacionan con depuraciones o &RQVWUXFFLyQ Esta fase es la responsable de implementar físicamente los diseños desarrollados durante la fase de diseño. La construcción del data warehouse es similar a la construcción de un sistema de base de datos relacional grande. La mayoría de las aplicaciones que se necesitan construir son las siguientes Programas que creen y modifiquen las bases de datos para el data warehouse y los mercados de datos. Los fabricantes ofrecen capacidades de generación automática para dichos programas. Programas que extraigan datos de fuentes relacionales y no relacionales. Algunos fabricantes ofrecen facilidades para la generación automática de estos programas. Programas que realicen transformaciones de datos, tales como integración, resumen y adición. También los fabricantes ofrecen facilidades para la generación automática de estos programas. Programas que realicen actualizaciones de bases de datos relacionales. Programas que efectúen búsquedas en bases de datos muy grandes. Varias herramientas de usuario final han optimizado utilerías de búsqueda para las consultas que generan. También varios fabricantes de bases relacionales ofrecen utilerías de aceleración de consultas y capacidades para recuperación en paralelo. 9

10 HVSOLHJXH Esta fase tiene que ver principalmente con los retos de instalación, puesta en servicio y uso de la solución de data warehouse. Varias organizaciones tienen ya experiencia en el despliegue y puesta en marcha de sistemas de información empresarial, actividades en las que han adquirido experiencia Proporcionar la instalación inicial, incluyendo facilidades para las conexiones básicas de datos con las fuentes y para la actualización y sincronización de datos. Planeación y entrega de una implementación por etapas. Proporcionar capacitación y orientación a todo tipo de usuarios. Planeación e implementación de la actualización de plataformas y el mantenimiento necesario por el data warehouse cuando se requiere. Proporcionar la administración de usuarios y sistemas. Proporcionar la capacidad de generar archivos permanentes y respaldos. Proporcionar la capacidad de recuperación. Asegurar la integración dentro de la infraestructura existente. Proporcionar controles de acceso y seguridad. Asegurar la completa disponibilidad y los procesos para manejar caídas de los sistemas y sus componentes de infraestructura. Además de los requerimientos normales de despliegue para cualquier sistema de información empresarial, el sistema de data warehouse tiene los siguientes requerimientos adicionales La mayoría de los sistemas de información son construidos y manejados por personal técnico. El nivel de documentación de los metadatos en dichos sistemas con frecuencia sólo es adecuado para una audiencia de técnicos. La mayoría de los usuarios finales del data warehouse no son técnicos. Necesitan ver definiciones de la información contenida en el data warehouse en términos y lenguajes que comprendan. Al principio, el data warehouse se percibe principalmente como una capacidad de apoyo a las decisiones, no una capacidad de misión crítica. La mayoría de los sistemas de información empresarial que proporcionan apoyo operacional están enlazados a los resultados, a veces sin desearlo, como sistemas de misión crítica. Debido a estas diferencias en la percepción, existe una necesidad de promover activamente entre los usuarios finales la información que proporciona el data warehouse. Sólo después de que los usuarios finales usen diariamente la información del data warehouse, éste se convertirá en un sistema de Misión Crítica. El despliegue del data warehouse requiere las siguientes capacidades adicionales &RPHUFLDOL]DFLyQ GH OD LQIRUPDFLyQ este es el proceso de tratar a la información en sí como si fuera un producto de mercancía. Un producto de mercancía ha exhibido con claridad los aspectos de creación de demanda, atractivo y utilidad percibida por el consumidor. Para el vendedor que analiza las tendencias e historia de ventas en su computadora portátil, la información de ventas del data warehouse es simplemente una mercancía requerida para el momento. Se requiere en un formato compatible con una hoja de cálculo que se ejecute en esta estación de trabajo. La comercialización también es mostrar a los usuarios finales cómo desplegar la información del data warehouse para su provecho, mostrando ejemplos de escenarios de uso. LUHFWRULR&DWiORJR GH LQIRUPDFLyQ el catálogo de información para el data warehouse contiene listas de elementos de información, consultas empresariales estándar y reportes estándar disponibles a partir del data warehouse. Las listas están en un lenguaje (y posiblemente en multimedia) familiar y obvio para el usuario. Los catálogos de 10

11 información se actualizan y se entregan a los usuarios con la regularidad de suscripción. ([DPLQDGRUHV EURZVHUV GH LQIRUPDFLyQ con el amplio interés y popularidad de los examinadores, la información del data warehouse también se presenta y distribuye a los usuarios de manera que les permita examinar y hacer copias locales de información en forma selectiva. El data warehouse es un método para ofrecer la información que en el pasado controlaba y manejaba un departamento en tecnología de la información para un grupo de usuarios finales que entienden el negocio, pero no necesariamente la tecnología. El concepto de apreciar la información como una mercancía fuerza al proveedor de información a considerar los aspectos de comercialización de productos de mercancía y apoyarse en el cuerpo de conocimientos desarrollado en esta área durante años. ([SDQVLyQ El método de desarrollo en espiral es un ingrediente clave para el despliegue rápido inicial de un data warehouse. Este método requiere también de una rápida evolución de características y funciones basadas en las lecciones aprendidas en anteriores despliegues. Al comenzarse a utilizar regularmente el data warehouse, se podrían prever algunas de las siguientes áreas de mejoramiento Consultas empresariales que no pudieran formularse o satisfacerse debido a las limitaciones impuestas por el metamodelo del data warehouse. Estas limitaciones pueden surgir debido a una falta de ciertos resúmenes o adiciones que no se realizaron en la implementación inicial. Consultas empresariales que comprendieran fuentes de datos externos que no formaron parte de la implementación inicial. Ciertas consultas empresariales requerían información de fuentes de datos adquiridos que se relacionen con factores ambientales. Desempeño no satisfactorio de componentes clave del data warehouse. El data warehouse no se actualizó con suficiente frecuencia. Las herramientas de acceso del usuario final consumieron mucho tiempo para la carga inicial de información desde el data warehouse. Otros departamentos no querían configurar sus propios mercados de datos. Ahora es necesario incrementar el ámbito del metamodelo del data warehouse. Para explotar las ventajas que ofrece el modelo en espiral, es importante comenzar a reunir requerimientos para la siguiente iteración del ciclo de desarrollo tan pronto como se entrega una iteración. Para su uso efectivo, se requiere que la mayoría de las versiones de software se distribuyan con intervalos mínimos de seis meses. Gran parte de los proyectos de desarrollo de aplicaciones se debe entregar aproximadamente dentro del mismo marco de tiempo para que la administración la atienda y apruebe. 11

12 /RVXVXDULRVGHXQGDWDZDUHKRXVH\VXVQHFHVLGDGHV Los data warehouses responden a las necesidades de soporte de decisiones para un rango de usuarios que tienen diferentes niveles de confianza y experiencia con la tecnología computarizada. Perfiles del usuario 6HUYLFLRDFOLHQWHV 3URGXFFLyQ (MHFXWLYRV 9HQWDV *HUHQWHV Func i ones &RPHUFLDOL]DFLyQ &RQWDELOLGDG\)LQDQ]DV $QDOLVWDV 3HUVRQDOGH $SR\R 8VXD ULRV RFDVLR QDOHV 8VXD ULRV UHJX ODUHV 8VXD ULRV H[SHU WRV J erarquía organizac ional Nivel de c om pet enc ia de usuarios Desde la perspectiva de un data warehouse, los usuarios se dividen en categorías por jerarquía, por función, o por su nivel de competencia en cómputo en la organización. El corte de la MHUDUTXtD RUJDQL]DFLRQDO incluye al director general y al director operativo; ejecutivos de primer nivel como el director financiero y el contralor; gerentes de mandos medios; analistas empresariales y de tecnología de la información; y al personal administrativo o de apoyo. Un corte IXQFLRQDO constituye departamentos tales como Contabilidad y finanzas, Comercialización y ventas, Producción e ingeniería, Servicios de apoyo al cliente y Administración. El corte por QLYHO GH FRPSHWHQFLD en cómputo divide a los usuarios en tres amplios grupos con niveles crecientes usuarios ocasionales, regulares y expertos. Las suposiciones básicas sobre los usuarios comunes del data warehouse elaboradas por la mayoría de los constructores de data warehouses son las siguientes Los usuarios tienen conocimientos del área de la empresa que maneja el data warehouse. Los usuarios entienden la semántica de los datos recuperados del data warehouse. Los usuarios aprenderán a acceder y recuperar los datos en el data warehouse. Los usuarios tienen la posibilidad y la capacidad para convertir los datos (recuperados del data warehouse) en hechos e información, convertir los hechos en conocimiento y, utilizar luego ese conocimiento para tomar decisiones o plantear recomendaciones y alternativas. 12

13 H H &RQVXOWDV\UHSRUWHV3URFHVDPLHQWR,QIRUPiWLFR La recuperación de la inversión en un data warehouse se basa en la capacidad de los usuarios empresariales para extraer los datos correctos del data warehouse, convertirlos en información y luego utilizar esa información para tomar mejores decisiones. Los usuarios empresariales pretenden extraer los datos correctos con una mínima inversión en tiempo y sin frustraciones. Hay varias formas de extraer y analizar información valiosa del data warehouse. Plataforma de soporte de decisiones "!# $%& ( % $%)$%+*, &, -+%&.% /, /, *+*, 0-1 %& * 23 /,!4, %-5 = = = > ; < 6-5!#7/, *5 8-9 /, *5, -+% 9 )$% 1 & F DE C < A B El procesamiento informático consta de tres distintos componentes consultas para acceder y recuperar datos del data warehouse, análisis de los datos y presentación del análisis en forma de reportes, hojas tabulares y matrices, tablas y gráficas que van de sencillas a complejas. El ámbito del procesamiento informático por lo regular está limitado al procesamiento de dos o tres dimensiones (2D o 3D). 3URFHVDPLHQWRLQIRUPiWLFR 1 %/, -, *, 0 -#$% )*5-5&2 8 *+*%& 4G %+* 2(+% +*, 0-7 * 2 & -, (2 +*, , &, & %&+%-5 +*, 0- K %( %& 1, L2 M+*+, 0- Pasos del procesamiento informático / %+ I %+*N/0-, *5 IJ( +*, 0 - O % /!P, %-5 & $%Q%& * /, ", 13

14 HILQLFLyQGHODFRQVXOWD Una hipótesis o cuestión empresarial tal como existe una tendencia por temporada en las ventas trimestrales de artículos deportivos?, se debe traducir a una consulta de cómputo para proponerla al data warehouse. Esta traducción la lleva a cabo ya sea un profesional de tecnología de la información, o bien, un usuario empresarial que utilice herramientas de un fabricante o una aplicación personalizada. El reto consiste en traducir los términos empresariales en términos que la computadora entienda (y, por lo tanto, términos que comprendan las herramientas de acceso de acceso y consulta del data warehouse). $FFHVR\UHFXSHUDFLyQGHORVGDWRV Las herramientas de acceso proponen la consulta de cómputo al data warehouse y recuperan los datos adecuados. El proceso de acceso y recuperación pudiera incluir la capacidad de realizar cálculos, tal como clasificar resultados o crear subtotales por artículo. Por ejemplo las cifras de ventas de cada tienda se resumen en forma semanal y por artículo. &iofxorpdqlsxodflyq\dqiolvlvghorvgdwrv El usuario empresarial puede realizar mayores cálculos y manipulación sobre los datos reunidos por la consulta. El propósito del análisis adicional sería convertir los datos recuperados en información o hechos. A fin de convertir datos en información para derivar recomendaciones, se utilizan diversas técnicas de análisis, tales como cuadros y gráficas; por ejemplo, cuadros de ventas mensuales y trimestrales por tienda para cada artículo y ventas por territorio y región. La experiencia, intuición y destreza del usuario empresarial tienen un papel principal en el éxito del análisis de los datos y la formulación de recomendaciones. 3UHVHQWDFLyQGHODLQIRUPDFLyQ Los resultados del análisis se presentan como reportes, cuadros y gráficas, o como datos preprocesados para un mayor análisis. Existen varias opciones, tales como reportes de corte simple y tabulares, gráficas de pastel, de barras en dos o tres dimensiones, histogramas y de dispersión, y la elección depende de la naturaleza de la información analizada y de las necesidades particulares, estilo de comunicación y cultura de la organización. LYXOJDFLyQGHODLQIRUPDFLyQ Las recomendaciones se podrían divulgar como una copia en bruto o con formato, o enviarse por correo electrónico al usuario empresarial. Ahora, cada vez con mayor frecuencia, los resultados del análisis se exportan a herramientas de escritorio como hojas de cálculo, (para un mayor análisis) o a procesadores de texto para incorporarse a reportes y documentos. 0LQHUtDGHDWRV Cuando los analistas empresariales utilizan el data warehouse para determinar lo que están haciendo sus clientes, por qué lo hacen?. Comprender la conducta de los clientes o el comportamiento empresarial es fundamental para mejorar el balance de la empresa y tener clientes complacidos. Los administradores y analistas empresariales buscan respuestas para lograr objetivos como Localizar y llegar a mejores clientes no sólo a cualquier clienta nuevo. Descubrir nociones empresariales vitales que ayuden a controlar la participación en el mercado y elevar las utilidades. Comprender la relación total con cada cliente para desarrollar las estrategias de precios adecuadas y el mayoreo de productos correcto, con base no sólo en la intuición, sino en el uso real del producto y la experiencia del cliente. Discernir un valor de por vida para el cliente. 14

15 Reducir los gastos promocionales e incrementar al mismo tiempo la efectividad neta de las promociones en general (analizar el comportamiento de compras y la respuesta a las promociones).,qjuhglhqwhvghodplqhutdghgdwrv Para lograr estos objetivos, el data warehouse proporciona al gerente empresarial dos ingredientes esenciales Una gran cantidad de datos sobre sus clientes, así como la historia entre el cliente y la organización. Mucho más importante, es el carácter único de sus datos, ninguno de los competidores los posee. La empresa tiene su propia mina de datos, y tiene el potencial de encontrar y extraer la información de revelaciones fundamentales en el comportamiento de sus clientes, sus propios productos, e incluso sus proveedores. Para esta capacidad, la solución del data warehouse debe incorporar la minería de datos a su plataforma de soporte de decisiones. La minería de datos es un arma esencial en el arsenal del soporte de decisiones del analista. La minería de datos auxilia a los usuarios empresariales en el procesamiento de vastas reservas de datos para descubrir relaciones insospechadas, por ejemplo, entre productos y clientes o patrones de compra de los clientes. La meta es descubrir revelaciones estratégicas competitivas para controlar la participación en el mercado y las utilidades. Una vez extraídas las relaciones y presentadas a los analistas empresariales, éstos las examinan y seleccionan las más interesantes y útiles. Los analistas empresariales tienen un rango de necesidades Comprender qué está sucediendo en el negocio. Por qué está sucediendo, Cuál es el comportamiento de clientes y mercados? Qué puede hacerse?, Cuáles acciones se pueden tomar? 1HFHVLGDGHV HPSUHVDULDOHV $FFLyQ 3RUTXp 4Xp Metas del soporte de decisiones &RPSOHMLGDG El valor de un análisis para los gerentes es más alto cuando genera una recomendación factible. Comprender el comportamiento y los pronósticos de clientes y mercados, y lo que puede hacerse, son retos para las técnicas tradicionales de análisis. Las consultas, reportes y análisis multidimensional tradicionales se concentran en lo que está sucediendo y, en menor medida, en el por qué. La minería de datos se concentra en llenar la necesidad de descubrir el por qué, para luego predecir y pronosticar las posibles acciones con cierto factor de confianza para cada predicción. Las herramientas de minería de datos son un componente importante del sub-bloque de Análisis y reportes del bloque de Acceso y uso de la arquitectura de referencia. Las herramientas de minería de datos utilizan el sub-bloque de Análisis y recuperación para tener una interfaz con el data warehouse y con el mercado de datos. Muchas de las herramientas de la minería de datos también emplean el componente de depósito local del bloque de Acceso y recuperación, a fin de almacenar los datos en estructuras de datos de propietario para análisis subsecuentes y presentaciones de los resultados. La mayoría de las herramientas de minería de datos puede con facilidad saltarse el data warehouse o el mercado de datos y acceder de manera directa la fuente de los datos. Tradicionalmente, las herramientas de minería de datos acceden los datos de la fuente. Sin embargo, los datos del data warehouse o del mercado de datos están refinados, integrados y estandarizados. La estandarización eliminó aspectos 15

16 como las convenciones de nombres múltiples, las estructuras ocultas de codificación y los campos faltantes. Los datos operacionales en la fuente son por lo general inconsistentes y están dispersos en muchas aplicaciones. Además, se requieren datos históricos para descubrir patrones temporales de interés. Los datos en el data warehouse deben estar al nivel de detalle correcto. Debido a la naturaleza incipiente de la tecnología de minería de datos, es necesaria (en especial al principio) una estrecha cooperación entre los analistas empresariales y los profesionales en tecnología de la información. Para formar la mezcla correcta de actividades de minería de datos, son cruciales tres ingredientes usuarios, aplicaciones empresariales y tecnología y herramientas. 8VXDULRVGHODPLQHUtDGHGDWRV Los usuarios clave en perspectiva de la minería de datos son los analistas empresariales, los peritos en estadística y los profesionales en tecnología de la información que auxilian a los usuarios empresariales. Quienes obtienen beneficios de los resultados de minería de datos son los gerentes empresariales y los ejecutivos, que desean entender los factores de éxito del negocio con base en datos completos del cliente, y utilizan luego este conocimiento para afinar las estrategias de producción, precios y comercialización; mejorara el nivel de éxito de las estrategias; e impulsar el balance. Hasta la fecha, las empresas han dependido del procesamiento informático y analítico para medir y comprender la estabilidad de un negocio. El procesamiento informático (consultas y reportes) es más sencillo de usar, pero requiere de una estrecha dirección del analista. Los analistas preguntan cuestiones específicas y verifican las cuestiones e hipótesis con los datos. Para este fin, los datos deben estar bien organizados. El procesamiento analítico (OLAP) requiere de menos dirección del analista, aunque los datos deben estar organizados en una forma especial (base de los datos multidimensionales), o accederse bien de manera especial (visión multidimensional). En ocasiones se utiliza una combinación de técnicas de consulta y OLAP para comprender el comportamiento del cliente o para construir perfiles de segmentos de mercado; pero el proceso de aplicar estas técnicas es conducido esencialmente por el analista empresarial. En estos casos, este proceso también se conoce como PLQHUtD GH GDWRV (modalidad de descubrimiento del soporte de decisiones, la cual es conducida por los datos y no por el analista empresarial). 6XUJLPLHQWRGHDSOLFDFLRQHVGHPLQHUtDGHGDWRV En las aplicaciones empresariales, a la fecha, la tecnología de minería de datos se ha utilizado principalmente en aplicaciones de comercialización, ventas y análisis de créditos; y se ha aplicado con éxito en áreas empresariales con el más alto potencial, tales como la segmentación de clientes y del mercado y el análisis de comportamiento del cliente, en particular en los sectores de menudeo, bancario y financiero. Hasta aquí, la tecnología por lo general era costosa de aplicar y desplegar pero esta situación esta cambiando con rapidez. Hoy en día, una confluencia de tres fuerzas importantes conduce el crecimiento en la minería de datos La tecnología del data warehouse para proporcionar un gran banco de datos bien organizados e históricos. Hardware en paralelo, productos de base de datos y herramientas a precios razonables. Tecnologías y herramientas para minería de datos cada vez más desarrolladas. Se espera que se acelere el uso de la minería de datos. La cantidad de aplicaciones del data warehouse crece con rapidez, y los precios de hardware en paralelo y los productos de apoyo de software disminuyen con rapidez. 7HFQRORJtDV\KHUUDPLHQWDVGHODPLQHUtDGHGDWRV Existe una amplia variedad de tecnología para la minería de datos y todavía va a aparecer más en el mercado. Estas herramientas y tecnologías de datos se clasifican en tres grandes categorías Análisis estadístico o de datos. Descubrimiento de conocimientos. Otros, como sistemas de visualización, sistemas de información geográfica, análisis fractal y herramientas de propietario. 16

17 LVWULEXLGRUHV\3URGXFWRV,%0 La solución del data warehouse de IBM se denomina $ DWD DUHKRXVH 3OXVEl enfoque de IBM consiste en entregar un conjunto completo de productos y servicios; su meta está en ofrecer una solución integrada con base en una sola arquitectura. La flia DB2 es el ancla de la estrategia del data warehouse de IBM. IBM tiene la ventaja de que los datos operacionales que se van a extraer y almacenar en el data warehouse residen en sistemas IBM. De ahí que la integración apegada sea un resultado natural. El reto en este momento es que casi todos los productos de IBM son para plataformas IBM. IBM tiene un programa de sociedades para reclutar más socios de productos y servicios. Ofrece tres soluciones de data warehouse Mercado de datos independiente se concentra en un departamento o función empresarial de la organización, se maneja con una ayuda mínima de la organización en tecnología de la información. Mercado de datos dependientes es similar al anterior, pero la organización en tecnología de la información controla y administra la conectividad con las fuentes de datos. Data Warehouse global lo implementa y administra la organización en tecnología de la información, y se apoya en una arquitectura de empresa. Esto puede implicar una data warehouse centralizado o uno distribuido con mercados de datos En la figura se muestran las principales funciones del data warehouse que maneja IBM. Funciones del data warehouse 1 &#rs(+% +*, -+ %& 1 &4IJ5 % /- & 8 aa T f^ guw R5f+V\^ U ` Wh a [ b R 1 [ fsnu [ Z ] a [ b R 8di ` Wa TRW ` [ TR+Sj^ k ^ a+w i_[ Y_Wa [ b R c H ^ ` lu TR5f [ b R Imn [ Z [ a [ b R+o 8 R5p i [ f [ fqc 1 T fa ] Z U [ ` [ TR+S_^ Interno Datos externos Mejoramiento Resumen Adición Etapa Unión de varias fuentes Adición 8 ] S_^ ` WS [ Y_Wa [ b Rdc Flujo de datos Flujo de Procesos W R T_e\^ Datos relacionales Múltiples plataformas y hardware Catálogo de Información Visiones empresariales Modelos Consulta Análisis Multidimensional Minería de datos 6 R5S TU VXW Y 8 Z[ TU+S\W Arquitectura de información del data warehouse 17

18 6 t En la siguiente figura se muestran los principales productos de IBM. Arquitectura y productos del data warehouse rs +* % t GN&3+&+% 6-5!P, J 8 1 8vu8 t 1 uw. t 8 1 &#rs(+% +*, -+ %& 1 &4IJ5 % /- & 8 aa T f^ guw R5f+V\^ U ` Wh a [ b R 1 [ fsnu [ Z ] a [ b R 8di ` Wa TRW ` [ TR+Sj^ k ^ a+w i_[ Y_Wa [ b R c H ^ ` lu TR5f [ b R Imn [ Z [ a [ b R+o 8 R5p i [ f [ fqc 1 T fa ] Z U [ ` [ TR+S_^ DataJoiner API para SQL DPROP/R DPROP/NR Data Refresher DPROP/R DataJoiner 8 ] S_^ ` WS [ Y_Wa [ b Rdc W R T_e\^ Flia DB2 DataHub Flowmark AdStar Distributed - Storge Manager 6 R5S TU VXW Y 8 Z[ TU+S\W Guía de datos Visualizador AS QMF DIS Herramienta de minería de datos PV Explorer Arquitectura de información del data warehouse Productos de otros fabricantes Una solución global de data warehouse puede basarse en DB2 para MVS, o DB2 para AIX Paralel Edition. La solución visual para el data warehouse se asienta en DB2 para OS/2 o DB2 para AIX, y se ofrece como el punto de entrada de bajo costo. IBM aborda la administración de metadatos con la familia DataGuide. En la minería de datos, IBM tiene una familia reciente de herramientas de descubrimiento de conocimientos. Las técnicas de descubrimiento de conocimientos que aplican estas herramientas son las asociaciones, los patrones secuenciales, los clasificadores y agrupamiento. Además, IBM Research ofrece Parallel Visual Explorer, una poderosa técnica de análisis para visualizar espacio dimensional con coordenadas paralelas, una alternativa de representación geométrica para datos multimendisionales. El Parallel Visual Explorer se está utilizando en aplicaciones de minería de datos para análisis financieros, análisis comercial y manufactura. 6\EDVH Las estrategias corporativas de Sybase se concentran en tres mercados el procesamiento en línea de transacciones, el data warehousing y el soporte de decisiones, y despliegue masivo de información en toda la empresa. Su estrategia de data warehouse se incluye en su estructura Warehouse WORKS. La fortaleza de Sybase reside en su motor RDBMS (System 11), en la capacidad de conexión y acceso de su base de datos (OmniCONNET), y en sus herramientas de desarrollo (Powerbuilder). Sybase continúa ampliando la línea y funcionalidad de sus productos por medio de adquisiciones. Por ejemplo, se está mejorando el motor 18

19 para data warehouse con características como la indización de bits, adquirida de Expressway Technology. Al igual que sus competidores, Sybase continúa integrado un grupo de socios para su solución de data warehouse. Estructura de Warehouse WORKS 1 & rs(+% +*, -+ %& ( 5 {q } 7 + ~ { 5 $ 5 Enterprise CONNECT S-Designer Replication Server Replication Agent SQL- Server InfoPump Sybase IQ Sybase MPP SQL-Server Watcom OmniCONNECT,x gi Kzy 8 H I t u 6 I K g 8 t $ 5HIHUHQFLDV Rao 0 La integración de información para la mejor toma de decisiones Harjinder S. Gill, Prakash C. An Overview from Database Perspective Ming-Syan Chen, Jiawei Han, Philip S. Yu An Overview of Data Warehousing and OLAP Technology Surajit Chaudhuri, Umeshwar Dayal 19