APROXIMACIÓN METODOLOGÍCA DE UN SPATIAL DATA WAREHOUSE. Juan Eulises Bohorquez Especialista en SIG. Ingeniero Desarrollador Oracle DBA.

Transcripción

1 1 APROXIMACIÓN METODOLOGÍCA DE UN SPATIAL DATA WAREHOUSE Juan Eulises Bohorquez Especialista en SIG. Ingeniero Desarrollador Oracle DBA.

2 2 RESUMEN APROXIMACIÓN METODOLOGÍCA DE UN SPATIAL DATA WAREHOUSE Los Spatial Data Warehouse, son una gran base de datos por decirlo de una manera sencilla, que habilita espacial e históricamente la información del negocio, desde una perspectiva holística orientada a las áreas del negocio no a las aplicaciones transaccionales del día a día, para servir de sustento en la toma de decisiones; el Spatial Data Warehouse puede almacenar básicamente el contexto espacial del dato desde dos perspectivas muy diferentes, la primera es la manipulación del mismo como un dato agregado y la segunda como una variable principal de acceso y análisis de la bodega; dependiendo la connotación se define el modelo de la bodega, para el primer caso se puede definir un modelo multidimensional puro, pero para el segundo es imprescindible utilizar un modelo híbrido entre un modelo multidimensional y uno objeto relacional, debido a que la manipulación de la geografía del dato se debe desarrollar en el marco de la tecnología orienta a objetos, para no tener limitantes en los análisis tradicionales de la bodega; El Spatial Data Warehouse no es solamente la bodega en si, si no todo el conjunto de herramientas y procedimientos desde el poblado de la misma a partir de los sistemas transaccionales actuales, la transformación y estandarización de todos lo datos, la fijación del valor temporal del dato, la habilitación espacial de los mismos, asi como toda la infraestructura para consulta, el análisis en línea y el análisis detallado de tendencias por técnicas de minería de datos, que se desarrollan sobre la bodega para poder tomar las decisiones pertinentes del negocio. La construcción de una metodología no se simplifica a la consecución de tareas y procesos de lo que se debe hacer, si no el marco conceptual de la implicación de este tipo de proyectos para que sean un completo éxito, ya que la idea es dar los lineamientos fundamentales para que la metodología se desarrollo basado en el negocio mismo no en una receta de cocina, recordemos que el 50% de proyectos Data Warehouse en el mundo han sido un completo fracaso por esta y otras causas; y si le sumamos la falta de cultura cartográfica en el negocio, será el fracaso de los proyectos Spatial Data Warehouse.

3 3 1. INTRODUCCIÓN APROXIMACIÓN METODOLOGÍCA DE UN SPATIAL DATA WAREHOUSE Los sistemas de bases de datos han significado y representado una gran herramienta en la administración y gerencia de la información, han evolucionado a tal punto que han dejado de ser unos simples reservorios y repositorios de datos alfanuméricos estáticos para convertirse en la estructura ideal para almacenar cualquier tipo abstracto de dato que tecnológicamente se pueda automatizar y digitalizar, ya sea de manera estática, dinámica o inteligente. En la actualidad los motores de administración de bases de datos, son herramientas de software muy sofisticadas que han ocultado al usuario la complejidad de sus algoritmos potencializando la utilización de las mismas, de tal manera que la implementación del sistema de información sea una tarea sencilla, dedicando el esfuerzo y la importancia del proyecto a la etapa de diseño del mismo. Teniendo en cuenta las premisas anteriormente mencionadas, los sistemas de información deben dejar de ser estructuras estáticas de procesamiento, almacenamiento y análisis de la información; para convertirse en robustas bases de datos que integren y analicen toda la globalidad del negocio, teniendo en cuenta los datos alfanuméricos que representan comportamientos del negocio sin olvidar la espacialidad de los mismos, pero no como una simple colección y posterior almacenamiento de datos, si no como una estructura holística dinámica, variante en el tiempo y con comportamientos propios. Diseñando un nivel superior en las bases de datos conocido como las bodegas de datos con componente geográfico o Spatial Data Warehouse.

4 4 2. FUNDAMENTOS DE SPATIAL DATA WAREHOUSE 2.1. PANORAMA DEL SPATIAL DATA WAREHOUSE Un Spatial Data Warehouse es una colección de datos orientados a temas, integrada, variante en el tiempo, no volátil, que añade la geografía del dato, en la base de análisis, para el apoyo a la toma de decisiones. Orientado a Integrada temas Variante en No Volatil El tiempo Fig. No.1 Esquema de definición del Spatial Data Warehouse Geográfica Un simple, completo, y consistente almacenamiento de datos, obtenidos de una variedad de fuentes, con el fin de estar disponibles para usuarios finales en caminados a entender y manipular el contexto del negocio 1. Fig., No. 2 Ámbito operacional del Data Warehouse Un Data Warehouse es una base de datos que: - Es organizada como servidor central de almacenamiento de los datos. - Es usada para ingeniería de datos (Data Mining), y otras aplicaciones. - Reúne un especifico juego de requerimientos del negocio. - Usa los datos que agrupan un predefinido juego de criterios del negocio 2. 1 Barry Devlin, Data Warehouse from Architecture to Implementation

5 5 Simplemente puede ser una gran base de datos que sostiene copias o agregaciones de datos desde otros sistemas y que poseen alta disponibilidad para ser usadas por otras aplicaciones ORIENTADO A TEMAS Los datos son categorizados y almacenados por temas del negocio y no por aplicación, es decir que la información es organizada, almacenada, y analizada por áreas temáticas y no análisis específicos que resumen o colectan información especifica de distintos segmentos del negocio para cumplir con un fin único y especifico, consolidado en una aplicación estática; por cada tema del negocio se puede mirar un abstrac de los datos que permitan concluir en un intervalo de tiempo para ciertas variables cual es el comportamiento global del negocio. En una aplicación la información en la base de datos se tiene organizada de tal manera que se pueda extraer de forma directa, es decir que por aplicaciones se diseñan e implementan bases de datos, a diferencia en un Data Warehouse, donde se tiene una sola base de datos diseñada, estructurada y organizada por áreas temáticas, independiente a las diferentes aplicaciones que necesiten extraer información de la misma; la ventaja de tener base de datos por aplicación radica en la alta accesibilidad a los datos, lo que implica un alto desempeño y velocidad en los análisis ya que los mismos ya están preestablecidos, mientras que en el Data Warehouse para satisfacer con esta ventaja se requiere que la información este desnormalizada, es decir con redundancia, duplicidad de los datos y que la información este dimensionada para evitar que el motor de consultas tenga que recorrer toda la base de datos para encontrar lo que necesita, si no que simplemente la consulta sea enfocada por vectores o variables que permitan localizar los datos de manera rápida y eficaz, para satisfacer una alta demanda de análisis complejos en un mínimo tiempo de respuesta. 2 Rob Mattison, Data Warehousing Strategies, Technologies, and Techniques

6 INTEGRADO Los datos son almacenados una sola vez de acuerdo al área temática a la que pertenecen, como en el ámbito del Data Warehouse no se realiza el diseño de acuerdo a las aplicaciones si no a las áreas del negocio, los datos son integrados y estructurados como un solo ente en la organización; manipular la información de esta manera nos permite garantizar un juego de información estándar, consistente, exacto, consolidado, y confiable para todas las aplicaciones, procesos y análisis del negocio. La integración implica que todos los datos de diversos sistemas transaccionales (OLPT), que son producidos por distintas secciones y distintas aplicaciones, deben ser unidos en una instancia antes de ser agregados al Data Warehouse, este proceso se conoce como el Proceso de Extracción, Transformación y Transporte de los datos VARIABLE EN EL TIEMPO Una de las principales ventajas del Data Warehouse, es que los datos son almacenados con sus respectivos históricos, lo que garantiza poder desarrollar análisis de la dinámica de los mismos, pues ellos son almacenados como una serie de instantáneas, cada uno representando un periodo de tiempo; es importante tener en cuenta la granularidad de los datos, así como la dinámica de cambio natural del comportamiento de los fenómenos del negocio para evitar crecimientos incontrolables y desbordamientos de la base de datos, el intervalo de tiempo y periodicidad de los datos se define de acuerdo a las necesidad y requerimientos de los usuarios confrontados con la realidad de las fuentes de los datos, por ejemplo los usuarios desean saber el margen de venta de cada quince minutos del mes pasado, pero los totales de venta se desarrollan diarios. Toda la información en el Data Warehouse posee su propio sello de tiempo. El almacenar los datos de manera histórica, es lo que le permite al Data Warehouse desarrollar pronósticos y análisis de tendencias y patrones, a partir de una base estadística

7 7 de información, ya que las instantáneas son refrescadas de acuerdo con las actividades del negocio. Sello de tiempo del Data Warehouse Fig. No NO VOLATIL Típicamente los datos del Data Warehouse no son actualizados desde los sistemas operacionales, los nuevos datos son insertados como nuevos registros, en ningún momento se sobrescriben los existentes, las manipulaciones de los datos se simplifican a un cargue masivo inicial de todos los datos base, inserción de los cambios y nuevos datos, de acuerdo al ciclo de refresque, y acceso de los datos por los usuarios para análisis; en un Data Warehouse no hay borrado, ni actualización de registros, solamente consulta e inserción. Esquema de operaciones DML en el DWH Fig. No. 4

8 GEOGRAFIA DEL DATO Un modelo de datos Geográfico es una abstracción del mundo real que emplea un conjunto de objetos dato, para soportar el despliegue de mapas, consulta, edición y análisis. Los datos Geográficos, presentan la información en representaciones subjetivas a través de mapas y símbolos, que representan la geografía como formas geométricas, redes, superficies, ubicaciones e imágenes, a los cuales se les asignan sus respectivos atributos que los definen y describen. El Spatial Data Warehouse forma el corazón de un extensivo Sistema de Información Geográfica para la toma de decisiones, el Spatial Data Warehouse al igual que los SIG, permiten que un vasto numero de usuarios accedan a información integrada, a diferencia de un simple Data Warehouse que es orientado a temas, el Spatial Data Warehouse adicionalmente es geo - relacional, es decir que en estructuras relacionales combina e integra los datos espaciales con datos descriptivos, en la actualidad es Geo Objetos, es decir que los elementos geográficos se manifiestan como objetos con todas sus propiedades y comportamientos; adicionalmente están almacenados en una única base de datos objeto relacional. El Spatial Data Warehouse, no es mas que un Data Warehouse con componente geográfica, no como un dato agregado, sino como una dimensión o variable en la tecnología de la información, de tal manera que permita modelar todo el negocio como un ente holístico, y que a través de herramientas de procesamiento analítico en línea (OLAP), no solamente se posea un alto desempeño en consultas multidimensionales si no que adicionalmente se puedan visualizar y analizar espacialmente los resultados. Los Spatial Data Warehouse, son aplicaciones basadas en un alto desempeño de las bases de datos, que utilizan arquitecturas cliente / servidor para integrar diversos datos en tiempo real, mientras los Data Warehouse trabajan con muchos tipos y dimensiones de datos,

9 9 muchos de los cuales no referencian ubicación espacial, a pesar de poseerla intrínsecamente, y sabiendo que un 80 % de los datos poseen representación y ubicación en el espacio, en los Spatial Data Warehouse, la variable geográfica desempeña un papel importante en la base de información para la construcción del análisis, y de igual manera que para un Data Warehouse, la variable tiempo es imprescindible en los análisis, para los Spatial Data Warehouse la variable geográfica debe ser almacenada directamente en la bodega de datos. Datos en el Spatial Data Warehouse ID Datos Tiempo Geometria Esquema de los datos en el Spatial Data Warehouse Fig. No. 5 La implementación de los diferentes Spatial Data Warehouse varia, basados en primer lugar en las herramientas que se utilizan y seguido de los modelos que se empleen, el diseño y fundamentos permanecen constantes, a nivel de implementación la única consideración a nivel de software y hardware que se debe tener en cuenta es que este tipo de proyectos demandan grandes recursos operativos y administrativos, tales como grandes y robustos manejadores de bases de datos (DBMS), como Oracle, DB2, SQL Server, Informix o Sysbase, con un conjunto de herramientas auxiliares en algunos casos complejas, y de igual manera herramientas profesionales de SIG, como ArcSDE, ArcInfo entre otras; y sin olvidar una gran infraestructura de hardware; pero como mencionábamos en cualquier proyecto informatico la conceptualización y el diseño son independientes a la implementación, considerando un esquema general del diseño proyecto la figura 14.

10 10 Metodologia Diseño y Modelamiento ETT Geográfia De los datos Administración de los Datos Acceso y Analisis de los Datos Esquema general del diseño proyecto Spatial Data Warehouse Fig. No. 6 Sin importar lo diferente o complejo que sea el proyecto Spatial Data Warehouse los siguientes pasos se mantienen en el diseño: Implementación de Metodologías. Consideraciones de diseño y modelamiento. Georeferenciación y geocodificación de la información espacializable. Desarrollo de procesos y aplicaciones para el accesos y análisis de los datos. Consideraciones de Administración, seguridad y afinamiento de los datos. Estandarización y automatización de los procesos de extracción, transformación y transporte de los datos (ETT). El pilar del proyecto de Spatial Data Warehouse esta en la metodología a seguir, pues ella asegura el éxito o el fracaso del proyecto, al diseñar la metodología a utilizar se debe garantizar que sea de desarrollo incremental, es decir que permita crecer con nuestras nuevas expectativas y que cumpla cabalmente con los alcances trazados para el proyecto, y lo mas importante que sea segura y confiable; la metodología que se va a postular en este documento es un híbrido entre las metodologías de Data Warehouse tradicionales y las metodologías de proyectos de Sistemas de Información Geográfica, en un marco objeto relacional. Un agente que toma importancia en el proyecto SDWH, es la manera como desarrollemos el modelamiento, lo que tradicionalmente conocemos en proyectos SIG, como la etapa de la conceptualización; todos aquellos análisis de requerimientos y expectativas a cubrir a lo largo del proyecto; la determinación de estructuras operativas,

11 11 áreas de orientación, identificación de flujos operativos y administrativos de los datos, definición de agentes involucrados, relaciones entre los mismos; identificación de temas, categorías, jerarquías y atributos de los datos; el modelamiento debe ser interactivo y en el mismo es recomendable incluir todas aquellas personas que conozcan y sean participes en las actividades operacionales del negocio, sin olvidar que la bodega es orientada a temas y no a funciones o aplicaciones. El proyecto puede iniciar con la empresa, pero esto muy raras veces ocurre, porque cuando una empresa u organización, se inicia en el negocio muy pocas veces nace moderadamente mediana o grande, lo cual no justifica la inversión en proyectos de esta índole, en la mayoría de situaciones la empresa a la cual nos enfrentamos tiene información ya preestablecida y una infraestructura plenamente definida; lo cual implica una definición para desarrollar toda una tarea para evaluar los procesos actuales de producción y manipulación de los datos, revisar las bases de datos transaccionales y todos los procesos transaccionales en línea, no es recomendable imponer nuevos procesos que modifiquen significativamente las condiciones actuales de producción del negocio, ya que causan indisposiciones en el personal activo de la empresa, y algo a tener muy en cuenta en los proyectos Spatial Data Warehouse es la completa colaboración y disposición de las personas involucradas directa e indirectamente en el proyecto para que este sea un éxito; otra causa es que la compañía no puede dejar de producir o esperar a que el proyecto este funcionando para seguir operando, lo que implica que su desarrollo es paralelo a toda la organización del negocio; en síntesis el procedimiento a seguir una vez se tenga todo el diseño y modelamiento listo, es construir todo un proceso de extracción de datos de las bases de datos transaccionales, de las fuentes y destinos mismos, desarrollar su respectiva validación, estandarización, limpieza, integración y lo mas importante ponerle su sello de tiempo, todo esto en un proceso de transformación; y finalmente transportarlo hasta la bodega transitoria de almacenamiento, solamente la información que no posea o deba tener componente geográfica puede pasar directamente a la bodega de datos definitivos, seguidamente se debe desarrollar todo un proceso de evaluación de la información de la bodega transitoria dentro de un contexto geográfico; dentro del Spatial Data Warehouse la

12 12 información geográfica puede tener dos connotaciones muy distintas, la primera es ser un dato agregado o de referencia, es decir que durante todo los procesos y operaciones de la empresa es estático, por ejemplo la sectorización local de una ciudad (localidad, sector, barrio), sabemos que su dinámica de cambio es mínima, y en algunos casos no depende de nosotros; la segunda es que sea una variable o un dato producido en los procesos del negocio, y que su dinámica de cambio dependa de la dinámica del negocio, por ejemplo la distribución domiciliaria diaria de nuestros productos, la traza sísmica elaborada durante el mes para prospección geofísica, etc. La tarea de este punto en consideración consiste en georeferenciar y geocodificar la información mapificable, para lo cual nos ayudamos de cartografía digital base, y de herramientas tipo SIG, es decir que manipulen y estructuren la información topologicamente; si la información existe en nuestra división de sistemas, la tarea consistirá en procesarla como un dato normal, es decir sufre un proceso ETT normal, si no existe habrá que construirla o adquirirla, y disponer de toda una nueva infraestructura en este campo para mantenerla, procesarla y analizarla. Todos estos procedimientos no son iniciales, se presentan y desarrollan durante todo el ciclo de vida del Spatial Data Warehouse, y se presentan de acuerdo al ciclo de refresque de la bodega, por ello es debido desarrollar aplicaciones y procesos en lotes para automatizar todas estas tareas y que sean ejecutadas periódicamente o programados en una agenda digital computacional. Todos los procesos y en especial el ETT, debe estar acompañado de una administración responsable, robusta y en un ambiente seguro para evitar corrupción o violación en los datos, ya que son la materia prima y mas valiosa de nuestra bodega, el ambiente de seguridad y administración debe existir del lado de alimentación de la bodega como del lado de usuarios y accesos a la misma.

13 13 Fig. No..7. Procesamiento Transaccional en línea Soporta las operaciones diarias de la compañía Ambiente de la Bodega BD OLTP Archivos Planos Cartografia Existente Base de Datos Integradora (bodega transitoria) Spatial Data Warehouse Plataforma de Producción Fig. No. 8 Proceso de Extracción, Transformación y Transporte de los datos para alimentar la bodega. En el proyecto uno de los esquemas mas importantes es el de acceso a la bodega, ya que la finalidad del Spatial Data Warehouse no es simplemente almacenar todos los datos del

14 14 negocio por áreas, sino la esencia es servir de base para la inferencia y construcción de información que sustente la toma de decisiones; en la mayoría de textos tradicionales de bases de datos el termino dato es permutable y equivalente al termino información, pero la diferencia es sencilla, pongamos dos ejemplos que permiten definir y diseminar claramente los dos términos, primero se realiza una consulta al repositorio de datos Cuanto vendí la semana pasada y en donde?; y la segunda Qué combinación de productos se vendieron mejor la semana pasada y como están segmentados a lo largo de la ciudad?, la diferencia es clara en el primer caso es una simple consulta a un dato en la bodega, y la segunda extrae información de la misma, combinando en línea distintas variables que determinan el comportamiento del negocio, mas adelante hablaremos en detalle de este tipo de consultas que son extraídas con herramientas de procesamiento analítico en línea (OLAP). Una vez claro los conceptos información y dato, se necesitan un conjunto de herramientas como ya mencionamos que permitan la extracción de información y la construcción de reportes a partir de los datos en la bodega, estas herramientas deben ser fáciles de usar, intuitivas, deben permitir que los usuarios naveguen libremente de lo general a lo particular en los datos, así como permitir documentar los mismos y de fácil capacitación para uso masivo, pero recordemos siempre en un ámbito de seguridad y administración estable; se debe establecer previo a la implementación las dimensiones de los alcances de los requerimientos de los usuarios, ya sea para adquirir las herramientas que cumplan cabalmente con los requisitos, construirlas, o simplemente personalizar las adquiridas o existentes, adicionalmente se debe tener en cuenta que la bodega de datos no es cualquier base de datos, que su tamaño en muy superior, que la estructura de los datos no es común, y que la información geográfica no es tabular y que por ende requerimos herramientas tipo SIG, para que consulten la bodega, visualicen, manipulen y analicen los datos espaciales en un ambiente topológico, y en esquema cliente / servidor, como lo es el Spatial Data Warehouse, donde el servidor central mantiene los datos, la administración y la seguridad, el cliente inicia una transacción con el, realiza una petición de los datos, y una vez el servidor haya autorizado la transacción y respondido la petición el cliente los analice, interprete y procese.

15 15 Ambiente operacional de la Empresa Ambiente de la Bodega Ambiente de la Bodega BD OLTP Archivos Planos Cartografia Existente Base de Datos Integradora (bodega transitoria) Spatial Data Warehouse Plataforma de Producción Usuarios Plataforma de Producción Simples Consultas Previsivas OLAP Esquema General de alimentación y consultas del Spatial Data Warehouse Fig. No. 9 Este tipo de proyectos, son costosos porque no solamente se cuantifica recursos logísticos, operativos, desarrollos y adquisición de herramientas especializadas; también se necesita una correcta infraestructura que cumpla con lo idealizado, los recursos que consume el Spatial Data Warehouse no solamente son de software, un gran recurso es dedicado al hardware; el calculo de los volúmenes de datos y su crecimiento debe desarrollarse con calma y lo mas acertado posible, para prever costos, así como para desarrollar los afinamientos requeridos, para que el sistema no sufra saturaciones ni caídas, si las respuestas del servidor a las peticiones de los usuarios son lentas, nadie lo a terminar usando o va a ser un dolor de cabeza para el administrador de la bodega, preveer todo esto para la configuración del servidor, hoy en día existen muchas tecnologías para suplir estas necesidades, como paralelismo, arreglos de disco, indexamiento, tablas particiónadas, etc. De ello depende el optimo desempeño y disponibilidad del sistema.

16 ESQUEMA DEL SPATIAL DATA WAREHOUSE Vamos a entrar mas en detalle en todas los componentes que hacen parte del Spatial Data Warehouse, hasta el momento el esquema se ha simplificado a mirarlo desde dos perspectivas muy sencillas, la primera del lado de la alimentación y la segunda del lado de las consultas de la bodega. En un Spatial Data Warehouse, cuando nuestras fuentes de datos son muy variadas y requieren de muchos tratamientos es recomendable definir toda una infraestructura para nuestra base de datos integradora, a la cual desde ahora vamos a denominar Almacén de Datos Operacionales (Operational Data Store ODS), pero porque hasta ahora esa denominación?, o es que el ODS y la base de datos transitoria es lo mismo?, son dos preguntas que nos podemos cuestionar; el ODS es mas que una base de datos transitoria donde simplemente, limpiamos, unificamos, integramos, y organizamos datos; simplemente esto es lo que se desarrollaría en una base de datos transitoria, adicionalmente la tareas de los ODS, es estructurar y soportar todos los datos de análisis, organizar los datos por áreas para la bodega, realizar las sumarizaciones de los datos, pero porque sumarizaciones?, si en las consultas se pueden desarrollar?, en la bodega se debe preestablecer los totales mas requeridos y de igual manera los mas complejos y pesados, debido a que en primera instancia algunos implican un predicado muy complejo, lo cual no es operable para los usuarios finales, de tal manera que se debe esconder toda la complejidad en las consultas, que simplemente sea ingeniería del mouse; en segunda instancia las sumas para obtener totales consumen mucho recurso del servidor (SGA, PGA) de tal manera que satura el servidor, el desempeño y velocidad se ven sacrificados, por ello a nivel del ODS, se deben prever que sumarizaciones deben estar desarrolladas; de igual manera en el ODS se dimensionan los datos geográficos y se desarrollan los análisis preliminares que el cliente no debe hacer con respecto a la espacialidad del dato, tales como cruces topológicos y relaciones complejas y de igual manera las sumarizaciones debe quedar en la bodega disponibles para los mismos; los ODS pueden estar sincronizados con los sistemas OLTP, y por ende se pueden desarrollar sobre el mismo análisis en tiempo real, que no impliquen grandes dimensiones en el tiempo, ya que la finalidad del ODS, no

17 17 es guardar el histórico del dato, si no simplemente es una área de organización para la bodega y no desempeña las tareas de la bodega, o una instantánea de la bodega en un momento dado. ODS OLTP Analistas del Negocio SDWH Panorama del ODS Fig. No. 10 En la búsqueda del afinamiento optimo de la bodega, es recomendable manejar una nueva estructura de organización y administración de la información, está no a nivel de estructuración de los datos, ya que está es la tarea de los ODS; la finalidad es a nivel de descongestión de la bodega, se debe tener en cuenta de acuerdo a las peticiones del servidor, de tal manera que muchas de las consultas sean canalizadas a otro servidor de la bodega, no necesariamente un servidor espejo, ya que los costos serian innecesarios pues el desempeño no se incrementa lo deseable, como si realizáramos uno o varios subconjuntos de la bodega, por decirlo así un punto de distribución por sector, en términos del Spatial Data Warehouse, se denominara supermercado de datos (Data Mart), los Data Mart pueden ser construidos y definidos de acuerdo a la localización de los usuarios o por lo general por departamentos; como hemos mencionado la finalidad de los Data Mart es reducir la demanda de la bodega, reducir el trafico de la red, y en algunos casos por estrategia operativa, debido a su finalidad la construcción de los mismos se puede desarrollar en servidores no tan robustos como el de la bodega; operativamente se establecen

18 18 encadenadores entre la bodega y el Data Mart, se crean instantáneas de los datos y se les asigna un tiempo de refresque o sincrónicamente con la bodega. ODS OLTP SDWH Data Marts Esquema de los Data Marts Fig. No. 11 Los Data Mart pueden ser de dos tipos de acuerdo a la operaciones que se desee desarrollar con los mismos, los primeros son los dependientes que son los que hemos venido describiendo, son segmentos parciales de la bodega, son construidos y cargados a partir de la misma, y los Data Mart independientes, los cuales son construidos e implementados a partir de los procesos ETT, o de los ODS directamente, estos últimos son implementados en algunos casos sin existir la bodega, se desarrolla así por cuestión de costos y porque el Data Mart posee todas las características mencionadas de la bodega, en algunos casos se desarrollan los proyectos Spatial Data Warehouse construyendo una serie de Data Mart por departamentos con costos increméntales diferidos, una vez se han construido todos los Data Mart se procede a implementar la bodega; cuando los datos geográficos son demasiados complejos es recomendable diseñar Data Mart específicamente para manipular estos datos, siendo los mismos dependientes preferiblemente, pero si los datos geográficos son estáticos

19 19 y específicos por departamento es recomendable desarrollar un híbrido entre los dependientes e independientes, siendo los datos agregados cargados directamente a los Data Mart por procesos ETT, o simplemente completamente independientes. OLTP SDWH Data Mart dependiente Data Mart Fig. No. 12 OLTP Data Mart Data Mart independiente Fig. No. 13 OLTP SDWH Data Mart Data Mart híbrido Fig. No. 14

20 20 La componente mas poderosa de los Spatial Data Warehouse, heredada de los Data Warehouse, el procesamiento analítico en línea OLAP, es el motor de consultas especializadas de la bodega, las herramientas OLAP son una tecnología de software para análisis en línea, administración y ejecución de consultas complejas que permitan inferir información del comportamiento del negocio, las herramientas OLAP son implementadas en arquitecturas cliente servidor y su finalidad es brindar rápidas respuestas a múltiples consultas, la fortaleza de los OLAP es poder brindar escenarios históricos de cómo se a venido comportando el negocio en un ambiente multidimensional, es decir combinando múltiples variables simultáneamente, desarrollando su análisis desde diferentes perspectivas que aparentemente no se relacionen para poder inferir tendencias que a simple vista no se encontrarían fácilmente; las herramientas OLAP requieren que los datos estén organizados dentro de la bodega de forma multidimensional, lo que implica el modelamiento basado en los principios de las bases de datos multidimensionales o emulaciones de la misma; una base de datos multidimensional es aquella que organizan los datos por dimensiones por ejemplo el producto x se vende en t tiempo, en s lugares, la base de datos estructura para este caso tres dimensiones x, t, s formando un cubo donde el cruce de los valores x, t, s a lo largo de las abscisas determinan el valor del dato, el hecho de que ocurrió una venta, lo que implica que los mismos son extraídos y representados por dimensiones de cualquier orden y multiplicidad, los cálculos sobre la misma son matriciales los cuales se procesan rápidamente dando como resultados reportes tabulares; las bases de datos multidimensionales implican un modelamiento estrella, copo de nieve, o constelación los cuales explicaremos mas en detalle posteriormente, los cuales pueden ser implementados de manera relacional, multidimensional o un híbrido entre los dos, dependiendo toma la denominación de ROLAP (relacional), MOLAP (multidimensional) o HOLAP (híbrido); independiente a la arquitectura este tipo de modelamientos requieren que todo el modelo este desnormalizado o semi desnormalizado para efecto de no desarrollar complejas uniones para acceder a los datos, ocultar y agilizar la complejidad de las consultas, en el caso de que los datos espaciales no sean datos agregados si no dimensiones de la información es imprescindible desarrollar modelos híbridos, empleando geo_objetos dentro de un contexto objeto_relacional híbrido con el multidimensional