Tratamiento de Grandes Volúmenes de Datos en Ciudades Inteligentes Big Data y NoSQL

Transcripción

1 Tratamient de Grandes Vlúmenes de Dats en Ciudades Inteligentes Big Data y NSQL Snia Frmia; Luis Vivas; Niclás García Martínez Labratri de Infrmática Aplicada (LIA) Licenciatura en Sistemas, UNRN Sede Atlántica, Argentina {sfrmia, lvivas, ngarciam}@unrn.edu.ar Innvación Tecnlógica en las Organizacines Resumen El despliegue de sensres, la participación de ls ciudadans en las redes sciales y la generación de cntenids, entre tras raznes, han prducid un aument de la infrmación dispnible en las ciudades, dand rigen a un fenómen cncid cm big data. La reducción de ls csts de almacenamient y la implementación de tecnlgías que antes n existían, permite almacenar cantidades muy grandes de infrmación, cn gran variedad de frmats, en tiemps cada vez más crts. El vlumen y la diversidad invlucrads han generad el surgimient de nuevas tecnlgías de bases de dats, las que cmúnmente se resumen baj el términ NSQL. Este, englba hy en día muchas bases de dats diferentes que frecen esquemas más flexibles que el tradicinal entidadrelación y trabajan mejr para manipular grandes cantidades de dats de manera eficiente para el prcesamient analític, aunque n siempre prveen un lenguaje de cnsulta declarativ [Martin, 2013], pr l que se requiere de mayr experticia para manipular ls dats. Se hace necesari definir ls alcances de aplicabilidad del mvimient NSQL al prcesamient analític de infrmación desde ls sistemas de Inteligencia de Negcis (Business Intelligence, BI) tradicinales hasta el Big Data. Palabras clave: Big Data Analytics. Bases de Dats NSQL, Data Science, Business Intelligence, Smart Cities. Intrducción Se suele relacinar Big Data cn la necesidad que tienen las rganizacines, tant públicas cm privadas, de aprvechar la infrmación dispnible para tmar mejres decisines, mejrar sus tiemps de respuesta, cncer a sus ciudadans hacer más eficiente el gast públic. Intrduciend mejras en las administracines públicas, cn el bjetiv de generar Estads más eficientes y mejrar la calidad de vida de las persnas. También Big Data se relacina cn la necesidad de generar ciudades más eficientes, en dnde se pueda prever cuál es el mvimient del tráfic, cuánta energía se va a cnsumir en un determinad mment, cuáles sn ls fenómens meterlógics cn mayr prcentaje de currencia, cuáles sn las necesidades de ls ciudadans y hasta cóm es el rendimient de ls alumns de las institucines públicas [Bllatti, 2013].

2 Si bien n es alg nuev, su alcance ha id variand cn el tiemp, es pr est que se hace necesari definir de manera cnsistente l que hy se denmina Big Data, clasificar las diferentes tecnlgías que frece el mercad para lueg centrarse en el estudi e implementación de las que frezcan mejres slucines a las necesidades de almacenamient y análisis de dats, en particular para ls desarrlls para ciudades inteligentes. Big Data es el nmbre que se le da a cnjunts de infrmación que crecen de una manera tan expnencial que resulta prhibitiv almacenarls y/ prcesarls cn métds técnicas tradicinales del mund de base de dats relacinales. La cantidad de infrmación dispnible exige recurrir a nuevas herramientas y prcess para recpilar dats (tant estructurads cm n estructurads) y para almacenar, manipular, administrar, integrar y analizar dichs dats. Cuand se piensa en bases de dats relacinales acuden a la mente ls misms nmbres, alguns cmerciales y trs de sftware libre. Aunque cada una tiene sus peculiaridades, n es difícil elegir entre un sistema y tr. La decisión de cuál elegir, se basará en sus características y preci. Al hablar de bases de dats NSQL (nt nly SQL, n sól SQL) la elección se cmplica. Al día de hy existen muchs sistemas de bases de dats NSQL, elegir un de ells puede ser muy difícil, ya que ningun ha btenid tdavía la fama, estabilidad y estandarización que sí han cnseguid las bases de dats relacinales. Pr tr lad, la taxnmía de bases de dats n relacinales n es clara, dependiend de ls autres se pueden encntrar bases de dats analíticas (Analytic Data Stres) dentr de las clasificacines de NSQL fuera de ellas, cm un tip diferente de base de dats [Antiñanc, 2013]. Si bien puede pensarse que sl sn etiquetas, es imprtante determinar al mens funcinalidades básicas, aunque n se las pueda catalgar taxativamente. Este trabaj pne énfasis en el estudi de las bases de dats NSQL desde el punt de vista del análisis de dats. Se plantea la hipótesis de la utilización de tecnlgías NSQL desde ls cmienzs de un pryect de BI, independientemente de la cantidad de dats y de la naturaleza (estructurada n estructurada) de ls misms. En este sentid se espera encntrar mtivs para fmentar el us de bases de dats NSQL en aplicacines de data warehuse (DW) y data mining tradicinales, es decir, sbre dats estructurads y sbre vlúmenes de infrmación que hy en día n se cnsideran Big Data. Cntext y Objetivs El presente trabaj se encuentra enmarcad en el pryect: Estudi y evaluación de tecnlgías de la infrmación y la cmunicación para el desarrll de ciudades inteligentes en Rí Negr, del Labratri de Infrmática Aplicada (LIA) de la Universidad Nacinal de Rí Negr (UNRN). El bjetiv general de la investigación es estudiar, identificar y prbar tecnlgías dispnibles para Big Data y determinar su aplicabilidad a la infrmación prducida pr ls desarrlls para las ciudades inteligentes. El bjetiv particular de este tram es encntrar tecnlgías alternativas, dentr del mvimient NSQL que puedan ser utilizadas en pruebas de cncept para tareas de BI en entrns estructurads y para vlúmenes

3 limitads de dats, de manera de prveer al equip de trabaj cn ls cncimients necesaris para encarar un pryect de Big Data utilizand las mismas herramientas. En el prces se espera cmparar las implementacines tradicinales sbre bases de dats relacinales cn las de bases de dats NSQL en el cntext de prblemas ya cncids. La experiencia actual ns dice que Big Data necesita NSQL. El presente trabaj pretende respnder la siguiente pregunta: NSQL necesita Big Data? Big Data Big data se aplica a la captura, gestión y prcesamient de cnjunts de dats que superan las capacidades del sftware habitual. Ls tamañs de Big data están cambiand cnstantemente. Es imprtante prque es un cncept que englba y se relacina cn tras tendencias cm clud cmputing, mvilidad, Internet de las csas, ciberseguridad y analytics, entre trs [Eatn]. La adpción de Big Data parece ser un hech que tarde tempran deben realizar las rganizacines [Jyanes Aguilar,2013]. Es de esperar que las prtunidades que est brinde cmpensen la demanda ecnómica y de especialistas requerids para el análisis de ests grandes vlúmenes de dats. Aparece, entnces, el perfil del científic de dats, que pdría definirse cm la evlución del analista de dats de negcis en el cntext de Big Data. El científic de dats es una persna cn habilidades diversas: ciencias de la cmputación, analítica, matemáticas, generación de mdels y estadística, además de buen cmunicadr. Esas nuevas necesidades han llevad a nuevs requerimients de análisis de la infrmación, l que anterirmente se cncía cm BI actualmente requiere de un nuev mdel de análisis, Big Analytics, que trabaje cn ls dats al nivel más baj de granularidad dispnible cn mdels más ágiles que ls actuales de BI, que permitan hacer análisis de manera escalable, en tiemp real y que integren dats n estructurads cn facilidad. Las tres V : variedad, vlumen y velcidad, sn ls temas clave. Bases de dats NSQL El mvimient NSQL se inició hace alguns añs impulsand el us de nuevs sistemas de bases de dats que n se basan en el mdel entidad-relación y n respnden slamente a cnsultas en lenguaje estándar SQL, instaland una alternativa a ciertas limitacines en flexibilidad, prcesamient y escalabilidad que enfrentan ls sistemas tradicinales para abrdar el camin a Big Data. Estas bases de dats n requieren esquemas de tablas fijas y n necesariamente sprtan peracines de jin. Están ptimizadas para peracines principalmente de lectura escalables sin tant énfasis en la cnsistencia. Existen numersas discusines sbre las ventajas y desventajas de las bases de dats NSQL cmparadas cn las bases de dats relacinales [Antiñanc, 2013] [ [Strauch,2010]. Entre las desventajas se pueden mencinar: N existe un líder en el mercad NSQL. N existe standard (cm SQL para ls RDBMS). Muy alta especialización, l que dificulta elegir una única base de dats para tdas las necesidades.

4 La escalabilidad (que es prmcinada cm una ventaja) n es sencilla de cnseguir en la práctica. Dificultades para prveer cnsistencia y dispnibilidad abslutas. Cambi en ls mdels de dats: EAVmdel Entidad-Atribut-Valr vs. Mdel Entidad-Relación. Entre las ventajas están las siguientes: Flexibilidad en el cumplimient de ACID (atmicidad - Atmicity, cnsistencia - Cnsistency, aislamient - Islatin y durabilidad- Durability). Rendimient mayr, inclus de hasta varis órdenes de magnitud [ Escalabilidad hrizntal (emple de hardware más ecnómic). Mejr y mayr manej de infrmación n estructurada. Evita el mape bjet-relacinal [Antiñanc, 2013]. Slución a escenaris que n cubren las bases de dats relacinales, en cuant a vlumen de dats y a su prcesamient en tiemp real. Ls mdels de dats centralizads n pueden ser distribuids fácilmente (DDB). Las bases de dats NSQL se cnstruyen desde el inici cn la escalabilidad en mente. Tips de Bases de Dats NSQL Existen varias aprximacines diferentes para clasificar las bases de dats NSQL [Katsv, 2012)], una de ellas, basada en la evlución de la arquitectura de las mismas, arrja ls siguientes tips [Strauch, 2010] (aunque pueden encntrarse prducts cn características de más de un tip): Clave valr: Sn las más sencillas de entender, guardan tuplas que cntienen una clave y su valr. Este mdel favrece la escalabilidad sbre la cnsistencia, y mite/limita las funcinalidades analíticas y de cnsultas cmplejas ad-hc. Es cnceptualmente similar a una tabla hash y es muy adecuad para almacenar dats n estructurads dada su flexibilidad y velcidad. Las bases de dats NSQL clave-valr más ppulares sn: Riak, Redis, Amazn DynamDB, Vldemrt, Membase, Dynamite, Tki Cabinet, Cludant y Cassandra (si bien esta última también tiene prpiedades de bases de dats rientadas a clumnas). Orientadas a clumnas: Este tip de bases de dats están pensadas para realizar cnsultas y agregacines sbre grandes cantidades de dats. Funcinan de frma parecida a las bases de dats relacinales, per almacenand clumnas de dats en lugar de registrs. Muchas de estas bases de dats están inspiradas en la tecnlgía BigTable de Ggle, que cnsiste en un sistema de almacenamient distribuid para manipulación de dats estructurads, diseñad para escalar a grandes tamañs (petabytes). Es un mapa rdenad multidimensinal, persistente, distribuid y dispers, indexad pr una clave fila, una clave clumna y tiemp. Cada valr del mapa es una clección (array) ininterrumpida de bytes [Jyanes Aguilar, 2013]. Alguns ejempls sn: Ggle BigTable, Apache HBase (pryect Hadp), Hypertable, Infbright y

5 Cassandra (híbrid clave-valr). Riak también se encuentra en algunas clasificacines dentr de este tip [Antiñanc, 2013]. Orientadas a dcuments: Sn aquellas que gestinan dats semi-estructurads, cm dcuments. Ests dats sn almacenads en algún frmat estándar cm puede ser XML, JSON BSON. Sn las bases de dats NSQL más versátiles, se pueden utilizar en gran cantidad de pryects. Guardan la infrmación cm un listad de dcuments desestructurads. Al acceder a un dcument se puede ingresar en un númer n especificad de camps cn sus respectivs valres. Sn ejempls de este tip de bases de dats MngDB y CuchDB. En graf: Basadas en la tería de grafs, utilizan nds y aristas para representar ls dats almacenads. Sn muy útiles para guardar infrmación en mdels cn muchas relacines, cm redes y cnexines sciales. Permiten cntar cn un mdel de negci más cmplej, cn flexibilidad en las relacines entre entidades. Pr definición, una base de dats rientada a grafs es cualquier sistema de almacenamient que prvea libre indexad pr adyacencia, est significa que cada element cntiene un punter direct a su element adyacente y n requiere búsqueda pr índices [Katsv, 2012]. Algunas bases de dats en graf sn: Ne4j, HyperGraphDB, AllegrGraph y VertexDB. Otrs autres [Pentah Big Data Architecture] excluyen de la categría NSQL las bases de dats rientadas a clumnas y generan una clasificación diferente que incluye tecnlgías cm bases de dats en memria [Jyanes Aguilar, 2013] y Hadp, cm se describe a cntinuación: NSQL: incluye las dcumentales, graf y clave-valr. Analíticas: diseñadas para ser usadas cm mtres de Data Warehuse. Incluyen clumnares, MPP (massively parallel prcessing prcesamient masivamente paralel) y en memria (In- Memry Analytics) Hadp: (Almacenamient HDFS + prcesamient Map/Reduce). Ideales para grandes vlúmenes de dats que n cuadran en bases de dats transaccinales NSQL ( s, tweets, imágenes, lgs, etc.). Arquitectura masivamente paralela, que incluye un sistema de archivs y un esquema de prcesamient distribuid. Terema CAP. Otra frma de clasificar las bases de dats NSQL deriva del terema CAP para sistemas distribuids, enunciad pr [Brewer, 2000]. El terema establece que es impsible para un sistema distribuid garantizar simultáneamente: Cnsistencia (Cnsistency) Dispnibilidad (Availability) Tlerancia a falls (Partitin Tlerance) Sl ds de las tres sn psibles. Brewer señala que así cm las prpiedades ACID de ls sistemas de bases de dats relacinales prveen cnsistencia, las prpiedades BASE prveen dispnibilidad y sn las siguientes: Básicamente dispnible (Basically Available)

6 Estad flexible (Sft-state) Eventualmente cnsistente (Eventual cnsistency) Mientras ACID es pesimista y fuerza la cnsistencia al final de cada peración, BASE es ptimista y acepta cnsistencia flexible en la base de dats para asegurar dispnibilidad. Cnciend estas restriccines, se sugiere utilizar cm criteri de selección ls requerimients que se cnsideren más crítics para el negci. En cas de ptar pr las prpiedades BASE, se deberá elegir la base de dats que prvea el par de prpiedades que sn requerimient para el prblema. Elección de un tip de base de dats NSQL para BI. Cm se puede apreciar en ls apartads anterires, el mvimient NSQL y las herramientas para Big Data se han cnvertid en un gran univers de pcines. Varis autres, alguns citads en este trabaj, han intentad la tarea de clasificarlas y rganizarlas. De la revisión bibligráfica realizada surge claramente que n se ha cnseguid aún el cnsens, aún así las clasificacines descriptas clabran en fragmentar el univers de pcines para permitir encarar el estudi de ls prducts que, a primera vista, pueden resultar útiles para el bjetiv prpuest. Teniend en cuenta la amplitud del prblema plantead y la necesidad de enfcar el análisis en prducts específics que prvean factibilidad de implementación, se realiza una primera aprximación a la selección. En primer lugar se hace necesari cnsiderar el entrn de aplicación dnde se realizarán las pruebas preliminares de migración de dats. Para ell se tma la decisión de definir la prueba de funcinamient sbre un DW perativ existente en el LIA: el Sistema de Infrmación Gerencial SIU-Wichi. Este DW maneja dats financiers, administrativs, académics y de persnal de la UNRN. SIU- Wichi utiliza la base de dats relacinal PstgreSQL y la platafrma analítica Pentah BI Server. Cm segunda etapa se espera realizar pruebas que permitan cmparar el desempeñ de la base de dats seleccinada versus un ambiente analític ya existente. Si bien es psible iniciar las pruebas sbre SIU- Wichi, también se prevé realizar cmparacines de perfrmance cn trs DW que, aun n siend cnsiderads de la embergadura de big data, tengan un vlumen de dats mayr. Para esta instancia se espera instanciar en una base de dats NSQL el DW de la Agencia de Recaudación Tributaria de la Prvincia de Rí Negr (ARTRN), que sprta ls prgramas de recaudación, percepción y fiscalización de ls impuests prvinciales. Este DW utiliza la base de dats relacinal Oracle y la platafrma analítica Pentah Business Analytics. Una vez decidid el entrn que se utilizará para las pruebas, analizand las diferentes clasificacines de bases de dats para Big Data, la elección se inclina hacia las bases de dats analíticas, justamente pr el tip de aplicación, y entre ellas, las rientadas a clumnas. Estas bases de dats sn de las más cnflictivas en cuant a su lugar en las clasificacines, dad que pueden n ser incluidas dentr de las bases de dats NSQL, per también sn las que cnceptualmente más se acercan al paradigma relacinal, y más se asemejan al mdel multidimensinal utilizad en el diseñ de DW (ver Fig.1).

7 Su base de clientes incluye empresas cm Yah!, Xerx, Bwin, etc. Fig. 1. Base de dats rientada a clumna vs. rientada a fila [Timestred]. El almacenamient en filas sirve cuand tdas las clumnas sn necesarias, ideal para un mund transaccinal dnde usualmente se necesita td el detalle de una entidad. En cambi, el almacenamient en clumnas sirve cuand sl se requieren algunas clumnas para el análisis, cuand l que se busca es infrmación cnslidada (sumas, cantidades, prmedis), ideal para un mund analític dnde la infrmación se cncentra en la métrica de distintas entidades. Dentr de las bases de dats rientadas a clumnas, se pta pr iniciar las pruebas sbre Infbright. Se enumeran aquí las raznes de tal decisión [Pentah Big Data Arquitecture]: Es un mtr de base de dats analític rientad a clumnas de alta perfrmance que entrega rápids tiemps de respuesta a cnsultas adhc sbre Big Data cn mínim esfuerz de administración y mantenimient. La empresa prvee un mdel de negcis Try & Buy basad en una versión Enterprise (Infbright Enterprise Editin, IEE) y una versión Open Surce (Infbright Cmmunity Editin, ICE). Es sci tecnlógic de varias empresas de BI, incluyend Pentah (platafrma de SIU-Wichi y del DW de la ARTRN). A diferencia de tras bases analíticas, la mejr perfrmance de Infbright está basada en mdels matemátics, n en hardware. Se basa en la arquitectura MySQL (base de dats relacinal muy utilizada actualmente). Pr estar implantada sbre MySQL acepta SQL cm lenguaje de cnsulta. Dentr de las características distintivas de Infbright que se tmarn en cuenta para la decisión, surge cm dat interesante que es una base de dats clasificada cm NSQL y sí acepta SQL. De ls apartads anterires se puede cmprender que est n es una cntradicción, sin una crrbración que el mvimient NSQL n significa N SQL, sin Nt Only SQL (n slamente SQL), y que si se está pensand en iniciar el camin hacia bases de dats que acerquen el BI tradicinal al inminente Big Analytics, es quizá una buena pción hacer ls cambis de manera gradual. Arquitectura de Infbright. Las principales cmpnentes de la arquitectura de Infbright sn [Infbright Analytic Database]: Data packs - data cmpressin (paquetes de dats y cmpresión de dats). Ls dats se almacenan en data packs de medida fija que incluyen una cantidad determinada de valres de cada clumna. Cada data pack se cmprime individualmente utilizand el algritm de cmpresión ptimal para ess dats, l que resulta en tasas de cmpresión típicas de 10:1 hasta 40:1. Knwledge Grid (cuadrícula de cncimient). Es una estructura en memria

8 que crea y almacena autmáticamente infrmación acerca de ls dats al mment de carga y cuand se ejecutan cnsultas. Incluye infrmación de la tabla cmpleta y de cada data pack individual (Knwledge ndes). Granular Cmputing Engine (mtr de cmputación granular). Prcesa las cnsultas usand el Knwledge Grid, reduciend eliminand la cantidad de dats que deben descmprimirse para respnder la cnsulta. High-Speed Lading (carga de alta velcidad). Varias pcines de móduls de carga de dats que hacen dispnible ls dats generads pr máquinas en tiemps cercans al tiemp real. Prducts adicinales incluyen cnectres para Hadp que simplifican la extracción de dats desde HDFS. DmainExpert (Expert en el Dmini). Extensión a la inteligencia del Knwledge Grid que agrega infrmación acerca de un dmini en particular (pr ej. Web, servicis financiers, etc.). Cntribuye a ptimizar dats generads pr máquina. Rugh Query (cnsulta aprximada) Puede acelerar las cnsultas analíticas en un factr 20:1 sbre grandes vlúmenes de dats. Permite que el usuari vaya reduciend ls resultads de manera iterativa antes de ejecutar la cnsulta cmpleta. Built n MySQL Infbright está cnstruid dentr de la arquitectura de MySQL. Esta integración le permite vincularse fácilmente cn cualquier herramienta de ETL (Extractin Transfrmatin and Lading extracción, transfrmación y carga) y BI cmpatible cn MySQL. El mtr (granular cmputing engine) resuelve las cnsultas cnsultand el knwledge grid y ls knwledge ndes. La cnsulta puede ser resuelta directamente identificar slamente ls data packs requerids, minimizand la descmpresión. Metdlgía Cm se expresó en la etapa de elección de la base de dats NSQL a investigar en el presente trabaj, se utilizarán al mens ds universs de estudi para realizar la cmparación cn bases de dats relacinales. El primer de ells, el DW de SIU-Wichi es un mdel prvist pr la rganización SIU, instalad, actualizad y utilizad pr la UNRN cn las herramientas y prcess desarrllads pr SIU. Pr tr lad, el DW de la ARTRN es un desarrll prpi de la Agencia, del cual participa un de ls integrantes del equip de investigación del presente trabaj. Ambs DW están implementads en bases de dats relacinales cmerciales diferentes (PstgreSQL y Oracle) y pseen un vlumen de dats también diferente. Mientras la base de dats de SIU-Wichi es del rden de ls megabytes de dats, la de la ARTRN es del rden de ls gigabytes. Ls tamañs específics de las tablas invlucradas se incluirán en las cmparacines que se realicen. Ls pass prevists para el desarrll incluyen: 1) Pruebas de funcinamient de Infbright básicas, utilizand tablas de la base de dats exprtadas de SIU-Wichi. 2) Pruebas cmparativas de carga de dats y de cnsultas SQL básicas. 3) Identificación de sentencias SQL generadas pr las cnsultas multidimensinales (mdx) que surgen de la utilización de la herramienta

9 de BI de Pentah (Pentah Business Analytics). 4) Pruebas cmparativas de sentencias identificadas en 3). Para est se deberá recrear en Infbright ls mdels multidimensinales de alguns cubs de ls DW elegids. Ejecutar el lte de sentencias identificadas cm frecuentes en ls sistemas de rigen y lueg ejecutar las mismas sentencias en el mdel NSQL, determinand cnsistencia de infrmación btenida y perfrmance de la cnsulta. 5) Este pas depende de ls resultads btenids en el anterir. Si las pruebas cmparativas dan resultads alentadres en función de ls bjetivs, se prcede a la implementación de las herramientas de usuari Pentah sbre un DW en Infbright. Cas cntrari, si las pruebas demuestran algún prblema de cmpatibilidad entre la base de dats seleccinada y el tip de cnsultas multidimensinales analizadas, se prevé la evaluación de tras herramientas de bases de dats NSQL. Resultads En este estadí de la investigación se ha instalad la base de dats Infbright Cmmunity Editin (ICE) y se han imprtad dats de prueba en la nueva platafrma. Para la carga de dats se utiliza el Infbright Lader, que es el únic mdul de carga que prvee la versión ICE [Infbright Data Lading Guide Revisin 2.1, 2010], y es el más rápid, a expensas de manej de errres mens rbust. Dad que ls dats a cargar prvienen de una fuente ya validada pr ls prcess ETL de carga del DW, el manej de errres n es la priridad. De tdas frmas, el rest de ls móduls de carga de dats sl sn prvists pr la versión Enterprise de Infbright (IEE). Cn ls dats imprtads se han realizad cnsultas básicas SQL que permiten validar la cnsistencia de la carga, siguiend las sugerencias de mejres prácticas [Infbright Best Practices, 2012] (utilización de subselects en lugar de jins, sl cnsultar las clumnas necesarias, etc). En este mment se está avanzand cn la catalgación de sentencias SQL generadas pr el us del DW, identificand además de las sentencias específicas, trs dats que se entiende van a ser de interés en la cmparación. Algunas detectadas actualmente: Clausulas SELECT frecuentes en SQL multidimensinal (jins cn dimensines, grup by pr valres de dimensines, funcines de sumarización, etc.) Sentencias SELECT de búsqueda en dimensines generadas pr la herramienta de filtr (la frma en que las herramientas de Pentah presentan las pcines de filtrad pr una dimensión, dependiend de ls parámetrs de cnfiguración de la herramienta, pueden generar la lista cmpleta de la dimensión (SELECT sin WHERE) generar sl la lista de valres de la dimensión incluids en el cub crriente (SELECT cn JOIN) Tip y us de índices en las tablas que implementan las dimensines y las tablas de hechs en ls sistemas rigen. Implementación de filtrs de medidas, cn WHERE en la base de dats,

10 mediante prcesamient de la herramienta BI. Ls bjetivs restantes apuntan a cmpletar esta lista de sentencia frecuentes, reprducir las sentencias identificadas en Infbright mediante SQL y psterirmente, según ests resultads, implementar las herramientas de Pentah sbre una réplica de un DW ( parte de él) almacenad cmpletamente en Infbright. Cabe aclarar que, a la luz de ls bjetivs de esta investigación, n se persigue una mejra sustancial en la perfrmance de la base de dats NSQL analizada respect de las relacinales cmparadas. El bjetiv principal es demstrar que es factible utilizar bases de dats NSQL en prblemas analítics, n necesariamente de big data. De manera que el crrect funcinamient de la base de dats para las cnsultas definidas, asegurand la cnsistencia e integridad de la infrmación brindada, y su adaptación a herramientas del mercad de DW cm Pentah, sin pérdida de perfrmance, se cnsidera un resultad exits para el bjetiv plantead. Si bien es esperable una mejra en perfrmance, n es el bjetiv principal de las pruebas. Discusión abierta Este trabaj presenta un análisis de las herramientas existentes para Big Data, en particular las rientadas a bases de dats NSQL. Se revisan las diferentes clasificacines de las bases de dats alternativas a las relacinales, pniend el fc en aquellas que se adapten a las tareas de BI y que puedan ser utilizadas en td el camin de una rganización hacia el análisis de sus dats, desde ls DW tradicinales a las aplicacines de Big Analytics. Se seleccina una categría de bases de dats NSQL, las rientadas a clumnas, y se analizan sus características cnfrntándlas cn las que se cnsideran necesarias para el bjetiv prpuest. En base a la categría seleccinada, a la definición de un entrn de prueba factible y a las herramientas de BI existentes en el ámbit de la investigación, se elige un prduct específic de bases de dats rientadas a clumnas: Infbright Cmmunity Editin, se estudia su arquitectura y funcinamient y se l implementa en el ambiente de trabaj, para la realización de pruebas de adaptabilidad y perfrmance. El trabaj deja plantead un camin para la inserción del BI tradicinal en las nuevas herramientas de bases de dats para Big Data, que pdrá ser utilizad en el marc del pryect de Ciudades Inteligentes en Rí Negr para dar sprte al almacenamient y análisis de infrmación sbre el vlumen de dats que éste genere a futur. En dich camin se pdrá ahndar en el us de trs tips y prducts de base de dats NSQL para Big Data, inclus aquells que seguramente seguirán surgiend en el mercad. Referencias Antiñanc, Matías Javier. Bases de Dats NSQL: Escalabilidad y alta dispnibilidad a través de patrnes de diseñ. Diciembre, Bllatti, Rdlf. Big Data en la educación. XV Wrkshp de Investigadres en Ciencias de la Cmputación Brewer, Eric. Tward Rbust Distributed Systems.

11 Strauch, Christf. NSQL Databases. b-2004/podc-keynte.pdf (2000). Universidad Stuttgart Media Eatn, Chris. Deutsch, Tm. Ders, Dirk. Timestred Lapis, Gerge. Zikpuls, Paul. Understanding Big Data. Analytics fr guides/kdb-database-intr Enterprise Class Hadp and Streaming Data. Mc Graw Hill Infbright Analytic Database. Architecture Overview. Whitepaper. Infbright Best Practices May ght-best-practices Infbright Data Lading Guide Revisin 2.1 Nvember 11, bright_data_lading_guide.pdf Jyanes Aguilar, Luis. Big Data: análisis de grandes vlúmenes de dats en rganizacines. Alfamega. Juli Katsv, Ilya NSQL Data Mdeling Techniques 03/01/nsql-data-mdeling-techniques/ (2012). Martín, A, Chavez, S., Rdriguez, N., Valenzuela, A., Murazz, M. Bases de dats NSQL en Clud Cmputing. UNSJ. XV Wrkshp de Investigadres en Ciencias de la Cmputación Pentah Big Data Architecture. Pruebas de rendimient bases de dats clumnares vs bases de dats rientadas a filas. umn_opensurce.pdf