Universidad Tecnológica Nacional. Data Warehouse ... TRABAJO PRACTICO DE INVESTIGACION. Alumnos: Figueroa, Fernando Shanton, Luciano Turco, Pablo

Transcripción

1 Univrsidad Tcnlógica Nacinal Data Warhus TRABAJO PRACTICO DE INVESTIGACION Alumns: Figura, Frnand Shantn, Lucian Turc, Pabl

2 . El bjtiv d st trabaj s brindar una cncpt gnral acrca d las Bdgas d Dats Data Warhus Data Warhus - Intrducción Hy n día tda mprsa ncsita dpsitar mucha cnfianza n la tma d dcisins sbr ls ngcis; para ll s rquirn hchs y cifras. La cmptncia crc n td mmnt, ntncs las dcisins qu s tmn n tda mprsa dbn sr más aclradas. Pr, qué pasa si s tin una mntaña d infrmación, la cual db sr analizada. Lógicamnt s pinsa qu s ncsari much timp. Pr s mtiv, s rquirn hrramintas qu ayudn a minimizar l timp para analizar mucha infrmación cn mayr vlcidad y prcisión. Utilizand dichas hrramintas s lgra mantnr cmptitiva a la mprsa, ya qu sus ngcis dbn raccinar al cambi dl mrcad. D tr md, l mrcad glbalizad, la prsión d la cmptncia, ls avancs tcnlógics, tc. la dbilitarán. Pr mdi d un Sistma Data Warhus s prprcina al dirctiv la infrmación ncsaria para ayudar n l prcs d tma d dcisins (EIS: Excutiv Infrmatin Systm) apyad n un sistma d sprt a la dcisión (DSS: Dcisión Supprt Systm). Dfinición d un Data Warhus Un Data Warhus (Bdga d Dats) s una bas d dats qu rganiza y almacna una clcción d infrmación drivada dirctamnt d ls sistmas pracinals y d alguns dats xtrns. Ls dats cntnids n l Data Warhus (DW) pudn sr xtraíds d grands aplicacins n Mainfram d múltipls funts, distribuidas, d ambint Clint/Srvidr, n ambints disímils. Usualmnt ls dats sn transfrmads (rfrmatads) ants d sr clcads n la Bdga d Dats. El prpósit s l d dar accs cmplt a ls usuaris a dats histórics y actuals qu han sid xtraíds d funts cn infrmación pracinal. Función d un Data Warhus Una Bdga d Dats db ntrgar la infrmación crrcta a la gnt indicada n l mmnt adcuad n l frmat crrct. La Bdga d Dats da rspusta a las ncsidads d usuaris cncdrs, utilizand DSS, Sistmas d Sprt n la dcisión, EIS Sistmas d infrmación jcutiva hrramintas para hacr quris rprts. Ls usuaris finals fácilmnt pudn hacr quris (cnsultas) sbr sus Bdgas d Dats sin tcar afctar la pración dl sistma. 2

3 Data Warhus vs OLTP Sistmas d Prcsamint d Transaccins On-Lin (OLTP) Ls sistmas tradicinals OLTP (prcsamint d transaccins n-lin) acumulan infrmación dtallada d tip financir, prducción, cntrl d stcks transaccins d vntas. Ls sistmas tradicinals d transaccins y las aplicacins d Data Warhusing sn pls pusts n cuant a sus rqurimints d disñ y sus caractrísticas d pración. Una bas d dats para sprtar prcss transaccinals n lína (OLTP), pud n sr adcuada para l Data Warhus ya qu ha sid disñada para maximizar la capacidad transaccinal d sus dats y típicamnt tin cints d tablas, la gran mayría nrmalizadas. Su disñ también ha sid cndicinad pr ls prcss pracinals qu dbrá sprtar para la óptima actualización d sus dats, nrmalmnt muchas d sus tablas n cnstants y cntinus cambis. Ls sistmas DW stán rintads a prcss d cnsultas n cntrapsición cn ls prcss transaccinals. Las aplicacins d OLTP stán rganizadas para jcutar las transaccins para ls cuals furn hchas, cm pr jmpl: mvr dinr ntr cuntas, un carg abn, una dvlución d invntari, tc. Pr tr lad, un Data Warhus stá rganizad basánds n cncpts, cm pr jmpl: clints, facturas, prducts, tc. En l siguint cuadr s dtallan trs d sus principals cntrasts: Ejcuta pracins transaccinals diariamnt. Raliza cnsultas y análisis para la btnción d infrmación. Sistmas d bass d dats rlacinals. Nrmalmnt, sistmas d bass d dats rlacinals. Nrmalizad. Muchas d sus tablas pudn n star nrmalizadas. S admit rdundancia n ls dats.! " Accs SQL. SQL más xtnsins spcials # $ $%&')($ '* dpndints d las hrramintas d xpltación d dats (Data Mining). N bstant, l SQL stándar pud sr suficint n mans d prsnal xprt. + Ls dats stán rintads a la Ls dats stán rintads al análisis d, -$.+ / 0 %& 1 2" + 3 '* $4 5 5'67 (($'6 gstión d ls ngcis. Ls dats cambian cnstantmnt, pudn prdr cnsistncia, bin, para n prdr cnsistncia dbn impnrs mcanisms d blqu d dats cn un lvad cnsum d rcurss glbals dl sistma. Es cmún ncntrar qu ls sistmas transaccinals sn accdids pr cints d usuaris simultánamnt. Ls sistmas d OLTP ralizan cints d transaccins pr sgund. % 8) Ls sistmas transaccinals sn mnrs n tamañ a ls Data Warhuss. - El OLTP nrmalmnt stá frmad pr un númr mayr d tablas, cada una cn pcas clumnas. 3 ls ngcis. Dats histórics cn rfrncias tmprals n sujts a mdificacins. Ls Data Warhus sól sn accdids pr dcnas d usuaris. Una sla cnsulta d un Data Warhus pud tmar minuts. Un Data Warhus pud star frmad pr infrmación d varis OLTP s. En un Data Warhus l númr d tablas s mnr, pr cada una d éstas tind a sr mayr n númr d clumnas.

4 tablas, cada una cn pcas clumnas. Ls OLTP sn cntinuamnt actualizads pr ls sistmas pracinals día a día. Las structuras d ls OLTP sn muy stabls, rara vz cambian. tind a sr mayr n númr d clumnas. Ls Data Warhus sn actualizads n batch (pr lts) d manra priódica. Las structuras d ls Data Warhuss sufrn cambis cnstants drivads d su vlución. Est s db a qu ls tips d cnsultas a ls cuals stán sujts sn muy variads y s impsibl prvrls tds d antman. Estructura d un Data Warhus El ambint d un Data Warhus quda dfinid pr la suma d ls difrnts Data Marts intgrads, n sól a nivl físic sin también a nivl lógic, cm mustra la Figura 1. Cubs D Infrmación (DataMarts) Un DataMart s una vista lógica d ls dats n brut d su ls dats prvists pr su sistma d pracins/finanzas hacia l Datawarhus cn la adición d nuvas dimnsins infrmación calculada. S ls llama DataMart, prqu rprsntan un cnjunt d dats rlacinads cn un tma n particular cm Vntas, Opracins, Rcurss Humans, ct, y stán a dispsición d ls "clints" a quins ls pud intrsar la misma. Esta infrmación pud accsars pr l Ejcutiv (Duñ) mdiant "Tablas Dinámicas" d MS-Excl prgramas prsnalizads. Las Tablas Dinámicas l prmitn manipular las vistas (crucs, filtrads, rganización) d la infrmación cn mucha facilidad. Ls cubs d infrmación (DataMarts) s prducn cn mucha rapidz. A lls s ls aplican las rglas d sguridad d accs ncsarias La infrmación stratégica stá clasificada n: Dimnsins y Variabls. El análisis stá basad n las dimnsins y pr l tant s llamad: Análisis multidimnsinal. Llvand sts cncpts a un DW: Un Data Warhus s una clcción d dats qu stá frmada pr Dimnsins y Variabls, ntndind cm Dimnsins a aqulls lmnts qu participan n l análisis y Variabls a ls valrs qu s dsan analizar. Dimnsins Sn atributs rlativs a las variabls. Sn las prspctivas d análisis d las variabls. (Frman part d la Dimnsin Tabl Tabla d Dimnsins) Variabls También llamadas indicadrs d gstión, sn ls dats qu stán sind analizads. Frman part d la Fact Tabla (Tabla d Hch) Más frmalmnt, las variabls rprsntan algún aspct cuantificabl mdibl d ls bjts vnts a analizar. Nrmalmnt, las variabls sn rprsntadas pr valrs dtallads y numérics para cada instancia dl bjt vnt mdid. En frma cntraria, las dimnsins sn atributs rlativs a la variabls, y sn utilizadas para rdnar, agrupar abrviar ls valrs d las mismas. Las dimnsins psn una granularidad mnr, tmand cm valrs un cnjunt d lmnts mnr qu l d las variabls. 4

5 Estructura dl Data Warhus Sistmas Opracinals Data Warhus DataMarts Figura 1 Pr tr lad, y atacand l tma principal d st capítul, s ncuntra qu l DW stá intgrad pr cuatr lmnts sumamnt imprtants. En st sntid pdms mncinar ls siguints cmpnnts: Mtadata Middlwar Mcanisms d Extracción Mcanisms d Carga Mtadata Un d ls cmpnnts más imprtants d la arquitctura d un DW s l Mtadata. Es dfinid cmúnmnt cm "dats acrca d ls dats", n l sntid d qu s trata d dats qu dscribn cuál s la structura d ls dats y cóm s rlacinan. El Mtadata dcumnta xactamnt, ntr tras csas, qué tablas xistn para sa aplicación, qué clumnas ps cada una d las tablas y qué tip d dats s pudn almacnar. Ls dats sn d intrés para l usuari final, l Mtadata s d intrés para ls prgramas qu tinn qu manjar sts dats. Sin mbarg, l rl qu cumpl l Mtadata n un ambint d DW s muy difrnt al rl qu cumpl n ls ambints pracinals. En un ambint d DW l Mtadata juga un rl fundamntal. 5

6 Middlwar La función dl Middlwar s la d asgurar la cnctividad ntr tds ls cmpnnts d la arquitctura d un DW. El Middlwar pud vrs cm capa API, n bas a la cual ls prgramadrs pudn dsarrllar aplicacins qu trabajn n difrnts ambints sin prcupars d ls prtcls d rd y cmunicacins n qu s crrrán. D sta manra s frc una mjr rlación cst/rndimint qu pasa pr l dsarrll d aplicacins más cmpljas, n mns timp. API Applicatin Prgrammr Intrfac. Intrfaz d Prgramación d Aplicación. Lnguaj y frmat d mnsaj utilizads pr un prgrama para activar intractuar cn las funcins d tr prgrama d un quip físic. MIDDLEWARE Asgura la cnctividad ntr tds ls cmpnnts d una infrastructura infrmática. Es la structura para nlazar tdas las aplicacins n frma intgrada. Mcanisms d Extracción Otr d ls cmpnnts d la arquitctura d un DW sn ls sistmas OLAP. Ests tips d sistmas stán rintads a la ralización d análisis stratégics d la infrmación cntnida n un DW d una manra ad-hc. Ls análisis stratégics rquirn d una visión dinámica y multidimnsinal d la infrmación difrnt a la qu s ncuntra n ls sistmas OLTP. Est tip d análisis sta rintad a prcsar grands vlúmns d dats d frma d pdr mdir la vlución dl ngci a través dl timp, mdiant la cnfcción d cmparacins, l studi d indicadrs, dsviacins, tc. Est rquir la psibilidad d ralizar análisis Tp Dwn, s dcir qu sts sistmas dbn psr l dinamism ncsari para prmitir la rfrmulación d la cnsulta ralizada d acurd al análisis d ls rsultads btnids n una primra instancia. Mcanisms d Carga Existn ds frmas básicas d dsarrllar sta tara, las qu s xplican a cntinuación. Acumulación Simpl La acumulación simpl s, sin duda, la más sncilla y cmún, y cnsist n ralizar una sumarización rsumn d tdas las transaccins cmprndidas n l príd d timp slccinad y transprtar l rsultad cm una única transacción hacia l DW. Rlling El prcs d Rlling pr su part, s aplica n ls cass n qu s pta pr mantnr varis nivls d granularidad. Para ll s almacna infrmación rsumida a distints nivls, crrspndints a distintas agrupacins d la unidad d timp. En l jmpl d la Figura 2, s dtrminó l día cm unidad básica d timp. Las transaccins diarias sn rsumidas y almacnadas n l ámbit diari, crrspndint al nivl d dtall mas alt. Al llgar al limit d ls valrs valids d la unidad, n nustr jmpl al cmpltar una smana, s rsumn tds ls rgistrs dl nivl y s cra l crrspndint al siguint nivl d dtall, n nustr jmpl l rgistr smanal, y s inicializa nuvamnt l nivl diari. Al cmpltar l nivl smanal s rsum, s gnra l nivl mnsual rinicializand l nivl smanal, y así sucsivamnt hasta llgar al últim nivl d dtall slccinad dnd s aplican ls critris d acumulación simpl. 6

7 Transaccins Diarias Bas Oprativa Rsumn Diari Lun Mar Mi... Dm Sm 1 Sm 2 Sm 3... Sm 5 Ms 1 Ms 2 Ms 3... Ms 12 Añ 1 Añ 2 Añ 3... Añ N Figura 2 Disñ d un Data Warhus Para cnstruir un Data Warhus s ncsitan hrramintas para ayudar a la migración y a la transfrmación d ls dats hacia la bdga d dats. Ya cnstruid, s rquirn mdis para manjar grands vlúmns d infrmación. Dpndind d la structura intrna d ls dats d la Bdga y spcialmnt dl tip d cnsultas a ralizar, s disña la arquitctura d la Bdga d dats. Cn st critri ls dats dbn sr rpartids ntr numrss Data Marts. Para abrdar un pryct d Data Warhus (Bdga d Dats) s ncsari hacr l lvantamint d alguns tmas gnrals d la Organización, ls cuals s analizarán n la siguint tabla: AMBIENTE ACTUAL AMBIENTE DE NEGOCIOS AMBIENTE TÉCNICO EXPECTATIVAS DE LOS USUARIOS Cualquir slución prpusta d Data Warhus db star muy rintada pr las ncsidads dl ngci y db sr cmpatibl cn la arquitctura técnica xistnt y planada d la cmpañía. Es indispnsabl tnr l cncimint xact sbr l tip d ngcis d la Organización y l sprt qu rprsnta la infrmación dntr d td su prcs d tma d dcisins. S db incluir tant l aspct d ambint hardwar: mainframs, srvidrs, rds, así cm aplicacins y hrramintas. S dará énfasis a ls Sistmas d Sprt n la Dcisión, si xistn n la actualidad, cóm pran, tc. Un pryct d Bdga d Dats n s un pryct tcnlógic, s una frma d Vida d las Organizacins y cm tal, tin qu cntar cn l apy d tds ls usuaris y su cnvncimint sbr su bndad. 7

8 Etapas d Dsarrll Cn l cncimint prvi, ya s ntra n l dsarrll d una Estratgia Cncptual para la cnstrucción d un DW. Ambint d Ngcis Es indispnsabl tnr l cncimint xact sbr l tip d ngcis d la rganización y l sprt qu rprsnta la infrmación dntr d td su prcs d tma d dcisins. Prttip Un prttip s un sfurz dsignad a simular tant cm sa psibl l prduct qu srá ntrgad a ls usuaris. Pilt El pilt d la Bdga d Dats, simplmnt s l primr d muchs sfurzs itrativs qu s harán para llgar a la cnstrucción d una Bdga d Dats. Pruba dl cncpt tcnlógic Es un pas pcinal qu s pud ncsitar para dtrminar si la arquitctura spcificada dl DW funcinará finalmnt cm s spra. Arquitctura d un Data Warhus La arquitctura lógica d un sistma d Data Warhusing s dl tip mstrad n la Figura 3. Un Sistma d Data Warhusing cnsta d trs nivls: (1) bass d dats funts (d prducción histórics), (2) una bas d dats cn dats rsumids xtraíds d las bass d prducción (l Data Warhus), y (3) intrfacs rintadas a usuaris qu xtran infrmación para la tma d dcisins. Las intrfacs clásicas sn: Análisis Multidimnsinal Cnsultas y rprts Data Mining HERRAMIENTAS DE EXTRACCIÓN DE INFORMACIÓN $ Z n a t Análisis Multidimnsinal (OLAPS) Cnsultas y Rprts Cmpljs Data Mining Diccinari d Dats DATA WAREHOUSE Cntrl d Calidad d Dats Carga Autmatizada Intgración d Bas d Dats B a s d D a H i s t ó r i c A r c h i v s 8 D B - R l D B - G D B - T x t

9 Figura 3 Arquitctura lógica d un Sistma d Data Warhusing Esquma dl Data Warhus Cn rspct a la structura física d las tablas dl DW, s bsrva n la Figura 4 qu l Esquma Estrlla stá cmpust pr una Tabla d Hch cntral, la cual cntin tdas las clavs d las Tablas d Dimnsins qu la rdan y dtallan ls dats n una lista d camps. SUC_Ky SUC_ID Suc_Dsc Suc_Dir Dpt_Id Dpt_Dsc Rgin_Id Rgin_Dsc Nivl SUC_Ky PROD_Ky TIEMPO_Ky Tt_Vntas Uni_Vnd. PROD_Ky PROD_ID Prd_Dsc Marca Clr Prvdr Nivl TIEMPO_Ky Timp_Dsc Añ Cuart Ms Dia Figura 4 Esquma Estrlla Vntajas dl Data Warhus Dsd l punt d vista d las Bas d Dats Tradicinals, l Data Warhus ps las siguints vntajas: DATA WAREHOUSE Sprt a la tma d dcisins. Mayr flxibilidad. Optimiza cnsultas cn grands vlúmns d dats. Lína d timp histórica. Intgración d bass d dats htrgénas. DB TRADICIONALES Prpósit transaccinal. Mnr flxibilidad. Optimiza transaccins. Príds d timp más crts. Bass d dats hmgénas. Ejcución d cnsultas cmpljas n prdfinidas. Ejcución d cnsultas simpls. Análisis d prblmas n términs d dimnsins. Análisis d prblmas n términs d bjts. 9