Alguna terminología...

Transcripción

1 Alguna terminlgía... La literatura... Gestión de Calidad de Dats Carls López El idima españl tiene limitacines en este aspect... Quality Precisin Accuracy Calidad Precisión Crrectitud? Exactitud? Redman (1996) English (1999) Redman (2001) Artículs varis Universitari Autónm del Sur Plan del curs Gestión de Calidad de Dats Le suena est familiar? 4 Intrducción Estrategias para mejrar Plítica de Calidad de Dats Cóm arrancar Manej de Cadenas de infrmación Métds de cntrl estadístic Mnitre, seguimient y mejra del prces 5 Intrducción Cntinúa cn: Estrategias para Mejrar Carls López carls.lpez@ieee.rg Universitari Autónm del Sur Y sé que nuestr /sistema/base de dats/ warehuse/ tiene alguns prblemas cn calidad de dats, per n sé cóm dónde cmenzar... Frases célebres... Frases célebres... Alguns prblem(it)as... 7 N pued usar esta aplicación. Fíjese: ella sabe que este valr es típicamente menr a 1500, per n me deja ingresar este cas de 18. Este sistema es inútil! (1) El sistema trabaja perfectamente. Obviamente, si se le cargan dats errónes qué puede hacer la cmputadra? (1) (1) Fuente: Bbrwski, Marré y Yankelevich 8 N sé. L que pued decirle es que a mi n me sirve. Me hace perder más tiemp buscand dats que antes (1) N es nuestr prblema. El sistema funcina, nstrs detectams ls dats cuand se cargan - y siguiend SUS especificacines -. Es un prblema de ls usuaris: ud. debería indicarles que l usen bien (1)` (1) Fuente: Bbrwski, Marré y Yankelevich 9 Embajada China en Yugeslavia (U$S 28M+...) Fabricante de fibras ópticas (U$S 0.5M) (1) Crredr de blsa (U$S 500M) (1) Préstams federales (U$S 2.000M) (1) (1) Fuente: Bwen, Fuhrer and Guess.

2 Alguns númers... Y ls clegas... en que están? Tasas de errr típicas E-cmmerce 1998: millnes U$S E-cmmerce 2002: millnes U$S (1) E-cmmerce 1999: millnes U$S E-cmmerce 2000: millnes U$S E-cmmerce 2003: 13.0 millnes U$S (2) Cambis en la nómina de pags 1% Facturación 2-7% Registrs de crédit... tant cm %! (1) Fuente: Frrester Research (2) Internatinal Data Crp Fuente: Pierce (1997) Alguns númers... Nuevas víctimas (para un viej villan...) Qué es un DW? Mejr cas Per cas Prmedi Mejr cas Per cas Prmedi Admisible (USA) (USA) (USA) (Int) (Int) (Int) Errres en nmbres Registrs duplicads Errres en direccines Tip de cliente Relacines ignradas Data Warehuse (DW) Electrnic Data Interchange (EDI) Data Mining (DM)...una estrategia para integrar infrmación hetergénea...un sistema que permite prcesamient analític en línea...un sistema que apya la tma de decisines crrectas presentand crrectamente en el mment crrect a un cst crrect la infrmación crrecta Fuente: InfrmatinWeek/Innvative Systems' 1999 Delphi Industry Study Qué pina la gente de DW? Alguns hechs... Per... prqué? 16 Ls desafís en rden de priridad sn: Calidad de dats Manej de dats antigus Manej de las expectativas de ls usuaris finales Mdelad del negci/dats Manej de las expectativas de ls directivs Análisis de reglas del negci Manej de metadats Fuente: DCI/Meta Grup 17 Al crear un DW, entre y 20% de ls dats sn crrupts sn incmplets Prevenir Seré un errr y cuesta el 1/ de crregirl El cst direct de la mala calidad está próxim? entre y 25% del presupuest de ventas Al integrar dats, se eliminan hasta un % de registrs duplicads Se ha infrmad que entre el 60 y 70 % de ls pryects de DW han fracasad 18 Hay muchas raznes (plíticas, ecnómicas y técnicas) Hay ds en cmún: n se cmprenden ls prblemas se subestima el esfuerz para reslverls

3 Y en qué invierte esa gente? Ud... tiene una buena excusa? Primera de cinc excusas... 59% Intranet/Internet data warehuse access tls 54% Query/reprt writers 45% Data warehuse design (lgical/physical) 43% Data acquisitin and mapping 43% Data warehuse administratin tls/prducts 41% Multidimensinal OLAP tls/clients % Relatinal OLAP 38% Data delivery (e.g., cnnectivity tls) 38% RDBMS 37% Data quality and recnciliatin tls 36% Data mining tls 31% Managed query envirnments Es sabid que unir DB para frmar un DW es cmplicad Sin una re-ingeniería de ls dats... es aún más cmplicad! Ell implica investigar, reacndicinar y cnslidar dats antes de migrar Alguns n l hacen; en ells sn típicas cinc excusas diferentes...ls dats nuevs serán tan buens cm ls viejs, y ls viejs aparentemente funcinan bien... La paradja es: (Dats buens)+(dats buens)= (Dats mals)! 19 Fuente: Market Perspectives Inc. fr Meta Grup 20 Fuente: Vality Technlgy Inc. 21 Alguns ejempls Segunda de cinc excusas... Tercera de cinc excusas... Una tabla de clientes cn camps n estandarizads...siempre tenems alguna clave para hacer el jin en la mayr parte de ls cass......de ser necesari limpiarems ls dats lueg de llevarls al nuev sistema, y después del prttip... Usualmente, es demasiad tarde prque: se acabarn ls fnds se acabó el respald ( la paciencia) quizá ya se quemarn ls puentes Se requieren fuzzy jins! Cuarta de cinc excusas... Quinta de cinc excusas... En resumen: 25...Arreglarems ls dats en el punt de entrada cn GUIs y mejres prcess de edición... Est tiene cuatr prblemas: Nunca subestime la creatividad del digitadr Las prácticas y plíticas de la empresa evlucinan más rápid que el sftware Hay dats cuy frmat n puede cntrlar Para el futur td OK, per... qué hace cn ls dats viejs? 26...Ls usuaris nunca admitirían cambiar sus dats... Quizá n se requiera: claves externas tablas de sinónims etc. 27 N permita que estas excusas inhiban el utilizar la infrmación existente cm una ventaja estratégica La salud de su empresa depende de la salud de sus dats

4 Nuevas víctimas (para un viej villan...) DQ en relación a EDI Visión tradicinal 28 Data Warehuse (DW) Electrnic Data Interchange (EDI) Data Mining (DM) 29 Tería: EDI ayuda a mejrar DQ Práctica: Aparecen impacts negativs Prqué? DQ fue riginalmente presentad en cntabilidad El cncept ha variad en el tiemp Cnfiabilidad Relevancia (desde ls 80) Fuente: Vermeer (2000) Cnfiabilidad (Reliability) Accuracy Cmpleteness Timeliness El usuari n aparece Calidad <==>Grad de acuerd cn la realidad Nuevas tendencias Inclus así... Nuevas tendencias Agrega tra dimensión Relevancia (Relevance) Cnfiabilidad (Reliability) Relevancia n es intrínseca a ls dats; depende del us y del usuari El mdel es aún insuficiente N explica cóm ni prqué pueden emperar las csas al implementar EDI Dats perfects pueden ser insuficientes Necesidad de un mdel alternativ Aparece la interpretación del emisr y receptr La cmunicación exitsa requiere cmpartir un cntext 31 Calidad <==>Grad de acuerd cn la realidad y las necesidades del usuari Calidad <==> dats + alineación entre el cntext del emisr y del receptr Cóm interactúan? Ejempl de Cntexts Nuevas víctimas (para un viej villan...) En resumen: Cnfiabilidad es psitiva Relevancia es psitiva Per... Cntext es negativa prque genera dudas y descnfianza en el sistema Resultad net: puede ser psitiv negativ! Diferentes interpretacines del mism ítem ( data is gd but interpretatin is wrng ) Diferentes traduccines del mism ítem entre diferentes prveedres Data Warehuse (DW) Electrnic Data Interchange (EDI) Data Mining (DM)

5 Qué es Data Mining? Fuente: Zaima (2004) Qué es Data Mining? (2) Efect de errres en regresión (1) Mdels Predictivs Clasificación Regresión Mínims Cuadrads Redes Neurnales etc. Descubrimient de Patrnes Secuenciales Mdels Descriptivs Análisis de Cnglmerads Descubrimient de Reglas x Fuente: Bunsaythip (2004) 39 Reclams pr incendi en Bélgica Efect de errres en regresión (2) Detección de errres (1) Detección de errres (2) Any measure f the remaining errr Best Wrst Pssible # errrs fund [%] (A) (Best) (Real) (B) Caudal en un ds punts de un mism rí 41 0 N 0-N 0 E ff rt [% ] Fuente: López (1997) 42 0 (W rst) E ffrt [% ] Fuente: López (1997) Aplicación al Cens 1985 Pr si n l sabía Al incrprar DQ en el sistema % f errrs fund Best pssible peratin line Overall results vs. effrt level 3% f the surveys initially cntaminated with 2 errrs each; Marginal 0.% E x p ec te d du plic a te p erfrm an c e l c us % f cntrlled data Fuente: López (1997) 44 Muchs prblemas cn el sftware n se deben al sistema, sin a incnsistencias errres en ls dats Cuant antes ls elimine Errres al presente Errres al futur 45 mejres decisines de mercad incrementar ingress y ganancias mejrar participación en el mercad detectar fraudes más rápidamente mejrar servici al cliente viabilizar el us de OLAP y DM cmprender a sus clientes implementar cambis más rápidamente Fuente: i.d.centric/firstlogic

6 Cóm justificar hacer DQ? Cóm justificar hacer DQ? Cóm justificar hacer DQ? (2) Muchs pryects sufren de prblemas Ls prblemas inesperads prvcan: gasts extras atrass baja de calidad del prduct servici cmbinación de ls anterires Ls riesgs sn prblemas ptenciales Identificarls permite prevenir Enfóquel en términs de riesg para el tr pryect Otr? Cuál tr? Pr ejempl: Business intelligence Data Warehusing Custmer Relatinship Management (CRM) Enterprise Resurce Planning (ERP) Éxits relacinads: Ej.: Las etapas C1, F4 y F5 requieren integrar dats del sistema actual en el nuev Preguntas: Tlerancia a dats errónes? Tlerancia a dats incmplets? Tlerancia a especificacines (metadats) incmpletas erróneas? empresa <==> CEO <==> CIO <==> Ud.! 48 Hay que mitigar el riesg si afecta al pryect Sbre el riesg... Qué puede hacerse? Qué puede hacerse? (2) 49 Para es se inventarn ls segurs Hay segurs de vida, graniz, helada, etc. Desafrtunadamente, n hay pólizas para calidad de dats Hustn, we have a prblem! Tres pass: Identificar riesgs ptenciales Elabrar un plan B para cada cas Mnitrear el plan mism 50 Se distinguen Sistemas de Calidad de Dats de 1 a,2 a y 3 a Generación: 1. Énfasis en detección + crrección 2. Énfasis en el cntrl del prces 3. Hacer impsibles ls errres mediante diseñ Detección + crrección N tca ls sistemas existentes N requiere demasiadas discusines Tarea a realizar una vez ( ja!) Qué puede hacerse? (3) Qué puede hacerse? (4) Alguns númers Cntrl del prces Quizá altera ls sistemas existentes Altera ls nervis de muchs... Tarea permanente 3. Errres impsibles pr diseñ Sól existen ejempls en la industria manufacturera Pavada de desafí, n? Mejr cas Per cas Prmedi Mejr cas Per cas Prmedi Admisible (USA) (USA) (USA) (Int) (Int) (Int) Errres en nmbres Registrs duplicads Errres en direccines Tip de cliente Relacines ignradas Fuente: InfrmatinWeek/Innvative Systems' 1999 Delphi Industry Study

7 Ds situacines La analgía del lag Cnclusines Existe una lista/bd cnfiable cntra qué cmparar Ej.: direccines válidas Ej.: clientes válids N existe tal lista Ej.: cmpras pasadas Ej.: calificación del cliente Para asegurar la calidad de ls dats las rganizacines n deben únicamente invertir en la tecnlgía que permite acceder a la infrmación; ells deben además invertir en la gente cn las habilidades para manejarla Fuente: Stewart and Fentn (1999) Referencias Gestión de Calidad de Dats 58 Stewart, M. M. and Fentn, S., 1999 Building Data Quality int Infrmatin Management Prcesses AHIMA's Data Quality Task Frce Bbrwski, M., Marré, M. and Yankelevich, D. XXXX. A Sftware Engineering View f Data Quality Bwen, P. L.; Fuhrer, D. A. and Guess, F. M., Cntinuusly Imprving Data Quality in Persistent Databases. Data Quality V 4, N 1, 1998 Vermeer, B. H.P.J., Hw Imprtant is Data Quality fr Evaluating the Impact f EDI n Glbal Supply Chains? Prceedings f the 33rd Hawaii Internatinal Cnference n System Sciences Zaima, A. and Kashner, J., Data Mining Primer fr the Data Warehuse Prfessinal. Bunsaythip, C. and Rinta-Runsala, E., Overview f Data Mining fr Custmer Behavir Mdeling. 59 Intrducción Cntinúa cn: Estrategias para Mejrar Carls López carls.lpez@ieee.rg Universitari Autónm del Sur