Tratamiento de la calidad en SI

Transcripción

1 Medición Corrección Tratamiento de la calidad en SI Modelo de Calidad Medición y Diagnóstico Corrección Prevención Metadatos de calidad 1 Medición Corrección Limpieza de datos Identificar y eliminar inconsistencias, discrepancias y errores en datos, para mejorar la calidad data cleaning, data cleansing, data scrubbing En Data Warehousing Como parte del proceso ETL (extracción, transformación y carga) Hasta un 80% del costo en proyectos de DW En sistemas de integración de datos on the fly para datos integrados virtualmente A veces requiere materialización 2

2 Medición Corrección Evitar datos sucios en Manejadores de BD SE EVITA Tipos de datos incorrectos Valores erróneos Valores faltantes Referencias inválidas Duplicados Inconsistencias Datos desactualizados A TRAVES DE Def de tipos de datos y restricciones de dominio Restricciones tipo Check Not null Foreign Key Unique, Primary Key Manejo de transacciones Replicación, Vistas Materializadas 3 Medición Corrección Por qué hay datos sucios? Fuentes que no son Sistemas de Bases de Datos Datos que provienen de fuentes externas Falta de metadatos, de restricciones de integridad Errores de digitación Problemas que se generan cuando hay múltiples fuentes y heterogeneidades 4

3 Medición Corrección Gestión de la calidad en SI Data Profiling Estimación de Calidad Medición de calidad Limpieza Análisis de procesos de negocio involucrados Modelo de Calidad Análisis de causas de mala calidad Re-estructuración del sistema Monitoreo de la calidad 5 Medición Corrección Tareas de Limpieza de Datos 6

4 Medición Corrección Normalización / estandarización En gral. corresponde a la etapa de pre-procesamiento para luego poder comparar valores y corregir errores. Conversión de tipo de datos. Ej.: varchar int Normalizar: llevar a un formato común date: 03/01/05 01-MAR-2005 moneda: $ Mayúsculas / minúsculas tokenizing: Martínez, Cristina Martínez, Cristina direcciones: facilita comparaciones Discretizar valores numéricos Transformaciones específicas del dominio 7 Medición Corrección Localización de errores y corrección Si existe una medición de calidad hecha previamente a la limpieza, localización consistirá en recorrer e interpretar los metadatos de calidad Si no existe lo anterior, los métodos dependen de la dimensión de calidad Veremos Localizar y corregir inconsistencias Localizar y corregir datos incompletos Localizar outliers (visto anteriormente) 8

5 Medición Corrección Localizar y corregir inconsistencias Data editing Cuando no estamos con una bd relacional. Se detectan inconsistencias mediante la formulación de reglas (edits) que deben ser respetadas por los datos (viene del área estadística). Los edits denotan condiciones de error. Los edits deben ser consistentes y no redundantes. Ejemplo de edits inconsistentes: Salary = FALSE Has a desk = FALSE (Salary = TRUE) AND (Has a desk = TRUE) Ejemplo de edits redundantes: Role = professor AnnualIncome < AnnualIncome < Medición Corrección Localizar y corregir inconsistencias Con el conjunto de edits válidos se procede a la localización de errores. Para corregir los errores Adquisición de nuevos datos Refrescar los datos, mejorando la calidad Muy costoso Corregir utilizando los edits. Edit-imputation problem. Modelo propuesto, con los siguientes objetivos Los datos deben satisfacer todos los edits, cambiando la menor cantidad de campos posible. Cuando es necesario imputation, mantener la distribución de la frecuencia de los valores en cada campo. 10

6 Medición Corrección Edit-imputation Ejemplo (Edad, EstadoCivil, TipodeTrabajo) <68, casado, jubilado> <6, casado, jubilado> error Existe edit: Edad < 15 EstadoCivil = casado Podemos corregir poniendo 15 en vez de 6, respetando el mínimo cambio (1er. objetivo), pero si lo hacemos muchas veces vamos a variar la frecuencia relativa. Pueden haber edits implícitos Se derivan lógicamente de los explícitos Es útil considerarlos en la etapa de corrección. 11 Medición Corrección Localizar y corregir datos incompletos Localización Análisis básico Cantidad de valores nulos, promedios, etc. Comparar con valores esperados Analizar información: No hay información de ventas durante 3/1.. 3/4? No hay productos con precio > 20? Datos truncados y censurados Ventas de menos de $100 no se guardan en la base Ventas de más de $ se guardan como $ Detección Siempre se necesita conocimiento del dominio 12

7 Medición Corrección Localizar y corregir datos incompletos Corrección Estimar valores que faltan (imputation) sin cambiar características del conjunto de datos (media, varianza, etc.) Explotar dependencias funcionales Ej.: nro_dormitorios ingreso Aplicar técnicas de estadística Regresión lineal 13 Medición Corrección Algunas herramientas Potter s wheel Estandarización, profiling, limpieza para SID (sistemas de integración de datos) Telcordia s tool Estandarización, limpieza para SID Dominio: direcciones, impuestos Ajax Normalización, limpieza para SID Dominio: referencias bibliográficas Arktos Estandarización, localización de errores, limpieza para SID Dominio: ETL, aplicaciones de salud Choice Maker limpieza para SID Dominio: nombres, direcciones, negocios, datos médicos, datos financieros Intelliclean Normalización, limpieza para SID Referencias en el texto del curso (8.2) 14

8 Medición Corrección Algunas herramientas Empresa Productos Ataccama DQ Analyzer, Data Quality Center, DQ Issue Tracker, DQ Dashboard Datactics Data Quality Platform, Data Quality Manager, Master Record Manager DataMentors DataFuse, ValiData, NetEffect HIquality Suite, HIquality Name Worldwide, HIquality Identify, HIquality Data Improver, Human Inference DataCleaner IBM InfoSphere Information Analyzer, InfoSphere QualityStage, InfoSphere Discovery Informatica Data Explorer, Data Quality, Identity Resolution, AddressDoctor Information Builders/iWay iway Data Quality Center Innovative Systems i/lytics Data Quality, i/lytics Data Profiling, i/lytics ProfilerPlus, FinScan Oracle Oracle Enterprise Dat Quality, Oracle Enterprise Data Quality for Product Data Pitney Bowes Software Spectrum Technology Platform RedPoint (DataLever) RedPoint Data Management SAP Data Quality Management, Information Steward, Data Services SAS/DataFlux Data Management Platform Talend Talend Open Studio for Data Quality, Talend Enterprise Data Quality Trillium Software Trillium Software System, TS Discovery, TS Insight, Trillium Software On-Demand Data Quality (DQ) Explorer, DQ Batch Suite, DQ Real-Time Suite, DQ Real-Time Services, Uniserv DQ Monitor Melissa Data Contact Zone Datiris Datiris Profiler CloverETL Address Doctor Microsoft Data Quality Services 15 Medición Corrección Prevención Metadatos Prevención de errores Localización (o detección) y corrección de errores no previenen errores futuros. Ej.: Suponer que un proceso crea o reemplaza 1000 registros nuevos o existentes cada día, cada registro tiene 20 campos y la tasa de errores del proceso es 2%. 400 nuevos errores se producen por día. A fin de año se habrán producido errores. Enorme tarea de limpieza. Se busca identificar causas (root-causes) de los errores eliminar esas causas asegurar que se mantendrá esa ganancia 16

9 Medición Corrección Prevención Metadatos Prevención a trav. de manejo de procesos Manejo de procesos para la creación de información. Especialmente efectivo para datos que son creados y actualizados con una alta frecuencia. Ej.: Billing information chain (Proceso de Facturación) Departamentos: Servicio al cliente, Alta de órdenes, Entregas y Facturación. Se detectan muchos problemas, y Facturación determina que Nrostock es el campo más frecuentemente equivocado. Se investiga y se ve que hay discrepancias entre Entregas y Alta de órdenes. Se necesita un gerente de proceso que vea la cadena del proceso en forma horizontal. Este podría incluír controles para asegurar que no suceda el problema. Principales técnicas: edits y data tracking 17 Medición Corrección Prevención Metadatos Edits para prevención Los edits pueden ser utilizados para Corrección (en general son usados solo para esto) Mejora de procesos Diseño de procesos menos propensos a errores Mejora de procesos Aplicando edits dentro del proceso o de la cadena de procesos, se pueden detectar ciertos tipos de errores antes de que sean commiteados en la base. Se corrigen los errores antes de que produzcan problemas Ej.: se le podría dar al operador que ingresa las órdenes la oportunidad de ingresar el nro de stock. Log de failed edits Para determinar patrones de errores y eliminar las causas. 18

10 Medición Corrección Prevención Metadatos Prevención a trav. de diseño de procesos Incluir edits en los nuevos procesos y manejadores de bd. Bajo costo de implementación Desventaja: La gente suele encontrar la forma de saltearlos Diseñar la medición necesaria para controlar y mejorar el proceso dentro del propio proceso. Minimizar actividades donde la gente suele cometer errores, automatizándolas lo más posible Ej.: Transcripciones, ingreso de datos, cambios de formatos, etc. Ej.: Uso de lectores de código de barras Simplificar procesos también evita errores Asignación apropiada de responsabilidad del manejo de los datos 19 Medición Corrección Prevención Metadatos Qué datos mejorar Crear una lista ordenada por prioridad de datos a mejorar Consideraciones posibles Dar más importancia a la estrategia de negocio de la empresa Ej.: empresa que está apuntando al marketing directo, debería priorizar datos de clientes. Ej.: empresa que está enfocada a mejorar eficiencia de operaciones, debería priorizar datos logísticos Asociación con problemas del negocio ya conocidos Ej.: reuniones perdidas con clientes: direcciones incorrectas, etc. Tasas de errores reales vs. requerimientos de nivel de calidad Económicas Hay errores que tienen consecuencias más costosas que otros. 20

11 Medición Corrección Prevención Metadatos Resumiendo Para mejorar la calidad se debería aplicar Prevención a través de manejo de procesos para datos con alta frecuencia de creación y actualización. Localización y corrección de errores para datos con baja frecuencia de creación y actualización. Cualquier diseño de proceso o reingeniería debería luchar para que el nuevo proceso sea lo más libre de errores posible. 21 Medición Corrección Modelos de datos de Calidad Utilizamos modelos de datos para representar datos Queremos además poder representar sus dimensiones de calidad y sus medidas de calidad. A esto le llamamos METADATOS DE CALIDAD. Se proponen extensiones a los modelos tradicionales para bd, para representar y manejar aspectos relacionados con las dimensiones de calidad. Se enriquecen los modelos convencionales con elementos para representar y analizar la calidad de los datos. 22

12 Medición Corrección Modelos de datos de Calidad Modelos de datos Modelado conceptual Extensión del MER Modelado lógico Extensiones del Modelo Relacional Extensión del modelo XML Modelo de proceso Modelo para el proceso de la producción de información IP-MAP Referencias en el texto del curso (Cap. 3) 23 Medición Corrección Extensión del MER Una posible solución Desventajas? Otra solución Agregamos 2 nuevas entidades: Data quality dimension Representa cada dimension y todos sus posibles valores Data quality measure Representa las mediciones 24

13 Medición Corrección Extensión del MER Qué cosas falta representar? Qué construcciones habría que agregarle? 25 Medición Corrección Extensiones del Modelo Relacional Basado en atributos 26

14 Medición Corrección Extensiones del Modelo Relacional Polygen Modelo para manipulación de datos orientado a datos provenientes de múltiples fuentes Representación explícita del origen de los datos y también de las fuentes intermedias (data lineage) Un valor de un atributo en este modelo es una terna: Un dato (dominio simple de MR) Un conjunto de bds origen Un conjunto de bds intermedias Se usan annotations para los metadatos en cada atributo Definen un álgebra que permite la propagación de las annotations Primera aproximación a data provenance 27 Medición Corrección Extensión de XML Data and Data Quality (D 2 Q) Para ser usado en el contexto de sistemas de información cooperativos Las organizaciones intercambian datos y es fundamental saber la calidad de estos datos El modelo es semi-estructurado permitiendo a cada organización exportar la calidad de sus datos con flexibilidad El modelo se traduce fácilmente a XML Para consultar este XML se propone una extensión al XQuery, con un conjunto de funciones llamadas quality selectors. 28

15 Medición Corrección D 2 Q - Ejemplo 29 Medición Corrección Modelo IP-MAP Para modelar la construccion (manufacture) de un producto información. 30

16 Medición Corrección Modelo IP-MAP (IP-Map, 2000) 31 Medición Corrección Modelo IP-MAP Existen diversas extensiones del modelo Diagramas de eventos, diagramas de interacción, modelos de datos, etc. Se propuso el formalismo IP-UML Extensión del UML con información de calidad de datos basada en IP-MAP 32