Data Mining: Conceptos y Técnicas Preprocesamiento de Datos

Transcripción

1 Cap. 3: Preprocesamiento de Datos Data Mining: Conceptos y Técnicas Preprocesamiento de Datos (Basado en material de Jiawei Han and Micheline Kamber) Intelligent Database Systems Research Lab School of Computing Science Simon Fraser University, Canada Por qué preprocesar los datos? Limpieza de datos (Data cleaning) Integración y transformación de datos Discretización y generación de jerarquías de conceptos Síntesis 1 2 Por qué preprocesar datos? Los datos del mundo real son sucios.. incompletos: carecen de valores para ciertos atributos, carecen de atributos de interes o contienen solo datos agregados ruidosos: contienen errores o outliers inconsistentes: contienen discrepancias en códigos o nombres. Sin datos de calidad, no hay calidad en los resultados de mining! Decisiones calificadas ->basadas en datos calificados Data warehouse necesita integración consistente de datos calificados Medidas multidimensionales de la Calidad de los Datos Una visión multi-dimensional aceptada : Exactitud Completitud Consistencia Timeliness Credibilidad Valor agregado Interpretabilidad Accesibilidad Categorías amplias: intrínsecos, contextuales, representacionales, y accesibles. 3 4 Principales tareas en Preprocesamiento de Datos Formas de preprocesamiento de datos Limpieza de Datos Completar valores perdidos, ablandar datos ruidosos, identificar o remover outliers, y resolver inconsistencias Integración de datos Integración de BD múltiples, cubos de datos o archivos. Transformación de datos Normalización y agregación Obtener representación reducida en volumen, pero produce resultados analíticos iguales o similares. Discretización de datos Parte de la reducción de datos, pero con particular importancia para los datos numéricos

2 Cap. 3: Preprocesamiento de Datos Limpieza de Datos Por qué preprocesar los datos? Limpieza de datos (Data cleaning) Integración y transformación de datos Discretización y generación de jerarquías de conceptos Síntesis Principales tareas en Data cleaning Completar valores faltantes Identificar outliers y ablandar los datos ruidosos. Corregir datos inconsistentes. 7 8 Datos faltantes Los datos no siempre están disponibles: E.g., muchas tuplas pueden no tener valor asociado para ciertos atributos. Ej: ingreso mensual en los datos de un determinado cliente. Los datos faltantes pueden deberse a: errores técnicos (de equipamiento) inconsistencia con otros datos almacenados (y por ende borrados) Datos no ingresados Considerados irrelevantes al momento de ser cargados no se registró la historia o cambios de los datos Los datos faltantes puede que tengan que ser inferidos. Cómo tratar a Datos Faltantes? Ignorar la tupla: usuamente se hace cuando falta la etiqueta de clase (no efectivo cuando el % de valores faltantes por atributo varía considerablemente). Completar el dato faltante a mano: tedioso y poco factible Usar una constante global para completar el dato faltante: e.g., n/d, o crear una nueva clase. Usar el valor medio del atributo para completar el dato faltante. Usar el valor medio del atributo para todas las muestras que pertenezcan a la misma clase para completar el valor faltante (más astuto). Usar el valor más probable para completar el valor faltante: basado en inferencia como fórmulas bayesianas o árboles de decisión Datos con Ruido Ruido: error aleatorio o varianza en una variable medida Valores de atributos incorrectos debido a: Instrumentos de medición erróneos Problemas en la entrada de datos Problemas en la transmisión Limitaciones tecnológicas Otros problemas que requieren data cleaning Registros duplicados datos incompletos datos inconsistentes Cómo tratar los datos con ruido? Método de cubas (Binning method): Ordenar primero los datos, y particionarlos en cubas de igual profundidad (=cant. de valores). Luego se puede suavizar (smooth) por media de cubas, mediana de cubas, frontera de cubas, etc. Clustering Detectar y remover outliers Inspección combinada humano-computadora Detectar valores sospechosos automáticamente y contrastarlos con opinión humana Regresión suavizar ajustando los datos a través de funciones de regresión

3 Métodos Simples de Discretización: Binning Particionamiento según Igual Distancia (tamaño) : Se divide el rango en N intervalos de igual tamaño (grilla uniforme). Si A y B son los valores menores y mayores del atributo, el ancho de los intervalos será : W = (B-A)/N. Es el más directo... Pero los outliers pueden dominar la presentación Los datos sesgados ( skewed ) no son manejados bien.. Particionamiento por igual profundidad (frecuencia) : Se divide al rango en N intervalos, c/u conteniendo aproximadamente el mismo nro. de muestras. Bueno para escalar datos Métodos de Binning * Datos ordenados por Precio (en $): 4, 8, 9, 15, 21, 21, 24, 25, 26, 28, 29, 34 * Partición en cubas de igual profundidad: - Bin 1: 4, 8, 9, 15 - Bin 2: 21, 21, 24, 25 - Bin 3: 26, 28, 29, 34 * Alisamiento utilizando promedios de cubas: - Bin 1: 9, 9, 9, 9 - Bin 2: 23, 23, 23, 23 - Bin 3: 29, 29, 29, 29 * Alisamiento por fronteras de cubas: - Bin 1: 4, 4, 4, 15 - Bin 2: 21, 21, 25, 25 - Bin 3: 26, 26, 26, Cluster Analysis Regresión y Y1 Y1 y = x + 1 X1 x Cap. 3: Preprocesamiento de Datos Por qué preprocesar los datos? Limpieza de datos (Data cleaning) Integración y transformación de datos Discretización y generación de jerarquías de conceptos Síntesis Integración de Datos Integración de Datos: se combinan datos de múltiples fuentes en un almacenamiento coherente. Integración de esquemas: integrar metadatos de distintas fuentes Problema de identificación de entidades: identificar entidades del mundo real a partir de fuentes de datos múltiples, e.g., A.cust-id B.cust-# Detección y resolución de conflictos de valores de datos: Para la misma entidad del mundo real, los valores de atributos de distintas fuentes pueden ser diferentes Razones posibles: representaciones distintas, escalas distintas. Ej: sistema métrico vs. no métrico

4 Tratamiento de Datos Redundantes al Integrar Datos Los datos redundantes aparecen a menudo cuando se integran múltiples bases de datos El mismo atributo puede tener diferentes nombres en diferentes bases de datos. Un atributo puede ser un atributo derivado en otra tabla (ej: ganancia anual) Los datos redundantes pueden detectarse por análisis de correlación La integración cuidadosa de datos de múltiples fuentes puede ayudar a reducir/evitar redundancias e inconsistencias y mejorar la velocidad y la calidad del datamining. Correlación Dados atributos A y B, su correlación puede expresarse como r A,B = [ Σ(A-prom(A))(B-prom(B)) ] (n-1) σ A σ B Donde n=nro. de tuplas, prom(a) y prom(b) son promedios de A y B, y σ A, σ B corresponde a los desvíos estándar. Si r A,B > 0, ent. hay correlación positiva (los valores de A se incrementan cuando los valores de B se incrementan). A mayor valor, mayor vínculo entre ambos atributos. Puede usarse para detectar correlación entre atributos (ej: nro_cliente y ident_cliente) Transformación de Datos Suavizamiento: remover ruido de los datos Agregación: sintetización, construcción de cubos de datos Generalización: trepar en la jerarquía de conceptos Normalización: se ajusta a una escala para caer en un rango pequeño y especificado. Normalización min-max Normalización z-score Normalización por escala decimal Construcción de atributos/características Construir nuevos atributos a partir de los dados Transf. de Datos: Normalización Normalización min-max v mina v ' = ( new_ maxa new_ mina) + new_ min maxa mina Se hace una transf. lineal sobre los datos originales. min A y max A son mínimos y máximos originales, y new_min A y new_max A son los nuevos extremos. A Transf. de Datos: Normalización Normalización z-score v = (v -prom(a)) / σ A También llamada zero-mean normalization. Aqui los valores del atributo A se normalizan con respecto a la media prom(a) y al desvío estándar de A. Util cuando el mínimo y máximo de A son desconocidos, o cuando hay outliers que dominan la normalización minmax. Transf. de Datos: Normalización Normalización por escala decimal v = v / 10 j Donde j es el entero más pequeño tal que Max( v )<1 Ej: si el valor de A varía entre -986 y 917, el valor máximo de A en val.abs. es 986. Para normalizar se divide entonces por 1000: normalizado-->

5 Estrategias de Reducción de Datos Warehousing puede resultar en terabytes de datos: Tareas complejas de datamining pueden demorar mucho tiempo en ejecutarse sobre el cjto. completo de datos... : Obtiene una representación reducida del cjto. de datos que es mucho más pequeña en volumen pero produce los mismos (o casi iguales) resultados analíticos. Estrategias en la reducción de datos Agregación del cubo de datos Reducción de la dimensionalidad Reducción de Numerosidad Discretización y generación de jerarquías de conceptos Reducción de Dimensionalidad Selección de características (ie, selección de subcjto de atributos): Seleccionar un cjto. mínimo de características tq. la distribución de probabilidad de diferentes clases (dados los valores para esas características) sea tan pequeña como sea posible con respecto a la distribución original dados los valores de todas las características. reducir # de patrones en los patrones (más fácil de entender) Métodos heurísticos (por el nro. exponencial de elecciones): Selección paso a paso hacia adelante (step-wise forward) Eliminación paso a paso hacia atrás (step-wise backward) Combinación de las dos anteriores. Inducción de árboles de decisión Ej. de Inducción de Arbol de Decisión Cjto de atributos inicial: {A1, A2, A3, A4, A5, A6} A4? A1? A6? Clase 1 Clase 2 Clase 1 Clase 2 Cjto. de atributos reducido: {A1, A4, A6} Métodos Heurísticos para Selección de Características Hay 2 d sub-características posibles dadas d características Hay muchos métodos de selección de características basados en heurísticas: Se elige la mejor característica (de 1 atributo) bajo la suposición de que hay independencia entre ellos (elegir por test de significancia). Se arma luego paso a paso la mejor característica: Se elige nuevamente el próximo mejor atributo.. Y así sucesivamente. Eliminación de características paso a paso: Eliminar repetidamente la peor característica. Selección y eliminación combinada Compresión de Datos Compresión de cadenas Hay numerosos desarrollos teóricos y algoritmos específicos Típicamente sin pérdida. Solo es posible una manipulación limitada sin expansión. Compresión de audio/video Típicamente compresión con pérdida, con refinamiento progresivo Algunas veces pequeños fragmentos de señal pueden reconstruirse sin reconstruir el todo. Secuencia temporal (Time sequence) no es audio Típicamente corta y varía lentamente con el tiempo Compresión de Datos Datos Originales Aproximación a Datos Originales Datos Comprimidos sin pérdida con pérdida

6 Discretización Síntesis Tres tipos de atributos: Nominales (valores de un cjto. no ordenado) Ordinales (valores de un cjto. ordenado) Continuos (nros. reales) Discretización: dividir el rango de un atributo continuo en intervalos Algunos algoritmos de clasificación sólo aceptan atributos categóricos.. Reducir tamaño de datos por discretización. Preparar para análisis posterior Preparación de datos: importante para data warehousing y datamining La preparación de datos involucra: Limpieza e integración de los datos y selección de características Discretización Muchos métodos han sido desarrollados (pero aún es un área de investigación activa) Referencias D. P. Ballou and G. K. Tayi. Enhancing data quality in data warehouse environments. Communications of ACM, 42:73-78, Jagadish et al., Special Issue on Data Reduction Techniques. Bulletin of the Technical Committee on Data Engineering, 20(4), December D. Pyle. Data Preparation for Data Mining. Morgan Kaufmann, T. Redman. Data Quality: Management and Technology. Bantam Books, New York, Y. Wand and R. Wang. Anchoring data quality dimensions ontological foundations. Communications of ACM, 39:86-95, R. Wang, V. Storey, and C. Firth. A framework for analysis of data quality research. IEEE Trans. Knowledge and Data Engineering, 7: ,