30/08/2017. Pasos KDD. 1. Entendimiento del dominio de establecimiento de objetivos

Transcripción

1 Pasos KDD 1. Entendimiento del dominio de establecimiento de objetivos 1

2 Objetivos KDD Los datos a integrar dependen de los objetivos de KDD, que, a su vez, dependen de los objetivos de negocio, por ejemplo: Objetivo de negocio: Reducir colas Objetivo de negocio refinado: Asignar recursos más ajustados en cajas según la afluencia de clientes. Objetivo de minería de datos: Predecir con antelación la afluencia de clientes de una tienda en cualquier tramo del día. Objetivos KDD El resultado de la fase de definición del problema o de establecimiento de los objetivos debe contemplar: Lista de objetivos de minería de datos y su correspondencia con objetivos de negocio. Esclarecimiento de qué datos, tanto internos como externos pueden ser necesarios para cada uno de ellos. Priorización de los mismos según la facilidad de llevarlo a cabo (datos necesarios, recursos, etc.) y el impacto en el objetivo de negocio esperado. Empezaremos por los primeros de la lista. 2

3 Objetivos KDD Una vez definidos y seleccionados los objetivos de análisis es necesario esclarecer qué datos son necesarios para poder obtener los modelos deseados Existen dos posibles opciones: a) Recoger exclusivamente los datos necesarios para el objetivo u objetivos de análisis en cuestión. b) Crear un repositorio de datos para permitir este y otros análisis ulteriores. Es por tanto, SELECCIONAR, RECOPILAR e INTEGRAR los datos 2. Selección e integración de fuentes de datos a minarse 3

4 Selección Generalmente, la información que se quiere investigar sobre un cierto dominio de la organización se encuentra: en bases de datos y otras fuentes muy diversas, tanto internas como externas. muchas de estas fuentes son las que se utilizan para el trabajo transaccional. Selección Aparte de información interna de la organización, los almacenes de datos pueden recopilar información externa: Demografías (censo), páginas amarillas, psicografías (perfiles por zonas), uso de Internet, información de otras organizaciones. Datos compartidos en una industria o área de negocio, organizaciones y colegios profesionales, catálogos, etc. Datos resumidos de áreas geográficas, distribución de la competencia, evolución de la economía, información de calendarios y climatológicas, deportivas, catástofres,.. Bases de datos externas compradas a otras compañías 4

5 Factores de la selección que influirán posteriormente en la minería Fuente de datos: OLAP u OLTP. Datawarehouse o copia con el esquema original. ROLAP o MOLAP. Tipo de usuario: Usuarios que se dedican fundamentalmente a realizar informes periódicos, ver la evolución de determinados parámetros, controlar valores anómalos, etc. Usuarios encargados de encontrar nuevos patrones significativos utilizando técnicas de minería de datos. TAREA: Entrar al INEGI y bajar unos archivos Factores de la selección que influirán posteriormente en la minería El análisis posterior será mucho más sencillo si la fuente es unificada, accesible (interna) y desconectada del trabajo transaccional. La forma mas sencilla de realizar una minería de datos puntual u ocasional es: Crear un repositorio de datos. La forma mas adecuada de realizar minería de datos con continuidad y abierta a nuevos objetivos de análisis es: Crear un almacén de datos o añadir un datamart a un almacén de datos existente. 5

6 Selección Problema Calidad de datos Información no siempre adecuada: Datos insuficientes, p.e., en almacenes grandes se pide la nacionalidad del cliente, pero no los hábitos alimenticios o el tipo de trabajo. Por tanto, éstos factores no podrán entrar en el análisis. Datos incompletos o de baja calidad, p.e., el formulario permite dejar algunos campos vacíos. Por tanto, los datos no se actualizan si el cliente cambia de domicilio, de trabajo, de estado civil, REFLEXION Es necesario siempre tener un almacén de datos para hacer minería de datos? NO Es conveniente tener un almacén de datos para hacer minería de datos de una manera regular si el volumen de datos es importante? SÍ Si existe ya un almacén de datos en la organización, puedo usarlo para la minería de datos? NO SIEMPRE. Depende de si tiene la suficiente granularidad y las dimensiones necesarias para el análisis. 6

7 3. Limpieza y preprocesamiento de datos Limpieza y pre procesamiento de datos La preparación de datos es una de las fases del proceso de extracción de conocimiento a partir de datos (KDD). Esta fase suele suponer cerca de la mitad del esfuerzo del proceso de extracción de conocimiento. 7

8 Limpieza y pre procesamiento de datos Después de la selección e integración de datos: El objetivo de la Limpieza y pre procesamiento es obtener una VISTA MINABLE, es decir, a partir de datos inadecuados, faltantes, erróneos, irrelevantes, dispersos, etc. obtener a traves de limpieza, pre procesamiento y transformación datos limpios y adecuados para el posterior proceso de mineria de datos. Limpieza y pre procesamiento de datos 8

9 Limpieza de datos/data Cleansing Limpieza datos: Primero se debe realizar un estudio sobre los datos para diagnosticar que tan sucios están los datos (data profiling o visualización) para despues limpiarlos: Se deben eliminar el mayor número posible de datos erróneos o inconsistentes e irrelevantes. Puede ser por métodos estadísticos. resúmenes e histogramas (detección de datos anómalos). selección de datos (muestreo, ya sea verticalmente, eliminando atributos, denominado selección de características, u horizontalmente, eliminando tuplas, denominado muestreo ). redefinición de atributos (agrupación o separación). Data profiling El primer paso consiste en conocer y comprender los datos: un resumen de características es útil: 9

10 Profiling por visualización Técnicas de visualización (TableLens) Data profiling por visualización Las técnicas de visualización ayudan a comprender los datos, (scatterplot, surveyplot) 10

11 Data profiling, estimación de calidad de datos Accuracy Completeness Timeliness Etc. Registros duplicados: En una sola base de datos o al integrar varias bases de datos Si se desea implementar una mejora de calidad de datos en una empresa (independientemente del KDD, minería) Qué reglas de integridad, consistencia, negocio NO están implementados? Qué procesos de aseguramiento de calidad se implantarán para prevenir mala calidad? Políticas, programas, capacitación, etc. Detección de heterogeneidades Detección de Heterogeneidades Semánticas, 11

12 Data profiling Atributos Numéricos: Debemos analizar con detalle cada uno de los atributos:podemos detectar: Valores anómalos, Distribuciones en los datos. Otra alternativa útil para los atributos numéricos son las gráficas de dispersión

13 Transformaciones globales: p.ej. filas por columnas. Creación o modificación de atributos: Discretización y Numerización. Normalización. Atributos derivados. Reducción de atributos. Selecciones verticales (sobre las características / atributos): Selección de características. Selecciones Horizontales (sobre las instancias): Muestreo. Reducción de datos: La proporción de dimensiones (variables) respecto a la cantidad de instancias puede marcar la calidad de los modelos. Maldición de la dimensionalidad Una manera de intentar resolver este problema es mediante la reducción de dimensiones, por: a) selección de un subconjunto de atributos, o b) sustitución del conjunto de atributos iniciales por otros diferentes. 13

14 Intercambio de Dimensiones: (filasporcolumnas) EJEMPLO: Una tabla de carritos de compra o mandado, donde cada atributo indica si el producto se ha comprado o no. Objetivo: Ver si dos productos se compran conjuntamente (regla de asociación). Es muy costoso: hay que mirar al menos la raíz cuadrada de todas las relaciones (carritos de compra). Y puede haber millones en una semana... Sin embargo... Productos sólo hay unos Intercambio de Dimensiones: p.e., si se intercambian filas por columnas tenemos: Sólo es necesario combinar dos filas para saber si hay asociación 14

15 En otras ocasiones añadir atributos nuevos puede mejorar el proceso de aprendizaje. El conocimiento del dominio es el factor que más determina la creación de buenos atributos derivados Creación de atributos derivados con base a experto en el negocio 15

16 La discretización, o cuantización (también llamada binning ) es la conversión de un valor numérico en un valor nominal ordenado. La discretización se debe realizar cuando: a) El error en la medida puede ser grande b) Existen umbrales significativos (p.e. notas) c) En ciertas zonas el rango de valores es más importante que en otras (interpretación no lineal) d) Se desea aplicar ciertas tareas de MD que sólo soportan atributos nominales (p.e. reglas de asociación) 16

17 La numerización es el proceso inverso a la Discretización, consiste en convertir un atributo nominal en numérico. La numerización se debe realizar cuando se quieren aplicar ciertas técnicas de MD que sólo soportan atributos numéricos (p.e. Regresión, métodos basados en distancias Numerización 1 a n : Si una variable nominal x tiene posibles valores creamos n variables numéricas, con valores 0 o 1 dependiendo de si la variable nominal toma ese valor o no.p.e., Convertir el campo tarjeta que contiene los valores: { VISA, 4B, Amer, Maestro } en cuatro atributos binarios. Numerización 1 a 1 : Se aplica si existe un cierto orden o magnitud en los valores del atributo nominal.p.e., si tenemos categorías del estilo {niño, joven, adulto, anciano} podemos crear un único atributo y numerar los valores de 1 a 4. 17

18 Algunos métodos de aprendizaje funcionan mejor con los atributos numéricos normalizados entre 0 y 1. Algunos tipos de normalización lineal uniforme sigmoidal Ejemplo: Los tíckets semanales pasan de estar entre 0 y 15 a estar entre 0 y 1. La técnica más conocida para reducir la dimensionalidad por transformación se denomina principal component analysis, PCA. PCA transforma los m atributos originales en otro conjunto de atributos p donde p m. Este proceso se puede ver geométricamente como un cambio de ejes en la representación (proyección). Los nuevos atributos se generan de tal manera que son independientes entre sí y, además, los primeros tienen más relevancia (más contenido informacional) que los últimos. 18

19 : Muestreo Permite reducir el tamaño de datos de trabajo. Muestreo más habitual: Aleatorio Simple: con reemplazamiento, o sin reemplazamiento. Otros: Aleatorio Estratificado. De grupos. Exhaustivo. : Muestreo Con cúantos datos es preferible trabajar? Depende, en general, del número de atributos, de sus valores. del método de aprendizaje, de su expresividad (por ejemplo una regresión lineal requiere muchos menos ejemplos que una red neuronal). Se utiliza una estrategia incremental, en el que se va haciendo la muestra cada vez más grande (y diferente si es posible) hasta que se vea que los resultados no varían significativamente entre un modelo y otro. 19

20 : Deduplicación de registros : Limpieza de datos durante la fusión de registros Acciones ante datos anómalos (outliers) o faltantes: ignorar. filtrar (eliminar o sustituir) la columna (data fusion) filtrar la fila. reemplazar el valor por un valor de media o predicho (funciones de transformación) segmentar las filas entre las de datos correctos y el resto y trabajar separadamente. discretizar los atributos numéricos. Desistir y modificar la política de calidad de datos para la próxima vez. 20

21 Después de la transformación El resultado es un conjunto de filas y columnas denominado: Vista minable La vista minable integra datos de diferentes fuentes, los limpia, selecciona, transforma, le asigna un tipo común o necesario, con el fin de prepararlos para la modelización. 5,6,7. Minería de datos 21

22 Minería de datos A) Elección de tarea de minería de datos: Una vez recogidos los datos de interés, un explorador puede decidir qué tipo de patrón quiere descubrir. El tipo de conocimiento que se desea extraer va a marcar claramente la técnica de minería de datos a utilizar. Según como sea la búsqueda del conocimiento se puede distinguir entre: Directed data mining: se sabe claramente lo que se busca, generalmente predecir unos ciertos datos o clases. En algunos sistemas de minería de datos se encargan generalmente de elegir el algoritmo más idóneo entre los disponibles para un determinado tipo de patrón a buscar Undirected data mining: no se sabe lo que se busca, se trabaja con los datos ( hasta que confiesen!). Minería de datos Las técnicas de minería de datos crean modelos que son predictivos y/o descriptivos. Un modelo predictivo responde preguntas sobre datos futuros. Cuáles serán las ventas el año próximo? Es esta transacción fraudulenta? Qué tipo de seguro es más probable que contrate el cliente X? Un modelo descriptivo proporciona información sobre las relaciones entre los datos y sus características. Genera información del tipo: Los clientes que compran pañales suelen comprar cerveza. El tabaco y el alcohol son los factores más importantes en la enfermedad Y. Los clientes sin televisión y con bicicleta tienen características muy diferenciadas del resto. 22

23 Técnicas de Minería de datos Evaluación e Interpretación 23

24 La fase anterior produce una o más hipótesis de modelos. Para seleccionar y validar estos modelos es necesario el uso de criterios de evaluación de hipótesis. Por ejemplo: 1ª Fase: Comprobación de la precisión del modelo en un banco de ejemplos independiente del que se ha utilizado para aprender el modelo. Se puede elegir el mejor modelo. 2ª Fase: Se puede realizar una experiencia piloto con ese modelo. Por ejemplo, si el modelo encontrado se quería utilizar para predecir la respuesta de los clientes a un nuevo producto, se puede enviar un mailing a un subconjunto de clientes y evaluar la fiabilidad del modelo. Conocimiento descubierto, visualización e integración El despliegue del modelo a veces es trivial pero otras veces requiere un proceso de implementación o interpretación: El modelo puede requerir implementación (p.ej. tiempo real detección de tarjetas fraudulentas). El modelo es descriptivo y requiere interpretación (p.ej. una caracterización de zonas geográficas según la distribución de los productos vendidos). El modelo puede tener muchos usuarios y necesita difusión: el modelo puede requerir ser expresado de una manera comprensible para ser distribuido en la organización (p.ej. las cervezas y los productos congelados se compran frecuentemente en conjunto ponerlos en estantes distantes). 24