De qué tratará el curso. Otras consideraciones. Objetivos. Introducción. Motivación Explosión en la disponibilidad de información:

Transcripción

1 Datamining y Aprendizaje Automatizado Prof. Carlos Iván Chesñevar cic@cs.uns.edu.ar Departamento de Cs. e Ing. de la Computación Universidad Nacional del Sur Bahía Blanca, Argentina Prof. Carlos I. Chesñevar UNS 1 De qué tratará el curso Conceptos y técnicas básicas de Datamining. Conceptos y técnicas de Aprendizaje Automatizado. Análisis de aplicaciones de estos conceptos. Material bibliográfico: Datamining: Concepts and Techinques - J.Han- M.Kamber. Morgan Kaufmann, Machine Learning - T.Mitchell. McGraw Hill, Datamining I.Witten, E.Frank, Morgan Kaufmann, Diversos papers y material adicional Prof. Carlos I. Chesñevar UNS 2 bjetivos Brindar un panorama de los fundamentos de ML & DM, así como de distintas técnicas relevantes en la disciplina. Posibilitar el uso de estas técnicas para resolver problemas de otros ámbitos (sistemas multiagentes, robótica, sistemas de toma de decisión, etc.) Servir de punto de inicio para aquellos interesados en profundizar más en ML & DM. Horarios. Clases viernes ECEPCIN: PRIMA CLASE EL LUNES 4 de SETIEMBRE, 18.00, 38B Evaluación. tras consideraciones Prof. Carlos I. Chesñevar UNS 3 Prof. Carlos I. Chesñevar UNS 4 Introducción Motivación: por qué datamining? Qué es datamining? Datamining: en qué tipo de datos? Funcionalidad de datamining Todos los patrones son de interés? Clasificación de sistemas de datamining Principales temas en datamining Prof. Carlos I. Chesñevar UNS 5 Motivación Explosión en la disponibilidad de información: Hoy día abundan las colecciones de datos obrtenidos automáticamente tremendas cantidades de información en BDs, almacenes de datos (data warehouses) y otros repositorios de información. We are drowning in information, but starving for knowledge (John Naisbett) Solución: Data mining / Data warehousing Data warehousing y procesamiento analítico on-line Extracción de conocimiento de interés (reglas, regularidades, patrones, restricciones) a partir de datos en BDs grandes. Prof. Carlos I. Chesñevar UNS 6

2 Perspectiva histórica 1960s: Colección de datos, creación de BD, IMS y redes de DBMS 1970s: Modelo relacional. Implementación de DBMS relacional. 1980s: RDBMS, modelos avanzados de BD (relacionalextendido,, deductivos, etc.) y DBMS orientados a aplicaciones (espaciales, científicos, ingenieriles, etc.) 1990s 2000s: Data mining y data warehousing. BD multimedia. BD basadas en la Web. Qué es datamining? Datamining Extracción de información interesante (no trivial, implícita, previamente desconocida y potencialmente útil) o patrones de datos en BD grandes. Nombres alternativos: Knowledge discovery(mining) in databases (KDD), knowledge extraction, data/pattern analysis, data archeology, data dredging, information harvesting, business intelligence, etc. Prof. Carlos I. Chesñevar UNS 7 Prof. Carlos I. Chesñevar UNS 8 No es tan simple Teorema de Bonferroni: si hay demasiadas conclusiones posibles, alguna va a ser cierta (por razones estadísticas). Hay fundamentos matemáticos detrás, y no considerarlos puede llevar a problemas Ej: el 100% de los maridos son hombres. Según J.Ullman: Datamining puede pensarse como algoritmos para ejecutar queries muy complejas en memoria de datos no-principal. Datamining: aplicaciones potenciales Análisis de BD Soporte de decisiones Análisis de mercado y management Marketing dirigido, management orientado al consumidor, market-basket analysis, segmentación de mercado, etc. Análisis de riesgo y management Predicción, retención de clientes, otorgamiento de subvenciones/préstamos, análisis competitivo. Detección de fraudes tras aplicaciones Text-mining (noticias, , documentos) y Web analysis. Respuesta inteligente a consultas (IQA) Prof. Carlos I. Chesñevar UNS 9 Prof. Carlos I. Chesñevar UNS 10 Datamining & análisis de mercado Cuáles son las fuentes de datos para el análisis? Transacciones con tarjetas de créditos, resultados de encuestas entre consumidores, etc. Marketing direccionado Encontrar franjas (clusters) de clientes modelo que cumplen iguales características: intereses, nivel de ingresos, hábitos de consumo, etc. Determinar patrones de consumo en el curso del tiempo. Análisis de mercado cruzado (Cross-market analysis) Asociaciones/co-relaciones entre ventas de productos. Predicción basada en asociación de información Datamining & detección de fraudes Aplicaciones Usado ampliamente en medicina, servicios de tarjetas de créditos, telecomunicaciones, etc. Idea: usar datos históricos para construir modelos de comportamiento fraudulento; usar datamining para identificar instancias similares. Ejemplos: Seguro automotriz: detectar grupos de personas que declaren accidentes fraguados para cobrar seguros. Lavado de dinero: detectar transacciones de dinero sospechosas. Seguro médico: detectar pacientes y doctores que puedan estar involucrados en situaciones irregulares. Prof. Carlos I. Chesñevar UNS 11 Prof. Carlos I. Chesñevar UNS 12

3 Pasos en el proceso de KDD Aprendizaje sobre el dominio de aplicación: Conocimiento previo relevante / objetivos Data cleaning y preprocesamiento: Reducción de datos / transformación: Encontrar atributos útiles, reducción de variables o dimensiones, invariantes, etc. Selección de funciones de data mining Síntesis, clasificación, regresión, asociación, agrupamiento (clustering). Elección de algoritmo(s) para mining Data mining: búsqueda de patrones de interés Evaluación de patrones Presentación de Conoc. visualización, transformación, remoción de patrones redundantes, etc.. Uso del conocimiento descubierto Prof. Carlos I. Chesñevar UNS 13 El rol de Data Mining en el eje del proceso de descubrimiento de conocimiento Data Warehouse Data Cleaning Datos relevantes Evaluación de Patrones Data Mining Selección Integración de datos Prof. Carlos I. Chesñevar UNS 14 Datamining:diferentes niveles Mayor potencial para sustentar toma de decisiones Toma de Decisiones Usuario final Presentac. datos Analista de negocios Técnicas de visualización Data Mining Analista de datos Descubrimiento de información Exploración de datos Análisis estadístico, querying y reportes Data Warehouses / Data Marts LAP DBA Data Sources Papel, archivos, proveedores de información, DBS, LTP Prof. Carlos I. Chesñevar UNS 15 Data cleaning & integración de datos Arquitectura de un sistema prototípico para datamining BDs Interface con usuario Pattern evaluation Data mining engine Servidor para BD ó data warehouse Filtrado Data Warehouse Base de Conocimiento Prof. Carlos I. Chesñevar UNS 16 Datamining: confluencia de disciplinas Datamining - KDD Machine Learning Tecnología De BD Data Mining Estadística Visualización KDD: proceso no trivial de identificar patrones válidos, nuevos, potencialmente útiles y finalmente comprensibles a partir de los datos disponibles. Ciencia de la Información tras Disciplinas Datamining: aplicación de algoritmos para extraer patrones a partir de datos (sin realizar pasos adicionales de KDD). Prof. Carlos I. Chesñevar UNS 17 Prof. Carlos I. Chesñevar UNS 18

4 Ejemplo ilustrativo Ejemplo: 23 casos de préstamos bancarios. KDD: proceso no trivial de identificar patrones válidos, nuevos, potencialmente útiles y finalmente comprensibles a partir de los datos disponibles. Datos = conjunto de hechos F (ej: casos o tuplas en una BD). En el ejemplo, distinguimos tres atributos (deuda, ingreso, status préstamo). Prof. Carlos I. Chesñevar UNS 19 Prof. Carlos I. Chesñevar UNS 20 Patrón: expresión E en un lenguaje L que describe los hechos en un cjto. F E F. E es llamado un patrón si es más simple que enumerar todos los hechos en F E. Ej: si el ingreso < $ t, entonces la persona no ha cancelado el préstamo. Proceso: se asume no-trivial. Involucra varios pasos (preparación de datos, búsqueda de patrones, evaluación de conocimiento, etc.) Validez: Una medida de certidumbre la da una función C: L M C. Una expresión E en L acerca de un subcjto. F E F puede recibir una medida de certidumbre c=c(e,f) Novedad: se mide con respecto a cambios en los datos. Asumimos para esto una función N(E,F) posiblemente booleana- Prof. Carlos I. Chesñevar UNS 21 Prof. Carlos I. Chesñevar UNS 22 Potencialmente útil: Los patrones descubiertos deben traducirse en términos de una función de utilidad U: L M U. Luego u = U(E,F). Grado de Interés (Interestingness): Función I: L M I que combina los aspectos anteriores. Luego i = I(E,F,C,N,U,S). Finalmente comprensible: se mide con respecto a la facilidad con la cual los datos son comprensibles para humanos. Asumimos para esto una función S: L M S. Luego s = S(E,F). Def.: un patrón E L se denomina conocimiento si para algún umbral i M I dado por el usuario, se verifica I(E,F,C,N,U,S) > i. Prof. Carlos I. Chesñevar UNS 23 Prof. Carlos I. Chesñevar UNS 24

5 Datamining - KDD Datamining Tareas principales Def.: Datamining es un paso en el proceso de KDD que consiste de un conjunto de algoritmos que, bajo ciertas restricciones computacionales, produce una enumeración particular de patrones E j a partir de F. Def.: KDD es el proceso de usar métodos de datamining para extraer (identificar) lo que se entiende por conocimiento según las medidas y umbrales asociados a una cierta BD F. Datamining Predictivo Descriptivo Usar atributos de BDs para predecir valores futuros o desconocidos de otros atributos Encontrar patrones para los datos que sean interpretables para las personas Prof. Carlos I. Chesñevar UNS 25 Prof. Carlos I. Chesñevar UNS 26 DM Técnicas Clasificación Regresión Clustering Sintetización/ Asociación Aprender una función que mapea un item de datos en una de varias clases predefinidas Aprender una función que mapee un item en una variable de predicción de valor real. Se busca identificar un conjunto finito de categorías (clusters) para describir datos. Involucra encontrar métodos para encontrar una descripción compacta de un subconjunto de datos. Prof. Carlos I. Chesñevar UNS 27 Denegar préstamo Clasificación Prof. Carlos I. Chesñevar UNS 28 Conceder préstamo Ejemplo: 23 casos de préstamos bancarios. Regresión lineal Clustering = f() Cluster 1 Cluster 2 Cluster 3 Prof. Carlos I. Chesñevar UNS 29 Prof. Carlos I. Chesñevar UNS 30

6 Asociación / Sintetización Ejemplo simple: tabular la media y desvío estándar para cada caso. Métodos más sofisticados: reglas de asociación Forma regla: Cuerpo Cabeza [soporte, confianza]. Ejemplo: pide(x,monto) & (Monto>3000) & ingreso(x,) & (>10000) deudor(x) [0.5%, 60%] Prof. Carlos I. Chesñevar UNS 31