Datamining y Aprendizaje Automatizado Dep. de Cs. e Ing. de la Computación, UNS 2do. Cuat Prof. Carlos Iván Chesñevar

Transcripción

1 Datamining y Aprendizaje Automatizado 01 - Introducción. Conceptos Preliminares De qué tratará este curso Conceptos y técnicas básicas de Datamining. Conceptos y técnicas de Aprendizaje Automatizado. Análisis de aplicaciones de estos conceptos. Departamento de Cs. e Ing. de la Computación Universidad Nacional del Sur cic@cs.uns.edu.ar / METAS Brindar un panorama de los fundamentos de ML & DM, así como de distintas técnicas relevantes en la disciplina. Posibilitar el uso de estas técnicas para resolver problemas de otros ámbitos (sistemas multiagentes, robótica, sistemas de toma de decisión, etc.) Servir de punto de inicio para aquellos interesados en profundizar más en ML & DM. Prof. Carlos I. Chesñevar DCIC - UNS 1 Prof. Carlos I. Chesñevar DCIC - UNS 2 Contenidos del curso Página web de la materia: Allí estarán disponibles las transparencias (PDF) y también material adicional (libros, papers, etc.). Horarios. Clases: viernes, 8.00 hs. Bibliografía Material bibliográfico: - Datamining: Concepts and Techinques - J.Han-M.Kamber. Morgan Kaufmann, Machine Learning - T.Mitchell. McGraw Hill, Datamining I.Witten, E.Frank, Morgan Kaufmann, Principles of Datamining D. Hand, H. Mannila, P. Smyth, Diversos papers y material adicional Material disponible en fotocopiadora CECM. Acerca de la evaluación. Prof. Carlos I. Chesñevar DCIC - UNS 3 Prof. Carlos I. Chesñevar DCIC - UNS 4 Datamining es interdisciplinario Algoritmos para aprendizaje automatizado Datamining para computación (plataforma Weka) Datamining, Databases, LAP (auspiciado por Microsoft ) Introducción Motivación: por qué datamining? Qué es datamining? Datamining: en qué tipo de datos? Funcionalidad de datamining Todos los patrones son de interés? Clasificación de sistemas de datamining Principales temas en datamining Datamining: tópicos generales Prof. Carlos I. Chesñevar DCIC - UNS 5 Prof. Carlos I. Chesñevar DCIC - UNS 6 1

2 Motivación Explosión en la disponibilidad de información: Hoy día abundan las colecciones de datos obtenidos automáticamente tremendas cantidades de información en BDs, almacenes de datos (data warehouses) y otros repositorios de información. We are drowning in information, but starving for knowledge (John Naisbett) Solución: Data mining / Data warehousing Data warehousing y procesamiento analítico on-line Extracción de conocimiento de interés (reglas, regularidades, patrones, restricciones) a partir de datos en BDs grandes. Perspectiva histórica 1960s: Colección de datos, creación de BD, IMS y redes de DBMS 1970s: Modelo relacional. Implementación de DBMS relacional. 1980s: RDBMS, modelos avanzados de BD (relacionalextendido,, deductivos, etc.) y DBMS orientados a aplicaciones (espaciales, científicos, ingenieriles, etc.) 1990s 2000s: Data mining y data warehousing. BD multimedia. BD basadas en la Web. Integración con técnicas de Inteligencia Artificial. Prof. Carlos I. Chesñevar DCIC - UNS 7 Prof. Carlos I. Chesñevar DCIC - UNS 8 Qué es datamining? Datamining (1) Extracción de información interesante (no trivial, implícita, previamente desconocida y potencialmente útil) o patrones de datos en BD grandes (def. estándar) Datamining (2) (Principles of Datamining, Hand et. al) Análisis de grandes conjuntos de datos observacionales a fin de encontrar relaciones insospechadas, sintetizando los datos en formas nuevas que resulten entendibles y útiles para el propietario de los datos Qué es datamining? Nombres alternativos: Knowledge discovery(mining) in databases (KDD), knowledge extraction, data/pattern analysis, data archeology, data dredging, information harvesting, business intelligence, etc. Razones: Datamining Marketing Bussiness = $$$$! Muchos grandes bancos y empresas contratan servicios de datamining asociados a sus carteras de clientes. Prof. Carlos I. Chesñevar DCIC - UNS 9 Prof. Carlos I. Chesñevar DCIC - UNS 10 Datamining: aplicaciones Análisis de BD Soporte de decisiones Análisis de mercado y management Marketing dirigido, management orientado al consumidor, market-basket analysis, segmentación de mercado, etc. Análisis de riesgo y management Predicción, retención de clientes, otorgamiento de subvenciones/préstamos, análisis competitivo. Detección de fraudes tras aplicaciones Text-mining (noticias, , documentos) y Web analysis. Respuesta inteligente a consultas (IQA) Datamining & análisis de mercado Cuáles son las fuentes de datos para el análisis? Transacciones con tarjetas de créditos, resultados de encuestas entre consumidores, etc. Marketing direccionado Encontrar franjas (clusters) de clientes modelo que cumplen iguales características: intereses, nivel de ingresos, hábitos de consumo, etc. Determinar patrones de consumo en el curso del tiempo. Análisis de mercado cruzado (Cross-market analysis) Asociaciones/co-relaciones entre ventas de productos. Predicción basada en asociación de información Prof. Carlos I. Chesñevar DCIC - UNS 11 Prof. Carlos I. Chesñevar DCIC - UNS 12 2

3 Datamining & detección de fraudes Aplicaciones Usado ampliamente en medicina, servicios de tarjetas de créditos, telecomunicaciones, etc. Idea: usar datos históricos para construir modelos de comportamiento fraudulento; usar datamining para identificar instancias similares. Ejemplos: Seguro automotriz: detectar grupos de personas que declaren accidentes fraguados para cobrar seguros. Lavado de dinero: detectar transacciones de dinero sospechosas. Seguro médico: detectar pacientes y doctores que puedan estar involucrados en situaciones irregulares. Registros. Atributos BD relacionales y Datamining: relación BD con datos observacionales Modelo M (Descripción Estructural) Redes Arboles de neuronales Decision Conjuntos de Reglas Etc. Prof. Carlos I. Chesñevar DCIC - UNS 13 Prof. Carlos I. Chesñevar DCIC - UNS 14 Clasificador Datos de entrenamiento Registros A1 A2 An Atributo meta (target) 3 t 3 b c 2 d 4 d d 1 e 3 x d. 4 f 2 x e Atributos Modelo M 5 g 2 d? An BD con datos observacionales Modelo M provee una respuesta a cuál es el valor del atributo meta An La información es crucial Ejemplo 1: Fertilización in vitro Dados: embriones descritos por registros con 60 campos Problema: seleccionar aquellos embriones que sobrevivirán el proceso de fecundación Datos: registros históricos de embriones y resultado obtenido. Ejemplo 2: Fraudes con tarjetas Dados: consumos con tarjeta de credito, identificados con nombre, saldo cuenta bancaria, tipo de compra, país de compra, etc. Problema: identificar transacciones anómalas correspondientes a perfiles de uso fraudulento Datos: registros históricos de compras con tarjeta, en algunos de los cuales han aparecido situaciones de fraude. Prof. Carlos I. Chesñevar DCIC - UNS 15 Prof. Carlos I. Chesñevar DCIC - UNS 16 Datamining involucra Extraer información implícita, previamente desconocida y potencialmente útil a partir de los datos. Necesitamos: programas que detecten regularidades y patrones en los datos Patrones fuertes buenas predicciones Algunos posibles problemas: La mayoría de los patrones no son interesantes Puede haber patrones inexactos o espurios Puede haber errores en los datos, datos faltantes, etc. Técnicas de Machine Learning (ML) Algoritmos para adquirir descripciones estructurales a partir de ejemplos. Descripción estructural (o modelo): representa patrones de manera explícita Puede usarse para predecir un resultado en una nueva situación Puede usarse para entender y explicar cómo se deriva ese nuevo resultado Prof. Carlos I. Chesñevar DCIC - UNS 17 Prof. Carlos I. Chesñevar DCIC - UNS 18 3

4 Descripciones estructurales: Recomendación de lentes de contacto Descripciones estructurales: Condiciones para jugar al tenis Prof. Carlos I. Chesñevar DCIC - UNS 19 Prof. Carlos I. Chesñevar DCIC - UNS 20 Puede una máquina aprender? Clasificación vs asociación APRENDER btener conocimiento por estudio, experiencia o a través de la enseñanza Percibir a partir de la información o de la observación Almacenar conocimiento en la memoria Una cosa aprende cuando cambia su comportamiento de manera tal que puede desempeñarse mejor en el futuro. APRENDER implica intención (propósito) Demasiado difícil de medir Trivial para una computadora! Definición operacional Regla de clasificación: predice el valor de un cierto atributo (clasificación de un ejemplo) Regla de asociación: predice el valor de uno o más atributos arbitrarios If windy=false and play=no then outlook=sunny and humidity = high Se han desarrollado varios algoritmos para inducir reglas de clasificación (ej. C4.5) y de asociación (ej. Apriori) a partir de BDs observacionales. Prof. Carlos I. Chesñevar DCIC - UNS 21 Prof. Carlos I. Chesñevar DCIC - UNS 22 Atributos: diferentes tipos BD de lentes de contacto Prof. Carlos I. Chesñevar DCIC - UNS 23 Prof. Carlos I. Chesñevar DCIC - UNS 24 4

5 Un conjunto completo y correcto de reglas de clasificación Arbol de Decisión para el mismo problema Prof. Carlos I. Chesñevar DCIC - UNS 25 Prof. Carlos I. Chesñevar DCIC - UNS 26 Predicción de performance de CPUs Condiciones laborales en contratos Modelo por regresión lineal Prof. Carlos I. Chesñevar DCIC - UNS 27 Prof. Carlos I. Chesñevar DCIC - UNS 28 Dos árboles de decision posibles Problema: dados dos modelos posibles cómo decidir cuál escoger? Para qué sirve el estudio del aprendizaje automatizado? Científicamente, para entender el aprendizaje y la inteligencia en humanos y animales. Esto es de interés para filósofos, biólogos, etc. Visión más práctica en Ciencias de la Computación: Construcción de sistemas de Inteligencia Artificial Sistemas expertos que mejoren automáticamente con el tiempo Sistemas que ayuden a los científicos a descubrir nuevas leyes Fuera de la IA clásica, tenemos también varias aplicaciones cuando no sabemos cómo programar algo por nosotros mismos (ej. Sistemas de reconocimiento óptico de caracteres). cuando un programa debe adaptarse regularmente a nuevas circunstancias (ej. algoritmos para balance de procesos en sistemas operativos) cuando un programa debe adaptarse para el usuario (ej. Webs adaptativas) Prof. Carlos I. Chesñevar DCIC - UNS 29 Prof. Carlos I. Chesñevar DCIC - UNS 30 5

6 Descubrimiento de Conocimiento Descubrimiento de conocimiento : Sistema AM: redescubrió teoremas matemáticos Datamining sobre el genoma humano Usado en el marco del Proyecto Genoma Humano Descubrimientos sobre drogas y compuestos químicos contexto: robots realizan experimentos a alta velocidad; esto da gran cantidad de datos; se busca automatizar el analisis de los datos (pues los humanos no pueden hacerlo sincronizadamente con los robots) Descubrimiento de Conocimiento: aplicaciones Ej: dadas distintas moléculas que son activas contra alguna enfermedad, descubrir qué hay en común entre ellas. Eso quizá sea la razón probable de su actividad Prof. Carlos I. Chesñevar DCIC - UNS 31 Prof. Carlos I. Chesñevar DCIC - UNS 32 Descubrimiento de Conocimiento: aplicaciones Data mining en BDs, búsqueda de patrones interesantes ej. para marketing basado en datos en BD (ej: útil para mailing dirigido) estudiar comportamiento de clientes para identificar su perfil Encontrar qué productos se compran juntos con frecuencia (ej.: organización de venta en supermercados). ej: para sistemas de salud En un hospital, ayudar con el diagnóstico de pacientes Aprendizaje Automatizado para tareas difíciles Difíciles para humanos Sistema LE : aprendió como hacer integración simbólica de funciones o fáciles para humanos, pero difíciles de programar los humanos lo hacen pero no saben decir cómo ej.: aprender a jugar juegos (ajedrez, go, ) aprender a volar un avión, manejar un auto, reconocer caras Prof. Carlos I. Chesñevar DCIC - UNS 33 Prof. Carlos I. Chesñevar DCIC - UNS 34 Aprendizaje Automatizado en Sistemas Adaptivos Robots en entorno cambiante necesitan continuamente adaptar su comportamiento Sistemas que se adaptan al usuario basados en modelar al usuario: observar el comportamiento del usuario construir un modelo que describa el comportamiento usar el modelo para simplificar la vida del usuario ej. páginas web adaptativas, filtrado inteligente de mails, interfaces de usuario adaptativas, etc. Aplicaciones de ML El resultado del aprendizaje automatizado tiene varias aplicaciones: - Procesamiento de préstamos bancarios - Screening para detección de manchas de petróleo - Previsiones de suministro eléctrico - Diagnóstico de fallas en maquinaria - Marketing y ventas - Aplicaciones científicas (biomedicina, astronomía, etc.) - Selección automática de programas de TV - Monitoreo de pacientes en terapia intensiva Prof. Carlos I. Chesñevar DCIC - UNS 35 Prof. Carlos I. Chesñevar DCIC - UNS 36 6

7 Préstamos bancarios Dado un cuestionario con información personal y financiera sobre una persona P Pregunta: debo prestarle dinero a la persona P? Métodos estadísticos convencionales: cubren 90% de los casos; casos de borde se pasan a oficinas de préstamo Pero: el 50% de esos casos terminaron en default Solución naïve: rechazar todos los casos de borde Problema : estos clientes suelen ser los más activos y apetecibles para el banco. Con ayuda de ML ejemplos de entrenamiento - 20 atributos: edad, años con el banco, otras tarjetas de crédito, etc. - Reglas aprendidas: correctas para el 70% de los casos ->permiten explicar decisión a clientes - Expertos humanos: solo 50% de los casos - Un 20% de los casos adicional es mucho dinero en juego para el banco!! 2do Cuat. Prof. Carlos I. Chesñevar DCIC - UNS 37 Prof. Carlos I. Chesñevar DCIC - UNS 38 Provisiones suministro eléctrico Las compañías de provisión de energía eléctrica necesitan poder preveer la demanda futura Previsiones de carga mín/max para cada hora del día implican ahorros significativos Dado: modelo contruído manualmente que asume condiciones climáticas normales Problema: ajustarlo a las condiciones climáticas del día (ej. hoy) Modelo estático: Carga básica para el año / Periodicidad de carga durante el año / Efecto de vacaciones Prof. Carlos I. Chesñevar DCIC - UNS 39 Con ayuda de ML Predicción corregida usando la noción de días más similares Atributos: temperatura, velocidad viento, humedad ambiente, etc. diferencia entre carga real y carga predicha Base de datos: cada hora de los últimos 15 años (24*365*15). Modelo dinámico: Diferencia promedio entre los 8 días más similares se añade al modelo estático. Se usa regresión lineal para determinar los efectos relativos de estos parámetros sobre la carga. Efecto: misma performance que expertos humanos en ingeniería eléctrica, pero automática y más veloz. Prof. Carlos I. Chesñevar DCIC - UNS 40 Marketing y ventas Las grandes compañías guardan invormación precisa sobre masivas cantidades de ventas Aplicaciones: -Lealtad de clientes (fidelización): identificar clientes por cambios en su conducta (ej. bancos, compañía de teléfonos, etc.) - fertas especiales para clientes que dan beneficios (ej. clientes confiables de tarjetas de crédito que necesitan préstamos extra en vacaciones). Con ayuda de ML - Market Basket analysis: técnicas de asociación ayudan a encontrar items que tienden a aparecer juntos en una transacción. - Análisis histórico de patrones de compra - Identificar clientes (ej. para mailing direccionado, etc.). Prof. Carlos I. Chesñevar DCIC - UNS 41 Prof. Carlos I. Chesñevar DCIC - UNS 42 7

8 Pasos en el proceso de KDD Aprendizaje sobre el dominio de aplicación: Conocimiento previo relevante / objetivos Data cleaning y preprocesamiento: Reducción de datos / transformación: Encontrar atributos útiles, reducción de variables o dimensiones, invariantes, etc. Selección de funciones de data mining Síntesis, clasificación, regresión, asociación, agrupamiento (clustering). Elección de algoritmo(s) para mining Data mining: búsqueda de patrones de interés Evaluación de patrones Presentación de Conocimiento visualización, transformación, remoción de patrones redundantes, etc.. Uso del conocimiento descubierto El rol de Data Mining en el eje del proceso de descubrimiento de conocimiento (KDD) Data Warehouse Data Cleaning Datos relevantes Evaluación de Patrones Data Mining Selección Integración de datos Prof. Carlos I. Chesñevar DCIC - UNS 43 Prof. Carlos I. Chesñevar DCIC - UNS 44 Datamining:diferentes niveles Mayor potencial para sustentar toma de decisiones Toma de Decisiones Usuario final Presentac. datos Analista de negocios Técnicas de visualización Data Mining Analista de datos Descubrimiento de información Exploración de datos Análisis estadístico, querying y reportes Data Warehouses / Data Marts LAP DBA Data Sources Papel, archivos, proveedores de información, DBS, LTP Prof. Carlos I. Chesñevar DCIC - UNS 45 Data cleaning & integración de datos Arquitectura de un sistema prototípico para datamining BDs Interface con usuario Pattern evaluation Data mining engine Servidor para BD ó data warehouse Filtrado Data Warehouse Base de Conocimiento Prof. Carlos I. Chesñevar DCIC - UNS 46 Datamining: confluencia de disciplinas Machine Learning Tecnología De BD Ciencia de la Información Data Mining Estadística tras Disciplinas Visualización Plataformas para Datamining Plataforma RANGE (desarrollada en Python) Plataforma WEKA (desarrollada en Java) Proveen facilidades para desarrollar el proceso de KDD Prof. Carlos I. Chesñevar DCIC - UNS 47 Prof. Carlos I. Chesñevar DCIC - UNS 48 8

9 Datamining Tareas principales Datamining Predictivo Descriptivo Usar atributos de BDs para predecir valores futuros o desconocidos de otros atributos Encontrar patrones para los datos que sean interpretables para las personas DM Técnicas Clasificación Regresión Clustering Sintetización/ Asociación Aprender una función que mapea un item de datos en una de varias clases predefinidas Aprender una función que mapee un item en una variable de predicción de valor real. Se busca identificar un conjunto finito de categorías (clusters) para describir datos. Involucra encontrar métodos para encontrar una descripción compacta de un subconjunto de datos. Prof. Carlos I. Chesñevar DCIC - UNS 49 Prof. Carlos I. Chesñevar DCIC - UNS 50 Clasificación Regresión lineal Deuda Denegar préstamo Conceder préstamo Ejemplo: 23 casos de préstamos bancarios. Deuda Deuda = f(ingreso) Ingreso Ingreso Prof. Carlos I. Chesñevar DCIC - UNS 51 Prof. Carlos I. Chesñevar DCIC - UNS 52 Clustering Deuda Cluster 2 Cluster 1 Cluster 3 Ingreso Asociación / Sintetización Ejemplo simple: tabular la media y desvío estándar para cada caso. Métodos más sofisticados: reglas de asociación Forma regla: Cuerpo Cabeza [soporte, confianza]. Ejemplo: pide(x,monto) & (Monto>3000) & ingreso(x,ingreso) & (Ingreso>10000) deudor(x) [0.5%, 60%] Prof. Carlos I. Chesñevar DCIC - UNS 53 Prof. Carlos I. Chesñevar DCIC - UNS 54 9

10 Material en fotocopiadora Cap. 1 de Datamining (Witten&Eibe, 2005) Transparencias módulo 01 Prof. Carlos I. Chesñevar DCIC - UNS 55 10