Minería de Datos. Universidad Politécnica de Victoria

Transcripción

1 Minería de Datos Universidad Politécnica de Victoria 1

2 Motivación Nuevas Necesidades del Análisis de Grandes Volúmenes de Datos El aumento del volumen y variedad de información que se encuentra informatizada en bases de datos digitales ha crecido espectacularmente en la última década. Gran parte de esta información es histórica, es decir, representa transacciones o situaciones que se han producido. Aparte de su función de memoria de la organización, la información histórica es útil para predecir la información futura. 2

3 Motivación La mayoría de decisiones de empresas, organizaciones e instituciones se basan también en información de experiencias pasadas extraídas de fuentes muy diversas. las decisiones colectivas suelen tener consecuencias mucho más graves, especialmente económicas, y, recientemente, se deben basar en volúmenes de datos que desbordan la capacidad humana. El área de la extracción (semi-)automática de conocimiento de bases de datos ha adquirido recientemente una importancia científica y económica inusual 3

4 Motivación Tamaño de datos poco habitual para algoritmos clásicos: número de registros (ejemplos) muy largo ( bytes). datos altamente dimensionales (nº de columnas/atributos): El usuario final no es un experto en aprendizaje automático ni en estadística. El usuario no puede perder más tiempo analizando los datos: industria: ventajas competitivas, decisiones más efectivas. ciencia: datos nunca analizados, bancos no cruzados, etc. personal: information overload... Los sistemas clásicos de estadística son difíciles de usar y no escalan al número de datos típicos en bases de datos. 4

5 Qué es la minería de datos? Witten y Frank 2000 Es el proceso de extraer conocimiento útil (patrones útiles) y comprensible, previamente desconocido desde grandes cantidades de datos almacenados en distintas fuentes (bases de datos, textos, la web, imágenes) y formatos. La minería de datos es también llamada Descubrimiento del Conocimiento (KDD) 5

6 Nombres alternativos Descubrimiento de conocimiento (minando) en bases de datos (KDD), extracción de conocimiento, análisis de datos/patrones, arqueología de datos, recolección de información, inteligencia de negocios, etc. Qué no es minería de datos? Procesamiento de consultas. Sistemas expertos o pequeños programas estadisticos 6

7 Minería de datos vs. consulta de datos Consulta de datos: e.g. Una lista de todos los clientes quienes usan una tarjeta de crédito para comprar una PC Una lista de todos los estudiantes que tienen un promedio final de 7.5 o más alto y han estudiado 4 o menos semestres Problemas de Minería de Datos: e.g. Cuál es la probabilidad de que un cliente compre una PC con tarjeta de crédito? Dadas las características de los estudiantes predecir su promedio final Cuáles son las características de los estudiantes que no se gradúan? 7

8 Ejemplos: Qué no es minería de datos? Qué no es minería de datos? Qué es la minería de datos? Buscar un número telefónico en el directorio telefónico Consultar un motor de busqueda web por información acerca de Amazon Ciertos nombres tienden a prevalecer más en ciertas locaciones de USA (O Brien, O Rurke, O Reilly in Boston area) Agrupar documentos similares obtenidos por el motor de búsqueda de acuerdo a su contexto (e.g. Amazon rainforest, Amazon.com,)

9 Ejemplo de patrones descubiertos Reglas de asociación: 80% de los clientes que compra queso y leche también compra pan, y el 5% de los clientes que compra los 3 articulos juntos Queso, leche Pan [sup =5%, confid=80%] 9

10 Qué es la minería de datos? Campo multidiciplinario Es un campo multidisciplinario de las ciencias de la computación que puede ayudarse de los sistemas de bases de datos para el manejo de grandes volúmenes de datos, el apoyo de métodos estadísticos para el diseño de hipótesis y modelos matemáticos que con la ayuda de algunas técnicas de la inteligencia artificial, llevan a cabo la generación y refinamiento de tales modelos. 10

11 Campos relacionados Inteligencia Artificial ( Machine Learning ) Bases de Datos Minería de datos Estadística Ciencias de la información Graficación y visualización Otras disciplinas Minería de datos Dr. Francisco J. Mata 11

12 La minería de datos es un subconjunto de la inteligencia de negocios 12

13 Principales tareas de la minería de datos Problemas de minería de datos pueden clasificarse en las siguientes categorías Clasificación Estimación Pronóstico Asociación Agrupación o segmentación Minería de datos Dr. Francisco J. Mata 13

14 Principales tareas de la minería de datos Clasificación: Patrones de minería que puedan clasificar futuros datos en clases conocidas. Reglas de asociación En minería cualquier reglas de la forma X Y, donde X y Y son conjuntos de elementos (datos). Clustering o agrupación Identificando un conjunto de grupos similares en los datos 14

15 Principales tareas de la minería de datos Patrones secuenciales en minería: Una regla secuencias: A B, establece que el evento A será inmediantemante seguido por el evento B con cierta confianza Detección de desviación o estimación: Descubrimiento de los cambios más significativos en los datos Visualización de datos: Usando metodos gráficos para mostrar patrones en los datos. 15

16 Clasificación Examinar las características de un nuevo objeto y asignarle una clase o categoría de acuerdo a un conjunto de tales objetos previamente definido Ejemplos: Clasificar clientes como bueno y malo Detectar reclamos fraudulentos de seguros 16

17 Estimación Relacionado con clasificación Mientras clasificación asigna un valor discreto, estimación produce un valor continuo Ejemplos: Estimar el precio de una vivienda Estimar el ingreso total de una familia 17

18 Pronóstico Predecir un valor futuro con base a valores pasados Ejemplos: Predecir cuánto efectivo requerirá un cajero automático en un fin de semana 18

19 Asociación Determinar cosas u objetos que van juntos Ejemplo: Determinar que productos se adquieren conjuntamente en un supermercado 19

20 Agrupación o segmentación Dividir una población en un número de grupos más homogéneos No depende de clases pre-definidas a diferencia de clasificación Ejemplo: Dividir la base de clientes de acuerdo con los hábitos de consumo 20

21 Porqué la minería de datos es importante? Las empresas producen gran cantidad de datos y necesitan de sistemas de computarización rápida Cómo hacer el mejor uso de los datos? Una creciente toma de conciencia: el descubrimiento de conocimiento a partir de datos se puede utilizar para obtener una ventaja competitiva 21

22 Porqué la minería de datos es necesaria? Hay una gran brecha entre los datos almacenados y el conocimiento; y la transición no se produce de forma automática. Muchas cosas interesantes que se desean encontrar no se puede encontrar usando consultas de bases de datos Qué personas que podrían comprar mis productos? " " Quiénes son propensos a responder a mi promoción? " 22

23 Qué motivó a la minería de datos? Coleccion de datos y disponibilidad de datos Herramientas de coleccion de datos automatizadas, sistemas de bases de datos, la Web, la sociedad computarizada Fuentes principals de datos abundantes Negocios: Web, e-commerce, transacciones, Ciencia: Remote sensing, bioinformatics, scientific simulation, Society and everyone: news, digital cameras, YouTube 23

24 Qué motivó a la minería de datos? Nos estamos ahogando en datos, pero estamos hambrientos de conocimiento! 24

25 Porqué aplicar la minería de datos? Los datos se encuentran disponibles Los datos son almacenados El poder de computo es cada vez menos costoso Las presiones competitivas son enormes Software para minería de datos se encuentra disponible 25

26 Aplicaciones de la minería de datos Marketing, perfiles y retención de clientes, identificación de clientes potenciales, segmentación del mercado. Detección de fraudes Identificación de fraude de tarjetas de crédito, detección de intrusos Texto y minería web Análisis de datos científicos Cualquier aplicación que implica una gran cantidad de datos 26

27 Aplicaciones Ejemplo 1: Análisis de créditos bancarios Un banco desea obtener reglas para predecir cuales de sus nuevos clientes que solicitan un crédito tienen mayor probabilidad de devolverlo con la finalidad de reducir sus perdidas. Para ello se desea construir un modelo a partir de la historia crediticia de sus clientes anteriores. 27

28 Una técnica de minería de datos podría generar algunas reglas, por ejemplo: El banco podría entonces determinar las acciones a realizar en el trámite de los créditos: si se concede o no el crédito solicitado 28

29 Aplicaciones Ejemplo 2: Análisis de la cesta de la compra En un supermercado se desea ubicar a los productos tal que los clientes puedan ubicar en zonas cercanas los productos que generalmente compran en conjunto. Se cuenta con una tabla que contiene como campos a los productos principales y registros si el cliente i-esimo compro o no tal producto. 29

30 Un modelo de minería de datos podría encontrar que siempre que se compran pañales también se compra leche, lo mismo con el vino y sodas, por lo que esos productos podrían ubicarse cerca, pero pueden estar lejos del aceite, el huevo y la mantequilla, otros productos que se acostumbran comprar juntos. 30

31 Aplicaciones Ejemplo 3: Determinar ventas de un producto En una tienda de electrodomésticos se desea optimizar el funcionamiento de su almacén para satisfacer a los clientes, sin generar costos extras por el almacenaje innecesario de productos, es decir se desea tener los productos solo en el momento adecuado. Para ello se cuenta con el registro de ventas mensuales de cada producto de los últimos doce meses. 31

32 Un modelo de minería de datos podría determinar que en diciembre de cada año las ventas se incrementan. También podría encontrar que cuando comienza el año las ventas bajan, con excepcion del ipod Touch, que posiblemente es causa de que es un regalo común para los jóvenes el de reyes. Del mismo modo se incrementan conforme el mes de mayo se acerca por motivo del día de las madres. Un modelo de regresión permitiría realizar un estimado adecuado de la cantidad de productos a almacenar por mes. 32

33 Ejemplo 4: Determinar grupos diferenciados de empleados Una empresa desea categorizar a sus empleados en distintos grupos con el objetivo de entender mejor su comportamiento y tratarlos de manera adecuada Tenemos estos datos de los empleados: #Ej Sueldo Casado Coche Hijos Alq/Prop Sindic. Bajas/Año Antigüedad Sexo Sí No 0 Alquiler No 7 15 H No Sí 1 Alquiler Sí 3 3 M Sí Sí 2 Prop Sí 5 10 H Sí Sí 1 Alquiler No 15 7 M Sí Sí 0 Prop Sí 1 6 H No Sí 0 Alquiler Sí 3 16 M No No 0 Alquiler Sí 0 8 H No Sí 0 Prop Sí 2 6 M Sí Sí 3 Prop No 7 5 H Sí Sí 2 Prop No 1 20 H No No 0 Alquiler No 2 12 M Sí Sí 2 Prop No 3 1 H No No 0 Alquiler No 27 5 M No Sí 0 Alquiler Sí 0 7 H No Sí 0 Alquiler No 3 2 H 33

34 Un modelo de minería de datos podría obtener tres grupos con la siguiente descripción: cluster 1: 5 examples Sueldo : Casado : No -> 0.8 Sí -> 0.2 Coche : No -> 0.8 Sí -> 0.2 Hijos : 0 Alq/Prop : Alquiler -> 1.0 Sindic. : No -> 0.8 Sí -> 0.2 Bajas/Año : 8 Antigüedad : 8 Sexo : H -> 0.6 M -> 0.4 cluster 2: 4 examples Sueldo : Casado : No -> 1.0 Coche : Sí -> 1.0 Hijos : 0 Alq/Prop : Alquiler -> 0.75 Prop -> 0.25 Sindic. : Sí -> 1.0 Bajas/Año : 2 Antigüedad : 8 Sexo : H -> 0.25 M -> 0.75 cluster 3: 6 examples Sueldo : Casado : Sí -> 1.0 Coche : Sí -> 1.0 Hijos : 2 Alq/Prop : Alquiler -> 0.17 Prop -> 0.83 Sindic. : No -> 0.67 Sí -> 0.33 Bajas/Año : 5 Antigüedad : 8 Sexo : H -> 0.83 M -> 0.17 GRUPO 1: Sin hijos y de alquiler. Poco sindicados. Muchas bajas. GRUPO 2: Sin hijos y con coche. Muy sindicados. Pocas bajas. Normalmente de alquiler y mujeres. GRUPO 3: Con hijos, casados y con coche. Propietarios. Poco sindicados. Hombres. 34

35 Ejercicio Equipos: 3 personas máximo Objetivos: Identificar situaciones concretas para utilizar la minería de datos (10 minutos) Reportar a la clase verbalmente (3 minutos) Las situaciones identificadas Tipo de aplicación o problema de minería de datos relacionado Los beneficios esperados de aplicar la minería de datos 35

36 Áreas de Aplicación. Problemas Tipo. KDD para toma de decisiones (Dilly 96) Comercio/Marketing: Banca: Seguros y Salud Privada: Transportes: - Identificar patrones de compra de los clientes. - Buscar asociaciones entre clientes y características demográficas. - Predecir respuesta a campañas de mailing. - Análisis de cestas de la compra. - Detectar patrones de uso fraudulento de tarjetas de crédito. - Identificar clientes leales. - Predecir clientes con probabilidad de cambiar su afiliación. - Determinar gasto en tarjeta de crédito por grupos. - Encontrar correlaciones entre indicadores financieros. - Identificar reglas de mercado de valores a partir de históricos. - Análisis de procedimientos médicos solicitados conjuntamente. - Predecir qué clientes compran nuevas pólizas. - Identificar patrones de comportamiento para clientes con riesgo. - Identificar comportamiento fraudulento. - Determinar la planificación de la distribución entre tiendas. - Analizar patrones de carga. 36

37 Áreas de Aplicación. Problemas Tipo. KDD para toma de decisión Medicina: - Identificación de terapias médicas satisfactorias para diferentes enfermedades. - Asociación de síntomas y clasificación diferencial de patologías. - Estudio de factores (genéticos, precedentes, hábitos, alimenticios, etc.) de riesgo/salud en distintas patologías. - Segmentación de pacientes para una atención más inteligente según su grupo. - Predicciones temporales de los centros asistenciales para el mejor uso de recursos, consultas, salas y habitaciones. - Estudios epidemiológicos, análisis de rendimientos de campañas de información, prevención, sustitución de fármacos, etc. 37

38 Áreas de Aplicación. Problemas Tipo. KDD para Procesos Industriales - Extracción de modelos sobre comportamiento de compuestos. - Detección de piezas con trabas. - Predicción de fallos - Modelos de calidad. - Estimación de composiciones óptimas en mezclas. - Extracción de modelos de coste. - Extracción de modelos de producción. - Simulación costes/beneficios según niveles de calidad 38