REGLAS DE ASOCIACIÓN por Claudia J iménez Jiménez R Semestre

Transcripción

1 REGLAS DE ASOCIACIÓN por Claudia Jiménez R Semestre

2 Áreas de Aplicación Investigación de mercados Finanzas Biología Detección de fraude Medicina Sociología Y en muchas otras áreas!!

3 ANALISIS DE LA CANASTA DEL MERCADO ( basquet market analysis) Productos comprados por los clientes de un supermercado en los últimos días: Sea la transacción Tj = { I1, I2,..Ik } Transacción o venta 1 Número total de transacciones = 9 3

4 Representación de los ítems Los ítems se suelen representar por medio de códigos como A, B, C, D, E 4

5 Definiciones básicas en el análisis Item: un objeto o valor de un atributo Los valores cuantitativos continuos deben discretizarse. Itemset I: Subconjunto de posibles atributos o valores (ítems) Ejemplo: I = {A, B, E} (el orden no es importante) t Transacción: (TID, itemset) Donde TID es el identificador de la transacción. 5

6 REGLA DE ASOCIACIÓN Regla de Asociación : Si Itemset 1 Itemset 2 donde Itemset 1 Itemset 2 = e Itemset 2. Si las ventas incluyen el Itemset1 entonces también incluyen al Itemset2. Ejemplos: Si Leche y Pan => Huevos y Azúcar Si A,B E,C Si Leche => Pan y Cereal SI A B,C 6

7 OBTENIENDO REGLAS A PARTIR DE SUBCONJUNTOS O ITEMSETS Dado el conjunto de ítems {A, B, E}. Cuáles son las posibles reglas de asociación? (el orden no es importante: A, B = B, A) Si A B, E Si A, B E Si A, E B Si B A, E Si B, E A Si E A, B 7

8 RESTRICCIONES EN LAS REGLAS DE ASOCIACIÓN Aplicable únicamente a variables cualitativas o discretizadas. Medidas de las fortaleza de una relación: Soporte, Confianza. 8

9 SOPORTE Y CONFIANZA DE UNA REGLA Sea R: I J una regla de asociación Sop (R) = sop (I J) eselsoporteel soporte de la regla R (Porcentaje de instancias en las que se cumple tanto el conjunto de ítems I como J) Conf (R) = sop (R) / sop (I) es la confianza de R (Porcentaje de instancias de las que contienen al itemset I que cumplen la regla R. Nota: Las reglas de asociación que cumplen con un mínimo soporte (minsup) y una confianza dada (minconf) son llamadas reglas interesantes. 9

10 REGLAS DE ASOCIACIÓN: EJEMPLO 1 Dada la siguiente base de datos: Número de transacciones o ventas = 10 10

11 REGLAS DE ASOCIACIÓN: EJEMPLO 1 Soporte: sop p( (manzanas)= 4 / 10 = 0.4 sop (zanahoria) = 3 / 10 = 0.3 sop (dulces) = 6 / 10 = 0.6 sop (manzana dulces) = 3 / 10 = 0.3 sop (manzana papa) = 2 / 10 = 0.2 Confianza: conf (manzana dulces) = sop (manzana dulces) / sop (manzanas)= 0.3 / 0.4 conf (manzana dulces) = 0.75 conf (manzana papa) =? conf (manzana tomate) =? 11

12 ALGORITMO APRIORI Fue propuesto por Agrawal y Srikant en Idea: usar un conjunto de ítems (itemset) L con k k atributos para generar uno nuevo con k+1 atributos. Si {A,B} es un itemset frecuente entonces {A} y {B} son también itemsets frecuentes Objetivo: Encontrar los itemsets L con mayor frecuencia.

13 ALGORITMO APRIORI PASO 1: Generar todas los itemsets L con un único elemento. Usarlos para generar los ítemsets con 2 elementos y así sucesivamente. Se toman todos los posibles pares cuyo soporte sea mayor o igual a minsup (lo cual permite ir eliminando algunas combinaciones). 13

14 ALGORITMO APRIORI PASO 2: Por cada itemset frecuente L encontrado Por cada subconjunto J de L Determinar todas las reglas de asociación de la forma: Si L - J J Seleccionar aquellas reglas cuya confianza sea mayor o igual minconf Se repite el paso uno, incluyendo otro elemento a L. 14

15 Algoritmo Apriori : Ejemplo con minsup = 2 TID D productos Explorar temp 1 L 1 Ítemset soporte {1} 2 {2} 3 {3} 3 {4} 1 {5} 3 Ítemset soporte {1} 2 {2} 3 {3} 3 {5} 3 temp2 2 L 2 ítemset soporte ítemset soporte {1 2} 1 {1 3} 2 {1 3} 2 {2 3} 2 {1 5} 1 {2 3} 2 {2 5} 3 {3 5} 2 {2 5} 3 {3 5} 2 Explorar otra vez a D itemset soporte L 3 temp 3 {135} 1 itemset soporte {2 3 5} 2 {2 3 5} 2

16 Usando el algoritmo a priori de WEKA Usando la base de datos que sirve para determinar si se puede jugar, dada unas condiciones climáticas determinadas. 16

17 USANDO WEKA : Ejemplo datos Golf minsup Medida para evaluar las reglas minconf número máximo de reglas a mostrar maxsup

18 USANDO WEKA : Ejemplo datos golf 18

19 USANDO WEKA Generando reglas con soporte mínimo de 2 y confianza 100% Regla de Asociación Sup Conf 1 Humidity=Normal Play=YesY 4 100% Windy=False 2 Temperature=Cool Humidity=Normal 4 100% 3 Outlook=Overcast Play=Yes 4 100% 4 Temperature=Cold Play=Yes Humidity=Normal 3 100% Outlook=Sunny Humidity=High 2 100% Temperature=Hot En total: 3 reglas con soporte 4, 5 reglas con soporte 3 y 50 con soporte 2 19

20 Características del algoritmo Apriori Facilidad de interpretación de resultados. Las reglas de asociación son fáciles de interpretar dada la naturaleza sencilla de su estructura, facilitando el trabajo de los analistas a la hora de evaluar los resultados y generar conocimiento. Posibilidad de trabajar con datos imprecisos. Algunos investigaciones han avanzado en el desarrollo de algoritmos que permitan trabajar con datos que por su naturaleza son difusos o con cierto grado de imprecisión. El proceso de evaluación de resultados puede ser extenuante, considerando la cantidad de reglas que se pueden generar y que no son útiles aun cuando cumplen con los requisitos de soporte y confianza establecidos. 20

21 Mejoras del Algoritmo Apriori Algoritmo Parallel Mining Algoritmo Sampling Algoritmo Partition Algoritmo AprioriTid Algoritmo AprioriHybrid 21