Análisis de Asociaciones

Transcripción

1 Análisis de Asociaciones

2 Asociaciones Establecer vínculos entre los registros Asociaciones (productos que se compran juntos) Patrones secuenciales (si se compra algo en una fecha en x meses se adquiere otro producto) Secuencias similares. Detecta fenómenos con comportamientos similares

3 Análisis de la cesta de la compra Uso información de lo que compran los clientes para intentar descubrir Quien? Y Por qué? Se compran esos productos. múltiples acciones relativamente cercanas en en tiempo hay una potencial aplicación de este problema Compras con la tarjeta de crédito Servicios contratados...

4 Análisis de la cesta de la compra Reglas de asociación Dado un conjunto de registros, encontrar reglas que predicen la ocurrencia de un ítem, basándose en las ocurrencias de otros ítems en el registro

5 Análisis de la cesta de la compra Market-Basket transaction TID Items Bread, Milk Bread, Diaper, Beer, Eggs Milk, Diaper, Beer, Coke Bread, Milk, Diaper, Beer Bread, Milk, Diaper, Coke

6 Análisis de la cesta de la compra

7 Análisis de la cesta de la compra Importancia Conocer la relación entre un conjunto de datos, por ejemplo, la temperatura, el clima y la aparición de una enfermedad Tomar decisiones estratégicas en un negocio; ubicación de productos en un supermercado

8 Análisis de la cesta de la compra Estructura de las reglas P 1 P 2 P 3 P m C 1 C 2... C n P i : premisa o antecedente de la regla C j : conclusión

9 Análisis de la cesta de la compra Estructura de las reglas Para describir la compra de los usuarios en un almacén se puede tener: computer financial_management_software

10 Análisis de la cesta de la compra Estructura de las reglas Describir compra de los usuarios age(x, ) income(x, 42K 48K ) buys(x, high resolution TV)

11 Análisis de la cesta de la compra Medidas sobre reglas Personal_computer Printer Laptop_computer Digital_camera Cuál de las reglas es más significativa? Con qué certeza se puede asegurar la regla en un conjunto de datos?

12 Reglas de asociación Medidas sobre reglas Soporte(A B)=P(A B) Confianza(A B)=P(B A)

13 Data Mining

14 Data Mining

15 Reglas de asociación Medidas sobre reglas Personal_computer Printer Soporte=16% Confianza=60% Si las reglas se obtuvieron de un conjunto de 100 datos, qué indican el soporte y la confianza

16 Reglas de asociación Medidas sobre reglas Soporte(X Y)=P(X Y) Confianza(X Y)=P(Y X) X X X X X X W W Y Y Y Z Z Z X Y

17 Reglas de asociación Conversión de datos Cada ítem: un identificador Tabla de valores booleanos :representación transacción

18 Milk=I1 Eggs=I2 Coke=I3 Beer=I4 Bread=I5 Se asignan identificadores a cada ítem TID T100 T200 T300 T400 T500 T600 T700 T800 T900 List of Item milk, eggs, bread eggs, beer eggs, coke milk, eggs, beer milk, coke egs, coke milk, coke milk, eggs, coke, bread milk, eggs, coke

19 Milk=I1 Eggs=I2 Coke=I3 Beer=I4 Bread=I5 TID T100 T200 T300 T400 T500 T600 T700 T800 T900 List of Item I1, I2, I5 I2, I4 I2, I3 I1, I2, I4 I1, I3 I2, I3 I1, I3 I1, I2, I3, I5 I1, I2, I3

20 Reglas de asociación:generalidades Encontrar itemsets frecuentes: conjuntos de items superan minimum support count Generar reglas de asociación a partir itemsets frecuentes

21 Reglas de asociación Es el itemset {milk, coke} frecuente?. Considere un support count de 2 TID T100 T200 T300 T400 T500 T600 T700 List of Item milk, eggs, bread eggs, beer eggs, coke milk, eggs, beer milk, coke egs, coke milk, eggs, coke

22 Reglas de asociación:algoritmos Algoritmo Apriori: Propiedad Apriori Ejemplo: Si {milk, beer, bread} es itemset frecuente, entonces {milk, beer}, {milk, bread} y {beer, bread} también lo son.

23 Algoritmo Apriori Encuentra itemsets frecuentes usando generación de candidatos Solo se generan aquellos itemsets candidatos que cumplan la propiedad apriori Entrada: minimum support count + transacciones Salida: itemsets frecuentes del tamaño más grande posible + frecuencia para cada itemset

24 TID T100 T200 T300 T400 T500 T600 T700 T800 T900 List of Item I1, I2, I5 I2, I4 I2, I3 I1, I2, I4 I1, I3 I2, I3 I1, I3 I1, I2, I3, I5 I1, I2, I3 Minimum support count=2

25 C1 Scan DB for count of each candidate Itemset {I1} {I2} Sup-count Compare support {I3} {I4} {I5}

26 C1 Itemset Sup count Scan DB for count of each candidate {I1} {I2} 6 7 Compare support {I3} 6 {I4} 2 {I5} 2

27 C1 Itemset Sup count Scan DB for count of each candidate {I1} {I2} 6 7 Compare support {I3} 6 {I4} 2 {I5} 2 C1: candidatos de tamaño 1

28 C1 Itemset Sup count Scan DB for count of each candidate {I1} {I2} 6 7 Compare support {I3} 6 {I4} 2 {I5} 2 C1: candidatos de tamaño 1 Los itemset que no pasen el soporte mínimo se eliminan

29 L1 Itemset Sup count Compare support {I1} 6 Generate C2 {I2} 7 {I3} 6 {I4} 2 {I5} 2

30 C2 Itemset Generate C2 Scan DB for count of each candidate C2 : join de L1 con L1

31 Generate C2 C2 Itemset {I1,I2} {I1.I3} {I1,I4} {I1,I5} {I2,I3} {I2,I4} {I2,I5} {I3,I4} {I3,I5} {I4,I5} Scan DB for count of each candidate Para generar C2 se hace el join de L1 con L1

32 TID T100 T200 T300 T400 T500 T600 T700 T800 T900 List of Item I1, I2, I5 I2, I4 I2, I3 I1, I2, I4 I1, I3 I2, I3 I1, I3 I1, I2, I3, I5 I1, I2, I3

33 C2 Itemset Sup count {I1,I2} 4 Scan DB for count of each candidate {I1,I3} {I1,I4} {I1,I5} Compare support {I2,I3} 4 {I2,I4} 2 {I2,I5} 2 {I3,I4} 0 {I3,I5} 1 {I4,I5} 0

34 L2 Itemset Sup count Compare support {I1,I2} {I1,I3} 4 4 Generate C3 {I1,I5} 2 {I2,I3} 4 {I2,I4} 2 {I2,I5} 2

35 Generate C3 C3 Itemset {I1,I2, I3} {I1.I2, I5} Scan DB for count of each candidate

36 TID T100 T200 T300 T400 T500 T600 T700 T800 T900 List of Item I1, I2, I5 I2, I4 I2, I3 I1, I2, I4 I1, I3 I2, I3 I1, I3 I1, I2, I3, I5 I1, I2, I3

37 C3 Scan DB for count of each candidate Itemset {I1,I2, I3} Sup count 2 Compare support {I1.I2, I5} 2

38 L3 Compare support Itemset {I1,I2, I3} Sup count 2 Generate C4 {I1.I2, I5} 2

39 Itemset {I1,I2, I3, I5} El itemset {I2,I3,I5} no es frecuente

40 Algoritmo Apriori Generar reglas sobre el conjunto y calcular soporte y confianza support_count(a B)= Total transacciones contienen A y B confidence(a B)= support_count(a B) support_count(a)

41 Algoritmo Apriori Considere el itemset frecuente {I1,I2,I5}, Cuáles son las reglas que se pueden generar? I1 I2 I5 I1 I5 I2 I2 I5 I1 I1 I2 I5 I2 I1 I5 I5 I1 I2

42 Itemset {I1,I2, I3} {I1.I2, I5} Sup count 2 2

43 Itemset {I1,I2} {I1,I3} {I1,I5} {I2,I3} {I2,I4} {I2,I5} Sup count

44 Reglas Considere el itemset frecuente {I1,I2,I5}, Cuáles son las reglas que se pueden generar? I1 I2 I5, confidence=2/4=50% I1 I5 I2 I2 I5 I1 I1 I2 I5 I2 I1 I5 I5 I1 I2

45 Reglas de asociación I1 I2 I5, confidence=2/4=50% I1 I5 I2, confidence=2/2=100% I2 I5 I1, confidence=2/2=100% I1 I2 I5, confidence=2/6=33% I2 I1 I5, confidence=2/7=29% I5 I1 I2, confidence=2/2=100%

46 TID T100 T200 T300 T400 T500 T600 T700 T800 List of Item A, B, C C, D A, C A, B, D B, D B, C, D E, F D, E Minimum support count=2

47 Reglas de asociación Algoritmo FP-Growth Frequent Parent Growth: Encuentra los itemsets frecuentes sin generar candidatos Resultado igual Apriori Dos pasos: FP-tree, FP-Growth

48 FP-Growth: Arbol FP-Tree Construcción n del árbol FP-Tree Obtener frecuencias de los itemsets de tamaño 1 Ordene items descendentemente, de acuerdo las frecuencias, en una lista llamada L

49 TID T100 T200 T300 T400 T500 T600 T700 T800 T900 List of Item I1, I2, I5 I2, I4 I2, I3 I1, I2, I4 I1, I3 I2, I3 I1, I3 I1, I2, I3, I5 I1, I2, I3

50 Item I2 I1 I3 I5 I4 Frequency L=[I2:7 I1:6 I3=6 I4:2 I5:2 ]

51 Reglas de asociación Construcción del árbol FP-Tree Ordenar items en cada transacción en el orden dado por L

52 TID List of Item TID List of Item T100 I1, I2, I5 T100 I2, I1, I5 T200 I2, I4 T200 I2, I4 T300 I2, I3 T300 I2, I3 T400 I1, I2, I4 T400 I2, I1, I4 T500 I1, I3 T500 I1, I3 T600 I2, I3 T600 I2, I3 T700 I1, I3 T700 I1, I3 T800 I1, I2, I3, I5 T800 I2, I1, I3, I5 T900 I1, I2, I3 T900 I2, I1, I3 L=[I2:7 I1:6 I3=6 I4:2 I5:2 ]

53 FP-Growth Construcción del árbol FP-Tree Crear el nodo raíz del árbol con la etiqueta null o {} Construir el árbol con base en la lista de items ordenados

54 TID List of Item TID List of Item T100 I1, I2, I5 T100 I2, I1, I5 T200 I2, I4 T200 I2, I4 T300 I2, I3 T300 I2, I3 T400 I1, I2, I4 T400 I2, I1, I4 T500 I1, I3 T500 I1, I3 T600 I2, I3 T600 I2, I3 T700 I1, I3 T700 I1, I3 T800 I1, I2, I3, I5 T800 I2, I1, I3, I5 T900 I1, I2, I3 T900 I2, I1, I3 L=[I2:7 I1:6 I3=6 I4:2 I5:2 ]

55 null{} I2:7 I1:2 I1:4 I4:1 I3:2 I3:2 I5:1 I4:1 I3:2 I5:1

56 TID T100 T200 T300 T400 T500 T600 T700 T800 T900 List of Item I1, I2, I5 I2, I4 I2, I3 I1, I2, I4 I1, I3 I2, I3 I1, I3 I1, I2, I3, I5 I1, I2, I3

57 Itemset {I1,I2} {I1,I3} {I1,I5} {I2,I3} {I2,I4} {I2,I5} Sup count

58 Algoritmo FP-Growth Para cada item se determina su conditional pattern base Se crea un árbol FP con los elementos de cada base que cumplan con el minimum support count

59 Conditional pattern bases Item I2 I1 I3 I5 I4 Condition Pattern Base - I2:4 I2 I1:2, I2:2, I1:2 I2 I1 I3:1, I2 I1:1 I2 I1:1, I2:1

60 Conditional pattern bases Item I2 I1 I3 I5 I4 Condition Pattern Base - I2:4 I2 I1:2, I2:2, I1:2 I2 I1 I3:1, I2 I1:1 I2 I1:1, I2:1 null{} I2:4 Como I2:4 pasa el soporte mínimo, se asigna la frecuencia 4 al itemset I2 I1, esto es, I2 I1:4

61 Conditional pattern bases Item I2 I1 I3 I5 I4 Condition Pattern Base - I2:4 I2 I1:2, I2:2, I1:2 I2 I1 I3:1, I2.I1:1 I2 I1:1, I2:1 I2:4 I1:2 null{} I1:2 Genera los itemsets: I2 I3: 4 I2 I1 I3:2 I1 I3: 2

62 TID List of Item T100 A, B, C T200 C, D T300 A, C T400 A, B, D T500 B, D T600 B, C, D T700 E, F T800 D, E Minimum support count=2

63 TID T100 T200 T300 T400 T500 List of Item K,A,D,B D,A,C,E,B C,A,B,E B,A,D C,E,D Minimum support count=2

64 Ejemplo Si Leche y Pan entonces Zumo (Soporte:3/7=42.8%, Confianza: 3/3=100%)

65 Beneficios Puede ser punto de comienzo cuando no se sabe exactamente que tipos de patrones buscar. Los resultados son claros y muy útiles. Necesidad de distinguir entre las reglas Útiles Triviales: Conocidos por todos o porque podrían estar explicando resultados de campañas anteriore Inexplicables

66 Asociaciones para establecer comparativas Utilizadas comparar sucursales de una misma cadena Necesidad: enriquecer transacciones de manera que contenga productos virtuales que especifican el grupo de sucursales de donde proviene. Prestar atención a las transacciones que contienen los productos virtuales

67 Asociaciones para establecer comparativas (II) Se pueden también usar para: Comparar ventas durante promociones versus las ventas en cualquier otro momento Comparar ventas en áreas geográficas, por regiones, por zonas de marketing o por países... Comparar ventas en zonas urbanas y no urbanas Detectar diferencias en los patrones debidas a las distintas épocas del año

68 Requisitos No necesita especificar atributos de los lados derecho e izquierdo de las reglas pues se generan de manera automática Existen variedades para tratar todo tipo de datos Especificar mínimo soporte Especificar máximo número de reglas

69 Consideraciones La obtención de reglas de asociación están sujetas a las siguientes restricciones: En problemas reales el número de instancias a tratar es muy elevado (centenares de miles o más). También en casos reales el número de atributos es muy elevado (cientos o miles de atributos).

70 Consideraciones Los algoritmos de este tipo consideran que los datos de entrada están recogidos en una tabla transaccional. Para otro tipo de datos es necesario binarizar ciertos atributos.

71 Solución El problema de encontrar reglas de asociación se puede dividir en dos subproblemas: Encontrar el conjunto de productos que tienen el soporte mínimo requerido Usar los conjuntos frecuentes para generar las reglas El algoritmo Apriori es muy utilizado

72 Técnicas (I) Se pueden generar tablas de coocurrencias que van calculando las ocurrencias de pares de valores, tripletas,... Problemas: Explosión combinatoria Se necesita algún método (soportes mínimos) para evitar el crecimiento de las tablas

73 Algoritmos de Asociación Algoritmo Apriori [Agrawal 93] Objetivo: Obtener itemsets (conjuntos de valores que se repiten) de un determinado tamaño, para combinarlos en reglas.

74 Algoritmos de Asociación Algoritmo Apriori [Agrawal 93] Ventajas: Apriori y sus variantes son los más usados dentro de este tipo de análisis. Eficiencia para grandes volúmenes de datos muy elevada. Ciertos SGBD son capaces de ejecutar este algoritmo dentro del núcleo del gestor.

75 Algoritmos de Asociación Algoritmo Apriori [Agrawal 93] Limitaciones: Para ciertos datos de entrada, los resultados intermedios consumen gran cantidad de recursos (memoria).

76 Algoritmos de Asociación: Apriori I1={a 1,a 2,a 3,...} conjunto de todos los atributos. i=1 1) Se recorre la tabla de entrada y se actualiza el conjunto Li={l 1,l 2,l 3,...} donde cada l i es el par formado por un elemento de I i y por el número de veces que dicho elemento ocurre en los datos de entrada.

77 Algoritmos de Asociación 2) Se eliminan de L i los elementos cuyo contador no supere el umbral mínimo. 3) Se genera un nuevo conjunto L i+1 como el de grupos de atributos de tamaño i+1 a partir de los conjuntos de atributos de L i 4) Si L i no está vacío e i <MAX regresar a 1)

78 Ejemplo: Apriori I 1 ={A,B,C,D,E} L 1 ={(A,3);(B,8);(C,7);(D,6);(E, 6)} I 2 ={BC,BD,BE,CD,CE,DE} L 2 ={(BC,5);(BD,5);(BE,5); (CD,4);(CE,3);(DE,3)} I 3 ={BCD} L 3 ={(BCD,4)}

79 Uso de taxonomías y valores virtuales A veces es muy útil disponer de generalizaciones o agrupaciones de los productos que se están considerando Eligiendo de manera inteligente el nivel al que generalizar se pueden mejorar los resultados Para establecer hábitos de los clientes (productos bajos en calorías,...) se pueden insertar productos virtuales y analizar las asociaciones que los contengan.

80 Generación de reglas A veces las combinaciones obtenidas pueden ser de utilidad y se pueden obtener reglas que pueden ser interesantes. Las reglas de asociación toman la forma: Si condición entonces resultado donde tanto la condición como el resultado son combinaciones disjuntas de productos Hay que establecer parámetros para medir la bondad de las reglas

81 Calidad de las reglas (I) Soporte: es el porcentaje de transacciones que contienen tanto la condición como el resultado. Esto es, porcentaje de transacciones donde la regla es cierta Confianza: es el porcentaje de transacciones que conteniendo la condición también contienen el resultado. Es decir es la probabilidad de que se encuentre el resultado dada la condición

82 Reglas de disociación Es similar a una regla de asociación solo que puede tener el conector Y NO en la condición Hay que insertar los inversos lo que tiene desventajas: Se dobla el número de ítems Aumenta el tamaño de la transacción La frecuencia de los negados tiende a ser mucho mayor Interesante invertir sólo ciertos ítems.

83 Patrones secuenciales mediante asociaciones Mediante las asociaciones descubren sucesos que ocurren juntos. La siguiente pregunta considera secuencias de eventos. Las cortinas se compran antes de los muebles Cuando un cliente en un banco pide el balance de cuenta hay alta probabilidad de que lo siguiente sea el cierre de la cuenta Los patrones secuenciales requieren la identidad del cliente

84 Patrones secuenciales Para poder calcularlos se necesita unir (ordenar) a cada suceso una fecha Generalmente no se van a calcular las reglas. El interés está en las asociaciones Es una primera aproximación. Para el análisis de series temporales existen métodos más específicos (redes neuronales y regresión)

85 Asociaciones: Conclusiones Es un método simple pero robusto con resultados muy claros Tener cuidado con la calidad de las reglas Elimina combinaciones de elementos raros Se puede utilizar aunque no se tenga información de los clientes La jerarquías y los objetos virtuales pueden ayudar a obtener mejores resultados Permite una primera aproximación a los datos

86 Supermercados como brokers de información La información de qué clientes compran qué productos sería de gran interés para los suministradores de los grandes almacenes. Los dueños de la información son los supermercados, las compañías de tarjetas de crédito,... Pueden actuar de intermediarios en campañas de marketing directo enviando el mailing a los clientes objetivo.

87 Ejemplo: Uso de clustering y asociaciones Utilización de las tarjetas de cliente para introducirles productos que no han probado todavía. Mejorar la gestión de una categoría de productos

88 Ejemplo1: Los datos Se tienen los datos de cada producto que pasa por un punto de venta (POS): Fecha Almacén Hora UPC del producto Cantidad del producto Total gastado en ese producto Datos del archivo de resumen que contiene el cliente el modo de pago y resúmenes

89 Integración de los datos Se unirán ambos archivos sin utilizar los datos de resumen. Si se intenta regenerar los resúmenes se pueden encontrar importante información de los datos: Algunos UPC son cupones La cantidad a veces es el número de paquetes, otras el peso El precio total del resumen incluye impuestos

90 Los datos integrados Fecha Almacén Hora UPC del producto Cantidad del producto Total gastado en ese producto Identificación del cliente Forma de pago

91 Enriquecimiento de los datos Responder a preguntas del tipo: Quien compra qué Cuando lo compra Qué comprarán en el futuro Requiere más variables describir mejor los productos y el comportamiento del cliente.

92 Datos para enriquecer transacciones con información añadida: Almacén, cadena, línea Número de productos diferentes adquiridos Información sobre productos Descripción del tamaño Contenedor Margen del producto (alto, medio, bajo) Segmento (jerarquía) Subcategoría

93 Datos para enriquecer Sobre los clientes: Número de tarjetas Número de viajes al supermercado al día Total gastado al día Cuando compra (mañana tarde o noche) Porcentaje de productos que compra de cada margen Compras en fin de semana Compras en fiestas...

94 El problema de descubrimiento Se calculan asociaciones y no se encontraron patrones Se ejecutó un algoritmo de clustering (utilizando las variables demográficas y no las de productos comprados) y se encontraron segmentos distintos en la población Se buscaron asociaciones en los clusters más interesantes y en uno de ellos se encontró el target de la siguiente campaña.