Introducción a la Inteligencia de Negocios con Técnicas de la Inteligencia Computacional

Transcripción

1 Introducción a la Inteligencia de Negocios con Técnicas de la Inteligencia Computacional Richard Weber Departamento de Ingeniería Industrial Universidad de Chile rweber@dii.uchile.cl

2 Contenido de la presentación Introducción y Motivación Inteligencia de Negocios: Definición y Vista General Inteligencia Computacional: Las Principales Técnicas Aplicaciones de Data Mining con Inteligencia Computacional Herramientas de Data Mining Conclusiones y Perspectivas

3 El Vértigo de la Inteligencia de Negocios CRM: Customer Relationship Management (Gestión de la relación con el cliente) CMR:??? Data Warehouse / Data Mart Inteligencia de Negocios (Business Intelligence) OLAP: Online Analytical Processing Data Mining: Minería de datos Knowledge Management Inteligencia Artificial Balanced Scorecard KPI: Key Performance Indicators

4 KPI: Key Performance Indicators Definición KPIs, or key performance indicators help organizations achieve organizational goals through the definition and measurement of progress. The key indicators are agreed upon by an organization and are indicators which can be measured that will reflect success factors. The KPIs selected must reflect the organization's goals, they must be key to its success, and they must be measurable. Key performance indicators usually are long-term considerations for an organization.

5 Balanced Scorecard Definición Balanced Scorecard The balanced scorecard is a strategic management system used to drive performance and accountability throughout the organization.the scorecard balances traditional performance measures with more forward-looking indicators in four key dimensions:» Financial» Integration/Operational Excellence» Employees» Customers The Balanced Scorecard is an organizational framework for implementing and managing strategy at all levels of an enterprise by linking objectives, initiatives, and measures to an organization s strategy. The scorecard provides an enterprise view of an organization s overall performance. It integrates financial measures with other key performance indicators around customer perspectives, internal business processes, and organizational growth, learning, and innovation.

6 Inteligencia Artificial Definición Artificial Intelligence The branch of computer science concerned with making computers behave like humans. The term was coined in 1956 by John McCarthy at the Massachusetts Institute of Technology. Artificial intelligence includes: games playing: programming computers to play games such as chess and checkers expert systems : programming computers to make decisions in real-life situations (for example, some expert systems help doctors diagnose diseases based on symptoms) natural language : programming computers to understand natural human languages neural networks : Systems that simulate intelligence by attempting to reproduce the types of physical connections that occur in animal brains robotics : programming computers to see and hear and react to other sensory stimuli

7 Knowledge Management Definición Knowledge Management is the explicit and systematic management of vital knowledge - and its associated processes of creation, organization, diffusion, use and exploitation. Explicit - Surfacing assumptions; codifying that which is known Systematic - Leaving things to serendipity will not achieve the benefits Vital Knowledge - You need to focus; you don't have unlimited resources Processes - Knowledge management is a set of activities with its own tools and techniques

8 CRM Definición CRM Short for customer relationship management. CRM entails all aspects of interaction a company has with its customer, whether it be sales or service related. Computerization has changed the way companies are approaching their CRM strategies because it has also changed consumer buying behavior. With each new advance in technology, especially the proliferation of self-service channels like the Web and WAP phones, more of the relationship is being managed electronically. Organizations are therefore looking for ways to personalize online experiences (a process also referred to as mass customization) through tools such as help-desk software, organizers and Web development apps.

9 Business Intelligence Definición Business Intelligence The term Business Intelligence (BI) represents the tools and systems that play a key role in the strategic planning process of the corporation. These systems allow a company to gather, store, access and analyze corporate data to aid in decision-making. Generally these systems will illustrate business intelligence in the areas of customer profiling, customer support, market research, market segmentation, product profitability, statistical analysis, and inventory and distribution analysis to name a few.

10 Minería de datos para la Inteligencia de Negocios: Motivación Costos para guardar datos: Costos de un disco duro (US-$) / Capacidad (MB) Fuente:

11 Minería de datos para la Inteligencia de Negocios: Motivación Disponibilidad de datos: Capacidad de nuevos discos duros (PB) Fuente:

12 Generación de datos The World Wide Web contains about 170 terabytes of information on its surface; in volume this is seventeen times the size of the Library of Congress print collections. Instant messaging generates five billion messages a day (750GB), or 274 Terabytes a year. generates about 400,000 terabytes of new information each year worldwide. Fuente: Código Barra RFID: Radio Frequency Identification

13 Data Warehouse Definición Data Warehouse: Abbreviated DW, a collection of data designed to support management decision making. Data warehouses contain a wide variety of data that present a coherent picture of business conditions at a single point in time. Development of a data warehouse includes development of systems to extract data from operating systems plus installation of a warehouse database system that provides managers flexible access to the data. The term data warehousing generally refers to the combination of many different databases across an entire enterprise. Contrast with data mart. Fuente:

14 Arquitectura de un Data Warehouse Datos Información Decisión Datos operacionales Herramientas de Data Mining Información detallada Resumen Datos externos Meta Datos Herramienta de OLAP Fuente: Anahory, Murray (1997): Data Warehousing in the Real World.

15 OLAP Definición OLAP Short for Online Analytical Processing, a category of software tools that provides analysis of data stored in a database. OLAP tools enable users to analyze different dimensions of multidimensional data. For example, it provides time series and trend analysis views. OLAP often is used in data mining. The chief component of OLAP is the OLAP server, which sits between a client and a database management systems (DBMS). The OLAP server understands how data is organized in the database and has special functions for analyzing the data. There are OLAP servers available for nearly all the major database systems.

16 Navegación en un cubo OLAP Producto P1 Drill down: profundizar una dimensión U1 Tiempo Ubicación

17 Motivaciones para Almacenar Datos Razones iniciales: En telecomunicación: Facturación de llamadas En supermercados: Gestión del inventario En bancos: Manejo de cuentas En empresas de producción: Control de procesos Potenciales: En telecomunicación: Detección de fraude En supermercados: Asociación de ventas En bancos: Segmentación de clientes En empresas de producción Mantenimiento preventivo

18 Idea básica y potenciales de data mining Empresas y Organizaciones tienen gran cantidad de datos almacenados. Los datos disponibles contienen información importante. La información está escondida en los datos. Data mining puede encontrar información nueva y potencialmente útil en los datos

19 Proceso de KDD Knowledge Discovery in Databases Transformación Data Mining Preprocesamiento Selección Patrones Datos Datos seleccionados Datos preprocesados Datos transformados Interpretación y Evaluación KDD es el proceso no-trivial de identificar patrones previamente desconocidos, válidos, nuevos, potencialmente útiles y comprensibles dentro de los datos

20 Potenciales de Data Mining - 1

21 Potenciales de Data Mining - 2

22 Aplicaciones de Data Mining Customer Relationship Management Segmentación de clientes Database Marketing Predicción de compra Retención de clientes Predicción de fuga Detección de Fraude Tarjetas de crédito Uso de teléfonos (celulares) Predicción de series de tiempo

23 Inteligencia Computacional: Las principales técnicas Redes neuronales Lógica difusa Algoritmos genéticos

24 Computational Intelligence 1943 Neural Networks (McCulloch, Pitts) 1965 Fuzzy Logic (Zadeh) 1974 GA (Schwefel) 1993 First IEEE Conference joining FL, NN and GA (USA) 1993 First EUFIT Conference (Europe) 1996 First Online Workshop on Soft Computing 2001 First International Workshop on Hybrid Intelligent Systems (HIS'01) 2002 First International NAISO Congress on Neuro Fuzzy Technologies

25 Métodos de Data Mining Estadística Agrupamiento (Clustering) Análisis Discriminante Redes Neuronales Árboles de Decisión Reglas de Asociación Bayesian (Belief) Networks Support Vector Machines (SVM)

26 Redes Neuronales natural artificial Neurona Conexiones con pesos

27 Neuronas Artificiales Neuronas Verdaderas sinapsis Núcleo Neuronas Artificiales Dendritas Axon Cuerpo Celular x 1 (t) x 2 (t) w 2 w 1 a(t) y y=f(a) o(t+1) x n (t) w n w 0 a

28 Perceptron (1962) Generalización y formalización de las redes neuronales. o 1 o 2 o p x 1 x 2 x 3 x n o i n ( a ) = f w x = f i k = 0 ik k i =1, K, p

29 Perceptron la falla La función XOR (exclusive or): x 1 x 2 y x x 1 Minsky, Papert (1969)

30 Multilayer Perceptron (MLP) La mayoría de las aplicaciones de redes neuronales están referidas a MLP o i n = f W j f n j= 0 k = 0 w ik x k Es una función no lineal, de una combinación lineal de funciones nolineales de funciones de combinaciones lineales de los datos de entrada; => Clasificación y Regresión no lineal!! f 2 3 = ' j= 1 i= 1 ( x) G( w G( w x + b ) + b 1) 1 j ji i j '

31 Backpropagation un ejemplo r=3 G ( w jixi + bi ) G ( w' jg( w jixi + bi ) + b w 11 i= 1 n=2 j= 1 i= 1 w s=1 w 21 w 11 x 12 p w 22 w o p y p 12 w 13 3 w 23 ' Δ w = η x δ p ji i pj 2 3 δp = p p 1i ij j j i i= 1 j= 1 3 ' G ( w ji xi b j ) δ pw' 1 j i= 1 δ pj = + 3 Δ p w j 1 j = ηg( w jixi + bi ) i= 1 δ ' ' ( y o ) G'( w G( w x + b ) + b) p )

32 Base de lógica difusa Cliente joven μ (A) 1 Función de pertenencia Variable lingüística Edad

33 Agrupamiento con lógica difusa x3 x x6 x x2 x5 x7 x8 x9 x11 x x4 x x1 Cluster Centres =^ x13 1 Cluster Centres =^ 0 Butterfly Grupos estrictos X X X X Cluster Centres =^ Cluster Centres =^.86 Grupo difuso 1 Grupo difuso 2

34 Agrupamiento con Lógica Difusa Algoritmo: Fuzzy c-means (FCM) n objetos, c clases u i,j = grado de pertenencia de objeto i a clase j (i=1,..., n; j=1,..., c) U = (u i,j ) i,j u i,j [0,1]; u i,j = 1; i = 1,..., n Función objetivo: min (u i,j ) m d 2 (x i, c j ) x i : objeto i; c j : centro de clase j; d 2 (x i, c j ): distancia entre x i y c j m : parámetro difuso (1<m< )

35 1. Determina una matriz U con u i,j [0,1]; =1 2. Determina los centros de las clases: c j = 3. Actualiza los grados de pertenencia: u i,j = U k = matriz en iteración k 4. Criterio para detener: U k+1 -U k < ε Algoritmo: Fuzzy c-means (FCM) = c k k i j i m c x d c x d ), ( ), ( 1 = = n i j i n i i j i m m u x u 1, 1, = c j j u i 1,

36 Genetic Algorithms Description Inspired by evolution (Darwin). Represent possible solutions to a problem Genetic algorithms generate a population of genes (possible solutions) and make them evolve to obtain better genes (better solutions). Based on the principle of Survival of the fittest

37 Segmentación de Clientes Banco Producto 1 Producto n????? Requerimientos Requerimientos Clientes Qué producto para qué cliente?

38 Principales áreas de aplicación de Web Usage Mining

39 Identifying web usage behavior of bank customers Sandro Araya 1), Mariano Silva 2), Richard Weber 3) 1) BCI Bank, Santiago, Chile 2) webmining.cl, Santiago, Chile 3) Department of Industrial Engineering, Universidad de Chile, Santiago, Chile Araya, S., Silva, M., Weber, R. (2004): A Methodology for Web Usage Mining and its Application to Target Group Identification. Fuzzy Sets and Systems 148, No. 1,

40 BCI - Banco de Crédito e Inversiones ( Founded in 1937 Started Virtual Bank in ,000+ Internet transactions daily

41 Process of knowledge discovery in databases (KDD) Interpretation Evaluation Transformation Data Mining Pre-processing Selection Patterns Data selected data pre-processed processed data transformed data

42 Methodology of Web Mining Combination of KDD process and Web Traffic analysis Log Files Sessions Transformed data Clean logs Integrated data Pattern Rules Clusters Selection Preprocessing Transformation Data Mining Interpretación

43 Current situation Registed Visitors of Virtual Bank (Traditional) Bank Customers 41,563 navigating customers 142,133 customers still not visitors of the web site

44 Questions Virtual bank Traditional bank How do my navigating customers behave? Are there segments of typical visitors? Is it possible to identify heavy users? Are there customers that look like heavy users? How can I convert these twins of heavy users to users of my web site?

45 Two step approach Virtual bank Traditional bank Clustering of navigating customers Determine profile of heavy users => Fuzzy Clustering Search for (traditional) customers that have a profile similar to that of heavy users Marketing campaign directed to these twins of heavy users => Neural Network

46 Results of Segmentation Class Age Trx Web N of Cases % Cases (years) Class L % Class L % Class M % Class M % Class H % TOTAL %

47 Neural networks (Multilayer Perceptron) connection with weights Neuron Input Layer Hidden Layer Output Layer

48 DataEngine Data acquisition Visualisation Data preprocessing Graphical Macro Language Fuzzy and Neural Modelling DataEngine ADL for (int i=0; i<=99; i++) { a[i]=0.0; b[i]=0.0; c[i]=0.0; }

49 Identification of twins with Neural networks Architecture of the Multilayer Perceptron: Number of input neurons: 6, corresponding to the attributes: age, gender, civil status, education, income, and antiquity. Number of neurons in the hidden layer: 12 (transfer function: sigmoid) Number of output neurons: 5, corresponding to the 5 classes of customers: H, L1, L2, M1 and M2.

50 Neural Network Results Class Selected Cases % Cases L1 32, % L2 25, % M1 35, % M2 18, % H 29, % TOTAL 142, %

51 Marketing Campaign Received Did not receive Total mailing mailing Customers from class H 11,567 18,335 29,902 Other customers 15,806 96, ,231 Total 27, , ,133

52 Gains Chart Percentage of new customers Advanced selection 100% Random selection Percentage of 100% total customers

53 Marketing Campaign Week New visitors from class H that received the mailing New visitors from class H that did not receive the mailing New visitors from class H (total)

54 Marketing Campaign Results New visitors from class H that received the mailing Week Semana New Visitors Clientes nuevos TOTAL 1,105 Response rate Twins = = 10%

55 Marketing Campaign Results New visitors from class H that did not receive the mailing Semana Week Clientes New Visitorsnuevos TOTAL 936 Connection rate of twins of 936 heavy users without mailing = 5%

56 Conclusion Natural connecting rate ~ new customers /month ~ 2% of web site users Response rate after mailing to twins of heavy users = 10% Natural connecting rate of twins of heavy users (i.e. without receiving mailing) = 5%

57 Sistema de Pronóstico de Ventas utilizando Redes Neuronales y su Aplicación en la Cadena de Suministros de un Supermercado

58 Motivación del Problema Qué productos pido? Cuánto pido? Necesidad de pronóstico de ventas en el corto plazo

59 Motivación del Problema Ventas... De qué dependen? Ventas pasadas Precios Campañas Publicitarias Día Monto ($) Estacionalidad Festivos Clima Venta de productos similares

60 Motivación del Problema Cómo administrar el inventario? Muy poco Quiebres de Venta. Clientes insatisfechos Mucho Costos de capital Desarrollar mejores técnicas de pronóstico y de acuerdo a esto gestionar nuestro inventario Aplicaciones exitosas con Redes Neuronales (ICA Handlarna Suecia, Cadena farmacéutica EE. UU.) Existen las tecnologías y conocimientos

61 Alcances del Proyecto Se acotará el ámbito de estudio a: Local La Pintana: Supermercado Tradicional con m 2 Un subconjunto de productos: 50 PLU s más vendidos en el local (representan el 23,18% de las ventas) Con datos desde el 12/09/2000 a 31/07/2001

62 Knowledge Discovery in Databases: KDD 4.Interpretación y Evaluación 2.Selección y Preprocesamiento 3.Data Mining p(x)=0.02 Knowledge Conocimiento 1.Consolidación de los Datos Patrones y Modelos Warehouse DW Datos preparados Datos Consolidados Fuentes de Datos

63 1.Consolidación de los Datos Datos de diferentes fuentes: ORION Unidades Vendidas en local La Pintana desde 01/07/00 al 31/07/01 para los 50 PLU s más vendidos AC Nielsen ==> Precios semanales de los productos en el local de estudio y la competencia del micromercado (Santa Isabel, Ekono y Lider)

64 16-JUL JUN JUN MAY APR APR MAR FEB FEB JAN DEC DEC NOV OCT OCT SEP AUG AUG JUL JUL Consolidación de los Datos: Café 170 grs. Verano

65 1.Consolidación de los Datos: Cerveza 1 Lt. 16-JUL JUN JUN MAY APR APR MAR FEB FEB JAN DEC DEC NOV OCT OCT SEP AUG AUG JUL JUL Navidad Año Nuevo 18 Sept Verano

66 1.Consolidación de los Datos Características del día. Variables binarias (0,1) pago :Días de pago de fin de mes. quincena :Días de pago de quincena prefest :Días anteriores a feriados feriado :Días festivos patrias :Días de fiestas patrias santa :Días de semana santa vacation :Días de vacaciones (Enero y Febrero) verano :Días de meses estivales (desde 01/10 al 31/03) a_nuevo :1 de Enero. Único día del año donde los supermercados no venden.

67 Knowledge Discovery in Databases: KDD 4.Interpretación y Evaluación 2.Selección y Preprocesamiento 3.Data Mining p(x)=0.02 Knowledge Conocimiento 1.Consolidación de los Datos Patrones y Modelos Warehouse DW Datos preparados Datos Consolidados Fuentes de Datos

68 2.Selección y Preprocesamiento En la vida real los datos no están como quisieramos De los 50 PLU s originales hay 3 correspondientes a promociones De los 47 PLU s restantes 9 presentan ausencia de datos de más del 25% en la serie de tiempo LIMPIEZA DE DATOS!!!

69 2.Preprocesamiento Las ventas se escalaron entre 0 y 1 En base a los precios se crean las siguientes variables: PA(NºPLU)=precioPLU_Economax PB ( N º PLU ) = PC ( N º PLU ) = precioplu _ Economax MAX ( precioplu _ micromercado) precioplu _ Economax MIN( precioplu _ micromercado) Estas variables también se reescalan entre 0 y 1

70 Knowledge Discovery in Databases: KDD 4.Interpretación y Evaluación 2.Selección y Preprocesamiento 3.Data Mining p(x)=0.02 Knowledge Conocimiento 1.Consolidación de los Datos Patrones y Modelos Warehouse DW Datos preparados Datos Consolidados Fuentes de Datos

71 3.Data Mining: Enfoques de Solución Modelos Ingenuos (enfoque actual) Modelos Box Jenkins SARIMAX (p,d,q) (sp,sd,sq) Y Redes Neuronales Perceptrón Multicapas (MLP)

72 Análisis de Series de Tiempo Box, Jenkins (1976) MA(q) (FIR) AR(p) (IIR) ARMA (p,q) q t p t q n n t n e b e b e b Xt = + + = =... * t p i i t i e x a Xt + = = 1 * t q n n t n p i i t i e e b x a Xt + + = = = 1 1 * *

73 Requisitos de ARMA Al menos 50 observaciones La serie debe ser estacionaria Modelos Box Jenkins

74 Modelos Box Jenkins Para convertir una serie no estacionaria en otra estacionaria se puede: Aplicar transformaciones logarítmicas Diferenciar la serie (X t -X t-1 ) ARIMA(p,d,q) donde d es Nº de términos diferenciados Seasonal ARIMA: SARIMA (p,d,q) (sp,sd,sq) SARIMAX con X variables externas (regresores)

75 Modelos Box Jenkins Time series transformation (from non-stationary to stationary) : apply logarithmic transformations differentiate the series (Xt - Xt-1) X(t) X(t+1) X(t+1)-X(t)

76 Redes Neuronales Modelos de conectividad Resuelven problemas de: Clasificación de patrones Aproximación de funciones Clustering Optimización Memoria asociativa Predicción o pronóstico y k = f ( n i= 0 w ik x i )

77 Aplicaciones de Redes Neuronales Clasificación: Detección de Fraude Predicción de Fuga de Clientes Predicción de Compra de productos (marketing directo) Regresión: Estimación de riesgo de clientes (scoring) Pronóstico de índices financieros y bursátiles (monedas, metales, stock markets, bonos, etc.)

78 MLP para forecasting

79 Overfitting o Sobreajuste Sobreajuste de la red a los datos del problema y no al problema en sí Conjuntos de Entrenamiento y de Testeo

80 ARIMA v/s MLP Modelo Estadístico (ARIMA) Modelo lineal: asume un comportamiento de la serie a priori La modelación requiere que la serie sea estacionaria Requieren de conocimientos en Estadística e interacción con el usuario en la modelación El modelo entrega conocimiento e información en sus parámetros Bajo peligro de sobreajustar el modelo Redes Neuronales (MLP) Modelo no lineal: más grados de libertad para el modelo No impone requisitos estadísticos a la serie de tiempo a analizar Requieren menor interacción con el usuario Difícil lectura del modelo (caja negra) Fácil de sobreajustar el modelo a los datos

81 Desempeño del pronóstico: medidas de error Error Porcentual (Error porcentual absoluto medio) Error Normalizado (Error cuadrático medio normalizado) k k y k y k y N ) ( )) ˆ( ) ( ( )) ˆ( ) ( ( 1 )) ( ) ( ( )) ˆ( ) ( ( k y k y N k y k y k y k y k k k = σ

82 Aplicación a PLU (Aceite Vegetal 1 Lt.) 56 MON 53 TUE 50 WED 47 THU 44 FRI 41 SAT 39 SUN 36 MON 33 TUE 30 WED 27 THU 24 FRI 21 SAT 19 SUN 16 MON 13 TUE 10 WED 7 THU 4 FRI 1 SAT Date

83 Modelos Tradicionales y MLP Conjunto de Entrenamiento Conjunto de Testeo Error Porcentual Error Normalizado Error Porcentual Error Normalizado ARIMA 36.21% % Ingenuo 44.28% % Ingenuo Estacional 64.67% % Media Incondicional 59.98% % Conjunto de Entrenamiento Conjunto de Testeo Error Porcentual Error Normalizado Error Porcentual Error Normalizado MLPtw % % MLPtw % % MLPtw % % MLPtw % % MLPtw % % MLPtw % % MLPtw % % MLPtw % %

84 En Resumen... Se realizaron pruebas con otros cinco productos, y se obtuvo que: ARIMA mejora los pronósticos obtenidos por métodos ingenuos Generalmente se obtienen mejores resultados con Redes Neuronales (RN) que con ARIMA ARIMA entrega un modelo comprensible y buenos resultados, pero con costos no despreciables (requerimientos estadísticos, y de conocimientos del usuario) RN obtienen los mejores resultados de forma más automática, pero con modelo tipo black box

85 Sistema de Reposición Periódica Reposición cada P días, con tiempo de entrega de L días. Con: INVENTARIO OBJETIVO T T=m +zσ m : demanda promedio durante P+L días (del sistema de pronóstico) Z σ: stock de seguridad (nivel de servicio*desviación ventas)

86 Reposición de Inventarios N ivel de I nv entari o Di ario PL U /09/0 0 03/10/00 17/10/00 31/10/00 14/11/00 28 /11/00 12 /12/00 26/12/00 09/01/01 23/01/01 06/02/01 20/02/01 06/03/01 20/03/01 03/04/01 17 /04/01 01 /05/01 15 /05/01 29/05/01 12/06/0 1 26/06/0 1 10/07/01 24/07/01 Unidade s Días Nive l d e Inventario Inventario Objetivo Quiebres de venta: 1% con 5 días de alcance en inventario (Antes: 6% de quiebre con 30 días de alcance) Aburto, L., Weber, R. (2006): Improved Supply Chain Management based on Hybrid Demand Forecasts. Applied Soft Computing, Elsevier, in press

87 Redes neuronales: Self-organizing feature maps de Kohonen Kohonen feature map Aplicación: Clustering Kohonenmap e1 e2 weight w input vectors N... w1,1w1,2 w1,m wn,1 wn,2 wn,m Herramienta: DataEngine x1 x2 xm M

88 Web Intelligence in a bank first Chilean virtual bank Written in Spanish. 217 static web pages. Approximately eight million web log registers from the period January to March, 2003.

89 ? Visitor browsing behavior

90 Visitor Behavior - Basic statistics Only 16% of the visitors visit 10 or more pages and 18% less than 4. The average number of visited pages is 6. Finally, applying various filters, approximately 400,000 vectors were identified.

91 Visitor browsing behavior Three variables are considered: the web page path, its content and the time spent when it is visited by a visitor. The visitor behavior vector is defined and a similarity measure between visitor session is introduced. ( p i, ti ) v r = [( p, t 1 )...( p, n t 1 n Where is a component that represents the page content, th its path and percentage of time spent in the i page visited. The vector maintains the page visit order. )]

92 = = L k c k c k t t t t L h h p p dp p p dg sm k k k k 1,, 1 ), ( ), min( ), ( ), ( β α β α α β β α β α r r Comparing browsing behavior Then the similarity measure is: where is an indicator of visitor interest is the page distance and dg is a graph distance, i.e., how similar are the paths between two sessions and dp is a page distance between the content of the visited pages. ), min( α β β α k k k k t t t t ), (,, c k c k p p dp β α

93 Vector space model M = ( m ) = f (1 + ij ij swi TR )*log( Q n i ) sw: special words array TR: Total special words p i ( m,..., m 1i Ri ) p j ( m,..., m 1 j Rj ) dp( p, p ) = cosθ = i j R k= 1 m ki m kj R R 2 ( m ki ) k= 1 k= 1 ( m kj ) 2 θ p i p j

94 Comparing sequences The sequence of a navigation can be represented by a graph. Each page is identified by an identification number S 1 S 2 = (1,2,6,5,8) =(1,3,6,7) 8 G G 1 2 E( G E( G = {1 2,2 = {1 3,3 1 2 ) = {1,2,6,5,8} ) = {1,3,6,7} 6,2 5,5 6,3 7} 8} We need to know how similar or different are both sequences!! dg( G 1, G 2 ) = 2 E( G E( G 1 1 ) IE( G ) + E( G 2 2 ) )

95 Applying neural networks for clustering For example, Self Organizing Feature Maps. Schematically, a SOFM is presented as a two-dimensional array in whose positions the neurons are located. Each neuron is constituted by an n-dimensional vector, whose components are the synaptic weights. The notion of neighborhood among the neurons provides diverse topologies. In this case a thoroidal topology was used, which means that the neurons closest to the ones of the superior edge, are located in the inferior and lateral edges.

96 Results by Neural Network Neurons winner frecuency Neurons Neuronsaxisi axe i Neurons axe j Neurons axis j

97 Results from Business point-of-view

98 Web site recommendations Offline. Structure. Changes in the internal (in the same site) and external (outside the site) links. Content. Mainly words to improve usefulness of the page for the visitor. Online. Principally about the pages that the visitor would be interested in visiting.

99 Conclusions Based on our results we propose changes on the web site, e.g.: Direct links from cluster 2 to cluster 4 (as can be seen, both are interested in Remote Services) Improved links inside each cluster Future work: analysis of effectiveness of changes by e.g.: Increased average number of clicks in visitor sessions Increased total time a visitor spends on the web site Increased revenue.

100 Common Research with The University of Tokyo Velásquez, J. D., Yasuda, H., Aoki, T., Weber, R., (2003): Using the KDD Process to Support Web Site Reconfigurations. The 2003 IEEE/WIC International Conference on Web Intelligence, October 13-16, 2003, Halifax, Canada, Velásquez, J. D., Yasuda, H., Aoki, T., Weber, R. (2004): A new similarity measure to understand the visitor behavior in a web site. IEICE Transactions on Information and Systems, Vol. E87-D, No. 2, February,

101 Herramientas de Data Mining Clementine Darwin DataEngine Decisionhouse IBM Intelligent Miner KnowledgeSEEKER SAS Enterprise Miner Más información:

102 Experiencias 1/2 Tiempo proyectos necesitan más tiempo que estimado Calidad de los datos muy importante para lograr resultados válidos Cantidad de datos en general hay muchos datos disponible pero no siempre para apoyar la toma de decisiones (base de datos transaccional / bodegas de datos)