Introducción a la Minería de datos. DATA MINING Modelamiento de datos para Marketing y Administración de las Relaciones con el Cliente (CRM).

Transcripción

1 DIPLOMADO GERENCIA MARKETING Y SERVICIO AL CLIENTE Mineria de Datos Introducción a la Minería de datos. DATA MINING Modelamiento de datos para Marketing y Administración de las Relaciones con el Cliente (CRM).

2 DIPLOMADO GERENCIA MARKETING Y SERVICIO AL CLIENTE Subtitulo de la presentación Las posibilidades de entrenar el pensamiento son infinitas y sus consecuencias son eternas. Pocos hacen el esfuerzo para dirigir su pensamiento hacia los canales que les benefician. La mayoría lo dejan al azar. Orison Swett Marden

3 Motivación: La necesidad es la madre de la Invención Cantidades enormes de datos han sido almacenadas Web data, e-commerce Tiendas de departamento/ tiendas de abarrotes Bancos/Tarjetas de Crédito transacciones Los Computedores cada vez son más baratos y poderosos La dura presión de la competencia Proporcionar un mejor servicio, servicvios personalizados (e.g. in Customer Relationship Management, CRM)

4 Nuevas Necesidades Memoria de la organización. Explicar el pasado Tiempo Entender el Presente Predecir la información Futura Método tradicional. Objetivo: Convertir datos en conocimiento???

5 Tecnología de Bases de Datos Antes El análisis de los datos Ahora Leguajes generalistas de consulta Sobre la base de datos operacional, es decir, junto al proceso transaccional en línea (On-Line Transaction Processing, OLTP.) de las aplicaciones de gestión Nueva arquitectura: Bases de datos data warehouse. Almacén de datos, repositorio de fuentes heterogéneas de datos, integrados y organizados. Soporte a la toma de decisiones. Generación de informes poco flexibles y poco escalables a grandes volúmenes de datos. Operaciones de Procesamiento analítico en línea (On-line Analytical Processing, OLAP)

6 DIPLOMADO GERENCIA MARKETING Y SERVICIO AL CLIENTE Subtitulo de la presentación Qué es la Minería de Datos? Data mining (knowledge discovery in databases): Extracción de conocimiento(no-trivial, implícita, previamente desconocida y potencialmente útil) información o patrones de datos en grandes bases de datos

7 DIPLOMADO GERENCIA MARKETING Y SERVICIO AL CLIENTE Minería de Datos Ejemplos y Contraejemplos alrededor de la Minería de Datos Contraejemplos Búsqueda de un número telefónico en el directorio de páginas amarillas Consultar un motor de búsqueda en la WEB, para obtener información a cerca de AMAZON Ejemplos Encontrar que ciertos apellidos son más prevalentes en una regiones(marrugo, Espinosa, Puello y Quintana en la región Caribe) Conjunto similar de documentos devuelto por un motor de búsqueda de acuerdo a su contexto (e.g. Amazon rainforest, Amazon.com,)

8 DIPLOMADO GERENCIA MARKETING Y SERVICIO AL CLIENTE Ejemplo 1. tiro Una entidad financiera desea saber que características tienen sus clientes más propensos a la compre de un producto de acuerdo al comportamiento de la últimas campañas llevadas a cabo. Objetivo: Predecir grupos de clientes más propensos a la adquisición de un producto Variables Utilizadas TC y TD Transaccionales ( Valor, No. Tx, Tendencias,% uso cupo) Pasivos y Activos Tenencias Saldos Demográficos Antigüedad Segmento Edad Género, etc.

9 DIPLOMADO GERENCIA MARKETING Y SERVICIO AL CLIENTE Objetivos (para el ejemplo 1) Desarrollar un modelo predictivo de propensión a la adquisición de seguro vital. Identificar los clientes con una mayor propensión para optimizar la tasa esperada de respuesta en la oferta del producto. Antecedentes Análisis sobre los clientes dados de alta en campañas realizadas del periodo de mes 1 a Mes 2. La base del análisis cuenta con registros. 7,7% tasa de respuesta. Se seleccionó el modelo con mejor rendimiento estadístico : Regresión logística. La categoría que se modela es de alta en el producto.

10 DIPLOMADO GERENCIA MARKETING Y SERVICIO AL CLIENTE Histórico Definición de las variables explicatorias Histórico de 12 meses hacia atrás, para cada cliente. Fecha de Alta Enero 1 Para los clientes que se dieron se alta Enero en el producto se toma la fecha en que se dio tal suceso como fecha de partida para determinar la transaccionalidad. Para los clientes que NO se dieron se alta en el producto se toma la fecha mediana de la ventana de estudio, Noviembre 2011 a Febrero 2012, correspondiente al primero de Enero de 2012

11 Regresión Logística Ecuación de la regresión Lineal simple Forma de una Regresión Logística Transformación Logìt log [ y / (1 - y)] = b 0 + b 1 x 1 +b 2 x 2 + b 3 x b n x n

12 DIPLOMADO GERENCIA MARKETING Y SERVICIO AL CLIENTE Tabla Final para elaborar el modelo

13 Procesamiento de la Informaciòn SAS Guide

14 SAS Miner

15 Partición de la Data Entrenamiento Validación 50% ò 70% 50% ò 30%

16 DIPLOMADO GERENCIA MARKETING Y SERVICIO AL CLIENTE Variables Significativas del modelo Resultaron significativas variables de transaccionalidad en Tarjeta de Crédito y Débito (6-9). Relacionadas al consumo (1 y 3) y a la Edad (4). También definen al modelo las Interacciones entre la edad con la línea de crédito (2), por un lado y con el Pasivo(5) por el otro. Todas ellas con una significancia menor al 0.01%. Probabilidad Chi-Cuadrado. Iden Efecto Grados libertad Chi_cuadrado.Wald Pr > ChiSq 1 CONSUMO Proporciòn Uso Cupo ,8869 < Radio.Total Activos - Edad ,019 < CONSUMO Total Valor ,3141 < EDAD ,8204 < Radio.Pasivo-Edad ,7913 < TC Total Nùmero Tx ,328 < TD Media Nùmero Tx 3 975,9823 < TD Media Valor Tx 3 492,4136 < TD Total Valor Tx 3 664,4899 < Tenencia TC ,2827 <.0001 Extremadamente significativas. Número de niveles de la variable menos 1. Ejemplo Tenencia de TC (10), cuenta con 2 niveles (Si o No), por lo tanto presenta solo 1 grado de libertad

17 Validación DIPLOMADO GERENCIA MARKETING del Modelo. Y SERVICIO AL CLIENTE Subtitulo de la presentación Análisis de DECILES El análisis de deciles muestra la habilidad del modelo para ordenar los clientes por su comportamiento de propensión. El objetivo del modelo es hacer un ranking de los clientes a fin de distinguir los propensos en los deciles más bajos. Deciles Entrenamiento Prospectos Probabilidad Pronòsticada Porcentaje Propensos TOP , , , , , , , , , , , , , , , , , , , ,00959 Total , ,09823 Deciles En este modelo el mejor decil (0,32060) pronostica 33 veces más adecuado que el peor decil ( ) Validación Prospectos Probabilidad Pronòsticada Porcentaje Propensos TOP , , , , , , , , , , , , , , , , , , ,0131 0,01057 Total ,0985 0,09823 En la validación del modelo el mejor decil (0,31) pronostica 29 veces más adecuado, que el peor decil (0.011)

18 Validación del Modelo. DIPLOMADO GERENCIA MARKETING Y SERVICIO AL CLIENTE Subtitulo de la presentación Entrenamiento Análisis de DECILES Deciles Prospectos % Prospectos Probabilidad Pronòsticada % Propensos % Acum. Propensos % del Total de Propensos Propensos Propensos Acum. % Acum. de Propensos capturados LIFT LIFT ACUMULADO TOP % 35,0% 32,1% 32,1% ,6% ,6% % 16,3% 18,8% 25,4% ,2% ,8% % 12,5% 14,5% 21,8% ,8% ,6% % 9,4% 11,2% 19,2% ,4% ,0% % 6,1% 4,3% 16,2% ,4% ,4% % 5,5% 4,9% 14,3% ,0% ,4% % 4,8% 5,0% 13,0% ,1% ,5% % 4,2% 4,7% 11,9% ,8% ,2% % 3,1% 1,8% 10,8% ,8% ,0% % 1,3% 1,0% 9,8% 897 1,0% ,0% Total % 9,8% 9,8% ,0% Los clientes en el decil TOP, tienen 351% mayor verosimilitud a ser propensos, que el promedio. En cada decil se puede estimar el número de propensos para un determinado corte de la base" o acumulando desde el decil TOP a un decil designado. Si tenemos en cuenta el valor de decil 4, podemos decir que el porcentaje promedio propensos acumulado es 19.2%. El modelo selecciona el 51.8% de los clientes propensos en el decil 2.

19 80% DIPLOMADO GERENCIA MARKETING Y SERVICIO AL CLIENTE Indice ROC estadìstica K-S Coeficiente de Gini 0,77 0,44 0,53 Los índices ROC, K-S y Gini, indican una buena discriminación del modelo entre propensos y no propensos. Mientras que si se toma al azar el 40% de la base, para identificar el 40% de propensos, el modelo a esta altura ha capturado más del 80% de clientes propensos. Similar comportamiento se presenta en la muestra de validación

20 DIPLOMADO GERENCIA MARKETING Y SERVICIO AL CLIENTE Etapas para la selección del modelo A medida que ingresan variables al modelo disminuye de manera vertiginosa el error cuadrático medio. La reducción del ECM, se comporta similarmente para las muestras de entrenamiento y validación. Hasta el ingreso de la variable 15(Activo_Medio /la edad), la disminución del error es importante. 5(Radio Activo_Medio /la edad),

21 DIPLOMADO GERENCIA MARKETING Y SERVICIO AL CLIENTE Ajuste del Modelo. Las medidas de ajuste todas son congruentes para la muestra de validaciòn.

22 Niveles o cortes que incrementan la probabilidad de propensión, su odss ratio, es mayor a 1. Ejemplo: En la Proporción de Uso del Cupo Consumo, se tiene que en el nivel 02 el odds es 2.19 y significa que los clientes en este nivel son 2 veces y poco (219%) más probables de ser propensos que los de la categoría 1 Niveles que disminuyen la probabilidad de propensión. Ejemplo : la categoría 2 del ratio, Activos -Edad, presenta un odds de 0.895, menor a 1. Indica que el tener este ratio en el nivel 2, disminuye la probabilidad de propensión en un 26.4% DIPLOMADO GERENCIA MARKETING Y SERVICIO AL CLIENTE Subtitulo de la presentación Iden Efecto Niveles ODSS 1 2 CONSUMO Proporciòn Uso Cupo Radio.Total Activos - Edad 3 CONSUMO Total Valor 4 EDAD 5 Radio.Pasivo - Edad TC Total Nùmero Tx TD Media Nùmero Tx TD Media Valor Tx 9 TD Total Valor Tx 10 Tenencia TC 01:Cero -hasta E-8 1,000 02: E ,190 03: ,104 04: Uno 2,190 01:Cero ,895 02: ,736 03: ,134 04: Màximo 1,000 01:low , MISSING 1,539 02: ,446 03: high 1,000 01:low , : ,777 03:51.5-high 1,000 01:low ,592 02: high 1,000 01:low -1 0,795 02:1-high 1,000 01:low ,55 02: ,735 03: ,985 04: high 1,000 01:low ,777 02: ,763 03: ,091 04: high 1,000 01:low , MISSING 1,461 02: ,983 03: ,811 04: high 1, , ,000

23 Red neuronal Entender el cerebro y emular su potencia Inspirada en las redes neuronales biológicas Métodos Inductivos: a partir de ejemplos

24 DIPLOMADO GERENCIA MARKETING Y SERVICIO AL CLIENTE La triste verdad sobre la asociación de la cerveza y los pañales infantiles Ejemplo 2 Cross Sell and Up Sell Market Basket Analysis. Por eso no se sorprenda si encuentra pacas de cerveza al lado de pañales desechables!!!

25 DIPLOMADO GERENCIA MARKETING Y SERVICIO AL CLIENTE Objetivo: Identificar productos que son comprados conjuntamente por muchos clientes Regla: Si un cliente que compra Pañales y Lecha es bastante probable que compre Cerveza. Cómo puede ayudar este conocimiento en el mejoramiento de las ventas? Pañales Leche Cerveza Leche Cerveza Pañales Leche Cerveza Pañales Cerveza Pañales Leche Pan Pañales Leche Cerveza

26 Reglas son obtenidas del árbol y son replicadas en conjuntos de datos futuros DIPLOMADO GERENCIA MARKETING Y SERVICIO AL CLIENTE Árbol de decisiones

27 Ejemplo 3. Segmentación de los solicitantes de crédito a un banco usando análisis factorial múltiple XVIII Simposio Colombiano de Estadística Estadística en la industria y los negocios Cartagena de Indias, agosto 11 al 15 de 2008 Se presenta la implementación del análisis factorial múltiple como metodología previa a una clasificación de solicitantes de crédito en una entidad bancaria del país en Bogotá. Se obtienen tres clases utilizando las características sociodemográficas y económicas (cinco variables cuantitativas y seis cualitativas), que las personas suministran al Banco al diligenciar las solicitudes de crédito. En las clases obtenidas se encuentran diferencias en sus porcentajes de clientes y en sus distribuciones de tipos de crédito.

28 Metodología

29 Proyección de la nube de puntos de individuos en el primer plano factorial

30 Caracterización de las clases Clase 1 (tabla 3) Las 461 personas que hacen parte de este grupo, correspondientes al 7.8% de la población, se caracterizan por poseer vivienda sin hipoteca (74.6%); ser personas jubiladas, religiosas, amas de casa o rentistas (94.6%); casadas o viudas (75.7%); y además el 52.9% tienen una persona que depende económicamente de ellos. La edad promedio de este grupo es 60.5 años, los ingresos oscilan alrededor de millones, habiendo trabajado en promedio 17 años y tienen una antigüedad en la vivienda en promedio de siete años. Por las características anteriormente descritas, asignaremos a este grupo el nombre de Adultos mayores estables.

31 Caracterización de las clases Clase 2 Este grupo lo conforman 1744 individuos, correspondientes al 29.7% de la población, los cuales son en su mayoría hombres (64.2%), casados (64.6%) y poseen vivienda sin hipoteca (61.5%). El 86% son comerciantes, abogados, administradores, psicólogos entre otros, cuyo contrato es de carácter independiente. Los individuos de este grupo han trabajado en promedio 8.4 años en su empleo actual, y están alrededor de los 50.8 años de edad además de residir en la misma vivienda aproximadamente 4.4 años. De acuerdo con estos resultados, el nombre apropiado para este grupo es: Independientes estables.

32 Caracterización de las clases Clase 3 Al siguiente segmento identificado pertenecen 3655 clientes que corresponden al 62.3% de la población, conformado por un 50.5% de mujeres, 27.5% de personas solteras y 59.6% de individuos que habitan aproximadamente hace 3.6 años en vivienda familiar, con hipoteca o rentada; son clientes empleados con contrato temporal o a término indefinido. El promedio de edad de este grupo es de 43 años y su antigüedad en el empleo actual es de 8.4 años en promedio. Teniendo en cuenta estas características, se asigna el nombre Empleados inestables.

33 Software para Minería de datos SAS Básico SAS Guide SAS Miner Modeler Software libre

34 R Software Libre para Minería de datos Para Bajar R:

35 MINERÍA DE DATOS: CONFLUENCIA DE MÚLTIPLES DISCIPLINAS Database Technology Statistics Machine Learning Data Mining Visualization Information Science Other Disciplines

36 DATA MINING: A KDD PROCESS Data mining: the core of knowledge discovery process. Pattern Evaluation Task-relevant Data Data Selection Data Preprocessing Data Warehouse Data Cleaning Data Integration Data Mining Databases

37 MINERÍA DE DATOS Y LA INTELIGENCIA DE NEGOCIOS Increasing potential to support business decisions Making Decisions End User Data Presentation Visualization Techniques Data Mining Information Discovery Data Exploration Statistical Analysis, Querying and Reporting Business Analyst Data Analyst Data Warehouses / Data Marts OLAP, MDA Data Sources Paper, Files, Information Providers, Database Systems, OLTP DBA

38 CONCLUSIONES