Data Mining y La Importancia De Conocer Bien Sus Datos. Luis Aburto Gerente Data Mining (luaburto@analytics.cl)

Transcripción

1 Data Mining y La Importancia De Conocer Bien Sus Datos Luis Aburto Gerente Data Mining (luaburto@analytics.cl)

2 Temas a Abordar Definición tradicional de Data Mining Ejemplos prácticos y cómo afectan el resultado Detección de Fuga de Clientes en Telecomunicaciones Predicción de Demanda Mitos y Trampas de Data Mining Procesamiento y Calidad de Datos Conclusiones 2

3 Qué es Data Mining? Encontrando estructuras interesantes en los datos Estructura: Referido a patrones estadísticos, modelos predictivos y relaciones ocultas Interesantes: Potenciales de generar rentabilidad Ejemplos de Problemas Abordados por el Data Mining Modelamiento Predictivo (Clasificación, Regresión) Segmentación (Cluster de datos) Afinidad (Resumen) - Relaciones entre campos, asociaciones, visualización Pero esta definición no es suficiente 3

4 Ejemplos Aplicados I: Análisis de Fuga en Telecomunicaciones

5 Objetivos del Problema de Detección de Fuga Trabajo existente ha intentado aproximar el Índice de Lealtad usando retención y valor del cliente El objetivo preliminar de este trabajo es predecir fuga en el uso de servicios gratuitos ofrecidos a través de Internet (correo electrónico, mensajería, noticias, finanzas, deportes, etc.) a través de: Considerar estado actual y futuro Centrado en el usuario de negocios Considerar causas de fuga Modelos más complejos para predecir fuga 2,02% 97,98% Total de usuarios únicos: Active Churn 5

6 Determinando el problema con los datos : Activos & Fugas Distribución de permanencia Percent [%] Clientes con permanencia <1 mes finalizan contrato Tasa fuga, excluyendo 0 y 12 meses de permanencia debería ser 1.8% Tenure ALL YUID Tasa de fuga aumenta 92% (de 2.02% a 3.89%) cuando clientes tienen 12 meses de permanencia Percent [%] Tenure [Months] TOTAL YUID Churn Percentage in Subset Qué está pasando en estos meses? 6

7 Determinando el problema con los datos : Valores perdidos Las personas con valores perdidos en la variable de información regional, tienen mayor tasa de fuga que clientes con valores conocidos en esta variable Total Churn % of Total Churn % of Total Churn Oct 03 2,062, % 87.20% 0.84% 12.80% 18.28% Nov 03 2,215, % 89.24% 0.76% 10.76% 18.08% Dec 03 2,348, % 90.99% 0.54% 9.01% 21.02% Jan 04 2,501, % 92.73% 0.86% 7.27% 31.10% Feb-04 2,694, % 94.90% 0.45% 5.10% 31.27% Apr 04 3,014, % 83.74% 0.74% 16.26% 11.60% Mar 04 2,875, % 88.51% 0.87% 11.49% 15.36% Average All Users Users with State Users with Missing State 2.60% 89.62% 0.72% 10.38% 20.96% La tasa de fuga cambia dramáticamente cuando los datos regionales y la actividad de los usuarios es conocida (menos de 1%). Cuando los datos regionales son desconocidos, la tasa de fuga aumenta sobre 30% 7

8 Previsualización de los datos: Comparación entre actividad del portal y patrones de fuga Average Sessions (Top 50 Properties) Portal % 3.5% Actividad del portal fue una de las mejores características para discriminar entre fugas y personas activas Sessions Estadísticos Descriptivos 50 0 DSL Portal Activity No Portal Very Light Light Moderate Heavy All DSL Master Avg Sessions (Top 50 Properties) Percentage Users Avg Time Spent (Top 50 Properties) Churn Rate Avg Sessions (Top 50 Properties) 3.0% 2.0% 1.5% No Portal 10.0% % Very Light 19.4% % Light 26.3% % Moderate 26.5% % Heavy 17.8% % All DSL Master 100% % % Churn Rate 2.5% Incremento actividad como disminuciones de los fugas Curva roja muestra tasa de fuga para cada categoría de actividad del portal Barras azules muestran sesiones Churn Rate promedio para cada categoría de actividad del portal % tasa de fuga = (Usuarios activos en Oct y cancelaron en Nov) / (Usuarios activos en Oct) 8

9 Previsualización de los datos: tasa de fuga y permanencia peak a los 12 meses Tasa de fuga por grupos October Churn Rate % User Tenure (11,12 and 13) Remaining Tenure Master DSL Inactive 32.1% 5.1% 2.6% 2.9% Very Light 13.3% 4.2% 2.3% 2.5% Light 20.3% 3.5% 2.1% 2.3% Moderate 20.9% 2.8% 1.9% 2.0% Heavy 13.3% 2.9% 2.0% 2.1% Master DSL 100% 3.9% 2.2% 2.4% Comparación fugas 3.9% es la tasa de fuga para todos los usuarios con permanencia entre 11 y 13 meses. Es mayor a la tasa de fuga que se obtiene con la base completa (2.4%) % Churn Rate 5.0% 4.0% 3.0% 2.0% 1.0% 0.0% Permanencia (11, 12 y 13) son 11.4% del Total Master DSL Churn Rate for Master DSL in October Inactive Very Light Light Moderate Heavy Master DSL Yahoo Groups Tenure (11,12 and 13) Master DSL Remaining Tenure La diferencia es más grande cuando incluimos la dimensión actividad: 5.1% tasa de fuga para usuarios inactivos con permanencia entre 11 y 13 meses 9

10 Qué pasa si construimos un modelo de Data Mining a ciegas? Modelo de predicción con muchas variables No entenderíamos las variables (qué variables predicen bien y cuáles mal las fugas) La exactitud en la predicción debería estar basada en reglas simples: Si el usuario no tiene información regional fuga Si el usuario tiene una permanencia de 0 ó 12 meses fuga No entenderíamos por qué estas variables predicen fuga 10

11 Ejemplos Aplicados: Pronóstico de Demanda

12 Definiendo el Problema Pronósticos son subjetivos e inexactos Destruir sentimiento de decisiones claves del autor Usar historia reciente en el modelo y nivel del centro de negocio Sujeto a las complicaciones de estacionalidad Gran cantidad de datos Ventas e inventario Semana Estudios de mercado, datos relacionados con la industria Precisión actual +/- 17% +/- 25% NA Precisión deseada +/- 10% +/- 15% Promociones de Marketing & Competencia Problema a resolver Comportamiento del pronóstico de ventas usando datos transaccionales Entender el problema de predicción 12

13 Selección de datos representativos Los Datos comienzan en el año 2000, pero los primeros meses tienen menos ventas que el patrón normal Usamos ventas sin primeros meses Usamos las siguientes fuentes de datos: Daily Sales -Este Cotizaciones, un nuevo modelo que se convierten en ventas, actividad web, stocks, 6000 Daily Sales de Daily Sales órdenes auto, o y retrasos de estas variables. -No hay historia almacenada Daily Sales Date Sales Sales Date Date 13 0 Sales Este gráfico comienza en enero 2000 Date Este gráfico comienza en noviembre 2000

14 Previsualización de los datos: Visión de Mega-análisis Medidas # ventas Detalles Usuarios Visitas Requerimientos Sesiones Zip Code/Zona Modelo de vehículo Semana/Mes # Act. website # Configuraciones # Cotizaciones Cotizaciones Usuarios Visitas Requerimientos Sesiones Presup-venta Trim, Computar correlación semana/venta Para cada cambio en la semana, Análisis de retraso de 1 a 40 semanas 14

15 Previsualización de los datos: Trabajo de correlación Correlaciones globales sobre todos los estados y modelos no esperados para rendir resultados significativos Examinar estado, zona y modelo Estructura del esquema para evaluar correlaciones dentro Zip Modelo En una base de tiempo de cambio semanal Resultando en alrededor de 1 millón de series para actividad/ventas Este resultado es imposible manejar desde el punto de vista humano 15

16 Previsualización de los datos: Auto Correlación Autocorrelación de ventas semanales a nivel nacional Alta correlación a nivel nacional 16

17 Previsualización de los datos: Análisis de ventas Distribución de ventas diarias Daily Sales Dado el análisis histórico, estas 5000 características deben ser importantes en la predicción del modelo 4000 Último día del mes Sales Estacionalidad mensual Festividades: 4 Julio Por qué 1 Enero hay venta cero? Esta previsualización nos ayuda a detectar y verificar anomalías en los datos Primer día del mes Date

18 Fijar problema con datos: Outliers Filtered Sales / Average(Month) New Year Independence Day Christmas Thanksgiving Day Memorial Day Labor Day Last day of year 31-Dec Festividades y días especiales están en círculo 31-Dec Jan 0 01-Sep 02-Sep 27-May 01-Jan 26-May 01-Jan 04-Jul 28-Nov 25-Dec 04-Jul 27-Nov 25-Dec Gran error intentar predecir días normales con festividades Remover festividades y predecir en otro modelo 18 1/1/2002 2/1/2002 3/1/2002 4/1/2002 5/1/2002 6/1/2002 7/1/2002 8/1/2002 9/1/ /1/ /1/ /1/2002 1/1/2003 2/1/2003 3/1/2003 4/1/2003 5/1/2003 6/1/2003 7/1/2003 8/1/2003 9/1/ /1/ /1/ /1/2003 1/1/2004 2/1/2004 3/1/2004 Filtered Sales / Average (Month) Date

19 Fijar el problema con datos: Definición de cambios Análisis de la distribución de ventas semanal Sales Esto puede ayudarnos a entender cualquier anomalía en el procesamiento Por qué las ventas cambian de comportamiento? En la definición de datos, las ventas cambian: - Ahora incluyen ventas nacionales e internacionales 19 Solución: Filtrar las ventas internacionales

20 Procesamiento de datos: sumando dominio al conocimiento Monthly Average 1.6 Average (Filtered Sales) En promedio, ventas de Enero son menores que Agosto Este tipo de características captura el comportamiento de diferentes meses. Este conocimiento mejora los resultados del modelo January February March April May June July August September October November December Month 20

21 Procesamiento de datos: Filtrar patrones conocidos Diagrama de dispersión entre ventas filtradas y posición en un mes, donde: 0 es el primer día 1 es el último día del mes Filtered Sales v/s Month Position ( ) 8 Los valores más altos están a fin de mes 7 6 Filtered Sales Valor más bajo a comienzos de mes Month Position 21

22 Procesamiento de datos: Filtrar patrones conocidos Aproximamos la curva con una función Gaussiana, Entonces dividimos por esta variable para suavizar la curva 22

23 Procesamiento de Datos: Filtrar patrones conocidos Serie de ventas original Serie de ventas filtrada RAM Daily Sales RAM Filtered Sales , , Sales Filtered Sales Aplicando conocimiento y patrones 0,5 conocidos 0 Date Date Pronosticar ventas filtradas es más fácil que pronosticar la serie original

24 Evaluación de modelos: Exactitud de la predicción con ARIMA Original Series v/s Prediction Series ARIMA GCH Series Date Original Series Prediction Series MAPE Error Sales Daily Weekly Monthly Train 13.5% 8.1% 6.8% Test 17.4% 11.1% 8.4% Max Test 149.7% 38.0% 14.8% 24

25 Mitos y Trampas de Data Mining Mito 1: Data Mining es todo acerca de exactitud en la predicción Necesario tener un grado de exactitud descubrimiento de patrones en datos Qué aprendo con el modelo? Ej. Redes neuronales predicen, pero no se sabe nada acerca de las variables. Es una caja negra. Se puede crear una regresión para entender mejor las variables, su importancia relativa (Cuál de ellas tiene mayor peso) 25

26 Mitos y Trampas de Data Mining Modelo de Regresión Modelo de Redes Neuronales y k = f ( n i= 0 w ik x i ) 26

27 Mitos y Trampas de Data Mining Mito 2: Data Mining requiere un Data Warehouse Fuente operacional de datos Qué pasa si el Data Warehouse sólo tiene información agregada? Mito 3: Data Mining debiera estar a cargo de alguien experto en el tema Muy importante el Conocimiento del Negocio en Data Mining - Si no está incluido resultados inútiles o poco importantes Ej. Si (cliente=mujer AND edad > 10 AND edad < 50) Cliente = maternidad 27

28 Mitos y trampas de Data Mining Trampa 1: Enterrado bajo montañas as de datos Se produce por creer que debemos aplicar el proceso a todos los datos disponibles Proceso se vuelve inactivo y el analista no puede recordar qué estaba preguntando Solución: Utilizar una muestra, no la base completa Trampa 2: Insuficiente conocimiento de los datos Necesario entender qué significan los datos Deben existir personas expertas en la organización Muchas veces el manejo de datos es un servicio externo 28

29 Mitos y trampas de Data Mining Trampa 3: Llegar a conclusiones erradas Un parasicólogo de Duke testeó a estudiantes para encontrar Percepción Extra Sensorial, descubriendo que 0.1% podía adivinar 10 de 10 cartas. Entonces declaró a estos estudiantes como poseedores de PES. Al realizar el experimento nuevamente con ellos, descubrió que perdían su capacidad. CONCLUSION: al comunicar a una persona PES, ésta en general la pierde Trampa 4: Supuestos erróneos, cortesía a de los expertos No hay clientes que puedan mantener cuentas de estos tipos No hay casos que incluyan más de un evento de este tipo Sólo los siguientes códigos se presentarán en este campo Necesario VALIDAR las declaraciones de los expertos 29

30 Mitos y trampas de Data Mining Trampa 4: Encerrado en la jaula de datos Algunas herramientas de Data Mining requieren que los datos estén en un formato propio No compatible con los sistemas de bases de datos Alto costo en transformación de datos al formato requerido Las herramientas de Data Mining deberían ser evaluadas en accesibilidad, escalabilidad y uso, y soporte para procesos estandarizados 30

31 Mitos y trampas de Data Mining Un último Mito: Data Mining es todos acerca de algoritmos El error es creer que sólo se necesitan buenos algoritmos Data Mining involucra también: - Metas de negocio - Transformar metas de negocio a metas de Data Mining - Entender y procesar datos - Evaluar y presentar resultados - Mejorar beneficios del negocio * Tom Khabaza, Hard Hats for Data Miners: Myths and Pitfalls of Data Mining, Business intelligence, data warehousing and analytics editorial from DMReview 31

32 Mitos y Trampas de Data Mining Qué hacer antes de comenzar un proyecto de Data Mining? Errores Calidad datos Data Mining Indicadores de desempeño Reglas de negocio Roles y objetivos 32

33 Proceso KDD: El Camino Tradicional Interpretación y Evaluación Selección y Preprocesamiento Data Mining p(x)=0.02 Conocimiento Consolidación de los Datos Warehouse Datos Preparados Patrones & Modelos Fuente de Datos Datos Consolidados 33

34 Extensiones KDD: Nuestra metodología para descubrir conocimiento TORNAR LOS OBJETIVOS DE NEGOCIO DENTRO DEL PROBLEMA DE DATA MINIG SELECCIONAR DATOS REPRESENTATIVOS REVISION DE DATOS DEFINIR LOS OBJETIVOS DE NEGOCIO RESOLVER PROBLEMAS CON LOS DATOS VISUALIZAR RESULTADOS DATOS DE MUESTRA EVALUAR MODELOS CONSTRUIR MODELOS PROCESAMIENTO DE DATOS 34

35 Qué es Calidad de Datos? Correctos: los datos describen objetos verdaderos y fielmente (de la realidad) El nombre de la ciudad que vive un cliente es Santiago. Para que los datos sean correctos, en la dirección debe aparecer Santiago como nombre de la ciudad para que sea correcta. La edad debe ser la misma en todas partes, coherente con fecha de nacimiento. No ambiguos: valores y descripciones tienen sólo un significado Ej. Río Claro, Cuarta Región Río Claro, Séptima Región 35

36 Qué es Calidad de datos? Consistentes: datos usan una convención de notación constante para convertir su significado Santiago debe ser anotado en todas partes de la misma manera, por ejemplo: Stgo, SCL, Stgo de Chile, Santiago Completos: Dos aspectos de completitud: Valores individuales en los datos están definidos (no nulos) Al agregar la información ésta es completa * Ralph Kimball, Joe Caserta, The Data Warehouse ETL Toolkit: Practical Techniques for Extracting, Cleaning, Conforming and Delivering Data 36

37 Manejo de datos Chequear la validez de los valores Chequear consistencia Sacar datos duplicados Chequear si las reglas de negocio y procedimientos han sido implementadas Servidor Extraer Limpiar Conformar Entregar Aplicaciones Fuentes de producción Leer fuentes de datos. Conformar métricas Generar de dimensiones de Conexión y acceso a los negocio datos. tiempo Internacionalizaciones Programación de las Cargar sub-dimensiones Conformar datos en fuentes del sistema Cargar disco dimensiones de (interceptar notificaciones). jerarquía Capturar cambios en los Entrega de datos a disco datos. Extraer datos de disco. 37

38 Preprocesamiento de Datos Bins Igual rango: cada bin contiene la misma cantidad de rango de valores Igual frecuencia: cada bin contiene igual número de instancias 38

39 Preprocesamiento de datos Distribución de normalización No es transformar los datos para que la distribución sea una normal Se trata de regularizar o estandarizar una distribución Una estrategia de normalización: usar bins de igual frecuencia y asignar a cada bin un valor con un incremento uniforme - Ejemplo: si el rango es 0-1 los bins serían asignados a valores 0, 0.1, 0.2, , 1 * Dorian Pyle, Business Modeling and Data Mining 39

40 En conclusión El éxito de un proyecto de Data Mining pasa por elementos ajenos a la matemática: Datos usados en el proyecto: - Garbage in Garbage out - Representativos de la realidad a modelar Correcta definición de objetivos y métricas de negocio Uso de transformaciones, agrupamientos o creación de variables con significado Calidad de Datos: Correctos, Sin Ambigüedad, Consistentes y Completos Procesos automáticos para ETL Manejo de excepciones Identificación de outliers 40

41 Referencias Dorian Pyle, Business Modeling and Data Mining, Ed. Morgan Kaufmann, Tom Khabaza, Hard Hats for Data Miners: Myths and Pitfalls of Data Mining, Business intelligence, data warehousing and analytics editorial from DMReview. Ralph Kimball, Joe Caserta, The Data Warehouse ETL Toolkit: Practical Techniques for Extracting, Cleaning, Conforming and Delivering Data, Ed. Wiley

42 Data Mining y La Importancia De Conocer Bien Sus Datos Luis Aburto Gerente Data Mining (luaburto@analytics.cl)