Clase 0 Módulo: Minería de datos Docente: Gustavo Valencia Zapata

Transcripción

1 v.1.0 Clase 0

2 Quien tiene la información tienen el poder. - Anónimo Quien tiene el saber tiene el poder. - David Hume Quien tiene la información y la analiza, tiene el poder. Módulo: Visualización de Información

3 Temas Clase 0: Motivación Del dato al saber Situaciones de Negocio Definición e Historia de DM 4th Annual Data Miner Survey Referencias

4 Definición e Historia Minería de datos (Data Mining) Definición 1. Es un proceso de descubrimiento de nuevas y significativas relaciones, patrones y tendencias al examinar grandes cantidades de datos [1]. Definición 2. Es un proceso de análisis de datos, donde converge la estadística, inteligencia artificial y la computación, con el objeto de ver más allá de lo evidente, de una forma óptima y competitiva [2]. Otras definiciones: EIS: Sistema de Información Ejecutiva (herramienta de BI). Es considerado un Sistema de Soporte a la Decisión (DSS). OLAP: Procesamiento analítico en línea (On-Line Analytical Processing). Es también considerado una herramienta de BI. Su objetivo es agilizar la consulta de grandes cantidades de datos

5 Definición e Historia Data Warehouse: (Bodega o almacen de datos). Colección de datos orientados a un determinado negocio. CRM: Gestión de relación con el cliente (Customer relationship management). Es un modelo de gestión de toda la organización, basado en la orientación al cliente; el cual es soportado por un aplicativo que administra el data warehouse con información de los productos, canales y servicios de la compañía y sus clientes. ROI: Retorno sobre la inversión. Razón financiera que compara el beneficio o la utilidad en relación a las inversiones realizadas de forma inicial o en el transcurso de un proyecto. Ad hoc: En un escenario de las bases de datos, implica que el sistema permite al usuario personalizar una consulta en tiempo real, en vez de estar atado a las consultas prediseñadas para informes o extracción de información.

6 Definición e Historia Durante las últimas décadas se ha realizado múltiples esfuerzos y estudios fundamentados en analizar la información como factor clave para la toma de decisiones en la empresa [3]. Se podría visualizar una línea de tiempo donde se evidencia lo citado en el párrafo anterior, inicialmente los sistemas de información tenían una finalidad de dar soporte a los procesos básicos de las compañías (regulaciones, ventas, personal, etc.), surgen los sistema de información para la toma de decisiones (EIS, OLAP, Consultas, reportes, informes, etc.) brindando a los líderes una visón inmediata (diariamente) con herramientas que informan sobre el estado y las actividades de gestión a través de indicadores. Funciones de manipulación sobre los datos, ofrecen un incremento de análisis estratégico y sistemas relacionales brindan mayor versatilidad en la manipulación de los datos.

7 Concepto DM ROI Etapa 1 Etapa 2 Etapa 3 Etapa 4 Etapa 5 Mass Marketing Análisis Exploratorios & Comunicaciones En masa Segment Marketing Análisis Interactivo & Comunicaciones en una dirección Target Marketing Modelos & Comunicaciones personalizadas Event based Marketing Interacción Enfocada a eventos, administración & Diálogos con el individuo Interactive Marketing Administración de relaciones con el cliente, enfocada a eventos, Multi-canal Qué paso? Por qué paso? Qué pasará? Uso Básico Análisis Ad Hoc Análisis Predictivo Qué está pasando? Análisis de Eventos Haciendo que suceda! CRM Analítico y Operativo Reportes Análisis Consultas Ad Hoc Descubrimiento Humano Herramientas para Consulta (Query & OLAP) Modelaje Predictivo Herramientas para Minería Actualización Contínua CRM Descubrimiento asistido por máquinas Herramientas para CRM Fuente: SPSS, Introducción a Clementine (2008)

8 Concepto DM Fuente: SPSS, Introducción a Clementine (2008)

9 Del dato al saber Del dato al saber Cómo es la información creada a partir de los datos que posteriormente se presenta de forma visual e incluida en modelos de minería de datos? Nathan Shedroff en su ensayo Information Design [4], analiza cómo se produce el proceso de comprensión de los datos. Fuente: Nathan Shedroff

10 Del dato al saber Shedroff lo llama y lo describe como un proceso continuo que genera información de los datos. Además la información puede ser transformada en conocimiento y finalmente, el sabiduría. Las etapas son: Los datos son entidades que por sí mismas carecen de sentido. Ellos constituyen los con los que se construye la información y los procesos comunicativos. Ejemplo: Datos del IPC que proporciona el Instituto Nacional de Estadística (DANE para Colombia). Se trata de una colección de números que singularmente, no son muy útiles para el público el general. Es sin embargo, precisamente estos datos en los que el instituto basa su informe anual sobre el estado de la economía y la inflación del país. Los datos por si solos no son suficientes para establecer un proceso comunicativo.

11 Del dato al saber Para dar sentido a estos datos, primero deben ser procesados, organizados y presentados en un formato adecuado. Esta transformación y manipulación de los datos produce información (organizándola y presentándola de una forma útil y apropiada, comunicando el contexto que la rodea). Cuando el Instituto Nacional de Estadística publica en su página Web los datos de los últimos cinco años, organizados por meses, con comparaciones y promedios anuales; estaremos en la capacidad de establecer la relación de la inflación con el IPC del año pasado y apreciar cómo se ha comportado con años anteriores. Esta Información se hace posible por medio de la organización de los datos estadísticos reunidos. En esta etapa la información es concebida. Cuando la información se integra con la experiencia, se crea el conocimiento. Cuando se tienen experiencias, se adquiere el conocimiento con el que somos capaces de entender las cosas.

12 Del dato al saber El saber es el más alto nivel de comprensión. Se puede definir como la etapa en la que una persona ha adquirido un nivel tan avanzado de conocimiento de los procesos y las relaciones que es posible, entonces, expresar calificados juicios sobre los datos. El saber es auto-inducido y a diferencia del conocimiento, no es posible transmitir directamente o enseñar. En qué etapa del proceso del continuo entendimiento se encuentra DM? Puede encontrarse en cada una de las etapas. La DM facilita la adquisición de los datos, su transformación en información, análisis y generación de nuevo conocimiento. En las metodologías de minería de datos CRISP_DM y SEMMA se profundizará con mayor detalla en cada una de estas etapas.

13 4th Annual Data Miner Survey 2010 Data Miner Survey Esta es una encuesta que se realiza anualmente a la comunidad de minería de datos a nivel mundial. En este caso, la encuesta fue realizada en el año 2011 preguntando sobre las experiencias de los mineros en el año Actualmente cursa la liberación de la quinta encuesta correspondiente a las experiencias del año Este investigación examina los comportamientos analíticos, necesidades, preferencias y opiniones de los profesionales de la minería de datos a nivel mundial. Se lleva a cabo como un servicio a la comunidad de minería de datos [5].

14 4th Annual Data Miner Survey Encuesta: 735 Mineros de 60 Países. Central & South America (4%) Columbia 2% Brazil 1% Middle East & Africa (3%) Israel 1% Turkey 1% Asia Pacific India 4% Australia 3% China 2% North America USA 40% Canada 4% Europe Germany 7% UK 5% France 4% Poland 4% Fuente: Rexer Analytics.

15 4th Annual Data Miner Survey En que campo usted típicamente aplica minería de datos? CRM/Marketing Financial Academic Insurance Telecommunications Retail Pharmaceutical Technology Medical Manufacturing Internet-based Government 15% 15% 14% 13% 13% 11% 10% 10% 10% 25% 29% 41% Data Mining is everywhere! Data miners also report working in Nonprofit (6%), Hospitality/Entertainment/ Sports (4%), Military/Security (3%), and Other (9%). 0% 10% 20% 30% 40% 50% Fuente: Rexer Analytics.

16 4th Annual Data Miner Survey Qué tipo de algoritmo usted utiliza típicamente? Decision Trees Regression Cluster Analysis Time Series Neural Nets Factor Analysis Text Mining Association Rules Ensemble Models Support Vector Bayesian Anomoly Detection Survival Analysis Rule Induction Social Network Analysis Genetic Algorithms Link Analysis Uplift Modeling MARS 16% 14% 13% 12% 11% 9% 9% 8% 27% 26% 25% 22% 21% 21% 32% 31% 60% 69% 68% 0% 10% 20% 30% 40% 50% 60% 70% Fuente: Rexer Analytics.

17 4th Annual Data Miner Survey Qué tipo de algoritmo usted utiliza típicamente? Decision Trees Regression Cluster Analysis Time Series Neural Nets Factor Analysis Text Mining Association Rules Ensemble Models Support Vector Bayesian Anomoly Detection Survival Analysis Rule Induction Social Network Analysis Genetic Algorithms Link Analysis Uplift Modeling MARS 16% 14% 13% 12% 11% 9% 9% 8% 27% 26% 25% 22% 21% 21% 32% 31% 60% 69% 68% 0% 10% 20% 30% 40% 50% 60% 70% Fuente: Rexer Analytics.

18 DM en la Industria Qué herramienta de minería de datos o analítica utilizó en 2009? Cuál es la herramienta que utiliza con mayor frecuentemente? Overall Corporate Consultants Academics NGO / Gov t Fuente: Rexer Analytics.

19 DM en la Industria Indique el nivel de satisfacción de su herramienta primaria de minería de datos o analítica Sample size < 20 Fuente: Rexer Analytics.

20 DM en la Industria Cuál es su principal formación académica? Computer Science / IT Statistics Engineering Economics Mathematics Social Science Medical / Biological Sciences Market Research Financial Forecasting / Risk Operation Research Humanities / Liberal Arts Physics Business / Marketing Other 3% 3% 2% 2% 1% 1% 3% 6% 7% 9% 9% 12% 18% 24% 0% 5% 10% 15% 20% 25% Fuente: Rexer Analytics.

21 Situaciones de Negocio La minería de datos es un termino general (Umbrella term) de todos los diferentes tipos de técnicas estadísticas y de inteligencia artificial. Las situaciones de negocio a resolver bajo un análisis de datos desde la DM son [6]: Predecir, segmentar, asociar y anomalías. Fuente: Gustavo Valencia Z. Notas de clase: Minería de Datos, A continuación se presentarán algunas situaciones de negocio reales donde por medio de técnicas de minería de datos fue posible darle respuesta a la necesidad del negocio.

22 Situaciones de Negocio Predecir Tipo de empresa: Servicio de salud Unidad: Oncología Modelo: Regresión de COX Caso: Tratamiento de cáncer Objetivo: Predecir el tiempo en el que un paciente con cáncer recaerá Variables Demográficas Medicas Económicas Grupo 1 Grupo 3 Mes1 Mes 2 Mes 3 Evento de interés Mes 4 Mes 5 Grupo 2 Fuente: Gustavo Valencia Z. Notas de clase: Minería de Datos, 2012.

23 Situaciones de Negocio Predecir Tipo de empresa: Servicio financiero Unidad: Crédito Modelo: Regresión de COX Caso: Riesgo de crédito Objetivo: Predecir cuando un cliente incumplirá el pago de una obligación financiera Crédito Incumplimiento en pago 1 año 2 año 3 año Fuente: Gustavo Valencia Z. Notas de clase: Minería de Datos, 2012.

24 Situaciones de Negocio Segmentar Tipo de empresa: Servicio de entretenimiento Unidad: Mercadeo Caso: Incrementar ventas Modelo: Clúster Objetivo: Segmentar los usuarios para optimizar las campañas de mercadeo Fuente: Gustavo Valencia Z. Notas de clase: Minería de Datos, 2012.

25 Situaciones de Negocio Segmentar Tipo de empresa: Servicio de tecnología Unidad: Seguridad Caso: Seguridad informática Modelo: Clúster Objetivo: Prevenir ataques DDo Fuente: PROLEXIC, White Paper, 2010

28 Situaciones de Negocio Asociar Tipo de empresa: Comercializadora (retail) Unidad: Estrategía -Mercadeo Caso: Incrementar ventas Modelo: Red Neuronal Objetivo: Asociar la venta de dos o más productos Tiendas: 5 y 9 Hombres - 30 años promedio Sábados 2 9 pm Fuente: Gustavo Valencia Z. Notas de clase: Minería de Datos, 2012.

29 Situaciones de Negocio Anomalía Tipo de empresa: Entidad financiera Unidad: SARLAF Prevención del fraude Modelos: Regresión Logística Discriminante - Anomalía Caso: Cumplimiento regulatorio Objetivo: Detectar oportunamente actividades de lavado de activos, financiación de terrorismo o fraude. Cliente Sospechoso Transacción Sospechosa Fuente: Gustavo Valencia Z. Notas de clase: Minería de Datos, 2012.

30 Situaciones de Negocio Predicción Tipo de empresa: Investigación (Academia) Unidad: Maestría en Ingeniería Química Caso: Energías alternativas Modelo: Red Neuronal Objetivo : Predecir las corriente eléctrica VARIABLES Ancho_Canal Ancho_Colector Profundidad x y Corriente Presion Velocidad Fuente: D. C. Orozco-Gallo, C. I. Sánchez-Sáenz, C. A. Bastidas. Análisis en dos dimensiones del comportamiento hidrodinámico y la distribución de corriente en placas bipolares interdigitadas, 2011.

31 Situaciones de Negocio Predicción Tipo de empresa: Investigación (Academia) Unidad: Maestría en Ingeniería Química Caso: Energías alternativas Modelo: Red Neuronal Objetivo : Predecir las corriente eléctrica VARIABLES Ancho_Canal Ancho_Colector Profundidad x y Corriente Presion Velocidad Fuente: D. C. Orozco-Gallo, C. I. Sánchez-Sáenz, C. A. Bastidas. Análisis en dos dimensiones del comportamiento hidrodinámico y la distribución de corriente en placas bipolares interdigitadas, 2011.

32 Situaciones de Negocio Asociar Tipo de empresa: Protección del medio ambiente Unidad: Investigación Caso: Crisis energética (OPEP) Modelo: Componentes Principales Objetivo : Realizar una reducción de variables (preguntas) sobre la encueta. P20 P19 P34 P21 P31 P30 P27 P22 P28 P23 P26 P38 P35 PC2 PC4 PC3 PC1 P29 P33 P37 P32 P24 P25 P36 PC5 PC6 Fuente: Gustavo Valencia Z. Notas de clase: Minería de Datos, 2012.

33 Situaciones de Negocio Asociar Tipo de empresa: Protección del medio ambiente Unidad: Investigación Caso: Crisis energética (OPEP) Modelo: Componentes Principales Objetivo : Realizar una reducción de variables (preguntas) sobre la encueta. PC1(Actitud del ciudadano) = P20-P21-P23-P28-P30-P31-P33-P36 PC2 (Soluciones no ambientalistas) = P24-P35-P37 PC3 (Acciones de los actores) = P26-P29-P32-P38 PC4 (Gravedad del problema) = P19-P22-P27 PC5 (Responsabilidad compañías petroleras) = P25 PC6 (Compromiso de la ciudadanía) = P22 Fuente: Gustavo Valencia Z. Notas de clase: Minería de Datos, 2012.