Introducción a la Minería de Datos (Data Mining)

Transcripción

1 a la Minería de Datos (Data Mining) IT-Nova Facultad de Ingeniería Informática y Telecomunicaciones Iván Amón Uribe, MSc

2 Minería de Datos Diapositivas basadas parcialmente en material de Inteligencia Analítica de Javier Rengifo IBM de Colombia

3 Evolución Informática Etapa 0 Etapa 1 Sistemas OLTP No sistemas de información. Datos en hojas de cálculo. Sistemas de información transaccionales. Consultas contra las bases de datos. Etapa 2 Reporting Reportes analíticos. Reportes navegables. Reportes estáticos.

4 Evolución Informática Etapa 3 Análisis OLAP Exploración personal. Comparar y contrastar. Girar y anidar. Etapa 4 Modelación de Escenarios Análisis What-if. Comparar Escenarios. Guardar versiones. Etapa 5 Análisis Avanzado Descubrimiento de patrones. Minería de datos y de texto. Predicción de resultados.

5 OLAP vs Minería de Datos Las herramientas OLAP y otros tipos de herramientas permiten comprender Qué ha pasado? La minería de datos permite predecir Qué pasará? con un cierto grado de probabilidad.

6 KDD Knowledge Discovery in Databases proceso no trivial de identificar patrones válidos, novedosos, potencialmente útiles y en última instancia comprensibles a partir de los datos. [Fayyad et al., 1996]

7 Fases del Proceso de KDD

8 Fundamentos Data Mining Recolección masiva de datos. Potentes computadoras con multiprocesadores. Algoritmos de Minería de Datos.

9 Alcance del Data Mining Capacidades: Predicción automatizada de tendencias y comportamientos. Data Mining automatiza el proceso de encontrar información predecible en grandes bases de datos. Preguntas que tradicionalmente requerían un intenso análisis manual, ahora pueden ser contestadas directa y rápidamente desde los datos.

10 Comercio/Marketing: Introducción Áreas de Aplicación DM Identificar patrones de compra de los clientes. Buscar asociaciones entre clientes y características demográficas. Predecir respuesta a campañas. Banca: Detectar uso fraudulento de tarjetas de crédito. Identificar clientes leales. Predecir clientes propensos a cambiar su afiliación.

11 Áreas de Aplicación DM Medicina: Identificación de terapias médicas satisfactorias para diferentes enfermedades. Asociación de síntomas y clasificación diferencial de patologías. Estudio de factores (genéticos, precedentes, hábitos, alimenticios, etc.) de riesgo/salud en distintas patologías. Seguros: Predecir qué clientes compran nuevas pólizas.

12 Áreas de Aplicación DM Procesos Industriales: Predicción de fallos de la maquinaria. Seguridad Informática: Predicción de ataques.

13 Alcance del Data Mining Capacidades: Predicción automatizada de tendencias y comportamientos. Data Mining automatiza el proceso de encontrar información predecible en grandes bases de datos. Descubrimiento automatizado de modelos previamente desconocidos. Las herramientas de Data Mining barren las bases de datos e identifican modelos escondidos.

14 Alcance del Data Mining

15 Metodología de Data Mining Metodología CRISP-DM

16 Metodología de Data Mining CRISP-DM Entendimiento del negocio

17 Metodología de Data Mining CRISP-DM Entendimiento de los datos

18 Metodología de Data Mining CRISP-DM Entendimiento de los datos

19 CRISP-DM Preparación de los datos Metodología de Data Mining

20 CRISP-DM Modelaje Predictivo Metodología de Data Mining

21 CRISP-DM Modelaje Predictivo Metodología de Data Mining

22 CRISP-DM Evaluación Introducción Metodología de Data Mining

23 CRISP-DM Evaluación Introducción Metodología de Data Mining Gráfica de Ganancias (Gain Chart)

24 CRISP-DM Despliegue o Distribución Metodología de Data Mining

25 CRISP-DM Despliegue o Distribución Metodología de Data Mining

26 Data Mining complementa las soluciones de BI BI y Data Mining

27 Metodologías más utilizadas Introducción Estadísticas de Data Mining [Kdnuggets, 2013]

28 Áreas de Principal Uso Introducción Estadísticas de Data Mining [Kdnuggets, 2013]

29 Formatos más Usados Introducción Estadísticas de Data Mining [Kdnuggets, 2013]

30 Estadísticas de Data Mining Importancia de la preparación de los datos [Kdnuggets, 2013]

31 Técnicas más usadas Introducción Estadísticas de Data Mining [Kdnuggets, 2013]

32 Formas de despliegue más usadas Estadísticas de Data Mining [Kdnuggets, 2013]

33 Estadísticas de Data Mining Lenguajes de programación más usados en DM R (257) 45% SQL (184) 32% Python (140) 25% Java (139) 24% SAS (121) 21% MATLAB (83) 15% C/C++ (73) 13% Unix shell/awk/gawk/sed (59) 10% Perl (45) 7.9% Hadoop/Pig/Hive (35) 6.1% Lisp (4) 0.7% Other (70) 12.0% None (7) 1.2% [Kdnuggets, 2013]