Analizando patrones de datos

Transcripción

1 Analizando patrones de datos SQL Server DM, Excel DM, Azure ML y R Ana María Bisbé

2 Temario Introducción a Minería de datos MS Office Excel Herramientas de tabla y Minería de datos SQL Server Data Tools Analysis Services SQL Server Management Studio Data Mining Extensions (DMX) Lenguaje R MS Azure Machine Learning 2

3 Introducción Minería de datos y Machine Learning

4 Análisis de datos para conocer por qué? Descubrir las razones del éxito y el fracaso de la gestión Entender los productos, clientes, y a nosotros mismos En resumen: Obtener el conocimiento para dirigir el negocio sobre la base del análisis de datos Riesgo de un crédito a un cliente Agrupación de clientes Productos o servicios que se adquieren juntos Previsión de ventas Previsión de clientes potenciales 4

5 La minería de datos en el proceso de búsqueda de conocimiento

6 El modelo CRISP 6

7 Algoritmos Directos o supervisados Variable a predecir Clasificación Estimación Previsión Indirectos o no supervisados Patrones Agrupación por afinidad Clustering Descripción 7

8 Herramientas 8

9 Explorar con TSQL 9

10 Papel de las estadísticas Permiten tener una idea de los valores Media, mediana, MIN, MAX Descubrir correlaciones sencillas Validar algunas asunciones Visualizar con precisión Histogramas y gráficos de caja (boxplots) 10

11 Pasos en un proceso de minería de datos Definir (inicializar) el modelo Entrenar el modelo procesar un % de los casos conocidos Validar modelo para puntuar (score) procesar un % de los casos conocidos Comparar las predicciones con datos reales 11

12 MS Office Excel Herramientas de tabla y Minería de datos

13 Minería de datos con MS Excel

14 Detección fraudes o anomalías con DM Excel

15 SQL Server Analysis Services Data Tools

16 Validar modelos

17 Realizar predicciones en SSAS

18 SQL Server Management Studio Visores

19 Naive Bayes en SSAS

20 Redes neuronales en SSAS

21 Clustering en SSAS

22 Árbol de decisión en SSAS

23 Contenido Genérico del modelo

24 SQL Server Management Studio Data Mining Extensions (DMX)

25 Contenido del modelo

26 Detección de fraudes o anomalías con DMX

27 Realizar predicciones

28 Lenguaje R

29 Lenguaje R Código abierto, gratuito Disponible para Windows, Mac, Unix Comunidad enorme y muy activa Todo incluido: lenguaje e IDE Más de 5000 paquetes Visible desde Azure ML 29

30 Explorar datos con R - Raffle

31 Explorar datos con R - Raffle

32 Correlación en datos con R - Raffle

33 Modelado desde R - Rattle

34 R para desarrollador SQL Paquete dplyr Ejemplos de comandos Filter Select Arrange Mutate Summarise Group_By Base de datos SQL Tabla Columna o campo Fila Programación R Data frame Columna o variable Observación 34

35 R Estadísticas

36 R para obtener gráficos Paquete ggplot ggplot (df_dm, aes(región, fill=educación)) + geom_bar() ggplot(df_dm, aes(ocupación) ) + geom_histogram(color = "white") + facet_grid(estadocivil ~.) 36

37 MS Azure Machine Learning

38 Algoritmos MS Azure Machine Learning

39 Microsoft Azure Machine Learning

40 Azure ML - Cargar datos

41 Azure ML - Experimento

42 Azure ML Explorar datos

43 Azure ML Seleccionar columnas

44 Azure ML Dividir la muestra

45 Azure ML Algoritmos de clasificación

46 Azure ML Entrenar modelos

47 Azure ML Medir (score)

48 Azure ML Evaluar modelos

49 Azure ML Visualizar resultados

50 Conclusiones Minería de datos Búsqueda de conocimiento Mayor parte del proyecto Exploración de datos Limpieza Definición de atributos o variables Modelado Evaluación Implementación 50

51 Gracias por su atención Comparta sus opinions con hashtags #pass24hop & #sqlpass

52 Preguntas?