INTELIGENCIA DE NEGOCIO

Transcripción

1 INTELIGENCIA DE NEGOCIO Tema 1. Introducción a la Inteligencia de Negocio Tema 2. Minería de Datos Tema 3. Modelos de Predicción: Clasificación, regresión y series temporales Tema 4. Preprocesamiento de Datos Tema 5. Modelos de Agrupamiento o Segmentación Tema 6. Modelos de Asociación Tema 7. Modelos Avanzados de Minería de Datos Tema 8. Big Data Introducción

2 INTELIGENCIA DE NEGOCIO Introducción El objetivo de la asignatura Inteligencia de Negocio es introducir los elementos básicos de las herramientas de Inteligencia de Negocio (Business Intelligence), los retos, e introducir los conocimientos básicos para el uso de herramientas de Analítica de Negocio. Comprender el funcionamiento de los algoritmos de minería de datos y su uso para la extracción de conocimiento de bases de datos, y el uso de las mencionadas herramientas. Big Data es el área emergente en el análisis de datos de gran volumen, velocidad y variedad, y Ciencia de Datos es el nombre que recibe el área que engloba los algoritmos de extracción de conocimiento, visualización y big data. Las prácticas de la asignatura pretenden acercarse a la resolución de problemas reales con herramientas disponibles y de libre distribución.

3 Nuestro mundo gira en torno a los datos n n n n n n Ciencia n Bases de datos de astronomía, genómica, datos medio-ambientales, datos de transporte, Ciencias Sociales y Humanidades n Libros escaneados, documentos históricos, datos sociales, Negocio y Comercio n Ventas de corporaciones, transacciones de mercados, censos, tráfico de aerolíneas, Entretenimiento y Ocio n Imágenes en internet, películas, ficheros MP3, Medicina n Datos de pacientes, datos de escaner, radiografías Industria, Energía, n Sensores,

4 La explosión de los datos Exabytes: byt 4

5 La explosión de los datos Zettabyes: bytes. 5

6 El problema de la explosión de información: n n n existencia de herramientas para la recolección de información madurez de la tecnología de bases de datos bajo precio del hardware è cantidades gigantescas de datos almacenados en bases de datos, data warehouses y otros tipos de almacenes de información Somos ricos en datos pero pobres en conocimiento El progreso y la innovación ya no se ven obstaculizados por la capacidad de recopilar datos, sino por la capacidad de gestionar, analizar, sintetizar, visualizar, y descubrir el conocimiento de los datos recopilados de manera oportuna y en una forma escalable

7 Ciencia de Datos, Business Analytics, Minería de Datos, Big Data Alex ' Sandy' Pentland, director del programa de emprendedores del 'Media Lab' del Massachusetts Institute of Technology (MIT) Considerado por 'Forbes' como uno de los siete científicos de datos más poderosos del mundo 7

8 Índice q Inteligencia de Negocio q Qué es la Ciencia de Datos? q El poder de los datos y su impacto en nuestra sociedad q Herramientas y Lenguajes en Ciencia de Datos. Repositorio de Kaggle

9 Introducción. Inteligencia de Negocio Inteligencia de Negocio se refiere al proceso de convertir datos en conocimiento y conocimiento en acciones para crear la ventaja competitiva del negocio The Data Warehousing Institute Datos Información Conocimiento Ventaja Competitiva

10 Introducción. Inteligencia de Negocio Inteligencia de Negocio se refiere al proceso de convertir datos en conocimiento y conocimiento en acciones para crear la ventaja competitiva del negocio The Data Warehousing Institute Agregar Datos Presentar Datos Conocimiento sobre los datos Toma de decisiones Database, Data Mart, Data Warehouse, ETL Tools, Integration Tools Reporting Tools, Dashboards, Static Reports, Mobile Reporting, OLAP Cubes Add Context to Create Information, Descriptive Statistics, data mining Decisions are Fact-based and Data-driven

11 Introducción. Inteligencia de Negocio Business Intelligence se refiere al proceso de convertir datos en conocimiento y conocimiento en acciones para crear la ventaja competitiva del negocio. The Data Warehousing Institute Business Intelligence es una herramienta crítica para el éxito y sobrevivencia de su organización hoy en día, no se trata solo de herramientas y tecnología, sino también de organización. Gartner Group Información La inteligencia del negocio es como convertir la información de la empresa en una arma estratégica. Teddy Dale Consultor Internacional La información en las organizaciones está aumentando rápidamente, así como, las decisiones críticas del negocio; el problema es la actitud de las empresas para utilizar estos datos. Gartner Group 11

13 Ciencia de Datos Data Science Ciencia de Datos es el ámbito de conocimiento que engloba las habilidades asociadas a la extracción de conocimiento de datos, incluyendo Big Data

14 Ciencia de Datos Data Science o la Ciencia de Datos incorpora diferentes elementos y se basa en las técnicas y teorías de muchos campos, incluyendo las matemáticas, estadística, ingeniería de datos, reconocimiento de patrones y aprendizaje, computación avanzada, visualización, modelado de la incertidumbre, almacenamiento de datos y la informática de alto rendimiento con el objetivo de extraer el significado de datos y la creación de productos de datos.

15 Ciencia de Datos Es un término relativamente nuevo que se utiliza a menudo de manera intercambiable con analítica de negocio. La ciencia de datos busca utilizar todos los datos disponibles y relevantes para extraer conocimiento que pueda ser fácilmente comprendido por los expertos en el área de aplicación. Un experto de la ciencia de datos se denomina un científico de datos.

16 Ciencia de Datos Qué es un Científico de Datos? Un científico de datos es un profesional que debe dominar las ciencias matemáticas y la estadística, acabados conocimientos de programación (y sus múltiples lenguajes), ciencias de la computación y analítica.

17 Ciencia de Datos José Antonio Guerrero: uno de los mejores científicos de datos del mundo (Plataforma Kaggle) Qué es un científico de datos? Es una persona con fundamentos en matemáticas, estadística y métodos de optimización, con conocimientos en lenguajes de programación y que además tiene una experiencia práctica en el análisis de datos reales y la elaboración de modelos predictivos. De las tres características quizás la más difícil es la tercera; no en vano la modelización de los datos se ha definido en ocasiones como un arte. Aquí no hay reglas de oro, y cada conjunto de datos es un lienzo en blanco. Leer más:

18 Ciencia de Datos

19 Designing a Business Analytics program Business Analytics Data Science Big Data Data Visualization Data Warehousing Business Analytics Statistical Analysis Contemporary Analytics Business Analytics Operations Data Mining Data mining: Data Preprocessing, Supervised learning, unsupervised learning, forecasting Contemporary Analytics: text mining, network analytics, social analytics, customer analytics, web analytics, risk analytics, information retrieval and recommendations Statistical Analysis: Estimation and inference; and regression models Operations: Simulation and optimization

20 Ciencia de Datos Minería de Datos We have rich data, but poor information Data mining-searching for knowledge (interesting patterns) in your data.

21 Ciencia de Datos Big Data Big Data son datos cuyo volumen, diversidad y complejidad requieren nueva arquitectura, técnicas, algoritmos y análisis para gestionar y extraer valor y conocimiento oculto en ellos... Volumen Big Data Variedad Velocidad

23 El poder de los datos Análisis de asociaciones Pañales y cerveza. Ficción y leyenda para ilustrar el análisis de transacciones Si compro cerveza, entonces compro pañales Si compro pañales, entonces compro cerveza

24 El poder de los datos Análisis de asociaciones en transacciones de tarjetas de crédito millones transacciones M titulares Acción: Cupones de oferta, Compra gasolina 16:00 à compra comestibles o restaurante a lo largo de 1 hora (35-50 dolares) Fuente: Big Data. La revolución de los datos masivos. Pag. 160

25 El poder de los datos Análisis de asociaciones: Salud Expedientes médicos varias años Para reducir la tasa de reingresos Acción: Intervención después del alta Mejora salud mental y física aflicción mental como depresión aumentaban los reingresos en 1 mes Fuente: Big Data. La revolución de los datos masivos. Pag. 161

26 El poder de los datos Análisis de transacciones Disculpas Empresa. Disculpas del padre, confirmación del embarazo de la hija Modelo de predicción de clientes embarazadas por medio de sus patrones de compra. Enfado de un padre: Su Hija recibe publicidad de productos para embarazadas v Acción: Envío de cupones para cada fase del embarazo Descubrimiento: Cremas sin perfume al tercer mes. Dos docenas de productos Predicción de fecha parto Fuente: Big Data. La revolución de los datos masivos. Pag. 77

27 El poder de los datos Análisis de transacciones: Un chivo expiatorio Target (cadena de grandes almacenes) que utiliza el análisis de transacciones y asociaciones. Unos días después el director llamó al padre para disculparse. Respuesta conciliadora del padre: He estado hablando con mi hija dijo el padre Resulta que en mi casa han tenido lugar ciertas actividades de las que yo no estaba del todo informado. Mi hija sale de cuentas en agosto. Soy yo el que les debe una disculpa. Fuente: Big Data. La revolución de los datos masivos. Pag. 77.

28 El poder de los datos Análisis de transacciones Amazon: Sistema de recomendación Fuente: Big Data. La revolución de los datos masivos. Pag. 69. Los datos incrementaron tremendamente las ventas Ahora más de 1/3 de las ventas son gracias a las recomendaciones Críticos y editores literarios La voz de Amazon (1995) Dilema: Lo que los clics decían o lo que opinaban los críticos? Greg Linde (1997) propuso un sistema de recomendaciones, filtrado colaborativo artículo a artículo

29 El poder de los datos Netflix: Sistema de recomendación Para Netflix, compañía de alquiler de películas online, las tres cuartas partes de los pedidos nuevos surgen de las recomendaciones. Netflix y Amazon son dos empresas cuyo plan de negocio está basada en big data y sistemas de recomendación

30 Banca: Identificación de personas con las compras de tarjetas de crédito

31 Banca: Identificación de personas con las compras de tarjetas de crédito Identificación por el género Identificación por el número de compras Identificación por el poder adquisitivo

32 Analizando Twitter para medir la Salud Pública You Are What You Tweet Un sistema de filtrado de datos de Twitter puede inferir aspectos de salud analizando 144M de tuits ( ) Se obtienen 13 grupos coherentes de mensajes correlacionados - Gripe estacional (r= 0.689) y alergias (r = 0.810) - Ejercicio y obesidad relacionados con datos geográficos,.. Discovering Health Topics in Social Media Using Topic Models Michael J. Paul, Mark Dredze, Johns Hopkins University, Plos One 9(8) e103408, 2014 doi: /journal.pone

33 TFM-UGR (Master Ciencia de Datos): Sentiment Analysis For Touristic Attractions: A Case Study On The Alhambra Ana Valdivia(Sept. 2016) Turismo Web 2.0

34 Sentiment Analysis For Touristic Attractions: A Case Study On The Alhambra TFM Ana Valdivia(Sept. 2016)

38 TFM-UGR (Master Ciencia de Datos): Uso de técnicas de análisis de polaridad y fiabilidad de tweets en campaña electoral Gabriel Quesada (Sept. 2016) Descarga de tweets a través de la REST API de Twitter. Los datos se obtienen a partir los #hashtags de los cuatro principales partidos y sus líderes. Período de recogida de datos: del 5 de marzo (tras la investidura fallida de Pedro Sánchez) hasta el 26 de junio (Elecciones Generales). Número total de tweets obtenidos: (0,5 GB).

39 TFM-UGR (Master Ciencia de Datos): Identificacion de Armas en Imágenes Roberto Olmos (Sept. 2016) DEEP LEARNING Librería Caffe: Uso de algoritmo Faster R-CNN

40 Impacto en la sociedad Salud Redes sociales como fuente de datos Industria, comercio, banca, Ocio y cultural (Ej. Recomendaciones) Política, Bien social (Social good)

41 Gran Impacto en la Sociedad y presencia en los medios de comunicación

42 Impacto Económico La demanda de profesionales formados en Ciencia de Datos y Big Data es enorme. Se estima que la conversión de datos en información útil generó un mercado de millones de dólares en 2015 y que se crearán más de 4.4 millones de empleos. España necesitaba para 2015 más de profesionales con formación en Ciencia de Datos y Big Data. 7/actualidad/ _ html

43 Índice qinteligencia de Negocio q Qué es la Ciencia de Datos? qel poder de los datos y su impacto en nuestra sociedad qherramientas y Lenguajes en Ciencia de Datos. Repositorio de Kaggle

44 Herramientas, Lenguajes, Kaggle Una web sobre el software libre para Ciencia de Datos Software (open source tools)

45 Herramientas, Lenguajes, Kaggle Una web sobre el software libre para Ciencia de Datos

46 Herramientas, Lenguajes, Kaggle KNIME (o Konstanz Information Miner) es una plataforma de minería de datos que permite el desarrollo de modelos en un entorno visual. KNIME está desarrollado sobre la plataforma Eclipse y programado, esencialmente, en java. Fue desarrollado originalmente en el departamento de bioinformática y minería de datos de la Universidad de Constanza, Alemania, bajo la supervisión del profesor Michael Berthold. En la actualidad, la empresa KNIME.com GmbH, radicada en Zúrich, Suiza, continúa su desarrollo además de prestar servicios de formación y consultoría.

47 Herramientas, Lenguajes, Kaggle Weka The University of Waikato, New Zealand Machine learning software in Java implementation a/

48 Herramientas, Lenguajes, Kaggle KEEL University of Granada Machine learning software in Java implementation

49 Herramientas, Lenguajes, Kaggle Sobre los lenguajes de programación (R, Phyton, ). Lenguajes a usar para Data Science

50 Herramientas, Lenguajes, Kaggle Sobre los lenguajes de programación (R, Phyton, ). Consolidation among top 4 languages: R, SAS, Python, and SQL, and decline in usage of less popular languages for data mining: Java, Unix shell, MATLAB, C/C++, Perl, Octave, Ruby, Lisp, F. By Gregory Piatetsky, Aug 18, /languages-analytics-data-miningdata-science.html

51 Herramientas, Lenguajes, Kaggle Sobre los lenguajes de programación (R, Phyton, ). El website CRAN The Comprehensive R Archive Network cran.r-project.org/

52 Herramientas, Lenguajes, Kaggle Sobre los lenguajes de programación (R, Phyton, ).

53 Herramientas, Lenguajes, Kaggle Sobre herramientas de minería de datos

54 Herramientas, Lenguajes, Kaggle y un buen enlace para comenzar a practicar, KAGGLE Es un portal web que ofrece competiciones, tutoriales, actividades académicas Kaggle: The Home of Data Science

55 Herramientas, Lenguajes, Kaggle y un buen enlace para comenzar a practicar, KAGGLE Kaggle: The Home of Data Science Es una muy buena oportunidad para practicar en la resolución de problemas reales y la adquisición de habilidades en Data Science.

56 Herramientas, Lenguajes, Kaggle y un buen enlace para comenzar a practicar, KAGGLE Kaggle: The Home of Data Science

57 Herramientas, Lenguajes, Kaggle y un buen enlace para comenzar a practicar, KAGGEL Kaggle: The Home of Data Science 57

58 Herramientas, Lenguajes, Kaggle y un buen enlace para comenzar a practicar, KAGGEL Kaggle: The Home of Data Science 58

59 Herramientas, Lenguajes, Kaggle y un buen enlace para comenzar a practicar, KAGGLE Kaggle: The Home of Data Science MNIST data

60 Herramientas, Lenguajes, Kaggle y un buen enlace para comenzar a practicar, KAGGEL 60

61 Herramientas, Lenguajes, Kaggle y un buen enlace para comenzar a practicar, KAGGEL Kaggle: Go from Big Data to Big Analytics Diciembre

62 A KAGGLE competition with a Multiclass and imbalanced problem

63 A KAGGLE competition with a Multiclass and imbalanced problem For this competition, we have provided a dataset with 93 features for more than 200,000 products. The objective is to build a predictive model which is able to distinguish between our main product categories. The winning models will be open sourced.

64 Competición IN-UGR

65

66 En qué país van a reservar los nuevos usuarios?

67 David Gasquez (TFG, 2016) Información de la entrega n Posición 66 (Dic. 15) usando Gradient Boosting y sin apenas preprocesamiento

68 Herramientas, Lenguajes, Kaggle y un buen enlace para comenzar a practicar, KAGGEL Competición de Kaggle: Santander Customer Satisfaction Objetivo: crear un modelo que prediga qué clientes no están satisfechos Premio de entre las 3 mejores soluciones Competición activa desde el 2 de marzo hasta el 2 de mayo, 2016 Conjunto de datos: instancias y 371 variables Datos públicos 50% 68

69 Herramientas, Lenguajes, Kaggle y un buen enlace para comenzar a practicar, KAGGEL Antonio Navarro (TFG, 2016): Tenía un modelo que lo habría dejado en la posición 17 si lo hubiese seleccionado! 69

70 INTELIGENCIA DE NEGOCIO