MINERÍA DE DATOS Y SUS TENDENCIAS ACTUALES Dr. Rafael Bello Pérez Departamento de Ciencias de la Computación Universidad Central de Las Villas, Cuba Email: rbellop@uclv.edu.cu Tomando de conferencias de Dr. Francisco Herrera, Universidad de Granada, España.
Construcción de sistemas inteligentes: Extracción de conocimiento Sistemas Expertos convencionales: Experiencia Ingeniero de conocimiento Reglas (algunos) Sistemas Expertos de segunda generación: Experiencia Algoritmo de aprendizage Reglas
Comentarios Finales http://elpais.com/elpais/2013/12/02/vinetas/ 1386011115_645213.html El Roto Viñeta de El Roto 3 de diciembre de 2013 Gracias!!! 3
Que hacer con los Datos Minería de Datos Somos Ricos en Datos, pero Pobres en información Data mining- buscar conocimiento (patrones interesantes) en los datos.
La Minería de Datos es una forma de aprender del pasado para tomar mejores decisiones en el futuro Minería de Datos
Qué es la Minería de Datos? Para qué se utiliza el conocimiento obtenido? hacer predicciones sobre nuevos datos explicar los datos existentes resumir una base de datos masiva para facilitar la toma de decisiones visualizar datos altamente dimensionales, extrayendo estructura local simplificada, Nuevas necesidades de análisis datos
Minería de Datos. Áreas de aplicación Aplicaciones empresariales / industriales Toma de decisiones en banca, seguros, finanzas, marketing, control de calidad, retención de clientes, predicción, políticas de acción (sanidad, etc.), Aplicaciones en investigación científica Medicina, astronomía, geografía, genética, bioquímica, meteorología, etc. Aplicaciones en Internet/Redes Sociales Minería de textos y de datos en la web
Sistemas inteligentes para la toma de decisiones. Los Sistemas de ayuda a la decisión (Decision Support Systems, DSS) son sistemas usados para analizar los datos y crear reportes. Ellos apoyan la toma de decisiones mediante medios para obtener la información precisa cuando se necesita. Un DSS exitoso tiene que brindar al usuario acceso flexible a los datos y herramientas para manipular y presentar los datos en cualquier clase de reporte.
Evolución de los DSS. DBMS Métodos Estadísticos Investigación Operaciones de Datos Modelos Sistema de ayuda a la decisión.
Evolución de los DSS. Continuación. DBMS Métodos Estadísticos Investigación de Operaciones Inteligencia Artificial Datos y Modelos Conocimiento Sistema inteligente de ayuda a la decisión.
Evolución de los DSS. Continuación. DBMS Métodos Estadísticos Investigación de Operaciones Inteligencia Artificial Datos y Modelos Conocimiento Minería de datos Sistema inteligente de ayuda a la decisión con aprendizaje.
DEFINICIONES PARA EL TERMINO El descubrimiento de conocimiento es la extracción no trivial de información implícita, desconocida previamente y potencialmente útil a partir de los datos. La minería de datos es el proceso de escudriñar a través de enormes cantidades de datos, y mediante incansables e implacables búsquedas poder encontrar pequeñas pepitas de oro en una montaña de escoria. La minería de datos ayuda a examinar vastas cantidades de información buscando patrones valiosos en los datos. La minería de datos es el proceso de descubrir patrones insospechados.
Qué es la Minería de Datos? Etapas en un proceso de KDD Comprensión del Problema y de los Datos Preprocesamiento de Datos Datos Fuente Datos Preprocesados Modelos Minería de Datos Interpretación y Evaluación Conocimiento e Implantación Problema de KDD Informalmente se asocia Minería de Datos con KDD
Descubrimiento de conocimiento Procesamiento de datos: Disponer de datos de calidad previos al uso de algoritmos de extracción de conocimiento. Conocimiento Problema/ Datos Brutos Datos para Análisis Preprocesamiento Datos Preprocesados Minería de Datos Patrones/ Modelos Interpretación Evaluación Selección
Preprocesamiento de Datos Preprocesamiento de Datos Granulación de la información Nuevo! preprocesamient o
Descubrimiento de conocimiento Procesamiento de datos: Disponer de datos de calidad previos al uso de algoritmos de extracción de conocimiento. Conocimiento Problema/ Datos Brutos Datos para Análisis Preprocesamiento Datos Preprocesados Minería de Datos Patrones/ Modelos Interpretación Evaluación Selección
TIPO DE CONOCIMIENTO A DESCUBRIR Clasificación. Creación de conceptos. Asociación. Relaciones funcionales. Dependencias funcionales. Relaciones causales.
CLASIFICACION Reglas que particionan los datos en grupos disjuntos. Clientes con edad entre 24 y 45 años y con ingreso superior a los 40000 USD anuales Deben responder afirmativamente a esta oferta. Si (24 Edad 45) and (Salario 40000) entonces Respuesta=Si.
APRENDIZAJE DE CONCEPTOS Un concepto es una descripción de algún subconjunto de objetos o eventos definidos en un conjunto mayor. Buscar a través de un espacio predefinido de hipótesis potenciales aquellas que mejor encaja al conjunto de entrenamiento.
REGLAS DE ASOCIACION La esencia es buscar patrones donde la presencia de alguna cosa implique la presencia de otra. Una regla de asociación es una implicación de la forma X Ij, (c) Por ejemplo, el 90 por ciento de las operaciones de compra de pan y mantequilla también incluye leche. Pan y Mantequilla Leche : 90.
RELACIONES FUNCIONALES Una relación funcional describe el valor de uno o más atributos como función de otros atributos. Por ejemplo, y 2x+3z.
DEPENDENCIAS FUNCIONALES Dados dos conjuntos de atributos X e Y en una base de datos, una dependencia funcional (denotada por X Y) enuncia que cualquier par de tuplos t1 y t2, si t1(x) t2(x) entonces t1(y) t2(y). Ejemplo: Código del curso nombre del curso.
SECUENCIAS TEMPORALES Reglas cuyos antecedentes y consecuentes contienen literales que son relacionadas a través de componentes temporales. Ejemplos: Cuando las acciones de la compañía A crecen dos días consecutivos y los de la compañía B no caen durante ese período, entonces las acciones de la compañía C crecerán el siguiente día. La compra de ropa va seguida por la compra de zapatos.
Métodos de Minería de Datos Métodos predictivos Se utilizan algunas variables para predecir valores desconocidos de otras variables Métodos descriptivos Encuentran patrones interpretables que describen los datos
Aprendizaje Supervisado vs No Supervisado Aprendizaje supervisado: Aprende, a partir de un conjunto de instancias preetiquetadas un método para predecir (Ejemplo, clasificación: la clase a que pertenece una nueva instancia)
APRENDIZAJE A PARTIR DE EJEMPLOS Conjunto de objetos (instancias): ejemplos de problemas resueltos. Objetos: descritos mediante un conjunto de rasgos. CO = Conjunto de entrenamiento + Conjunto de control. Capacidad de generalización: resolver problema no vistos antes.
Sistema de Información Definición: (Sistema de Información) Sea un conjunto de atributos A= A1, A2,...,An y un conjunto U no vacío llamado universo de ejemplos (objetos, entidades, situaciones o estados, etc.) descritos usando los atributos Ai. Al par (U,A) se le denomina Sistema de información. Definición: (Sistema de decisión) Si a cada elemento de U se le agrega un nuevo atributo d llamado decisión indicando la decisión tomada en ese estado o situación entonces se obtiene un Sistema de decisión (U, A {d}, donde d A).
APRENDIZAJE INDUCTIVO. Genera conocimiento formulado en forma de descripciones intencionales a partir de ejemplos. CE((x, f(x))) función h que aproxima f.
APRENDIZAJE INDUCTIVO: formas de la función h. CE((x, f(x))) función h que aproxima f. Expresión matemática (relación funcional). Conjunto de reglas. Árbol de decisión Red neuronal artificial.
Clasificación Clasificación El problema fundamental de la clasificación está directamente relacionado con la separabilidad de las clases.
Regresión El problema fundamental de la predicción está en modelar la relación entre las variables de estado para obtener el valor de la variable de control.
METODOS de Clasificación Se pueden construir distintos tipos de clasificadores: Modelos Interpretables: Árboles de decisión Reglas (p.ej. listas de decisión) Modelos no interpretables: Clasificadores basados en casos (k-nn) Redes neuronales Redes bayesianas SVMs (Support Vector Machines)
EJEMPLO DE CONJUNTO DE ENTRENAMIENTO COLOR TAMANO PELAMBRE PELIGROSO Negro Grande largo + Carmelita Grande corto + Carmelita Medio largo - Negro Pequeño largo - Carmelita Medio corto + Negro Grande corto + Carmelita Pequeño largo + Carmelita Pequeño corto - Carmelita Grande largo + Negro Medio largo - Negro Medio corto - Negro Pequeño corto -
EJEMPLOS DE REGLAS INDUCIDAS POR ID3 If Tamaño es Grande then Peligroso. If Tamaño es Medio y Color es Negro then NO Peligroso. If Tamaño es Pequeño y Color es Negro then NO Peligroso. If Tamaño es Medio y Color es Carmelita y Pelambre es Corto then Peligroso. If Tamaño es Medio y Color es Carmelita y Pelambre es Largo then NO Peligroso. If Tamaño es Pequeño y Color es Carmelita y Pelambre es Corto then NO Peligroso. If Tamaño es Pequeño y Color es Carmelita y Pelambre es Largo then Peligroso.
Un árbol de Decisión 1. 2. 3. Country Germany Japan Japan Age 3-6 6-10 3-6 Engine diesel diesel diesel Colour white red blue Easy to sell yes yes no Se quiere predecir la propiedad de Easy to sell para nuevos ejemplos basado en los rasgos Country, Age, Engine and Colour. Country Germany Japan yes Colour yes red blue no
Usando los AD Cada fila de la matriz una regla MEJOR: cada camino del AD una regla Author Threa d Leng th Read s 1 known new short true 2 unkno wn new long true IF (Author = known) and (Thread = new) and (Length = short) THEN (Reads = true) IF (Author = unknown) and (Thread = new) and (Length = long) THEN (Reads = true) IF (Author = known) THEN (Reads = true) IF (Author = unknown) and (Thread = new) THEN (Reads = true) IF (Author = unknown) and (Thread = old) THEN (Reads = false)
Esencia del aprendizaje perezoso Un nuevo problema se puede resolver Recuperando problemas similares adaptando las soluciones recuperadas Problemas similares tienen soluciones similares P P P? P P P P P P The Robert Gordon University, Aberdeen S S S X S 37 S S S S S
Ejemplo de Clasificador: k-nn k = 3
Solución de problemas usando prototipos P1: Calcular la similaridad entre el nuevo problema y cada objeto. P2: Encontrar el conjunto de objetos más similares al problema. P3: Calcular el valor de salida utilizando los valores del rasgo objetivo de los objetos recuperados.
Construcción de prototipos Procedimiento para construir prototipos (se puede clasificar como de remplazo, reducción, y no-determinístico) Clase de Similaridad Relaciones de Similaridad prototipos Cómo construir clases de similaridad?
Nuevos modelos de aprendizaje: según rasgo objetivo Clasificación multi-etiqueta. Clasificación jerárquica. Clasificación ordinal.
Nuevos modelos de aprendizaje: según rasgos predictores Dominios discretos. Datos mezclados. Nuevos enfoques: Multi-way. Datos desbalanceados. Multi-instances learning. Texto.
Aprendizaje Supervisado vs No Supervisado Aprendizaje no supervisado: No hay conocimiento a priori sobre el problema, no hay instancias etiquetadas, no hay supervisión sobre el procedimiento. (Ejemplo, clustering: Encuentra un agrupamiento de instancias natural dado un conjunto de instancias no etiquetadas)
Agrupamiento Hay problemas en los que deseamos agrupar las instancias creando clusters de similares características Ej. Segmentación de clientes de una empresa
Agrupamiento Objetivo Encontrar agrupamientos de tal forma que los objetos de un grupo sean similares entre sí y diferentes de los objetos de otros grupos [clusters].
Agrupamiento. Niveles k = 2 k = 6 k = 4 La decisión del número de clusters es uno de los retos en agrupamiento
Descubrimiento de Asociaciones Descubrimiento de reglas de asociación: Búsqueda de patrones frecuentes, asociaciones, correlaciones, o estructuras causales entre conjuntos de artículos u objetos (datos) a partir de bases de datos transaccionales, relacionales y otros conjuntos de datos Búsqueda de secuencias o patrones temporales Aplicaciones: análisis de cestas de la compra (Market Basket analysis) diseño de catálogos, Qué hay en la cesta? Libros de Jazz Qué podría haber en la cesta? El último CD de Jazz Cómo motivar al cliente a comprar los artículos que es probable que le gusten?
Descubrimiento de asociaciones Market Basket Analysis TID Items 1 Bread, Coke, Milk 2 Beer, Bread 3 Beer, Coke, Diaper, Milk 4 Beer, Bread, Diaper, Milk 5 Coke, Diaper, Milk Rules Discovered: {Milk} --> {Coke} {Diaper, Milk} --> {Beer}
Yager, R.R.: A new approach to the summarization of data. Information Sciences28, 69 86 1982. R.R. Yager R.R.: On linguistic summaries of data. InW. Frawley and G. Piatetsky-Shapiro (Eds.): Knowledge Discovery in Databases. AAAI/MIT Press, pp. 347-363, 1991. J. Kacprzyk and R.R. Yager. Linguistic summaries of data using fuzzy logic. International Journal of General Systems, 30, 33-154, 2001. Sumarización lingüística de datos (Linguistic Data Summaries, LDS ) 49 LDS: propuesta por Yager y desarrollada por Kacprzyk- Yager. Esencia de LDS: Datos numéricos (salarios, costos, edad, ) pueden ser resumidos lingüísticamente con respecto a un conjunto de atributos seleccionados mediante proposiciones. Ejemplo: La mayoría de los jóvenes y altamente calificados empleados son bien pagados.
Sumarización lingüística de datos EJEMPLO 1 Datos sobre la gestión de una empresa. empresa CP VI VP PH empresa CP VI VP PH 1 120 10 101,1 60 10 123 45,6 231,2 11.23 2 39,75 35 98,12 12.20 11 78,60 66,1 89,78 14.50 3 45,60 43 112,1 9.9 12 111,9 55,33 107,9 88.76 4 89 34,67 78,8 67.90 13 67 13,56 98,34 98.9 5 134 45 56,78 7.8 14 98 37,9 76,12 7.69 6 27,45 39,98 89,9 9.78 15 33,9 23,24 123,1 9.88 7 231 12,6 201,1 89 16 105 17 231,3 79.89 8 234 13,4 134,7 101 17 67,8 34,56 89,3 18.16 9 45,90 39,99 134 8.9 18 189,78 9,89 103,56 93.9 50 CP: Costo de producción (en miles de pesos). VI: Volumen de inventarios (en miles de pesos) VP: Valor de la producción (en millones de pesos) PH: Productividad por hombre (pesos por hombre/día) El director: Que hacer para mejorar la productividad de la empresa?
Sumarización lingüística de datos EJEMPLO 1. Continuación. Datos sobre la gestión de una empresa: empresa CP VI VP PH empresa CP VI VP PH 1 120 10 101,1 60 10 123 45,6 231,2 11.23 2 39,75 35 98,12 12.20 11 78,60 66,1 89,78 14.50 3 45,60 43 112,1 9.9 12 111,9 55,33 107,9 88.76 4 89 34,67 78,8 67.90 13 67 13,56 98,34 98.9 5 134 45 56,78 7.8 14 98 37,9 76,12 7.69 6 27,45 39,98 89,9 9.78 15 33,9 23,24 123,1 9.88 7 231 12,6 201,1 89 16 105 17 231,3 79.89 8 234 13,4 134,7 101 17 67,8 34,56 89,3 18.16 9 45,90 39,99 134 8.9 18 189,78 9,89 103,56 93.9 CP: Costo de producción; VI: Volumen de inventarios; VP: 3: Valor de la producción; PH: Productividad por hombre. Sumarización lingüística: La mayoría de las empresas con un alto inventario tienen una baja productividad. 51
Herramientas, Lenguajes, Kaggle KNIME (o Konstanz Information Miner) es una plataforma de minería de datos que permite el desarrollo de modelos en un entorno visual. KNIME está desarrollado sobre la plataforma Eclipse y programado, esencialmente, en java. Fue desarrollado originalmente en el departamento de bioinformática y minería de datos de la Universidad de Constanza, Alemania, bajo la supervisión del profesor Michael Berthold. En la actualidad, la empresa KNIME.com GmbH, radicada en Zúrich, Suiza, continúa su desarrollo además de prestar servicios de formación y consultoría. https://www.knime.org/
Herramientas, Lenguajes, Kaggle Weka The University of Waikato, New Zealand Machine learning software in Java implementation http://www.cs.waikato.ac.nz/ml/weka/
Herramientas, Lenguajes, Kaggle KEEL University of Granada Machine learning software in Java implementation http://www.keel.es/
Muchas y nuevas fuentes de datos datos estructurados y datos no estructurados, imágenes, vídeos 55
Datos Economía del conocimiento 56
Data Mining: nueva tendencia Big Data Explorar grandes volúmenes de datos para extraer información útil para dar respuestas rápidas en tiempo real. Big Data parte grandes volúmenes de datos, heterogéneos (tipos y dimensiones diversas), de fuentes autónomas con control distribuido y descentralizado, y trata de explorar relaciones complejas y dinámicas entre los datos. Data Mining with Big Data. Xindong Wu, Xingquan Zhu. IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, VOL. 26, NO. 1, JANUARY 2014
Data Mining y Big Data: un ejemplo Representación de una persona en Salud. Genero, Edad, Historia medica familiar, Rayos X (imágenes), Tag (videos), Código genético (imágenes y secuencias de Microarray DNA), + Cada centro de salud tiene su propio esquema de representación. Como agregar la información heterogénea desde diferentes fuentes? Data Mining with Big Data. Xindong Wu, Xingquan Zhu. IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, VOL. 26, NO. 1, JANUARY 2014
Big Data: su inicio Adaptaciones de las técnicas de descubrimiento de conocimiento a los requerimientos de BD. On the use of MapReduce for imbalanced big data using Random Forest. Sara del Río, Victoria López, José Manuel Benítez, Francisco Herrera. Information Sciences 285 (2014) 112 137
Qué es Big Data? No hay una definición estándar Big data es una colección de datos grande, complejos, muy difícil de procesar a través de herramientas de gestión y procesamiento de datos tradicionales Big Data son datos cuyo volumen, diversidad y complejidad requieren nueva arquitectura, técnicas, algoritmos y análisis para gestionar y extraer valor y conocimiento oculto en ellos... 60
BD BD obliga a: Trabajar con mucha informacion privada y romper con los enfoques clasicos de seguridad de los datos. Manipular enormes cantidades de datos no estructurados. Mucho intercambio y cooperacion internacional. Romper con el enfoque relacional de las bases de datos. Buscar nuevas alternativas para el procesamiento paralelo. Data-intensive applications, challenges, techniques and technologies: A survey on Big Data C.L. Philip Chen, Chun-Yang Zhang, Information Sciences 275 (2014) 314 347 Richard T. Kouzes, Gordon A. Anderson, Stephen T. Elbert, Ian Gorton, Deborah K. Gracio, The changing paradigm of data-intensive computing, Computer 42 (1) (2009) 26 34.
Qué es Big Data? Las 3 V s de Big Data Volumen Big Data Variedad Velocidad 62
Qué es Big Data? 3 V s de Big Data 1ª:Volumen El volumen de datos crece exponencialmente Crecimiento x 44 de 2009 a 2020 De 0.8 zettabytes a 35ZB Crecimiento exponencial en los datos generados/almacenados 63
Qué es Big Data? 3 V s de Big Data Los DATOS se generan muy rápido y necesitan ser procesados rápidamente Online Data Analytics Decisiones tardías oportunidades perdidas A diferencia del clásico data warehouses que generalmente almacena data, big data es más dinámico, las decisiones tomadas usando BD pueden afectar los próximos datos. Ejemplos: E-Promociones: Basadas en la posición actual e historial de compra envío de promociones en el momento de comercios cercanos a la posición Monitorización/vigilancia sanitaria: Monitorización sensorial de las actividades del cuerpo cualquier medida anormal requiere una reacción inmediata 2ª:Velocidad 64
Qué es Big Data? 3 V s de Big Data Varios formatos y estructuras: 3ª:Variedad Texto, numéricos, imágenes, audio, video, secuencias, series temporales Una sola aplicación puede generar muchos tipos de datos Extracción de conocimiento Todos estos tipos de datos necesitan ser analizados conjuntamente 65
Qué es Big Data? 4ª V Veracidad 4ªV Veracidad 66
Qué es Big Data? 5 V s --> Valor 5ªV = Valor 67
Big Data. Aplicaciones Astronomía Genómica Telefonía Transacciones de tarjetas de crédito Tráfico en Internet Procesamiento de información WEB 68
Aplicaciones: BBVA Bank
Tratamiento computacional MapReduce: Paradigma de Programación para Big Data (Google) Plataforma Hadoop (Open access) Librería Mahout para Big Data. Otras librerías 70
MapReduce Escalabilidad de grandes cantidades de datos Exploración 100 TB en 1 nodo @ 50 MB/sec = 23 días Exploración en un clúster de 1000 nodos = 33 minutos Solución Divide-Y-Vencerás MapReduce Modelo de programación de datos paralela Concepto simple, elegante, extensible para múltiples aplicaciones Creado por Google (2004) Procesa 20 PB de datos por día (2004) Popularizado por el proyecto de codigo abierto Hadoop Usado por Yahoo!, Facebook, Amazon, 71
MapReduce Paralelización automática: Características Dependiendo del tamaño de ENTRADA DE DATOS se crean mutiples tareas MAP Dependiendo del número de intermedio <clave, valor> particiones se crean tareas REDUCE Escalabilidad: Funciona sobre cualquier cluster de nodos/procesadores Puede trabajar desde 2 a 10,000 máquinas Transparencia programación Manejo de los fallos de la máquina Gestión de comunicación entre máquina 72
MapReduce MapReduce es el entorno más popular para Big Data Basado en la estructura Valor-llave. Dos operaciones: 1. Función Map : Procesa bloques de información 2. Función Reduce function: Fusiona los resultados previos de acuerdo a su llave. + Una etapa intermedia de agrupamiento por llave input (k, v) (k, v) (k, v ) input input input map map map map k, list(v ) Shuffling: group values by keys reduc e v (k, v ) k, list(v ) (k, v) reduc e v (k, v ) k, list(v ) reduc e v output output output map (k, v) list (k, v ) reduce (k, list(v )) v (k, v) (k, v ) J. Dean, S. Ghemawat, MapReduce: Simplified data processing on large clusters, Communications of the ACM 51 (1) (2008) 107-113.
Hadoop http://hadoop.apache.org/ 74
Hadoop Hadoop Distributed File System (HDFS) es un sistema de archivos distribuido, escalable y portátil escrito en Java para el framework Hadoop Map Reduce Layer HDFS Layer Creado por Doug Cutting (chairman of board of directors of the Apache Software Foundation, 2010) Task tracker Job tracker Name node Data node Task tracker Data node http://hadoop.apache.org/ 75
Mahout Cuatro grandes áreas de aplicación Agrupamiento Clasificación Sistemas de Recomendaciones Asociación 76
Hadoop Mahout Qué algoritmos puedo encontrar para Hadoop? Analizamos 10 algoritmos muy conocidos MapReduce Decision trees (C4.5, Cart)(MReC4.5) K-Means SVM Apriori knn Naïve Bayes EM (Expectation Maximization) PageRank Adaboost No disponibles Palit, I., Reddy, C.K., 2012. Scalable and parallel boosting with mapreduce. IEEE TKDE 24 (10), pp. 1904-1916. (Amazon EC2 cloud, CGL-MapReduce: (modelos iterativos de MapReduce) 77
Generation 1st Generation 2nd Generation 3nd Generation Examples SAS, R, Weka, SPSS, KEEL Mahout, Pentaho, Cascading Spark, Haloop, GraphLab, Pregel, Giraph, ML over Storm Scalability Vertical Horizontal (over Hadoop) Horizontal (Beyond Hadoop) Algorithms Available Huge collection of algorithms Small subset: sequential logistic regression, linear SVMs, Stochastic Gradient Descendent, k-means clustering, Random forest, etc. Much wider: CGD, ALS, collaborative filtering, kernel SVM, matrix factorization, Gibbs sampling, etc. Algorithms Not Available Practically nothing Vast no.: Kernel SVMs, Multivariate Logistic Regression, Conjugate Gradient Descendent, ALS, etc. Multivariate logistic regression in general form, k-means clustering, etc. Work in progress to expand the set of available algorithms Fault- Tolerance Single point of failure Most tools are FT, as they are built on top of Hadoop FT: HaLoop, Spark Not FT: Pregel, GraphLab, Giraph
Ciencia de Datos Data Science o la Ciencia de Datos incorpora diferentes elementos y se basa en las técnicas y teorías de muchos campos, incluyendo las matemáticas, estadística, ingeniería de datos, reconocimiento de patrones y aprendizaje, computación avanzada, visualización, modelado de la incertidumbre, almacenamiento de datos y la informática de alto rendimiento con el objetivo de extraer el significado de datos y la creación de productos de datos.
Ciencia de Datos Qué es un Científico de Datos? Un científico de datos es un profesional que debe dominar las ciencias matemáticas y la estadística, acabados conocimientos de programación (y sus múltiples lenguajes), ciencias de la computación y analítica.
CIENTIFICO DE DATOS Surge como profesión el Científico de Datos Científico de Datos Oportunidad profesional: En 2015, Gartner predice que 4,4 millones de empleos serán creados en torno a big data. (Gartner, 2013) Fuente: http://www.gartner.com/technology/topics/big-data.jsp 81
Demanda de profesionales Una demanda creciente de profesionales en Big Data y Ciencia de Datos Oportunidades en Big Data (en España) http://www.revistacloudcomputing.com/2013/10/espana-necesitara-60-000-profesionales-de-big-datahasta-2015/?goback=.gde_4377072_member_5811011886832984067#! Existe una demanda mundial para formar a 4,4 millones de profesionales de la gestión Big Data desde ingenieros, gestores y científicos de datos, comenta Antón. Sin embargo, las empresas todavía no ven en el Big Data un modelo de negocio, lamenta. Solo se extrae un 1% de los datos disponibles en la red, añade. Hace falta formación y concienciación. 82
Big data 3.0 Big Data 3.0: Intelligent Una combinación de datos, con enormes bases de conocimiento y algoritmos de recopilación de información muy grandes, capaces de alcanzar el nivel de una verdadera inteligencia. Big Data 3.0: Intelligent Se pueden ver ejemplos pioneros de esto ya: Google Now, Watson, 83
Comentarios Finales Oportunidades en Big Data Big Data es un área emergente y en expansión. Las posibilidades de desarrollo de algoritmos para nuevos datos, aplicaciones reales es un nicho de investigación y desarrollo en los próximos años. 84