Plataforma Spark: catapulta Machine Learning
|
|
- Andrea Guzmán Pérez
- hace 5 años
- Vistas:
Transcripción
1 Título: Plataforma Spark: catapulta Machine Learning Autor: Dr. Gabriel Guerrero Fecha: Ref: gg _plataformaspark_catapultamachinelearning Descripción: Breve introducción a Spark ML Introducción La plataforma Spark es una catapulta del Aprendizaje Automatizado (ML Machine Learning), y así como la catapulta de Leonardo, la cual es una herramienta genial que permite con poco esfuerzo enviar un objeto pesado a gran distancia, hoy el marco de referencia (framework) Spark permite a los algoritmos y técnicas del Aprendizaje Automatizado (ML), llegar a horizontes de aplicación inusitados INUSITADO. Adjetivo. Que es inusual o raro y por ello resulta sorprendente. No habitual Del latín inusitātus, inusitado es un adjetivo que se utiliza para calificar a aquello desacostumbrado, extraño o poco usado. Lo inusitado, por lo tanto, es algo infrecuente. Así como la catapulta de Leonardo no construye piedras, pero las hace extremadamente útiles cuando son lanzadas a distancias nunca antes alcanzadas, la plataforma Spark no construye algoritmos de Aprendizaje Automatizado (Machine Learning), pero logra que se puedan realizar aplicaciones utilizándolos, las cuales transforman y surcan un nuevo horizonte en la naciente Ciencia de Datos (Data Science). Página1
2 Página2
3 Historia Spark Cuándo surge Spark? En 2009, el proyecto Spark inicia en la Universidad de California en Berkeley con los trabajos de tesis doctoral de Matei Zaharia, quien es un alumno de los profesores Ion Stoica y Michael Franklin. En 2010, se pone a disposición como Código Abierto (open source) con licenciamiento tipo BSD. En 2013, el proyecto se ofrece a la Apache Software Foundation y su licenciamiento se ofrece como tipo Apache 2.0. En 2014, el marco de referencia Spark se convierte en proyecto tipo Apache Top- Level Project y desde entonces ha acelerado su divulgación y uso de forma vertiginosa. Cómo surge? En una entrevista al Profesor Ion Stoica por Ben Lorica de O'Reilly nos cuenta la historia, que puede consultarse en: ( El profesor Ion Stoica comenta que por los años 2009 se tenía un proyecto denominado Nexus derivado del curso Temas Avanzados de Ciencias de la Computación ( Advanced Topics in Computer Systems ) del Prof. David Culler,,el cual cambió de nombre posteriormente a Mesos por cuestiones de derechos de autor con otro proyecto con ese mismo nombre. Página3
4 Este proyecto escolar inicial, derivó en la construcción del sistema Mesos como un sistema de manejo de un cluster, en el que colaboran Benjamin Hindman, Andy Konwinski, y Matei Zaharia. El sistema Mesos es un marco de referencia (framework) para el manejo de un cluster, que soporta varios diferentes tipos de sistemas de cluster (cluster management framework, which can support different kind of cluster computing systems). El sistema Mesos se documenta y presenta en el artículo: A Common Substrate for Cluster Computing,, que puede consultarse en Para complementar la historia, recordemos que uno de los tesistas era Benjamin Hindman, quien fue contratado por Twitter y donde fue uno de los promotores de BigData en Twitter. Recientemente se incorpora a Mesosphere, una compañía que promueve Mesos. Así en el año 2009 se tenía el marco de referencia Mesos y se deseaba mostrar que podía construirse utilizando este marco de referencia, un ambiente de cómputo distribuido al estilo Hadoop, pero mejorando los aspectos de cómputo iterativo e interactivo que eran debilidades del aspecto procesamiento de Hadoop MapReduce. Dentro de las principales aplicaciones de cómputo iterativo e interactivo tenemos precisamente las técnicas de Aprendizaje Automatizado (Machine Learning). Y así nace Spark como un proyecto que se construye utilizando el marco de referencia Mesos para ofrecer un ambiente de cómputo distribuido tolerante a fallas que soportara procesos iterativos e interactivos como los requiere el Aprendizaje Automatizado. Página4
5 En esa época en la Universidad de Berkeley se desarrollaba un proyecto para utilizar Hadoop Map/Reduce para técnicas y algoritmos de ML (Machine Learning), que tenía diversos inconvenientes. Por lo cual uno de los principales objetivos de Spark era ofrece soporte a algoritmos de Aprendizaje Automatizado en un contexto de Grandes Volúmenes para sistemas iterativos e interactivos. En esas fechas por los pasillos de la UC Berkeley existía un ambiente de investigación promovida también por Michael Franklin que después de una estancia de fuera de UC Berkeley regresa a la Universidad tratando de impulsar sistemas que permitan el manejo de grandes volúmenes con una perspectiva de aplicación a sistemas de análisis y toma de decisiones fundamentada en Aprendizaje Automatizado. Lo que ahora se denomina Analíticos en Grandes Volúmenes (Big Data Analytics). En ese entonces se tenía el RADLab (Reliable And Distributed computing Lab) y en este contexto desde 2009 gran parte de las investigaciones y tesis doctorales se enfocan en estos temas de BigData y Analíticos de Grandes Volúmenes de Datos. La entrevista a Michael Franklin se encuentra en Así Michael Franklin y Ion Stoica con finaciamientos de la Iniciativa BigData Obama y de empresas como Amazon WebServices, Google, SAP y otras crean el AMPLab (Algorithms Machine Peaple) en 2011 Página5
6 Otro de los requerimientos de Spark es ofrecer soporte para un sistema de enunciados SQL interactivos, como los requeridos por la compañía Conviva, para el manejo de video y sistemas analíticos. En un inicio el problema de la distribución de video es como realizar decisiones inteligentes para rutear y transmitir video en tiempo real sin fallas en la transmisión en una red Internet con fallas. La compañía Conviva, fundada en 2006, monitorea y optimiza video en línea para las proveedoras de video en tiempo real más importantes, en donde el Dr. Ion Stoica, es cofundador y CTO (Chief Technology Officer). La plataforma Conviva es un sistema en tiempo real que permite a los proveedores de contenido en Internet en formato video (video streaming) ofrecer el contenido con calidad de TV en Internet, sin importar las fallas de red y conectividad Internet. Hoy Conviva maneja mas de 4 mil millones de torrentes de videos (video streaming), con mas de 1.6 mil millones de dispositivos y mas de 200 proveedores de servicios de Video en Internet. Así otra de los requerimientos que se deseaba en Spark es trabajar torrentes de datos (Spark Streaming) y enunciados (SQL) de extracción en grandes volúmenes de datos (SQL Spark), lo que motivo lineas de investigacion del Prof Ion Stoica y los tesistas de la Universidad de California en Berkeley (UC Berkeley). Página6
7 Antecedentes de Spark Antes del mundo Spark surgieron una gran diversidad de contribuciones y sistemas del cómo manejar datos para su búsqueda y análisis 1962 Arbol AVL (Georgy Adelson-Velsky y Yevgeni Mijáilovich Landis). Esta es la estructura de Arbol AVL propuesto por los matematicos rusos que ofrece la mejor forma de almacenar contenido para su busqueda Berkeley DB. Bibliotecas de instrumentación del concepto AVL que fueron propuestas dentro del sistema de archivos Unix y que en una instrumentación fuera de Unix ofrecen unos investigadores de UC Berkeley fundando una compañía Sleepycat. Esta biblioteca se mejora e instrumenta en forma de código inmerso para crear el concepto de Base de datos inmersa (Embedded database) 2003 Berkeley DB XML 2003 Google File System 2004 Berkeley DB JavaEdition 2004 MapReduce 2006 Berkeley DB Oracle BigTable 2008 Dremel Página7
8 Bibliotecas Spark El marco de referencia (framework) Spark ofrece un conjunto de bibliotecas para el desarrollo de aplicaciones. Entre las bibliotecas básicas integradas en la versión núcleo se tienen: Spark SQL Es el modulo para el trabajo con datos estructurados. Spark Streaming permite la construcción sencilla de aplicaciones escalables y tolerantes a fallas utilizando torrentes de datos. MLlib es una biblioteca escalable con algoritmos de Aprendizaje Automatizado (scalable machine learning library). GraphX es la biblioteca de Apache Spark para grafos y cómputo paralelo de grafos. Página8
9 BDAS, Berkeley Data Analytics Stack Con el objetivo de ofrecer un ambiente integral para el conjunto de aplicaciones de grandes volúmenes de datos distribuidos y tolerante a fallos, el marco de referencia (framework) Spark continúa añadiendo componentes en una forma unificada. Este es el proyecto BDAS (Berkeley Data Analytics Stack) BDAS es una pila de aplicaciones de código abierto (open source software stack) que integra las componentes de sistemas construidas por el Laboratorio AMPLab de UC Berkeley alrededor del concepto de Analíticos de Grandes Volúmenes (BigData Analytics) Página9
10 Página10
11 Algoritmos de Aprendizaje Automatizado (ML) en Spark MLlib es la biblioteca de Spark que es escalable de algoritmos de Aprendizaje Automatizado (machine learning library) que incluye herramientas como clasificación (classification), regresión (regression), agrupación (clustering), filtrado colaborativo (collaborative filtering), reducción de dimensiones (dimensionality reduction). Hoy la idea es NO INVENTAR EL AGUA TIBIA en el Aprendizaje Automatizado de Grandes Volúmenes de Datos (BigData Analytics), y aplicar el tipo de algoritmo más conveniente a un problema y NO PROGRAMAR DESDE EL INICIO los algoritmos. Hoy debemos pensar en los Algoritmos de Aprendizaje Automatizado como instrumentos o utensilios como en una analogía de un gran banquete. Hoy los comensales quieren bocadillos y banquetes JUSTO A TIEMPO y de FORMA INSTANTANEA (Streaming) para una gran población (usuarios Internet) en un extenso territorio (cobertura Internet), sin importar si en la cocina se prepararon con el mejor horno (Spark y BDAS) y las mejores recetas (Algoritmos ML eficientes)!! Hoy Spark ofrece uno de los mejores instrumentos con una gran variedad de recetas de ML, en particular ya se cuenta en MLlib 1.3 los siguientes algoritmos listos para utilizarse: Ver página Spark ML Página11
12 Tipos de datos Estadísticas Básicas Resumen estadístico Correlación Muestreo estratificado Prueba de hipótesis Generación aleatoria de datos Clasificación y regresión Modelos lineales (SVMs, regresión logística, regresión lineal) Ingenuo de Bayes Arboles de decisión Familias de Arboles (Bosques de árboles y Árboles de Impulso- Gradiente) Regresión Isotónica Filtrado Colaborativo Alternado de Mínimos Cuadrados (ALS) Clustering K-medias Mezcla de Gauss Agrupación Iteración de potencias (PIC) Asignación de Dirichlet Latente (LDA) Streaming de K-medias Reducción de dimencionalidad Descomposición de valores singulares (SVD) Análisis de componentes principales (PCA) Extracción de características y transformación Minería por patrones frecuentes Crecimiento FP Optimización (desarrollo) Descenso de gradiente estocástico Limitación de memoria BFGS (L-BFGS) Modelo de Exportación PMML Página12
13 Resumen Hoy la plataforma Spark y los algoritmos de Aprendizaje Automatizado incluidos en sus bibliotecas ofrecen a la Ciencia de Datos (Data Science) una Catapulta para promover la generación de aplicaciones de Analíticos de Grandes Volúmenes de Datos (BigData Analytics), en particular en la rama de Aprendizaje Automatizado en Tiempo Real utilizando la componente Spark Streaming y SQL Spark para la extracción de información con enunciados SQL. Página13
YO, CIENCIA DE DATOS. BIG DATA DAY Facultad de Ciencias, UNAM Ciudad de México, marzo 2016
YO, CIENCIA DE DATOS BIG DATA DAY Facultad de Ciencias, UNAM Ciudad de México, marzo 2016 Qué es CIENCIA DE DATOS? La ciencia de datos es un campo interdisciplinario que involucra los procesos y sistemas
Más detallesPLATAFORMA SPARK: CATAPULTA MACHINE LEARNING
PLATAFORMA SPARK: CATAPULTA MACHINE LEARNING Dr. Gabriel Guerrero www.saxsa.com.mx 29 de julio de 2015 Introducción La catapulta de Leonardo, una herramienta genial. Permite con poco esfuerzo enviar un
Más detallesAcelerando la innovación con Apache Spark. Ricardo Barranco Fragoso IBM Big Data & Analytics Specialist
Acelerando la innovación con Apache Ricardo Barranco Fragoso Big Data & Analytics Specialist rbarran@mx1.ibm.com México Big Data y la Ciencia de Datos Entonces, la Ciencia de Datos es...? Es realmente
Más detallesCICLO INTEGRAL BIG DATA PARA EL DESARROLLO DE APLICACIONES PRODUCTIVAS
CICLO INTEGRAL BIG DATA PARA EL DESARROLLO DE APLICACIONES PRODUCTIVAS QUIÉNES SOMOS? Centro de Formación saxsa El Centro de Formación saxsa es parte de saxsa, empresa líder en Soluciones Big Data con
Más detallesBIG DATA: Una mirada tecnológica
BIG DATA: Una mirada tecnológica Dr. Rubén Casado ruben.casado@treelogic.com @ruben_casado AGENDA 1. Qué y cómo es Big Data? 2. Batch processing 3. Real-time processing 4. Hybrid computation model 5. Casos
Más detallesCURSO DE APACHE SPARK_
DURACIÓN: 72 HORAS Apache Spark es un motor de procesamiento distribuido construido para aumentar la velocidad de procesamiento de grandes cantidades de datos añadiendo facilidad de uso y un análisis sofisticado.
Más detallesANALÍTICA DE BIG DATA (BDA)
ANALÍTICA DE BIG DATA (BDA) Tendencias Retos Oportunidades Fabián García Nocetti IIMAS-UNAM CAACFMI-UNAM AMIAC Ciencia de Datos y Big Data Analítica de Big Data (BDA) Aplicaciones Arquitectura General
Más detallesBIGDATA EN LA EMPRESA
ITAM México D.F., 21 agosto 2015 BigData? No sólo es un cambio tecnológico, es una evolución empresarial y de los negocios. No cambia los procesos productivos de una empresa pero sí los complementa. BigData?
Más detallesEncontrando estructura en grandes volúmenes de datos
Encontrando estructura en grandes volúmenes de datos ACIS 13 de julio 2017 Carenne Ludeña Facultad de Ciencias Básicas Sobre mi trabajo: Profesora/investigadora en estadística Intereses: estadística, modelos,
Más detallesEstamos en crisis, Y tú qué harías?
Estamos en crisis, Y tú qué harías? Dr. Gabriel Guerrero Conferencia en la Facultad de Ciencias de la UNAM Fecha de la Conferencia: 10 de Febrero del 2017 Referencia: gg20170211_estamosencrisis_tuqueharias.doc
Más detallesDESARROLLO APLICACIONES BUSINESS INTELLIGENCE CON MS SQL SERVER Big Data
DESARROLLO APLICACIONES BUSINESS INTELLIGENCE CON MS SQL SERVER 2016 + Big Data DESCRIPCIÓN Este curso está orientado a brindar a los alumnos los fundamentos necesarios en el campo del Business Intelligence
Más detallesAndres Felipe Rojas / Nancy Gelvez. UNESCO UNIR ICT & Education Latam Congress 2016
Distributed processing using cosine similarity for mapping Big Data in Hadoop (Procesamiento distribuido usando similitud de coseno para mapear Big Data en Haddop) Andres Felipe Rojas / Nancy Gelvez UNESCO
Más detallesAplicación de Apache Spark y su librería MLlib para el desarrollo de sistemas recomendadores
Aplicación de Apache Spark y su librería MLlib para el desarrollo de sistemas recomendadores Enrique Costa-Montenegro1, Alexander Tsybanev1, Héctor Cerezo-Costas2, Francisco Javier González-Castaño 1,
Más detallesUso de la biblioteca Spark Streaming
Título: Uso de la biblioteca Spark Streaming Autor: Gabriel Guerrero Fecha: 20150705 Ref: gg20150705_usosparkstreaming Descripción: Se introduce el concepto de torrentes de datos en un ambiente Spark utilizando
Más detallesBig Data Analytics & IBM BIG INSIGHT
Big Data Analytics & IBM BIG INSIGHT En la actualidad se generan grandes volumenes de datos de diversos tipos, a gran velocidad y con diferentes frecuencias. Las tecnologıas disponibles permiten efectuar
Más detallesBuenas prácticas para la implementación de herramientas de Ciencia de Datos Leonardo Alfonso Ramos Corona Facultad de Geografía, UAEM.
Buenas prácticas para la implementación de herramientas de Ciencia de Datos Leonardo Alfonso Ramos Corona Facultad de Geografía, UAEM. Qué es la ciencia de datos? Es muy difícil encontrar una definición
Más detallesMÁSTER EN BIG DATA MANAGEMENT & DATA ENGINEERING. Master
MÁSTER EN BIG DATA MANAGEMENT & DATA ENGINEERING Master MÁSTER EN BIG DATA MANAGEMENT & DATA ENGINEERING MBD_MÓDULO 1: FUNDAMENTOS DE BIG DATA 1. Qué es Big Data y qué no es Big Data 2. Business Intelligence
Más detallesBig Data & Machine Learning. MSc. Ing. Máximo Gurméndez Universidad de Montevideo
Big Data & Machine Learning MSc. Ing. Máximo Gurméndez Universidad de Montevideo Qué es Big Data? Qué es Machine Learning? Qué es Data Science? Ejemplo: Predecir origen de artículos QUÉ DIARIO LO ESCRIBIÓ?
Más detallesBig Data y Análisis de Sentimiento
Big Data y Análisis de Sentimiento Daniel Robins, Director de Tecnología de KUNAN SA Profesor de Bases de Datos II Universidad Nacional de Chilecito daniel.robins@kunan.com.ar Agenda Introducción a Big
Más detallesNuevo plan de estudios. Especialización en Inteligencia de Negocios. Marzo de Curso Descripción Corta Contenidos
Nuevo plan de estudios Especialización en Inteligencia de Negocios Marzo de 2018 Curso Descripción Corta Contenidos Fundamentos de Inteligencia de Negocios y Gobierno de datos Almacenamiento de Información
Más detallesDiplomado Big Data. Educación Profesional Escuela de Ingeniería Pontificia Universidad Católica de Chile 1
Diplomado Big Data 1 DESCRIPCIÓN En la era digital, la masiva producción de datos abre infinitas oportunidades para un efectivo análisis de la información. El diplomado Big Data proporciona una sólida
Más detallesDIPLOMADO EN DATA MINING
DIPLOMADO EN DATA MINING DIPLOMADO EN DATA MINING Los datos que tienen relevancia para las decisiones de gestión, se están acumulando a un ritmo increíble, debido a una serie de avances tecnológicos. La
Más detallesDiplomado en Big Data (DBD)
Diplomado en Big Data (DBD) 1 DESCRIPCIÓN En la era digital, la masiva producción de datos abre infinitas oportunidades para un efectivo análisis de la información. El diplomado Big Data proporciona una
Más detallesCURSOS BIGDATA. Para más información y costos: Lic. Nayana Guerrero
CURSOS BIGDATA Curso: Introducción al mundo BigData Duración: 3 sesiones 12 horas Conocimientos previos: No se requieren conocimientos de programación Sesión I. Qué es Big Data? De dónde surge? Cómo se
Más detallesArquitectura de sistemas: Título: AnalyticsMOOC- Solución TIC Big Data para entornos MOOC Número de expediente: TSI
Arquitectura de sistemas: Título: AnalyticsMOOC- Solución TIC Big Data para entornos MOOC Número de expediente: TSI- 100105-2014-192 Código: Fecha: 11/12/2014 Persona de Contacto: Carlos Vicente Corral
Más detallesÍndice general. Prefacio...5
Índice general Prefacio...5 Capítulo 1 Introducción...13 1.1 Introducción...13 1.2 Los datos...19 1.3 Etapas en los procesos de big data...20 1.4 Minería de datos...21 1.5 Estructura de un proyecto de
Más detallesLa combinación perfecta
La combinación perfecta Eynar Espinoza Pérez Big Data Latam Leader eespinoz@cl.ibm.com Una nueva Economía The Insight Economy está aquí Los innovadores están viendo los beneficios: La analítica retornan
Más detallesIntroducción. Si yo tuviera 20 años, Qué haría con mis estudios en matemáticas y computación? Dr. Gabriel Guerrero
Título: Autor: FechaCreacion: 20160430 FechaModificacion: 20160601 Ref: gg20160601_tuneldeltiempo.doc Introducción En fechas recientes reflexionando como organizar una conferencia a un grupo de estudiantes
Más detallesGrado en Ingeniería Informática
Grado en Ingeniería Informática CENTRO RESPONSABLE: FACULTAD DE CIENCIAS RAMA: Ingeniería y Arquitectura CRÉDITOS: 240,00 DISTRIBUCIÓN DE CRÉDITOS DE LA TITULACIÓN FORMACIÓN BÁSICA: 72,00 OBLIGATORIOS:
Más detallesMitos y Realidades del Big Data -Introducción al Big Data-
Jornada: Mitos y Realidades del Big Data -Introducción al Big Data- Urko Zurutuza Dpto. Electrónica e Informática Mondragon Goi Eskola Politeknikoa JMA Mondragon Unibertsitatea Agenda Introducción al Big
Más detallesMÁster en Data Science y Arquitectura Big Data_ DURACIÓN: 248 HORAS
MÁster en Data Science y Arquitectura Big Data_ DURACIÓN: 248 HORAS MÁster en Data Science y Arquitectura Big Data_ El Máster en Data Science y Arquitectura Big Data ha sido diseñado para formar al alumno
Más detallesV https://www.google.com/analytics/resources/white-paper-mit-tr-analytics-machine-learning.html?utm_source=twitter&utm_medium=social-owned&utm_campaign=2016-q4-gbl-all-ga360-suite&utm_content=mit-whitepaper
Más detallesCURSO: DESARROLLADOR PARA APACHE HADOOP
CURSO: DESARROLLADOR PARA APACHE HADOOP CAPÍTULO 2: INTRODUCCIÓN A HADOOP www.formacionhadoop.com Índice 1 Qué es Big Data? 2 Qué es Hadoop? 3 Historia de Hadoop 4 Por qué utilizar Hadoop? 5 Core Hadoop
Más detallesGlobal Technology Outlook 2013 Overview
Elisa Martín Garijo, IBM Distinguish Engineer and CTO for IBM Spain. Global Technology Outlook 2013 Overview Global Technology Outlook 2013 - Do Not Distribute Qué es el Global Technology Outlook (GTO)?
Más detallesCURSO: APACHE SPARK CAPÍTULO 1: INTRODUCCIÓN.
CURSO: APACHE SPARK CAPÍTULO 1: INTRODUCCIÓN www.formacionhadoop.com Índice 1 Por qué realizar el curso de Apache Spark? 2 Requisitos previos del curso 3 Bloques del curso 4 Objetivos 5 Tutor del curso
Más detallesDeveloper Training for Spark and Hadoop
Developer Training for Spark and Hadoop Duración 5 días 28 horas Este curso práctico de cuatro días ofrece los conceptos clave y la experiencia que necesitan los desarrolladores para desarrollar aplicaciones
Más detallesMarco Tulio Gómez. Business Intelligence Consultant Soluciones Computarizadas. #sqlsatmexico. Data Factory
Marco Tulio Gómez Business Intelligence Consultant Soluciones Computarizadas mgomez@solcomp.com #sqlsatmexico Data Factory Agradecimiento a nuestros patrocinadores #sqlsatmexico Introducción La plataforma
Más detallesBIG DATA SCIENCE & ANALYTICS
BIG DATA SCIENCE & ANALYTICS Enzo Roccasalva Head of Practice: Advanced Analytics & Risk CONOCIENDO A SAS +40 Años de Experiencia +75,000 Instalaciones +140 Países 1 o Empresa privada de software más grande
Más detallesDATA SCIENCE NIVEL II
PROGRAMAS DE ESPECIALIZACIÓN EN CIENCIA DE DATOS Programa de Especialización en: DATA SCIENCE NIVEL II Inicio 4 de Agosto 2018 MÓDULO I: 1. MODELOS DE CLASIFICACIÓN : REG.PENALIZADAS. 2. MODELOS DE CLASIFICACION
Más detallesCÓMO CONTROLAR EL MOVIMIENTO DE DISPOSITIVOS CON EL USO DE ACTIONABLE ANALYTICS EJEMPLO DE RASTREO DE ACTIVOS. Yoselí Orozco Preventa-Consultor BSS
CÓMO CONTROLAR EL MOVIMIENTO DE DISPOSITIVOS CON EL USO DE ACTIONABLE ANALYTICS EJEMPLO DE RASTREO DE ACTIVOS Yoselí Orozco Preventa-Consultor BSS QUÉ DEBEN TOMAR EN CUENTA EN EL CAMPO IOT, LOS OPERADORES
Más detallesII TALLER DE ESPECIALIZACIÓN EN: BIG DATA APLICADO (Aprobado con Acuerdo de Consejo Universitario No )
II TALLER DE ESPECIALIZACIÓN EN: BIG DATA APLICADO (Aprobado con Acuerdo de Consejo Universitario No. 0911-2018) (13, 15, 17, 20, 22, 24, 27, 29, 31 Agosto y 03 de Setiembre del 2018) Informes e inscripción:
Más detallesPrograma Internacional. Programa Certificado en. Big Data
Programa Internacional Programa Certificado en Big Data A1 Introducción La revolución del Mundo Digital ha permitido que las personas encuentren un gran sinnúmero de información, en el cual el problema
Más detallesDiplomado. Big Data Analytics. Administrando y explotando el potencial de grandes volúmenes de datos
Diplomado Big Data Analytics Administrando y explotando el potencial de grandes volúmenes de datos Bienvenido, Diplomado Big Data Analytics Presentación El término Big Data se refiere a conjuntos de datos
Más detallesCurso: Introducción a Hadoop & Big Data Comprende los orígenes principales del Big Data
1 Curso: Introducción a Hadoop & Big Data Comprende los orígenes principales del Big Data 2 Presentación El curso presenta los principales componentes de soluciones BIg Data, profundizando en el ecosistema
Más detallesComputación distribuida e inteligencia computacional aplicadas a ciudades inteligentes
Computación distribuida e inteligencia computacional aplicadas a ciudades inteligentes Sergio Nesmachnow, Renzo Massobrio, Sebastián Baña Universidad de la República, Uruguay AGENDA Ciudades inteligentes
Más detallesAprenda y evalúe los problemas de escalabilidad, haga que el trabajo sea más productivo, ahorrando tiempo y dinero.
Abordando los desafíos de Big Data. Justificación del programa. En este curso virtual se abordarán temas de vanguardia en el área de Big Data, con énfasis en la recopilación de datos (teléfonos inteligentes,
Más detallesMÁSTER: MÁSTER BIG DATA ANALYTICS
MÁSTER: MÁSTER BIG DATA ANALYTICS Información detallada del máster www.formacionhadoop.com El máster online Big Data Analytics de 190 horas tiene como objetivo formar a profesionales expertos en Big Data
Más detallesTecnologías para la Gestión de Datos y Redes. Ponente: Dr. Iván López Arévalo
Tecnologías para la Gestión de Datos y Redes Ponente: Dr. Iván López Arévalo Ciudad Victoria, Tamaulipas 8 de junio, 2017 Introducción: tendencias tecnológicas Tecnologías disruptivas y avances tecnológicos
Más detallesGuía docente de la asignatura
Guía docente de la asignatura Asignatura Materia Módulo Titulación Plan Periodo de impartición INFRAESTRUCTURA PARA EL BIG DATA TECNOLOGÍAS INFORMÁTICAS PARA EL BIG DATA (vacío) MASTER UNIVERSITARIO EN
Más detallesAplicación de Spark para procesamiento continúo de datos de Twitter sin filtros
Título: Aplicación de Spark para procesamiento continúo de datos de Twitter sin filtros Autor: Gabriel Guerrero Fecha: 20150711 Ref: gg20150711_streamingtwitter_1 Introducción Una de las aplicaciones de
Más detallesA10. Big Data: Herramientas para el procesamiento de datos masivos
A10. Big Data: Herramientas para el procesamiento de datos masivos MÁSTER UNIVERSITARIO EN INVESTIGACIÓN EN INTELIGENCIA ARTIFICIAL UNIVERSIDAD INTERNACIONAL MENÉNDEZ PELAYO Este documento puede utilizarse
Más detallesBig Data. Plan de Estudio
Big Data Plan de Estudio Descripción Big Data, inteligencia de datos o datos masivos, se refiere a conjuntos de datos tan grandes que aplicaciones informáticas tradicionales de procesamiento de datos no
Más detallesBig Analytics: de la información al conocimiento
Programa Introducción Arquitectura/Bases de datos relacionados /Infraestructuras (AMAZON) R Introducción al análisis masivo de datos: descriptivos y visualización de Big Data Hackathon + Series Temporales
Más detallesCURSO: ANÁLISIS DE DATOS CON APACHE SPARK
CURSO: ANÁLISIS DE DATOS CON APACHE SPARK Información detallada del curso www.formacionhadoop.com El curso online Análisis de datos con Apache Spark de 60 horas está recomendado para todos aquellos profesionales
Más detallesSAP HANA-MundoBio Simple Finance
SAP HANA-MundoBio Simple Finance Trabajo Final Carrera Vanesa Callejo Garcia Consultora: Humi Guill Introduccion El objetivo del presente Trabajo Final de Carrera consiste en realizar un estudio de investigación
Más detallesMÁSTER EN ARQUITECTURA Y TECNOLOGÍA BIG DATA ASIGNATURAS OBLIGATORIAS
Propio: MÁSTER EN ARQUITECTURA Y TECNOLOGÍA BIG DATA Código Plan de s: EN22 Año Académico: 2018-2019 ESTRUCTURA GENERAL DEL PLAN DE ESTUDIOS: CURSO Obligatorios Optativos Prácticas Externas Memoria/ Proyecto
Más detallesPlan Académico
Plan Académico 2018-2019 Máster en Big Data & Business Analytics (MBDA) Norberto Díaz-Díaz Director Académico MBDA Módulo I. Introducción Asignatura: Introducción a Big Data En esta asignatura se introduce
Más detallesPROPUESTA DE MINOR CIENCIA DE LOS DATOS. DATA SCIENCE Resultados de Aprendizaje del Minor
PROPUESTA DE MINOR Nombre del Minor CIENCIA DE LOS DATOS DATA SCIENCE del Minor Al finalizar el Minor el estudiante logrará: Analizar y representar grandes volúmenes de datos complejos tales como: imágenes,
Más detallesIntroduction to MLlib
Introduction to MLlib Hola! Sergio Ramírez sramirez@decsai.ugr.es Ph. D candidate from University of Granada, and member of the SCI 2 S research group and that s what I do: http://sci2s.ugr.es/bigdata
Más detallesen Big Data y Business Analytics
en Big Data y Business Analytics 600 horas (60 ECTS) Programa MÓDULO 1: INTRODUCCIÓN AL BIG DATA... 2 MÓDULO 2: BBDD RELACIONALES: SQL. DISEÑO DE UN DATAWAREHOUSE... 2 MÓDULO 3: BBDD NoSQL y HDFS... 3
Más detallesA10. Big Data: Herramientas para el procesamiento de datos masivos
A10. Big Data: Herramientas para el procesamiento de datos masivos MÁSTER UNIVERSITARIO EN INVESTIGACIÓN EN INTELIGENCIA ARTIFICIAL UNIVERSIDAD INTERNACIONAL MENÉNDEZ PELAYO Este documento puede utilizarse
Más detalles(Realidad) Capacidades Analíticas. (Contexto)
Modelos Analíticos Capacidades Analíticas (Realidad) Capacidades Analíticas (Contexto) Del Big Data se ha pasado a la Inteligencia Artificial (IA) cuando a realidad se ha impuesto, los datos per se, no
Más detallesCurso: Python for Analytics. Aprende Python orientado a la ciencia y minería de datos
1 Curso: Python for Analytics Aprende Python orientado a la ciencia y minería de datos 2 Presentación Python es un lenguaje de programación potente y fácil de aprender. Cuenta con estructuras de datos
Más detallesIntroducción a la Ciencia de Datos
25 de septiembre de 2015 Documento protegido por GFDL Copyright (c) 2015. e-mail: guillermo(en)movimientolibre.com http://www.movimientolibre.com/ Se otorga permiso para copiar, distribuir y/o modificar
Más detallesCAPÍTULO 1. INTRODUCCIÓN
CAPÍTULO 1. INTRODUCCIÓN Las tecnologías de la información son herramientas que ayudan a las personas a tomar decisiones de forma eficiente y efectiva. Los Data Warehouse [16, 5], Minería de datos [9,
Más detallesDATA SCIENCE NIVEL I
PROGRAMAS DE ESPECIALIZACIÓN EN CIENCIA DE DATOS Rectorado Programa de Especialización DATA SCIENCE NIVEL I Del 4 de agosto al 29 de setiembre 2018 MÓDULO I: 1. FUNDAMENTOS DE MACHINE LEARNING 2. MODELOS
Más detallesExperto en Data Mining
titulación de formación continua bonificada expedida por el instituto europeo de estudios empresariales Experto en Data Mining duración total: precio: 0 * modalidad: Online * hasta 100 % bonificable para
Más detallesCurso: Python for Analytics
1 Curso: Python for Analytics 2 Presentación Python es un lenguaje de programación potente y fácil de aprender. Cuenta con estructuras de datos eficientes, de alto nivel y un enfoque simple pero efectivo
Más detallesRequisitos Sueldo No. posiciones netos mensuales Dependieno experiencia y conocimeinto
CDMX, 22 de mayo de 18 Perfil Empresa que solicita Requisitos Sueldo No. posiciones Experiencia comprobable en el desarrollo de aplicaciones desktop para plataforma Windows utilizando Visual Studio; Contacto
Más detallesCurso Big Data: Herramientas Tecnológicas y Aplicaciones para Negocio
Curso Big Data: Herramientas Tecnológicas y Aplicaciones para Negocio 20 horas 3ª Edición A Coruña, 4, 5, 11 y 12 de Noviembre de 2016 Big Data: Herramientas Tecnológicas y Aplicaciones para Negocio Introducción
Más detallesLa importancia de Big Data en finanzas
La importancia de Big Data en finanzas Jornada sobre Tecnologías de la computación en el Sector Financiero Emilio Parrado Hernández (emilio. parrado@bbva.com) Global Strategies and Data Science Outline
Más detallesGUÍA DE APRENDIZAJE ASIGNATURA SISTEMAS BASADOS EN APRENDIZAJE AUTOMATICO. CURSO ACADÉMICO - SEMESTRE Primer semestre
GUÍA DE APRENDIZAJE ASIGNATURA SISTEMAS BASADOS EN APRENDIZAJE AUTOMATICO CURSO ACADÉMICO - SEMESTRE 2015-16 - Primer semestre FECHA DE PUBLICACIÓN Julio - 2015 Datos Descriptivos Nombre de la Asignatura
Más detallesIAAE - Inteligencia Artificial Aplicada a la Ingeniería
Unidad responsable: Unidad que imparte: Curso: Titulación: Créditos ECTS: 2017 295 - EEBE - Escuela de Ingeniería de Barcelona Este 723 - CS - Departamento de Ciencias de la Computación GRADO EN INGENIERÍA
Más detallesEntornos de programación paralela basados en modelos/paradigmas
Program. paralela/distribuida Entornos de programación paralela basados en modelos/paradigmas Sobre la programación paralela 1 Índice Reflexiones sobre la programación paralela MapReduce Propuesta original
Más detallesBig Data, qué es y su impacto en las áreas de Riesgo y Crédito. Augusto Umaña Ruiz. Banco Davivienda. Gerente de Inteligencia de Negocios
Big Data, qué es y su impacto en las áreas de Riesgo y Crédito Augusto Umaña Ruiz Banco Davivienda Gerente de Inteligencia de Negocios aumana@davivienda.com Qué es Big Data Viejo Problema. Nuevas Soluciones
Más detallesDATA SCIENCE EN EL MUNDO REAL
DATA SCIENCE EN EL MUNDO REAL Estás preparado para ser el CDO (Chief Data Officer) que necesita la empresa? Rafael García Gallardo Fundador MSMK Big Talent + Big Data = Big Opportunities POR QUÉ MSMK -
Más detallesLa educación como protagonista del futuro productivo. José Luis Roces Rector ITBA
La educación como protagonista del futuro productivo José Luis Roces Rector ITBA De dónde venimos SOCIEDAD INDUSTRIAL Eventos significativos de la Sociedad Industrial Hacia dónde vamos SOCIEDAD DIGITAL
Más detallesIAAE - Inteligencia Artificial Aplicada a la Ingeniería
Unidad responsable: Unidad que imparte: Curso: Titulación: Créditos ECTS: 2017 295 - EEBE - Escuela de Ingeniería de Barcelona Este 723 - CS - Departamento de Ciencias de la Computación GRADO EN INGENIERÍA
Más detallesIAAE - Inteligencia Artificial Aplicada a la Ingeniería
Unidad responsable: Unidad que imparte: Curso: Titulación: Créditos ECTS: 2017 295 - EEBE - Escuela de Ingeniería de Barcelona Este 723 - CS - Departamento de Ciencias de la Computación GRADO EN INGENIERÍA
Más detallesTabla de Contenido. iii
Tabla de Contenido 1. Introducción... 1 1.1. Contexto... 1 1.2. Oportunidad de mejora... 2 1.3. Objetivos de la tesis... 3 1.4. Propuesta de solución... 3 2. Marco teórico... 4 2.1. Big Data... 4 2.1.1.
Más detallesCURSOS DE PROGRAMACIÓN EN R
CURSOS DE PROGRAMACIÓN EN R ENERO 2019 PROGRAMA DE CURSOS DE PROGRAMACIÓN EN R 1.- INTRODUCCIÓN. Actualmente tener conocimientos de programación en R es una gran ventaja para los profesionales, actuarios
Más detallesBig Data y Seguridad
Big Data y Seguridad Introducción Análisis de datos y su proceso de madurez Se han analizado datos desde hace mucho tiempo, ahora la calidad y cantidad están aumentando. 2500 petabytes generados por día.
Más detallesProcesamiento Digital de Imágenes
Programa Licenciatura en Ciencias Educativo: Computacionales PROGRAMA DE ESTUDIO Área de Integral Profesional Formación: Horas teóricas: 1 Horas prácticas: 4 Total de Horas: 5 Procesamiento Digital de
Más detallesCURSOS CONENTO. Una puerta abierta para que puedas desarrollar tus propios análisis
CURSOS CONENTO Una puerta abierta para que puedas desarrollar tus propios análisis Introducción Este documento recoge la lista de los cursos que ofrecemos para ayudar a nuestros clientes a incrementar
Más detallesII TALLER DE ESPECIALIZACIÓN EN:
II TALLER DE ESPECIALIZACIÓN EN: (14,16, 18, 21, 23, 25, 28 y 30 de mayo del 2018) Informes e inscripción: 70 80 000 anexo 0169 Piso 8 de la Torre Administrativa Universidad, Av. Benavides 5440 Santiago
Más detallesMáster en Big Data & Analytics Curso:
Máster en Big Data & Analytics Curso: 2018-19 Online Máster en Big Data & Analytics Datos básicos Créditos ECTS: 60 Modalidad: Online Tipo de posgrado: Título propio Idioma en el que se imparte: Español
Más detallesInteligencia de Negoción con GlobalDataMED
Inteligencia de Negoción con GlobalDataMED Inteligencia de Negocios Soluciones de software que ayudan a las personas de todos los niveles de su organización de salud a tomar decisiones financieras, operativas
Más detallesCurso Big Data para la Industria
Curso Big Data para la Industria Características destacadas Dirigido a Profesionales que trabajen o quieran hacerlo con grandes volúmenes de datos o profesionales técnicos del área IT que tengan previsto
Más detallesIntroducción. BDAS (Berkeley Data Analytics Stack) Fuente: https://amplab.cs.berkeley.edu/software/
1 Título: Succinct Spark, el eslabón perdido en Spark Big Data Autor: Dr. Gabriel Guerrero Ref: rcg20160224_succinct_eslabonperdido.doc Fecha: 20160224 Introducción Desde hace un par de años, el mundo
Más detallesCurso Big Data: Herramientas Tecnológicas y Aplicaciones para Negocio
Curso Big Data: Herramientas Tecnológicas y Aplicaciones para Negocio 20 horas 4ª Edición Vigo, 27 y 28 de Enero y 3 y 4 de Febrero de 2017 Big Data: Herramientas Tecnológicas y Aplicaciones para Negocio
Más detallesEspecialidad en Sistemas de Información
Grado en Ingeniería Informática Especialidad en Sistemas de Información 24-4-2018 Sistemas de Información Motivación: Cada vez más profesionales de la Informática son necesarios en empresas usuarias de
Más detallesPrograma: Analista de Datos
Información básica Duración: 30 semanas / 450 horas Modalidad: Online con el apoyo de los tutores Horario: 15/20 horas semanales de trabajo Instructores: Ester Bernardó (ester.bernardo@gmail.com) Web del
Más detallesPROGRAMA SUPERIOR EN INTERNET DE LAS COSAS E INDUSTRIA 4.0. Programa Superior
PROGRAMA SUPERIOR EN INTERNET DE LAS COSAS E INDUSTRIA 4.0 Programa Superior PROGRAMA SUPERIOR EN INTERNET DE LAS COSAS E INDUSTRIA 4.0 1. La Digitalización de la Industria en la Estrategia Empresarial
Más detallesCURSO FORMATIVO. Big Data Processing. 199 horas. Contenido desarrollado por Sinergyc Partners
CURSO FORMATIVO Big Data Processing 199 horas Contenido desarrollado por Sinergyc Partners 1 1. PRESENTACIÓN 03 2. QUE VAS A APRENDER? 03 3. CÓMO SE ESTUDIA? 04 4. FORMACIÓN EN BIG DATA PROCESSING 05 Formación
Más detallesGuía docente de la asignatura
Guía docente de la asignatura Asignatura Materia Módulo Titulación TECNOLOGÍA PARA EL BIG DATA BIG DATA TECNOLOGÍAS INFORMÁTICAS DEL BIG DATA MÁSTER EN INGENIERÍA INFORMÁTICA Plan 510 53203 Periodo de
Más detallesUso de herramientas de software libre y freeware en investigaciones de Delitos Financieros Oscar H. Moratto Managing Director Beyond Risk Colombia
Uso de herramientas de software libre y freeware en investigaciones de Delitos Financieros Oscar H. Moratto Managing Director Beyond Risk Colombia Agenda Aspectos generales Qué es el software libre y freeware?
Más detalles