Plan Integral de Formación. Álogos Advanced E-Learning Solutions, SL

Transcripción

1 Plan Integral de Formación Álogos Advanced E-Learning Solutions, SL

2

3 Hace ya algunos años Jeff Hammerbacher y DJ Patil acuñaron el término científico de datos para referirse a aquel profesional multidisciplinar capaz de abordar proyectos de extremo a extremo en el ámbito de ciencia de los datos, lo que incluye almacenar y limpiar grandes volúmenes de datos, explorar conjuntos de datos para identificar información potencialmente relevante, construir modelos predictivos y construir una historia alrededor de los hallazgos derivados de tales modelos. Un científico de datos es capaz de definir modelos estadísticos y matemáticos que sean de aplicación en el conjunto de datos, lo que incluye aplicar su conocimiento teórico en estadística y algoritmos para encontrar la solución óptima a un problema.

4 En la actualidad el científico de datos representa uno de los perfiles profesionales con más demanda en el ámbito empresarial, institucional y gubernamental alrededor del mundo, así como una de las profesiones en el entorno de big data y data science mejor pagadas. La creciente demanda de tales profesionales hace necesaria la creación de espacios de formación dirigidos al diseño y puesta en marcha de itinerarios formativos integrales que cubran todas aquellas áreas de conocimiento asociadas a este perfil profesional.

5 Con el fin de cubrir esta necesidad hemos diseñado el Plan de formación integral para el científico de datos basado en el conocido como Metromap de Swami Chandrasekaran.

6

7 Contenidos 1.- Fundamentos El plan de formación integral para el científico de datos consta de 10 niveles de habilidades. Estos niveles o áreas de conocimiento en los que se estructura el contenido son: 2.- Estadística 3.- Programación 4.- Machine Learning 5.- Text Mining - NLP

8 Contenidos 6.- Visualización El plan de formación integral para el científico de datos consta de 10 niveles de habilidades. Estos niveles o áreas de conocimiento en los que se estructura el contenido son: 7.- Big Data 8.- Data Ingestion 9.- Data Munging 10.- Herramientas

9 En este nivel se abordan cuestiones que servirán para establecer las bases de los niveles siguientes. Evidentemente no pretende ser un curso de matemáticas, pero si se repasarán algunos conceptos como matrices, álgebra lineal, álgebra relacional y otros con el fin de establecer su relación con el tratamiento y análisis de datos. Otros conceptos fundamentales son aquellos que tienen que ver con una introducción a las bases de datos relacionales, modelos de datos multidimensionales, procesamiento analítico en línea (OLAP), bases de datos NoSQL, y otros formatos de intercambio de datos como JSON o XML. 1.- Fundamentos

10 Temas Nivel 1 1. Qué es ciencia de datos? 2. Matemáticas para la ciencia de datos. Introducción al álgebra lineal y matrices 3. Fundamentos de bases de datos y álgebra relacional 4. Ciclo de vida de un proyecto de ciencia de datos 5. Teorema CAP 6. Tratamiento de datos 7. OLAP Temas Nivel 1 8. Modelos de datos multidimensionales 9. ETL. Extracción, transformación y carga 10. Reporting vs Business Intelligence vs Analytics 11. Formatos de intercambio de datos. JSON y XML 12. Introducción a las bases de datos NoSQL 13. Panorama de soluciones de bases de datos

11 La estadística es una disciplina muy importante para desmenuzar los datos y extraer información valiosa que nos permitan llegar a conclusiones razonables, es decir, entender nuestros datos y su significado. Este segundo nivel de conocimientos nos permite adentrarnos en temas como la estadística descriptiva, teoría de probabilidades, teorema de Bayes, variables aleatorias, método de Montecarlo, análisis de regresión, MLE (Maximum Likelihood Estimation) o CLT (Central Limit Theorem) entre otros. 2.- Estadística

12 Temas Nivel 2 1. Conceptos fundamentales de estadística 2. Histogramas 3. Teoría de probabilidades 4. Teorema de Bayes 5. Variables aleatorias 6. Distribución de probabilidades. CDF 7. Distribuciones continuas 8. Asimetría estadística 9. Análisis de varianza. ANOVA 10. Función de densidad de probabilidad Temas Nivel Teorema del límite central 12. Método Monte Carlo 13. Regresión 14. Covarianza 15. Correlación. Coeficiente de correlación de Pearson 16. Causation (Causalidad) 17. Least Squares Fitting 18. Distancia euclídea

13 Para un científico de datos es inevitable enfrentarse a tareas que requieren programación o codificación con el fin de generar instrucciones que permitan manipular, analizar y visualizar los datos. Python y R son dos de los lenguajes más utilizados para estas tareas, mientras que SQL es utilizado para escribir las consultas a la base de datos. Algunas librerías JavaScript como por ejemplo D3.js nos permiten la creación de complejas visualizaciones interactivas de datos basadas en la Web. En este tercer nivel de habilidades se abordarán los lenguajes de programación Python y R, así como un repaso a las posibilidades de Excel como herramienta para el análisis de datos. Así mismo de estudiarán los conceptos fundamentales de programación tales como matrices, vectores, funciones, lectura de ficheros CSV, etc 3.- Programación

14 Temas Nivel 3 1. Programación Python para ciencia de datos 2. Programación R para ciencia de datos

15 Existen diferentes definiciones de Machine Learning a partir de diversos enfoques o perspectivas, ya sea desde un punto de vista matemático, algorítmico o estadístico, sin embargo por centrar el término en algo concreto podemos definirlo como un mecanismo para la búsqueda de patrones a partir de los cuales construimos máquinas inteligentes capaces de aprender y tomar decisiones en base a datos empíricos obtenidos desde diversas fuentes de datos, como sensores, bases de datos, etc 4.- Machine Learning y Deep Learning

16 En este nivel de habilidades y conocimientos aprenderemos qué es machine learning, y muy especialmente qué es aprender desde el punto de vista de una máquina, cuáles son las fases que definen perfectamente un proceso de aprendizaje automático, trataremos sobre las herramientas open source que nos permitirán implementar machine learning, qué es el aprendizaje supervisado y no supervisado, algoritmos, árboles de decisión, modelos predictivos, veremos la relación del teorema de Bayes con machine learning en casos reales, y mucho más. 4.- Machine Learning y Deep Learning

17 Temas Nivel 4 1. Qué es Machine Learning? 2. Variables numéricas y categóricas. Datos cualitativos y cuantitativos 3. Tipos de aprendizaje: 4. Conceptos. Inputs y atributos. 5. Datos de entrenamiento y prueba 6. Clasificadores (Classifier) 7. Predicción 8. Lift. Overfitting 9. Bias y Varianza 10. Árboles y clasificación 11. Ratio de clasificación Temas Nivel Árboles de decisión 13. Boosting 14. Clasificadores Naive-Bayes 15. K-Nearest Neighbor 16. Regresión 17. Clustering 18. Redes neuronales 19. Qué es Deep Learning? 20. Análisis de sentimientos 21. Filtrado colaborativo 22. Tagging (Etiquetado)

18 Hablamos de text mining para referirnos, de forma muy general y sin entrar en detalle, a minería de textos, es decir, la búsqueda de patrones en textos basados en el lenguaje natural. A través de text mining podemos realizar análisis lingüístico de textos y mediante NLP o procesamiento de lenguajes naturales podemos analizar información textual a partir de fuentes de datos no estructurados, como tweets, comentarios en Facebook, etc 5.- Text mining y NLP

19 En este nivel de habilidades aprenderemos qué es text mining y cuáles son sus aplicaciones en la actualidad, por ejemplo en el ámbito de las redes sociales. Veremos temas como reconocimiento de entidades, análisis de textos, aprenderemos qué es el proyecto Apache UIMA (Unstructured Information Management), así como herramientas muy utilizadas en el ámbito de text mining y data mining como Apache Mahout, WEKA una colección de algoritmos machine learning para data mining, o MLTK (Machine Learning ToolKit). 5.- Text mining y NLP

20 Temas Nivel 5 1. Qué es text mining y procesamiento de lenguaje natural (NLP)? 2. Corpus 3. Named Entity Recognition (Reconocimiento de Entidades Nombradas) 4. Análisis de textos 5. UIMA. Aplicaciones para la administración de información no estructurada 6. Matriz de términos del documento 7. Frecuencia y peso de términos 8. Support Vector Machines. Máquina de Vectores de Soporte 9. Reglas de asociación Temas Nivel Market Basket Analysis 11. Extracción de características 12. Apache Mahout 13. Weka 14. NLTK. Natural Language ToolKit 15. Clasificación de texto 16. Mapeo de vocabulario

21 Un científico de datos debe saber cómo comunicar sus hallazgos. El valor de la información no es tal si no sabemos transmitir su significado. Una vez que conocemos perfectamente a nuestra audiencia, es decir, el target al que dirigimos nuestro mensaje, es muy importante dominar las diversas herramientas disponibles para la visualización de datos, sus características y cuales son sus aplicaciones teniendo en cuenta los posibles escenarios. 6.- Visualización

22 En este nivel de habilidades veremos los diferentes tipos de gráficos disponibles, de área, de barras, lineales, de tarta, diagramas de Gantt, de burbujas, así como algunas de las herramientas más utilizadas como D3.js, Tableau, y otros. 6.- Visualización

23 Temas Nivel 6 1. Exploración de datos con R 2. Visualizacion Univariate, Bivariate y Multivariate 3. ggplot2 4. Tipos de gráficos 5. D3.js 6. Tableau

24 Vivimos en la era de los datos. El volumen, la velocidad y la variedad de los datos que se generan a diario, cada minuto, superan en mucho la capacidad de gestión de las bases de datos relacionales, por lo que nuevas herramientas y ecosistemas confluyen ante la necesidad de abordar esta situación sin precedentes. Los proyectos big data en los que está implicado el rol del científico de datos requieren del uso de un buen número de herramientas que es necesario conocer, herramientas open source que desarrolladas por diversas compañías constituyen una infraestructura de proyectos y componentes como Hadoop, Spark, Kafka, Cassandra y un largo etc. 7.- Big Data

25 En este nivel de habilidades y conocimientos aprenderemos los fundamentos del ecosistema Hadoop, los fundamentos de MapReduce, HDFS (sistema de ficheros de Hadoop), la puesta en marcha y administración de un cluster Hadoop, la diferentes herramientas de acceso a los datos, tales como PIG, HIVE, HBASE, así como el papel que juegan en este ecosistema herramientas como MongoDB, Cassandra, Spark y otras. 7.- Big Data

26 Temas Nivel 7 1. Fundamentos de Big Data 2. Map Reduce 3. Hadoop y su ecosistema 4. HDFS 5. Principios de la replicación de datos 6. Distribuciones. Hadoop con Cloudera y HortonWorks 7. Arquitectura de un clúster Hadoop. Nodos. NameNode y DataNodes 8. Job Tracker y Task Tracker 9. Programación de tareas MapReduce 10. YARN 11. Carga de datos en HDFS con Sqoop 12. Carga de datos no estructurados con Flume Temas Nivel SQL con PIG 14. Data Warehouse con Hive 15. Weblog con Chukwa 16. Apache Mahout 17. Serialización e intercambio de datos para Hadoop con Avro 18. Coordinación de servicios en el clúster con Zookeeper 19. Hadoop en tiempo real con Storm 20. R y Hadoop 21. Conceptos básicos de Cassandra 22. Introducción a MongoDB 23. Introducción a Neo4.js 24. Apache Spark

27 Hablamos de data ingestion para referirnos al proceso de importar, cargar y procesar datos que posteriormente serán utilizados o almacenados en las bases de datos. La carga de datos puede producirse desde una variada fuente de datos y es necesario realizar algunas labores de tratamiento para modificar esos datos de forma que puedan encajar en el formato de destino. En este nivel de habilidades veremos temas como los diversos formatos de datos, la integración y la fusión de datos o la propia transformación de los mismos. Los proyectos de Apache como Flume y Sqoop pueden ayudarnos a realizar estas tareas. 8.- Data Ingestion

28 Temas Nivel 8 1. Qué es Data Ingestion? 2. Formatos de datos 3. Data Discovery 4. Fuentes de datos y Adquisición 5. Data integration y Data Fusion 6. Google OpenRefine 7. Herramientas ETL

29 El término data munging hace referencia al proceso de limpiar un conjunto de datos desordenado, sucio. Mantener un conjunto de datos en ese estado puede derivar en conclusiones erróneas y por lo tanto en decisiones totalmente negativas para el negocio. En este nivel de habilidades trataremos algunas de las tareas que se incluyen en el proceso de data munging como son, análisis sintáctico, normalización, formateo de datos, data scrubbing o depuración de datos, o eliminación de ruido entre otras. 9.- Data Munging

30 Temas Nivel 9 1. Qué es Data Munging 2. Dimensionality & Numerosity Reduction 3. Normalización 4. Data Scrubbing 5. Tratamiento de valores perdidos (Missing Values) 6. Unbiased Estimators 7. Binning Sparse Numerical Values 8. Extracción de características 9. Denoising 10. Samplig 11. Stratified Sampling 12. Principal Component Analysis

31 A lo largo de esta presentación hemos hablado de varios niveles de habilidades y conocimientos que debe dominar el científico de datos, todos ellos llevan asociados un buen número de herramientas que se integran perfectamente en un ecosistema de trabajo, con el objetivo final de obtener información valiosa y vinculada a decisiones. Algunas de estas herramientas ya se han presentado en sus correspondientes niveles, otras podrían ser: Java, Spark, Storm, Chukwa, NLTK, MS Excel como herramienta de análisis, RHIPE (análisis estadístico para grandes volúmenes de datos con R y Hadoop) 10.- Herramientas

32 Temas Nivel Microsoft Excel como herramienta para la analítica 2. Elastic Stack 3. Apache Impala / Kudu

33

34 Metodología El plan integral de formación que presentamos se basa en una metodología 100% online. Metodología Los niveles de habilidades se presentan mediante casos prácticos y casos de uso asociados a situaciones reales. Los alumnos disponen de tutoría online durante un período de 12 meses a partir de su matriculación, así como actualizaciones de contenidos gratuitas durante ese periodo.

35 Metodología Los contenidos se han preparado para su presentación progresiva durante un período de 3 meses, si bien los alumnos dispondrán de acceso a los contenidos sin límite de tiempo. Metodología En cada nivel se presentará una prueba inicial o pre-evaluación y finalizará con una evaluación que deberá superar con una puntuación al menos del 80% para pasar al siguiente nivel.

36 Metodología Los contenidos se presentarán mediante video tutoriales, documentos teóricos para descarga y contenidos interactivos. Metodología

37

38 Precio El precio del curso es de 1,499 Precio

39

40 ÁlogosAdvancedE-LearningSolutions, SL El equipo de profesionales de Álogos desarrolla su actividad educativa y tecnológica desde hace más de 10 años, en el ámbito de la formación y la analítica del aprendizaje, el desarrollo de soluciones empresariales, diseño de algoritmos, gestión de grandes volúmenes de datos e implantación de sistemas de calidad. En la actualidad ofrecemos servicios de consultoría de proyectos y soluciones a medida en el área de big data y learning analytics. Álogos

41 ÁlogosAdvancedE-LearningSolutions, SL Programación Java Cloud Computing Implantación de Analítica Big Data en la empresa Bases de datos NoSQL ElasticSearch y Kibana Procesamiento de datos con Apache Spark Otros Cursos

42 ÁlogosAdvancedE-LearningSolutions, SL Álogos Contacto: Pedro Albarracín Telf URL: Alcalá de Guadaíra, Sevilla