Arancha Pintado. Perfiles Big Data.

Transcripción

1 Arancha Pintado Perfiles Big Data

2 De dónde venimos?

3 De dónde venimos?

4 Cuál es la diferencia? Si se supiera cómo tratar esa información, cómo "sacarle el jugo", eso proporcionaría un conocimiento valiosísimo a la hora de plantear estrategias en cualquier negocio pero cómo "atacamos" esos datos y, sobre todo, cuáles son las dificultades que se presentan?

5 Son incompatibles?

6 Ecosistema Big Data El rápido crecimiento del número de tecnologías en Big Data, hace que no exista una única solución para acometer un proyecto de Big Data. En las distintas tecnologías existentes o ecosistemas del Big Data, podemos distinguir diferentes perfiles o nichos ecológicos distintos en función del conocimiento y los recursos que utilicen en cada ecosistema.

7 Ecosistema Big Data

8 Quiénes son los nuevos Superhéroes?

9 Cuáles son sus Super-Poderes? Especialista en infraestructuras BIG DATA Experiencia en diseño e implementación de plataformas Big Data Conocimiento general del funcionamiento de clústers de servidores hadoop y de BBDD NoSQL Experto en HPC, multicore y seguridad

10 Cuáles son sus Super-Poderes? Arquitecto BIG DATA Experiencia en la ejecución de proyectos y definición e implantación de arquitecturas basadas en tecnologías relacionadas con BigData, especialmente en soluciones open source y el ecosistema Hadoop (MapReduce, Hive, Sqoop, Pig, oozie, flume, hbase). Conocimiento y experiencia en las diferentes distribuciones existentes en el mercado: HortonWorks, Cloudera, Intel Experiencia en proyectos con soluciones BigData para tiempo real: Storm, Impala, Flume, Kafka Deseable experiencia en Java, Spring, JPA Experiencia en la elaboración de ofertas y labores de preventa técnica

11 Cuáles son sus Super-Poderes? Administrador de BBDD Experiencia en bases de datos relacionales SQL, y NoSQL, almacenamiento columnar, transacciones e integraciones. Conocimiento del funcionamiento del sistema distribuido de ficheros de Hadoop y Map/Reduce. Administración de clúster Hadoop cuando aparecen otras herramientas como Hive, Pig y Hbase Deseable experiencia como DBA de DWH (entornos comparables a exadata) Conocimientos de java para interpretar mensajes de error, entender conceptos de máquina virtual de Java y programación para solucionar problemas

12 Cuáles son sus Super-Poderes? Experto en Minería de Datos Experiencia en modelado predictivo, minería de datos, procesamiento de lenguaje natural, análisis de contenido, análisis de redes sociales, análisis de los sentimientos, data visualization, R, Python Experiencia en clustering hadoop, algorítmos, p-value, óptimo, convergencia, precisión, recall, curva ROC, red bayesiana, R

13 Cuáles son sus Super-Poderes? Consultores Big Data Conocimientos amplios de estadística, análisis de datos en entornos Big Data (Hadoop, Hive, MapReduce), creación de informes con herramientas gráficas. Conocimientos de Soluciones BigData para tiempo real: Storm, Impala, Flume, Kafka. Conocimientos técnicos: Python, R, consultas SQL, Java, J2EE, Javascript, HTML5, CSS3, Elasticsearch, Logstash, Kibana Conocimientos de procesos de negocio Conocimientos deseables: Unix, Hadoop, Python, Spring, Cassandra, MongoDB, Redis

14 Cuáles son sus Super-Poderes? Experto en Slow Data Experiencia en interpretación de modelos de diferentes aplicaciones corporativas de fuentes heterogéneas Gestión en acceso a datos de fuentes slow data Gestión de metadata para transformar desde aplicaciones basadas en API a capas de metadata en Spotfire Avanzados conocimientos en calidad del dato y diccionario de términos

15 Cuáles son sus Super-Poderes? Data Scientist Experiencia en: Técnicas estadísiticas/ machine learning (clasificación, modelos predictivos, clustering, python, R...) Programación para interaccionar con BBDD SQL Análisis de datos en entornos Big Data (Hadoop/HDFS, MapReduce, Hive, Pig ) Habilidades para dar respuesta a usuarios de negocio Requisitos deseados: TIBCO Spotfire, Tableau Experiencia con otros lenguajes y herramientas (SAS, SPSS, S+, Matlab...). Conocimiento de algoritmos de text mining Análisis de datos para imagen/ imagen y sonido

16

17 Y tú?... Cuál es tu evolución?

18 Gracias por vuestra atención