Tecnologías Big Data. y su impacto en la organización

Transcripción

1 Tecnologías Big Data y su impacto en la organización Francisco Javier Antón Vique Presidente de la Fundación Big Data Madrid, 24 de abril de 2014

2 Modelos de crecimiento y tecnologías Entorno económico Empleo Déficit Freno a la destrucción Control Tic habilitador de negocio: eficiencia, productividad, competitividad

3 Core HDFS HBase Thrift Nutch Avro Pig Chuckwa Zookeeper Hive Solr Dumbo Cassandra Jaql Mahout Cascading Kosmos FS Ganglia Scribe Katta Hypertable

4 Visualización Velocidad Proceso Recuperación Análisis Toma decisiones Las V del Big Data Variabilidad Variedad Estructurados No estructurados Big Data Volumen Valor Big Answers Veracidad

5 Negocio Ahorro Conocimiento cliente Ciberseguridad Visualización y movilidad Aplicaciones de terceros Bases de datos Análisis y Generación de modelos Descriptivos Predictivos Agrupamiento Clasificación Herramientas de integración/calidad Limpieza, transformación e integración de datos Identificación fuentes de datos Datos Internos SQL Reutilización datos Redes sociales (conectores) Protección datos carácter personal Internet de las cosas Infraestructura Propia empresa Cloud computing X86 Híbridas Entornos Linux, Unix, Windows Hadoop y Map Reduce

6 Big Data: En qué punto estamos?

7 Ecosistema de la organización Big Data Analistas de negocio Ejecutivos de negocio Desarrollo de negocio Científicos de datos Big Data Legalidad Desarrolladores Administradores de sistemas

8 Tecnología Open Source Propietaria basada en Open Source Propietaria Matemática/Estadística Análisis predictivo Análisis de la demanda Estudio mercado Formación Con quien Universidades y F. P. Escuelas de Negocio Formación Como Presencial MOOC Transformando datos en valor Metodologías Legalidad y privacidad Áreas de colaboración Estudiante/Trabajador Publicaciones Fundaciones PYME Políticas Institucionales Big Data Unión Europea España Iniciativas Estados Unidos Gran Bretaña Áreas de aplicación Fraude Salud Finanzas Comunicaciones Seguros Ciberseguridad Retail Energía

9 2015: 4,4 millones de puestos de trabajo Personas Y las habilidades? Negocio Tecnología Analítica Ingeniero de Big data. Analista de datos (data/web analytics). Auditor/arquitecto de sistemas de Big data. Gestor de infraestructuras de Big data. Desarrollador/Administrador de sistemas de Big data.

10 El entorno formativo Big Data Postgrado: Escuelas de negocio y postgrados Graduados: estadística, matemática, informática, física Formación profesional

11 Estudios del científico de datos Otros estudios 10% Formación profesional 31% Doctorado 8% Universitario no graduado 14% Universitario graduado 37%

12 Ejemplo de requisitos exigidos Licenciado o grado en Empresariales o Económicas, Matemáticas, Estadística, Ingeniero Amante de la tecnología. Amante de los datos y de las matemáticas. Conocedor del mundo de la empresa (inventarios, demanda oferta, elasticidades, gestión de costos y precios, márgenes, categorización de productos ) Con potencial, motivado y con ganas de aprender. Alto nivel de inglés. Inteligencia, curiosidad, meticulosidad y atención a los detalles. Proactividad y autonomía. Ganas de trabajar en una start up y poca aversión al riesgo. Facilidad para la comunicación y el trabajo en equipo. Disponibilidad para viajar y hacer estancias en otros países.

13 Tecnología Formación del científico de datos Hadoop, HBase, Python, Hive, Mahout, etc. (datos semi y no estructurados) Inteligencia empresarial (BI) Ingeniería de datos: Integración y almacenamiento de datos Capacidades analíticas avanzadas Análisis predictivo Técnicas de minería de datos Conocimiento empresarial Arquitectura de datos: modelos, el análisis de perfiles, la calidad, la integración y la gobernanza de los datos Probabilidad y estadística Constructores de modelos predictivos y modelado de la incertidumbre Reconocimiento de patrones Matemáticas y algoritmos: optimización convexa, gradiente decente, programación cuadrática, LaGrange, las ecuaciones en derivadas parciales

14 Desarrollando el Observatorio de empleo Big Data Portal Empleo en Big Data Acuerdo con la Asociación Española de Programadores Informáticos profesionales en java, j2ee, etc. Diseño curricular de la formación Big Data Certificación a cargo de las Universidades Iniciativas Empresas de tamaño mediano y grande en los niveles superiores de toma de decisiones.

15 La información como servicio SAAS PAAS IAAS Análisis, cuadros de mando y visualización Aplicaciones Infraestructura Analítica predictiva y prescriptiva Limpieza, transformación e integración de datos Servidores Seguridad B. D. No SQL Hadoop Almacenamiento Redes Tecnología CIO Científico de datos CDO Negocio CMO, DG Negocio CMO, DG

16 Tecnologías

17 Nuevos modelos de consumo TIC: un ejemplo Movilidad Redes Sociales Cloud Computing Estrategia Data

18 Estrategia Data Linked Data Big Data Open Data Data Management

19 SAP Business Object R SAS SIIU Herramientas Becas generales universitarias y no universitarias (convocatoria en curso) Sexenios catedráticos Becas generales universitarias y no universitarias (proyecciones para convocatorias siguientes) Estadísticas educativas y culturales SPSS Estadísticas educativas Visual Analytics (Big Data y movilidad) Marca España Becas generales universitarias y no universitarias (proyecciones para convocatorias siguientes)

20 Utilización La información como servicio Portal Transparencia RISP CRUE Analítica predictiva y prescriptiva Análisis, cuadros de mando y visualización Integración Calidad Limpieza y validación Transformación Red Sara Conexión directa Origen Universidades públicas Universidades privadas Comunidades Autónomas

21 Big Data en el MECD

22

23 Becas y becarios

24