Dilemas del Big Data Analytics

Transcripción

1 Dilemas del Big Data Analytics Iván Amón Uribe Colombia MSc en Ingeniería Ingeniería de Sistemas Coordinador Especialización en Inteligencia de Negocios UPB Coordinador Maestría en TIC Bogotá

2 Iván Amón Uribe Colombia Ingeniero de Sistemas y Especialista en Técnicas Computarizadas de Producción de la Universidad Eafit y Magíster en Ingeniería de Sistemas de la Universidad Nacional Sede Medellín. Más de 20 años de experiencia empresarial en cargos administrativos y de tecnología en diversas empresas y más de 20 años de experiencia como docente de pregrado y postgrado en diferentes universidades. Experiencia práctica e investigativa en calidad de datos con ponencias y publicaciones internacionales y nacionales. Consultor empresarial en áreas de tecnología, especialmente en Gobernabilidad de Datos. Actualmente es docente de la facultad de ingeniería informática de la Universidad Pontificia Bolivariana y coordinador académico de la Especialización en Inteligencia de Negocios de esta Universidad.

3 Introducción Agenda Dilema 1: Recolectar montones de datos Dilema2: Big Data Analytics: un asunto tecnológico? Dilema 3: Las bases de datos relacionales ya no sirven para nada. Dilema 4: La calidad de los datos no es tan importante en Big Data Analytics? Dilema 5: Consideraciones éticas en Big Data Analytics

4 Introducción Agenda Dilema 1: Recolectar montones de datos Dilema2: Big Data Analytics: un asunto tecnológico? Dilema 3: Las bases de datos relacionales ya no sirven para nada. Dilema 4: La calidad de los datos no es tan importante en Big Data Analytics? Dilema 5: Consideraciones éticas en Big Data Analytics

5 Imagen: encuentrosenlaweb.wordpress.com Qué ha cambiado?

6 Big Data: un mar de datos Imagen:

7 (Big Data) n Imagen: optimalbi.com

8 Big Data: un mar de términos Imagen: termcoord.eu Imagen: en.pole-scs.org

9 Introducción Agenda Dilema 1: Recolectar montones de datos Dilema2: Big Data Analytics: un asunto tecnológico? Dilema 3: Las bases de datos relacionales ya no sirven para nada. Dilema 4: La calidad de los datos no es tan importante en Big Data Analytics? Dilema 5: Consideraciones éticas en Big Data Analytics

10 Dilema 1: Recolectar montones de datos? Imagen: confitech.co

11 Dilema 1: Recolectar montones de datos? Las empresas están recogiendo montones y montones de datos. Imagen: blogcatoliconavideno.blogspot.com

12 Dilema 1: Recolectar montones de datos? Carrera loca por la cantidad? Imagen:

13 Dilema 1: Recolectar montones de datos? Recopilación de datos en forma indiscriminada. Muchos de esos datos no dicen nada a los usuarios de negocio. Imagen: desmotivaciones.es

14 Dilema 1: Recolectar montones de datos Tomamos datos y los procesamos (con mucha dificultad): Centralización Limpieza Clasificación Estructuración Pero es difícil hacer un caso de negocio con lo que resulta.

15 Dilema 1: Recolectar montones de datos Pareciera tener más sentido Recolectar datos que apunten a dar respuestas a las preguntas reales de negocio.

16 Dilema 1: Recolectar montones de datos El problema es que muchas empresas hoy en día recopilan datos con poca o ninguna planeación... La planificación es crítica cuando se trata de BIG DATA.

17 Dilema 1: Recolectar montones de datos Todos los elementos del proceso deben tener un propósito y alinearse estrechamente con los objetivos de negocio Debe ser un diferenciador estratégico. Actionable Intelligence: A Guide to Delivering Business Results with Big Data Fast Keith B. Carter

18 Introducción Agenda Dilema 1: Recolectar montones de datos Dilema2: Big Data Analytics: un asunto tecnológico? Dilema 3: Las bases de datos relacionales ya no sirven para nada. Dilema 4: La calidad de los datos no es tan importante en Big Data Analytics? Dilema 5: Consideraciones éticas en Big Data Analytics

19 Dilema 2: Big Data Analytics: Un asunto tecnológico? Organizacionales Imagen:

20 Dilema 2: Big Data Analytics: Un asunto tecnológico? Tecnológicos Organizacionales Necesitamos de tecnología para hacer Big Data Analytics? Pero el asunto va más allá Imagen:

21 Dilema 2: Big Data Analytics: Un asunto tecnológico? Estratégicos Tecnológicos Organizacionales Los lineamientos estratégicos, objetivos y procesos críticos de cada unidad de negocio, que facilitan la creación de valor sostenible Aquellos componentes de software, hardware, comunicaciones y arquitectura que facilitan la implementación de soluciones. Business Intelligence Strategy Framework, Javier Bermúdez La cultura, estructura, capacidades, atributos y acciones de hoy que permiten sostener el desempeño de las soluciones en el futuro.

22 Dilema 2: Big Data Analytics: Un asunto tecnológico? Tecnológicos Organizacionales El problema real no es de tecnología, sino de procesos y habilidades. Imagen: inspire99.com Image: nypost.com Imagen: La herramienta no lo es todo!!!

23 Dilema 2: Big Data Analytics: Un asunto tecnológico? Actitud: Usted y Tecnológicos su compañía Organizacionales necesitan empezar a pensar en los datos como un activo valioso para el negocio, no como un proyecto temporal. Debe ser parte del ADN de la compañía. Too Big to Ignore: The Business Case for Big Data Phil Simon Imagen:

24 Dilema 2: Big Data Analytics: Un asunto tecnológico? Habilidades Analíticas: Tecnológicos Organizacionales Big Data Analytics involucra procesos como análisis descriptivo y predictivo. Esto requiere habilidades estadísticas, matemáticas y de transformación de datos. Imagen: Rick Sherman, fundador de Athena IT Solutions

25 Dilema 2: Big Data Analytics: Un asunto tecnológico? Habilidades Analíticas: Tecnológicos Organizacionales Es necesario entender las propiedades y los límites de los conjuntos de datos independiente de su tamaño. Un conjunto de datos puede tener millones de datos, pero eso no significa que sea al azar o representativo.

26 Dilema 2: Big Data Analytics: Un asunto tecnológico? Habilidades Analíticas: Tecnológicos Un ejemplo Organizacionales Metodología CRISP-DM

27 Dilema 2: Big Data Analytics: Un asunto tecnológico? Habilidades Analíticas: Tecnológicos Otro ejemplo Organizacionales

28 Dilema 2: Big Data Analytics: Un asunto tecnológico? Habilidades Analíticas: Tecnológicos Otro ejemplo Organizacionales Es un error asumir que Twitter representa Todas las personas. El número de Tweets o re-tweets no necesariamente significa algo valioso. Tampoco puede asumirse que cuentas y usuarios son equivalentes. [Wang, 2011]

29 Dilema 2: Big Data Analytics: Un asunto tecnológico? Habilidades Analíticas: Tecnológicos Científico Organizacionales de datos? Imagen: Ilustración Miguel Yain Equipo de trabajo? Imagen: blog.andreamostosi.name

30 Dilema 2: Big Data Analytics: Un asunto tecnológico? Habilidades Analíticas: Tecnológicos Científico Organizacionales de datos

31 Introducción Agenda Dilema 1: Recolectar montones de datos Dilema2: Big Data Analytics: un asunto tecnológico? Dilema 3: Las bases de datos relacionales ya no sirven para nada. Dilema 4: La calidad de los datos no es tan importante en Big Data Analytics? Dilema 5: Consideraciones éticas en Big Data Analytics

32 Dilema 3: Las bases de datos relacionales ya no sirven para nada Tecnológicos Organizacionales ACID (Atomicity, Consistency, Isolation, Durability)

33 Dilema 3: Las bases de datos relacionales ya no sirven para nada Clave - valor Ej: Cassandra Tecnológicos Documentales Ej: MongoDB Organizacionales B A S E S N O S Q L En grafo Ej: Virtuoso

34 Dilema 3: Las bases de datos relacionales ya no sirven para nada B A S E S N O S Q L Tecnológicos Todas las bases de datos NoSQL RELAJAN una o más de las propiedades ACID, con consecuencias sobre la versión única de la verdad y sobre la calidad de los datos. Organizacionales

35 Introducción Agenda Dilema 1: Recolectar montones de datos Dilema2: Big Data Analytics: un asunto tecnológico? Dilema 3: Las bases de datos relacionales ya no sirven para nada. Dilema 4: La calidad de los datos no es tan importante en Big Data Analytics? Dilema 5: Consideraciones éticas en Big Data Analytics?

36 Dilema 4: La calidad de los datos no es tan importante en Big Data Tecnológicos Para algunos pareciera que la cantidad es lo importante y que la calidad fuera un paradigma pasado de moda. Organizacionales

37 Dilema 4: La calidad de los datos no es tan importante en Big Data Tecnológicos Organizacionales Eliminar duplicados. Eliminar Outliers. Tratar nulos. Estandarizar formatos.

38 Dilema 4: La calidad de los datos no es tan importante en Big Data Tecnológicos Organizacionales Imputación Nulos [Amón, 2010]

39 Agenda Introducción Dilema 1: Recolectar montones de datos Dilema2: Big Data Analytics: un asunto tecnológico? Dilema 3: Las bases de datos relacionales ya no sirven para nada. Dilema 4: La calidad de los datos no es tan importante en Big Data Analytics? Dilema 5: Consideraciones éticas en Big Data Analytics

40 Dilema 5: Consideraciones éticas del Big Data Analytics El hecho de que sea accesible y legal, no significa que sea ético. Tecnológicos Organizacionales Violación privacidad? Intromisión? Ethics of Big Data: Balancing Risk and Innovation Kord Davis

41 Más información Tecnológicos Organizacionales