Dilemas del Big Data Analytics Iván Amón Uribe Colombia <ivan.amon@upb.edu.co> MSc en Ingeniería Ingeniería de Sistemas Coordinador Especialización en Inteligencia de Negocios UPB Coordinador Maestría en TIC Bogotá
Iván Amón Uribe Colombia Ingeniero de Sistemas y Especialista en Técnicas Computarizadas de Producción de la Universidad Eafit y Magíster en Ingeniería de Sistemas de la Universidad Nacional Sede Medellín. Más de 20 años de experiencia empresarial en cargos administrativos y de tecnología en diversas empresas y más de 20 años de experiencia como docente de pregrado y postgrado en diferentes universidades. Experiencia práctica e investigativa en calidad de datos con ponencias y publicaciones internacionales y nacionales. Consultor empresarial en áreas de tecnología, especialmente en Gobernabilidad de Datos. Actualmente es docente de la facultad de ingeniería informática de la Universidad Pontificia Bolivariana y coordinador académico de la Especialización en Inteligencia de Negocios de esta Universidad.
Introducción Agenda Dilema 1: Recolectar montones de datos Dilema2: Big Data Analytics: un asunto tecnológico? Dilema 3: Las bases de datos relacionales ya no sirven para nada. Dilema 4: La calidad de los datos no es tan importante en Big Data Analytics? Dilema 5: Consideraciones éticas en Big Data Analytics
Introducción Agenda Dilema 1: Recolectar montones de datos Dilema2: Big Data Analytics: un asunto tecnológico? Dilema 3: Las bases de datos relacionales ya no sirven para nada. Dilema 4: La calidad de los datos no es tan importante en Big Data Analytics? Dilema 5: Consideraciones éticas en Big Data Analytics
Imagen: encuentrosenlaweb.wordpress.com Qué ha cambiado?
Big Data: un mar de datos Imagen: www.bigdata-startups.com
(Big Data) n Imagen: optimalbi.com
Big Data: un mar de términos Imagen: termcoord.eu Imagen: en.pole-scs.org
Introducción Agenda Dilema 1: Recolectar montones de datos Dilema2: Big Data Analytics: un asunto tecnológico? Dilema 3: Las bases de datos relacionales ya no sirven para nada. Dilema 4: La calidad de los datos no es tan importante en Big Data Analytics? Dilema 5: Consideraciones éticas en Big Data Analytics
Dilema 1: Recolectar montones de datos? Imagen: confitech.co
Dilema 1: Recolectar montones de datos? Las empresas están recogiendo montones y montones de datos. Imagen: blogcatoliconavideno.blogspot.com
Dilema 1: Recolectar montones de datos? Carrera loca por la cantidad? Imagen: www.plusmoto.com
Dilema 1: Recolectar montones de datos? Recopilación de datos en forma indiscriminada. Muchos de esos datos no dicen nada a los usuarios de negocio. Imagen: desmotivaciones.es
Dilema 1: Recolectar montones de datos Tomamos datos y los procesamos (con mucha dificultad): Centralización Limpieza Clasificación Estructuración Pero es difícil hacer un caso de negocio con lo que resulta.
Dilema 1: Recolectar montones de datos Pareciera tener más sentido Recolectar datos que apunten a dar respuestas a las preguntas reales de negocio.
Dilema 1: Recolectar montones de datos El problema es que muchas empresas hoy en día recopilan datos con poca o ninguna planeación... La planificación es crítica cuando se trata de BIG DATA.
Dilema 1: Recolectar montones de datos Todos los elementos del proceso deben tener un propósito y alinearse estrechamente con los objetivos de negocio Debe ser un diferenciador estratégico. Actionable Intelligence: A Guide to Delivering Business Results with Big Data Fast Keith B. Carter
Introducción Agenda Dilema 1: Recolectar montones de datos Dilema2: Big Data Analytics: un asunto tecnológico? Dilema 3: Las bases de datos relacionales ya no sirven para nada. Dilema 4: La calidad de los datos no es tan importante en Big Data Analytics? Dilema 5: Consideraciones éticas en Big Data Analytics
Dilema 2: Big Data Analytics: Un asunto tecnológico? Organizacionales Imagen: www.fotosearch.es
Dilema 2: Big Data Analytics: Un asunto tecnológico? Tecnológicos Organizacionales Necesitamos de tecnología para hacer Big Data Analytics? Pero el asunto va más allá Imagen: www.imagenesymemes.com
Dilema 2: Big Data Analytics: Un asunto tecnológico? Estratégicos Tecnológicos Organizacionales Los lineamientos estratégicos, objetivos y procesos críticos de cada unidad de negocio, que facilitan la creación de valor sostenible Aquellos componentes de software, hardware, comunicaciones y arquitectura que facilitan la implementación de soluciones. Business Intelligence Strategy Framework, Javier Bermúdez https://www.youtube.com/watch?v=xhvx5msh9bu La cultura, estructura, capacidades, atributos y acciones de hoy que permiten sostener el desempeño de las soluciones en el futuro.
Dilema 2: Big Data Analytics: Un asunto tecnológico? Tecnológicos Organizacionales El problema real no es de tecnología, sino de procesos y habilidades. Imagen: inspire99.com Image: nypost.com Imagen: www.elespectador.com!!! La herramienta no lo es todo!!!
Dilema 2: Big Data Analytics: Un asunto tecnológico? Actitud: Usted y Tecnológicos su compañía Organizacionales necesitan empezar a pensar en los datos como un activo valioso para el negocio, no como un proyecto temporal. Debe ser parte del ADN de la compañía. Too Big to Ignore: The Business Case for Big Data Phil Simon Imagen: www.sciencesetavenir.fr
Dilema 2: Big Data Analytics: Un asunto tecnológico? Habilidades Analíticas: Tecnológicos Organizacionales Big Data Analytics involucra procesos como análisis descriptivo y predictivo. Esto requiere habilidades estadísticas, matemáticas y de transformación de datos. Imagen: www.cmswire.com Rick Sherman, fundador de Athena IT Solutions
Dilema 2: Big Data Analytics: Un asunto tecnológico? Habilidades Analíticas: Tecnológicos Organizacionales Es necesario entender las propiedades y los límites de los conjuntos de datos independiente de su tamaño. Un conjunto de datos puede tener millones de datos, pero eso no significa que sea al azar o representativo.
Dilema 2: Big Data Analytics: Un asunto tecnológico? Habilidades Analíticas: Tecnológicos Un ejemplo Organizacionales Metodología CRISP-DM
Dilema 2: Big Data Analytics: Un asunto tecnológico? Habilidades Analíticas: Tecnológicos Otro ejemplo Organizacionales
Dilema 2: Big Data Analytics: Un asunto tecnológico? Habilidades Analíticas: Tecnológicos Otro ejemplo Organizacionales Es un error asumir que Twitter representa Todas las personas. El número de Tweets o re-tweets no necesariamente significa algo valioso. Tampoco puede asumirse que cuentas y usuarios son equivalentes. [Wang, 2011]
Dilema 2: Big Data Analytics: Un asunto tecnológico? Habilidades Analíticas: Tecnológicos Científico Organizacionales de datos? Imagen: Ilustración Miguel Yain Equipo de trabajo? Imagen: blog.andreamostosi.name
Dilema 2: Big Data Analytics: Un asunto tecnológico? Habilidades Analíticas: Tecnológicos Científico Organizacionales de datos
Introducción Agenda Dilema 1: Recolectar montones de datos Dilema2: Big Data Analytics: un asunto tecnológico? Dilema 3: Las bases de datos relacionales ya no sirven para nada. Dilema 4: La calidad de los datos no es tan importante en Big Data Analytics? Dilema 5: Consideraciones éticas en Big Data Analytics
Dilema 3: Las bases de datos relacionales ya no sirven para nada Tecnológicos Organizacionales ACID (Atomicity, Consistency, Isolation, Durability)
Dilema 3: Las bases de datos relacionales ya no sirven para nada Clave - valor Ej: Cassandra Tecnológicos Documentales Ej: MongoDB Organizacionales B A S E S N O S Q L En grafo Ej: Virtuoso
Dilema 3: Las bases de datos relacionales ya no sirven para nada B A S E S N O S Q L Tecnológicos Todas las bases de datos NoSQL RELAJAN una o más de las propiedades ACID, con consecuencias sobre la versión única de la verdad y sobre la calidad de los datos. Organizacionales
Introducción Agenda Dilema 1: Recolectar montones de datos Dilema2: Big Data Analytics: un asunto tecnológico? Dilema 3: Las bases de datos relacionales ya no sirven para nada. Dilema 4: La calidad de los datos no es tan importante en Big Data Analytics? Dilema 5: Consideraciones éticas en Big Data Analytics?
Dilema 4: La calidad de los datos no es tan importante en Big Data Tecnológicos Para algunos pareciera que la cantidad es lo importante y que la calidad fuera un paradigma pasado de moda. Organizacionales
Dilema 4: La calidad de los datos no es tan importante en Big Data Tecnológicos Organizacionales Eliminar duplicados. Eliminar Outliers. Tratar nulos. Estandarizar formatos.
Dilema 4: La calidad de los datos no es tan importante en Big Data Tecnológicos Organizacionales Imputación Nulos [Amón, 2010]
Agenda Introducción Dilema 1: Recolectar montones de datos Dilema2: Big Data Analytics: un asunto tecnológico? Dilema 3: Las bases de datos relacionales ya no sirven para nada. Dilema 4: La calidad de los datos no es tan importante en Big Data Analytics? Dilema 5: Consideraciones éticas en Big Data Analytics
Dilema 5: Consideraciones éticas del Big Data Analytics El hecho de que sea accesible y legal, no significa que sea ético. Tecnológicos Organizacionales Violación privacidad? Intromisión? Ethics of Big Data: Balancing Risk and Innovation Kord Davis
Más información Tecnológicos Organizacionales