CONCEPTOS Y ECOSISTEMA BIG DATA

Transcripción

1 CONCEPTOS Y ECOSISTEMA BIG DATA

2 El presente documento ha sido elaborado de forma conjunta por las empresas Sunqu y Ticxar para dar a conocer el ecosistema Big Data, su tipología, la analítica y la visualización de datos. Sunqu empresa especializada en el acompañamiento en proyectos de transformación digital y Ticxar, Prefered Partner de Wso2 (líder open source en suites middleware) se han unido para ofrecer soluciones basadas en la tecnología de productos WSO2 en España, Colombia, México y Perú. 2

3 ÍNDICE 3 1. Conceptos Clave 4 2. Big Data 2.1 Big Data - Definición 2.2 Big Data - Drivers 2.3 Big Data Características (5 V s) 2.4 Big Data Aplicaciones 8 3. Tipos de Big Datos 8 4. Tipos de Analítica 9 5. Tipos de Análisis de Datos 9 6. Visualización de Datos 6.1 Visualización de Datos - Características Relación Big Data y BI Tradicional Ecosistema Big Data Referencias 3

4 1. CONCEPTOS CLAVE DataSet: Colecciones o grupos de datos relacionados que comparten el mismo conjunto de atributos. Análisis de Datos: Disciplina de examinar/explorar datos para encontrar hechos, relaciones, patrones y/o tendencias. Es realizado por personas. Analítica: Disciplina para entender datos analizándolos vía múltiples técnicas científicas y herramientas de automatización con el foco de encontrar patrones y correlaciones ocultas. Es realizado por programas de computación. BI: Proceso de obtener conocimiento para mejorar la toma de decisiones al interior de la empresa analizando datos externos y generados por sus procesos de negocio KPI 4 Métrica que permite medir el cumplimiento del éxito dentro de un contexto particular.

5 2. BIG DATA - Definición Disciplina que se dedica a el análisis, procesamiento y almacenamiento de grandes colecciones de datos que se originan frecuentemente de fuentes diversas, utilizando metodologías y herramientas, para apoyar la toma de decisiones. Soluciones de Big Data son requeridas cuando las técnicas y tecnologías tradicionales, para el procesamiento, almacenamiento y análisis de datos son insuficientes. Estás soluciones tiene un grado de madurez menor a las tradicionales e implican grandes niveles de artesanalidad. 5 Machine Learning Sunqu 2016

6 2.2 BIG DATA - Drivers Big Data emergió como una combinación de necesidades de negocio e innovaciones tecnológicas. Analítica y Ciencia de Datos. Digitalización. Medios Sociales (Big 4). Hiperconectividad (Todo conectado con todo). Computación en la nube. Tecnología SW y HW asequible a precios razonables. Hoy se lleva el procesamiento al dato, y no el dato al procesamiento. El cuello de botella es la transmisión. 6

7 2.3 BIG DATA Características (5 V s) Volumen -> Almacenamiento. Velocidad -> Cantidad de tiempo que toma a la data en ser procesada. Variedad -> Múltiples formatos y tipos de datos. Veracidad -> Relación entre Señal (data con valor) vs Ruido (data sin valor). Valor -> Utilidad de los datos para una empresa VOLUME VALUE BIG DATA VARIETY VELOCITY VERACITY 7

8 2.4 BIG DATA Aplicaciones Optimización Operacional. Inteligencia Accionable (Reglas de negocio adaptables). Identificación nuevos mercados. Detección de fallas y fraude. Registros más detallados. Predicciones más precisas. Mejorar la toma de decisiones. Realizar descubrimientos Científicos. 8

9 3. TIPOS DE BIG DATOS Estructurados -> Se ajustan a un modelo de datos o esquema. No Estructurados -> No se ajusta a un modelo o esquema, es inconsistente y no relacional. Semi-Estructurados -> Tiene un nivel de estructura y consistencia, no es relacional por naturaleza. La estructura se puede inferir de los propios datos. MetaData -> Contiene información acerca de las características y estructura de un dataset. 4. TIPOS DE ANALÍTICA Descriptiva-> Responder preguntas alrededor de eventos que ya han ocurrido. Diagnóstica -> Se centra en determinar la causa de un fenómeno acontecimiento que ocurrió en el pasado. Predictiva -> Trata de predecir resultados de eventos, basado en patrones, tendencias y excepciones encontrados en data histórica. Prescriptiva -> Basado en modelos predictivos para determinar acciones que deben ser tomadas, dada una situación determinada. 9

10 5. TIPOS DE ANÁLISIS DE DATOS Análisis Cuantitativo -> Es una técnica que se centra en la cuantificación de los patrones y correlaciones encontradas en los datos. Basado en prácticas estadísticas. Análisis Cualitativo -> Se centra la descripción de diversas calidades de los datos utilizando palabras. Implica el análisis de una muestra pequeña en mayor profundidad en comparación con el análisis cuantitativo. Minería de Datos -> Se centra en el descubrimiento de datos en datasets masivos, utilizando técnicas basadas en software para identificar patrones y tendencias. Machine Learning -> Aprendizaje de máquina, que se centra en la generación de modelos predictivos. 6. VISUALIZACIÓN DE DATOS Visualización de datos es un técnica mediante la cual los resultados analíticos se comunican de forma gráfica usando gráficos, mapas, cuadrícula de datos, infografía y alertas. La representación gráfica de datos hace más fácil entender reportes, ver tendencias e identificar patrones. Ayudan a los perfiles estadísticos y matemáticos a tener un mejor entendimiento de los resultados analíticos. Herramientas de visualización de BigData por lo general son basada en tecnología analítica en memoria. 10

11 6.1 Visualización de Datos - Características Agregation: Proporciona una visión global y resumida de los datos a través de múltiples contextos. Roll-up: Agrupa los datos en múltiples categorías para mostrar los subtotales y totales. Drill-Down: Permite una visión detallada de los datos de interés, centrándose en un subconjunto de datos de la vista resumida. Filtering: Ayuda a centrarse en un conjunto particular de datos mediante el filtrado de los datos que no son de interés inmediato. What-if: Permite múltiples resultados para ser visualizados al permitir que factores relacionados puedan ser cambiados dinámicamente]. 11

12 7. Relación Big Data y BI Tradicional BIG DATA VS BI Big Data pretende complementar a BI Tradicional. BI Tradicional se centra más en analítica descriptiva y diagnóstica. Las bodegas de datos son relacionales y semi-estructuradas. BI Tradicional se centra en reportes ad-hoc y dashboards. BI Tradicional funciona con datos consolidados y validados previamente Big Data combina la información de la bodega de datos con fuentes de datos semiestructuradas y no estructuradas. Big Data comprende la analítica predictiva y prescriptiva para dar un entendimiento global de la organización. BI Tradicional analiza procesos de negocio individuales, Big Data analiza múltiples procesos de negocio simultáneamente. 12

13 8. ECOSISTEMA BIG DATA El impulso de big data en los último años lo han dado la confluencia de varios factores de industria, de mercado y tecnológicos como son la ciencia de datos, la hiperconectivdad en que vivimos (todo conectado con todo), el aumento de la digitalización, el aumento de la capacidad de computo y la disminución de sus costos, el uso masivo de las redes sociales y la computación en la nube. Dada la creciente necesidad e interés de las empresas por incursionar en el mundo de big data se plantea un servicio enfocado en: Entendimiento de los conceptos fundamentales alrededor de big data. Diagnóstico de la empresa tomando como referencia el ecosistema big data planteado. Roadmap de iniciativas teniendo en cuenta el nivel de madurez de la organización y las necesidades estratégicas y de negocio de la organización. Implementación del road map. 13

14 El ecosistema de big data presenta los componentes principales y más relevantes a tener en cuenta a la hora de incorporar y adoptar soluciones big data al interior de las organizaciones. Todo inicia con la generación de grandes cantidades de datos, clasificadas según su fuente de generación en humana (redes sociales, documentos de texto, contenido web, papers, artículos, etc) y máquina (IoT: sensores, logs, señales, etc), estas se almacenan y tipifican en Estructurada, No Estructurada, Semi-estructurada, MetaData. Con estos datos se realizan análisis (cualitativo, cuantitativo, minería de datos y machine learning) soportados en analíticos (descriptivos, diagnósticos, predictivos y prescriptivos) que apoyan la toma de decisiones del personal de negocio presentando los resultados y análisis en herramientas de visualización (Smart data) que permiten la interacción del usuario final. Todo lo anterior soportado por una plataforma tecnológica big data. 14

15 Por último pero no menos importante, dos componentes transversales claves que complementan el modelo, todo el tema de seguridad de la información que debe ser tenido en cuenta y aplicado durante todo el flujo de ingesta, almacenamiento, procesamiento y visualización de los datos hasta convertirse en información que apoye la toma de decisiones oportuna y eficiente. El componente de gobierno que define, actualiza y evoluciones políticas, lineamientos, roles y responsabilidades que permitan que el modelo funcione según lo establecido. El flujo de convertir los datos en información que apoyen la toma de decisiones oportuna, en un modelo de big data se plantea en 5 pasos principales: 1) La ingestión de datos, que es el proceso por el cual, se introducen los1 datos al 1 ecosistema big data, se realiza de dos maneras, en batch (manera tradicional y más utilizada) o en tiempo real el cual soporta el procesamiento y analítica en línea. 2) El almacenamiento de grandes volúmenes, variedad y tipos de datos requiere de un modelo distribuido de archivos. El almacenamiento se puede dar anterior a la ingesta en el caso de batch y posterior al procesamiento en el caso de tiempo real. En cualquiera de los dos casos la premisa debe ser todo dato se debe preservar así no se tenga clara su utilización en el inmediato o corto plazo (Dato que se obtenga o genere se debe almacenar). 3) El siguiente paso es el procesamiento de la información que puede ser en batch o en línea, en este se realizan operaciones de extracción, agregación, validación y limpieza de datos para apoyar las labores de analítica y análisis de datos. 4) El análisis de datos se apoya en herramientas y técnicas analíticas (estadísticas, minería de datos y machine learning) sobre aquellos datos que han sido procesados previamente, adicionalmente sobre visualizaciones, donde también existen técnicas de visualización que permiten presentar la información de una mejor manera dependiendo de la naturaleza de los datos (Smart Data) y lo que se quiere transmitir, que permitan a los analistas y científicos de datos realizar más eficientemente sus análisis. 5) Por último se encuentra la visualización de los datos, que es el paso donde se maximiza el valor real y tangible de la información de cara a los profesionales de negocio que la usan para apoyar la toma oportuna de decisiones. En este paso las visualizaciones no son estáticas como anteriormente, sino que permiten cierto nivel de interacción con los datos por parte del profesional de negocio apoyando de una manera 15 más eficiente la toma de decisiones.

16 9. REFERENCIAS Conceptos tomados de Big Data Analysis & Technology Concepts Arcitura AS2015/CI- GRAS Gobierno de datos-gustavo Mesa-Hector Cotelo.pdf

17