Big Data y Manejo de Datos Maestros

Transcripción

1 Objetivos 1.- El alumno identificará el contexto, la problemática y utilizará diversas herramientas de Manejo de Datos Maestros. Esto permitirá formarse un criterio sobre cómo implementar un proyecto de este tipo. 2.- El alumno diferenciará el contexto y la problemática de un proyecto de Big-Data y utilizará diversas herramientas para formarse un criterio sobre cómo implementar un proyecto de este tipo. Introducción a Manejo de Datos Maestros Actualmente la infraestructura de datos en las organizaciones necesita tener un mayor aprovechamiento de los recursos humanos y tecnológicos para poder ser más competitivos. Es común que diversas áreas de cada organización utilicen los mismos datos pero con diferentes propósitos. A estos datos compartidos se les denominan datos maestros y de referencia. Los datos maestros son las representaciones de los elementos primordiales para el funcionamiento de las organizaciones como: clientes, productos y proveedores. Los datos de referencia son listas de códigos que contienen significados de negocio, como catálogos de tipo de productos, tipos de operaciones, entre otros. La importancia de la gestión de estas dos clasificaciones de datos radica en la creación de una visión unificada para compartirlos y sincronizarlos con todos los procesos del negocio. Para tener una visión unificada de estos datos es necesario centralizarlos en un repositorio único. La centralización de estos datos disminuye el riesgo de operar información sin calidad porque estos sirven para validar datos de entrada y generar reportes o productos de información basados en información común y confiable. Dentro de las organizaciones se tienen diferentes expectativas de la calidad de los datos maestros y de referencia, y como no se tiene un control de estos datos, surgen múltiples versiones creando islas de datos incompatibles en formato, estructura y contenido. Como se mencionó previamente, el no contar con las mismas fuentes en los diversos procesos de negocio impacta negativamente la calidad de la información. Aunado a esto, existen otros vicios como la escasa cultura para compartir datos entre diferentes áreas o incluso entre compañeros de un mismo equipo de trabajo y la apropiación de la información. Aun cuando la estructura actual de datos arroje los productos de información requeridos, su contenido puede ser erróneo. Trabajar con datos duplicados y obsoletos impacta negativamente la calidad de los datos de salida que proveen las organizaciones y por lo tanto la toma de decisiones basadas en esta información. Introducción a Big Data

2 El objetivo de un proyecto Big Data es que el usuario capture, analice y utilice una base de datos para obtener una ventaja estratégica, con los paquetes de soluciones y la tecnología que se ofrecen en el mercado. Que el usuario acelere los tiempos para transformar los datos en decisiones, y descubra maneras nuevas de resolver los desafíos de su empresa mediante una combinación de productos de cierta plataforma de datos en tiempo real y soluciones analíticas predictivas. Que el usuario capture una cantidad ilimitada de datos y simplifique su entorno de TI para realizar transacciones, analizar y actuar de manera instantánea. Revele señales y tendencias ocultas en tiempo real mediante un análisis visual atractivo. Comprenda mejor a sus clientes y complázcalos con experiencias personalizadas. Solucione los desafíos críticos de su industria o su línea de negocios de una manera más rápida. Optimice sus operaciones, su análisis y Big Data con un marco unificado de gestión de los datos.

3 PROGRAMA ANALÍTICO DEL CURSO Se describen las definiciones necesarias para la comprensión del contexto, la problemática, así como la situación actual del tratamiento de estos datos y los beneficios de su gestión. 1. ANTECEDENTES DE MANEJO DE DATOS MAESTROS 1.1 Definición de entidades maestras 1.2 Definición de entidades de referencia 1.3 Diferencia entre entidades maestras y de referencia 1.4 Situación actual en las organizaciones 1.5 Beneficios de la gestión de entidades maestras y de referencia 2. MARCO TEÓRICO MANEJO DE DATOS MAESTROS Se presenta el marco conceptual de investigación, el cual contiene la teoría recopilada de metodologías y artículos sobre dicho tema 2.1 Organizaciones y metodologías 2.2 TOGAF 2.3 DAMA 2.4 MDM Institute 2.5 Enterprise Data World 3. ESTRATEGIAS COMERCIALES MANEJO DE DATOS MAESTROS Se presentan las herramientas de software propuestas por parte de la industria para el manejo de datos maestros. 3.1 Oracle 3.2 IBM 3.3 Microsoft 3.4 Informática 3.5 SaS 3.6 MDM Madurity Model 4. ARQUITECTURAS Y RETOS MANEJO DE DATOS MAESTROS 4.1 Arquitectura MDM 4.2 Arquitectura IBM de referencia 4.3 Retos y Uso efectivo de arqutiecturas MDM 5. ANTECEDENTES DE BIG DATA y SAP HANA Se presentan antecedentes, conceptos, arquitecturas y herramientas de software propuestas por parte de la industria para el manejo de big data. 5.1 Antecedentes, conceptos basicos, arquitecturas 5.2 INTRODUCCIÓN A SAP HANA Conceptos básicos Arquitectura 5.3 SAP HANA and Apache Hadoop Proceso en-memoria Hana Almacenamiento de información con Hadoop Herramientas de explotación MapReduce, YARN, HIVE, or SPARK NoSQL options Hortonworks, Cloudera, MapR, and Databricks

4 5.4 SAP HANA smart data access Federated query via virtualized tables on remote sources Integración de datos streaming, Hadoop y cualquier fuente de datos Tablas virtuales creadas por Acceso inteligente en sitios remotos Consultas heterogéneas sin mover datos Acceso a datos hadoop con Hive SAP Data Services 5.5 SAP HANA smart data integration and smart data quality In-memory ETL and data cleansing. 5.6 SAP HANA smart data streaming: Real-time complex event processing. 5.7 SAP HANA advanced analytics: In-memory analytic processing for text spatial, and predictive analysis. Spatial/GIS Predictive Analytics R Text Search (Fulltext and Fuzzy) Text Analytics Text Mining Data Quality HANA IM Services Series Data Business Functions (AFL, BFL, DQFL, PAL) Planning 5.8 SAP HANA dynamic tiering: Multi-temperature data tiering. 5.9 SAP Data Services: All types of data integration SAP Data Science Organization: Experts help implement predictive analytics & custom app. Data scientists. Advanced mathematical modeling, forecasting, and optimization strategies. Complex analysis Predict, visualize, and assess business

5 PROGRAMA GENERAL DE ACTIVIDADES DEL CURSO A continuación se describen las actividades que se desarrollarán durante el semestre en la materia Manejo de Datos Maestros a impartir por la Dra. María del Pilar Angeles. Semana Fechas Temas Agosto 11,13 Presentación, evaluación, Temas IntroMDM 2 MarcoTeoricoMDM ExposiciónAlumno 3 EstrategiasComercialesMDM Practica Talend alumno 4 Practica 2 Talend alumno Practica 3 Talend alumno 5 Informatica ArquitecturaMDM 6 RetosenUsoEfectivoTecnicas-IBM VisionAdecuadaMDMIBM 7 ArquitecturaMDMdeReferenciaIBM 8 IntroBigData 9 IntroHana 10 HanayHadoop 11 HanaSmartAccess 12 HanaDataIntegration 13 HanaDataStreaming 14 HanaAdvancedAnalytics Agosto 18,20 Temas Investigar casos de éxito de 4,5 compañias y exponerlos en clase. Agosto Temas Realizar practica 1 MDM en Talend Septiembre 1,3 Realizar practica 2 MDM en Talend Realizar practica 3 MDM en Talend Septiembre 8,10 Temas Investigar arquitecturas MDM Talend, Oracle, MicroSoft y SAS compañias y exponerlos en clase Septiembre 17 Temas Investigar arquitecturas MDM Talend, Oracle, MicroSoft y SAS compañias y exponerlos en clase Septiembre 22,24 Temas 4.3 y 5.1 1er. Examen parcial Septiembre 29,Oct 1 Entrega calificación, Tema 5.1 Investigar casos de éxito de 4,5 compañias y exponerlos en clase. Octubre 6,8 Tema 5.2 Practica 1 Hana Octubre 13,15 Tema 5.3 Practica 2 Hana Octubre 20,22 Tema 5.4 Practica 3 Hana Octubre 27,29 Tema 5.5 Practica 4 Hana Noviembre 3,5 Tema 5.6 Practica 5 Hana Noviembre 10,12 Tema 5.7 Practica 6 Hana 15HanaDynamicTiering Noviembre 17,19 Tema 5.8 y 2do. Examen Parcial Practica 7 Hana 16 Noviembre 24,26 Entrega de Proyecto, evaluación final Diciembre 1,3 1er. Examen Final, evaluación Diciembre 8,10 2do. Examen Final, evaluación

6 EL ALUMNO SE DEBE PRESENTAR A EXAMEN PUNTUALMENTE A LA HORA DE CLASE Y COMO LIMITE HASTA MEDIA HORA DESPUES, DE LO CONTRARIO PERDERÁ DERECHO A EXAMEN. EVALUACION DEL CURSO Evaluación de las actividades y el peso relativo de cada grupo de ellas para conformar la calificación final del curso. Actividad Porcentaje Tareas 10% Exámenes Parciales 60% Prácticas OBLIGATORIAS 10% Proyecto OBLIGATORIO 20% Total 100% Examen Final 100% Por reglamento general de exámenes, se tienen tres oportunidades para acreditar la materia: 1.- Presentar TODOS los elementos correspondientes a la evaluación del curso (tabla anterior) en tiempo y forma. Al obtener un promedio mayor o igual a 7.6 se da por acreditado el curso. 2.- Presentar el primer examen final y su calificación se pone en actas. 3.- Presentar el segundo examen final y su calificación se pone en actas. Para las calificaciones con enteros de 6 en adelante y decimales.6 sube al siguiente entero. Ej. 5.6 = 5, 6.6=7. Por reglamento general de exámenes no se puede presentar final para subir de calificación. No se acredita la materia si se obtiene calificación menor o igual a 5.9 en exámenes finales. PAGINA DE LA MATERIA: Toda la información correspondiente a la materia se encuentra en la página web. REVISAR LA PÁGINA CORRESPONDIENTE ANTES DE REALIZAR CUALQUIER PREGUNTA RESPECTO A LA EVALUACION DE LA MATERIA. ROYECTO: El proyecto debe entregarse en papel y en formato electrónico por correo electrónico. Se requiere entregar proyecto para tener derecho al primer final. Si no se entrega proyecto, se presentará solo el segundo final. TODAS LAS FECHAS PROGRAMADAS NO SUFREN MODIFICACION.