Calidad de datos y Big Data

Transcripción

1 Calidad de datos y Big Data Objetivos 1.- El alumno identificará el contexto, la problemática y utilizará diversas herramientas de Calidad de Datos. Esto permitirá formarse un criterio sobre cómo implementar un proyecto de este tipo. 2.- El alumno diferenciará el contexto y la problemática de un proyecto de Big-Data y utilizará diversas herramientas para formarse un criterio sobre cómo implementar un proyecto de este tipo. Introducción a Calidad de Datos Introducción a Big Data El objetivo de un proyecto Big Data es que el usuario capture, analice y utilice una base de datos para obtener una ventaja estratégica, con los paquetes de soluciones y la tecnología que se ofrecen en el mercado. Que el usuario acelere los tiempos para transformar los datos en decisiones, y descubra maneras nuevas de resolver los desafíos de su empresa mediante una combinación de productos de cierta plataforma de datos en tiempo real y soluciones analíticas predictivas. Que el usuario capture una cantidad ilimitada de datos y simplifique su entorno de TI para realizar transacciones, analizar y actuar de manera instantánea. Revele señales y tendencias ocultas en tiempo real mediante un análisis visual atractivo. Comprenda mejor a sus clientes y complázcalos con experiencias personalizadas. Solucione los desafíos críticos de su industria o su línea de negocios de una manera más rápida. Optimice sus operaciones, su análisis y Big Data con un marco unificado de gestión de los datos.

2 Big Data y Manejo de Datos Maestros PROGRAMA ANALÍTICO DEL CURSO Se describen las definiciones necesarias para la comprensión del contexto, la problemática, así como la situación actual del tratamiento de estos datos y los beneficios de su gestión. 1 Calidad en Bases de Datos Objetivo: El alumno distinguirá los diferentes indicadores de calidad en los datos dentro de los sistemas de información. 1.1 Introducción Causas de problemas de calidad de bases de datos Calidad de Información Dimensiones de Calidad Calidad de Datos Dimensiones de Calidad 1.2 Marcos de trabajo para la mejora de Calidad Objetivos Medición Evaluación Limpieza 1.3 Pasos esenciales en un Proyecto empresarial de calidad de datos Necesidades del negocio Análisis de la información Evaluación de calidad de datos Evaluación del impacto en el negocio Identificación de causas de mala calidad Plan de mejora Prevención de errores Corrección de errores Implementar controles Comunicar acciones 1.4 Talend Open Studio for Data Quality Prácticas 2 Algoritmos de de-duplicación de datos Objetivo: El alumno distinguirá, comparará y programará algunos algoritmos para la de-duplicación de registros 2.1 Introducción 2.2 El proceso de correspondencia de datos Ejemplo de correspondencia de datos Pre procesamiento de datos-codificación Eliminación de caracteres y tokens Estandarización y tokenizacion Segmentación en campos de salida Verificación Indexado Definición de llaves para bloqueaje Soundex Dra. María del Pilar Angeles Página 1

3 Syllabus de Temas Selectos de Base de Datos Phonex Phonix Nysiis Double metaphone Fuzzy Soundex Comparación de pares de registros Justificación Comparación exacta, por truncamiento y por codificación Comparacion de cadenas Otras técnicas de comparación de cadenas Comparación numérica Comparación de fechas, edades y tiempo Comparación de distancias geográficas GEOGRAPHICAL DISTANCE COMPARISON Comparación de registros Clasificación Clasificación basada en umbrales CLASIFICACIÓN PROBABILISTICA Clasificación basada en costos Clasificación basada en reglas Clasificación basada en métodos supervisados Clasificación colectiva Evaluación de calidad y complejidad en la correspondencia de datos Medición de calidad de la correspondencia de datos Medición de la complejidad de la correspondencia de datos Uso e Implementación de algunos algoritmos en FEBRL 3. ANTECEDENTES DE BIG DATA Se presentan antecedentes, conceptos, arquitecturas y herramientas de software propuestas por parte de la industria para el manejo de big data. 3.1 Introducción Big Data Antecedentes Conceptos básicos Tipos de datos Diferencia con Bases de datos relacionales Arquitecturas 3.2 Introducción a Hadoop Almacenamiento de información con Hadoop Herramientas de explotación MapReduce 3.3 Hortonworks Introducción Hortonworks Ambari Sqoop y MapReduce Pig y Hive HCatalog Pig y Hive mas detallado Yarn Oozie Hadoop Streaming

4 Calidad de Datos y Big Data PROGRAMA GENERAL DE ACTIVIDADES DEL CURSO A continuación se describen las actividades que se desarrollarán durante el semestre en la materia Manejo de Datos Maestros a impartir por la Dra. María del Pilar Angeles. Semana Fechas Temas 1 IntroCalidadDeDatos, Calidad- Agosto 7-9 Presentación, evaluación, 1.1 Introducción Calidad en Bases de Datos1 Datos 2 10pasoscalidad EspecificacionesProyectoCalidadDatos Agosto , 1.2 Introducción y Marco de trabajo Calidad en Bases de Datos, 1.3, 1.4 Pasos esenciales en proyectos de calidad de datos, Especificación proyecto Calidad datos 3 InroDataMatching IntroKDD IntroFEBRL Agosto Introducción Algoritmos de de-duplicación de datos, Ejemplos, Pre procesamiento ASIGNAR TEMAS DE EXPOSICION- RUBRICA Agosto 28, Pre procesamiento, indexado 4 1-Selección e integración, 1- MetodosdeIndexado 5 2-MetodosComparacion2 Septiembre 4, Comparación, clasificación Algoritmosde clasificación Metodos de Clasificacion 6 4- Septiembre 11, Evaluación y calidad del proceso de de-duplicación Evaluaciondeclasificacionderegistros 7 EXPOSICIONES Septiembre 18,20 Entrega y Presentaciones de algoritmos de indexación, comparación y Clasificación 8 IntroBigData, IntroHadoop Septiembre Primer examen parcial, IntroBigData, IntroHadoop 9 IntroBigData, IntroHortonworks y Octubre 2,4 Ambari Introducción Big Data DEJAR Investigar y proponer proyecto (redes sociales, datos no estructurados, datos estructurados) 10 preguntas de negocio, buscar fuentes de datos Exponer propuesta de proyecto, Tema ambari 10 IntroBigData, IntroHortonworks y Octubre 9,11 Ambari 11. INtroHadoop, SqoopMapReduce Octubre 16,18 Tema 3.3.3, Avance proyecto- preguntas vs. Datos (análisis de negocio con información disponible) 12. PIG, HIVE Octubre 23,25 Tema Exponer Alcance proyecto, herramientas que necesitarán 13. PigyHive HCatalog Octubre 30 Tema 33.4 y Avance implementación carga de CIERTOS datos a HDFS 14. PigyHive2 Noviembre 6,8 Tema Avance de implementación esquema y consulta de datos 15. Yarn Noviembre 13,15 Tema prácticas y/o Minería de datos Carga de datos de redes sociales (Facebook, twitter), visualización gráfica de resultados del análisis 16. HadoopStreaming Noviembre 20,22 Tema 3.3.9Dudas proyecto, Mineria de datos, 2do. Examen parcial Noviembre 27,29 Entrega de proyecto, evaluación final publicación página web, Primer Examen Final, publicación pagina web Diciembre 4,6 Segundo examen final, publicación página web

5 Big Data y Manejo de Datos Maestros EL ALUMNO SE DEBE PRESENTAR A EXAMEN PUNTUALMENTE A LA HORA DE CLASE Y COMO LIMITE HASTA MEDIA HORA DESPUES, DE LO CONTRARIO PERDERÁ DERECHO A EXAMEN. EVALUACION DEL CURSO Evaluación de las actividades y el peso relativo de cada grupo de ellas para conformar la calificación final del curso. Actividad Porcentaje Tareas 10% Exámenes Parciales 60% Prácticas OBLIGATORIAS 10% Proyecto OBLIGATORIO 20% Total 100% Examen Final 100% Por reglamento general de exámenes, se tienen tres oportunidades para acreditar la materia: 1.- Presentar TODOS los elementos correspondientes a la evaluación del curso (tabla anterior) en tiempo y forma. Al obtener un promedio mayor o igual a 7.6 se da por acreditado el curso. 2.- Presentar el primer examen final y su calificación se pone en actas. 3.- Presentar el segundo examen final y su calificación se pone en actas. Para las calificaciones con enteros de 6 en adelante y decimales.6 sube al siguiente entero. Ej. 5.6 = 5, 6.6=7. Por reglamento general de exámenes no se puede presentar final para subir de calificación. No se acredita la materia si se obtiene calificación menor o igual a 5.9 en exámenes finales. PAGINA DE LA MATERIA: Toda la información correspondiente a la materia se encuentra en la página web. REVISAR LA PÁGINA CORRESPONDIENTE ANTES DE REALIZAR CUALQUIER PREGUNTA RESPECTO A LA EVALUACION DE LA MATERIA. PRÁCTICAS: Las prácticas se entregan vía correo electrónico dirigido a distribuidas@yahoo.com.mx el día de la fecha de entrega antes del inicio de clase. Los entregables consisten en lo siguiente: 1.- El Asunto del correo electrónico debe ser el número, tipo de práctica y opcionalmente el equipo, (ej. Practica 0 MDM, Equipo 3), en el cuerpo del correo deben estar los nombres de los participantes. 2.- El Archivo que contenga las imágenes de las pantallas en donde se reflejen la ejecución de los comandos completos que se requieren para realizar todos los pasos de todas las actividades y sus correspondientes resultados. 3.- El Archivo script con comandos u opciones que se piden en dicha actividad. 4.- Los archivos deben estar adjuntos al correo electrónico, NO deben ser parte del texto del mensaje. NOTAS: a) Los correos deben tener en el Asunto el número de práctica y el número de Equipo, en el cuerpo del correo deben estar los nombres completos de todos los integrantes que participaron en la elaboración de la práctica. b) En caso de que no se envíe a la dirección indicada, fuera de horario establecido o sin los archivos adjuntos correspondientes, se considera la práctica como no entregada. LO MISMO APLICA PARA EL PROYECTO. c) Solo se anotará como entregado a los alumnos que sean enlistados en el cuerpo del correo.

6 Calendarización de prácticas: Big Data y Manejo de Datos Maestros Prácticas Big Data: Practica 1 Ambari Octubre 4 Practica 1 Sqoop Big Data Octubre 11 Practica 2 Sqoop Octubre18 Practica 1 Entendiendo MapReduce Octubre 25 Practica 1 PIG Octubre 30 Practica 2 PIG Nov 8 Practica 3 PIG Nov 8 Practica 4 PIG Nov 15 Practica 5 PIG Nov 15 Practica 1 Hive Nov 22 Practica 2 Hive Nov 22 Practica 3 Hive Nov 29 Practica 4 Hive Nov 29 Practica 1 HCatalog Nov 29 NOTAS PRACTICAS BIGDATA: LA IMAGEN: 2_DevPH\VM\-HDP-DA-VMWare es para: P1-Sqoop,P2-Sqoop,P1-MapReduce,P1-Pig hasta P5-Pig, P1-Hive hasta P4-Hive, P1-Hcatalog, P1-Yarn,P1-Oozie Los laboratorios se encuentran en /root/devph/labs Para las practicas de Flume para tweet y ODBC, la imagen con la que probe es HDP_2.4:vmware_ v3 PEDIRLA CUANDO SE REQUIERA. al arrancar la imagen, el usuario es root password hadoop pero pide se cambie el password yo puse hortonflume* Copie una imagen HDP_2.4:vmware_v3_LIMPIOSOLOCOPIAR esta imagen es la que se debe distribuir para que empiecen de cero. PROYECTO: El proyecto debe entregarse en papel y en formato electrónico por correo electrónico a la misma dirección que las prácticas. Debe contener al igual que las prácticas, si es el caso, código en formato txt. Las pantallas con la ejecución correcta ejecución de las actividades que se piden. Además de lo que indica la hoja de requerimientos. Se requiere entregar proyecto para tener derecho al primer final. Si no se entrega proyecto, se presentará solo el segundo final. NINGUNA FECHA PROGRAMADA SUFRE MODIFICACION.