Botón menú Objetivo de la Minería de datos.

Transcripción

1 Titulo de Tutorial: Minería de Datos N2 Botón menú: Introducción. Las instituciones y empresas privadas coleccionan bastante información (ventas, clientes, cobros, pacientes, tratamientos, estudiantes, calificaciones, fenómenos meteorológicos, etcétera, según su giro), aprovechando que las computadoras y los discos de almacenamiento se han abaratado, y las comunicaciones son también baratas y confiables. Esta información reside en bases de datos operacionales, llamadas así porque con ellas se lleva a cabo la labor sustantiva de las organizaciones: envío de mercancía a clientes, registro de estudiantes, tratamiento a pacientes, cobranza, entre otros. Botón menú Objetivo de la Minería de datos. La Minería de Datos, se enfoca en desarrollar tareas con la ayuda de cómputo y el cual se auxilia en modelos o procesos que se han construido de acuerdo a la secuencia de la siguiente figura:

2 Botón menú Alcances. El nombre de Minería de Datos deriva de las similitudes entre buscar valiosa información de negocios en grandes volúmenes de información como: a. Predicción automatizada de tendencias y comportamientos. b. Descubrimiento automatizado de modelos previamente desconocidos. Procesamiento más rápido significa que los usuarios pueden automáticamente experimentar con más modelos para entender datos complejos. Botón menú Técnicas de Minerías de Datos La minería de datos no es más que un caso especial de aprendizaje computacional inductivo, es mejorar el comportamiento a partir de la experiencia. Aprendizaje = Inteligencia, Es mediante la identificación de patrones existentes en la evidencia la observación de predicciones futuras. Cualquier problema de aprendizaje inductivo se puede presentar regularmente de cualquiera de estas formas. Técnicas de Minería de Datos Abductivos Inductivos Explicativos Descriptivos Predictivos Aprendizaje Analítico Aprendizaje No Supervisado Análisis Exploratorio Interpolación Predicción Secuencial Aprendizaje Supervisado

3 Botón menú: Necesidades de análisis de grandes volúmenes de datos. La mayoría de decisiones de empresas, organizaciones e instituciones se basan también en información de experiencias pasadas extraídas de fuentes muy diversas. Las decisiones colectivas suelen tener consecuencias mucho más graves, especialmente económicas, y, recientemente, se deben basar en volúmenes de datos que desbordan la capacidad humana. INFORMACION ORGANIZAR ANALIZAR DATOS APRENDIZAJE INGRESOS DECIDIR MEDIR ACCIONES Botón menú: Como nace el Descubrimiento de Conocimiento El Descubrimiento del Conocimiento nace como interfaz y se nutre de diferentes disciplinas, se define como la extracción no trivial dé información implícita, desconocida, y potencialmente útil de los datos.

4 Botón menú: Fases del Descubrimiento del Conocimiento (KDD) Determinar las fuentes de información que pueden ser útiles y dónde conseguirlas. Diseñar el esquema de un almacén de datos (Data Warehouse) que consiga unificar de manera operativa toda la información recogida. Implantación del almacén de datos que permita la navegación y visualización previa de sus datos, para discernir qué aspectos puede interesar que sean estudiados. Selección, limpieza y transformación de los datos que se van a analizar. La selección incluye tanto una criba o fusión horizontal (filas) como vertical (atributos). Seleccionar y aplicar el método de minería de datos apropiado. Interpretación, transformación y representación de los patrones extraídos. Difusión y uso del nuevo conocimiento. Botón menú El Proceso de extracción del Conocimiento 1. Desarrollar un entendimiento del dominio de la aplicación. 2. Seleccionar y crear un conjunto de datos en el cual se ejecutará el descubrimiento. 3. Limpieza y reprocesamiento de los datos. 4. Transformación de los datos. 5. Elección de la tarea de minería de datos apropiada. 6. Elección de algoritmos de minería de datos. 7. Empleo del algoritmo de minería de datos. 8. Evaluación. 9. Uso del conocimiento descubierto.

5 1. Desarrollar un entendimiento del dominio de la aplicación. En este punto se prepara el escenario para entender qué se debe hacer con varias decisiones sobre la transformación, algoritmos, representación. El líder del proyecto KDD debe entender y definir los objetivos del usuario final y el ambiente del cual se tomará el proceso de descubrimiento de conocimiento (incluyendo conocimiento previo relevante). A medida que avanza el proceso KDD, se puede hacer una revisión de este paso. 2. Seleccionar y crear un conjunto de datos en el cual se ejecutará el descubrimiento. Una vez que se han definidos los objetivos, se determinan los datos que serán usados para el descubrimiento del conocimiento. Este paso del proceso es muy importante porque la Minería de datos aprende y descubre conocimiento de los datos disponibles. Si faltan datos importantes, el estudio entero puede fallar. Por otra parte, recoger, organizar y operar complejos repositorios de datos es costoso y hay una compensación con la posibilidad de comprender mejor los fenómenos. 3. Limpieza y reprocesamiento de los datos. La confiabilidad de los datos se eleva. Incluye la claridad en los datos, el manejo de valores faltantes y la remoción de ruido o datos anómalos.

6 Puede convertirse en la mayor parte (en términos de tiempo invertido) de un proyecto de Descubrimiento del Conocimiento. Puede involucrar métodos estadísticos complejos o el uso de algoritmos de Minería de datos en este contexto. 4. Transformación de los datos Incluye la reducción de dimensión como selección de características, extracción, registro de muestras, transformación de. Este paso puede ser crucial para el éxito del proyecto de Descubrimiento del Conocimiento y suele ser específico para cada proyecto. 5. Elección de la tarea de minería de datos apropiada En este punto decidimos cuál tipo de tarea de Minería de Datos usaremos, todo depende de los objetivos del Descubrimiento del Conocimiento y también de los pasos anteriores. 6. Elección de algoritmos de minería de datos Teniendo la estrategia, ahora se decide la táctica. Esta etapa incluye la selección del método específico que se usará para buscar patrones.

7 7. Empleo del algoritmo de minería de datos En este paso emplea el algoritmo varias veces hasta que se obtienen resultados satisfactorios, por ejemplo por la puesta a punto de los parámetros de control del algoritmo, tal como el número mínimo de instancias en una sola hoja de un árbol de decisiones. 8. Evaluación Evaluación e interpretación de los patrones, con respecto a los objetivos definidos en el primer paso. Aquí se consideran los pasos de reprocesamiento con respecto a sus efectos en los resultados del algoritmo de Minería de Datos. 9. Uso del conocimiento descubierto Ahora se está listo para incorporar el conocimiento en otros sistemas para acciones más adelante. El conocimiento llega a ser activo en el sentido que se pueden hacer cambios al sistema y medir los efectos. En realidad el éxito de este paso determina la efectividad del proceso entero de Descubrimiento del Conocimiento. Botón menú Data Warehouse Antecedentes del Data Warehouse Hace 15 años el análisis de los datos se realizaba con herramientas de consulta sobre la base de datos operacional, que se basaba en un modelo de datos transaccional, estas herramientas de consulta estaban basadas en lenguajes generalistas de consultas, principalmente SQL. Estas herramientas eran poco flexibles y poco escalables a grandes volúmenes de información. Para responder a la necesidad de flexibilizar este tipo de consultas, que tienen un sentido analítico en lugar de operacional se ha creado una nueva tecnología de bases de datos basada en una nueva arquitectura. Estos son los almacenes de datos (Data Warehousing). Los almacenes de datos son el repositorio de datos.

8 Botón menú Objetivo del Data Warehouse Hacer que la información de la organización sea accesible: los contenidos del Data WareHouse son entendibles y navegables, y el acceso a ellos son caracterizado por el rápido desempeño y diseñado para cambios continuos y contenga la información necesaria y correcta para la toma de decisiones en una organización. Botón menú Definición y nacimiento del Data Warehousing EL Data Warehousing es una técnica para consolidar y administrar datos desde variadas fuentes con el propósito de responder preguntas de negocios y toma de decisiones. Para poder operar eficientemente con esos datos y partiendo que los costes de almacenamiento masivo y conectividad se han reducido drásticamente en los últimos años, parece razonable recoger (copiar) los datos en un sistema unificado. Nace el Data Warehouse (Almacenes de Datos). Se separan de los datos a analizar con respecto a sus fuentes transaccionales (se copia/almacena toda la información histórica).

9 Botón menú Características de un Data Warehouse Un Data Warehouse se caracteriza por ser un conjunto de datos orientados a temas, integrado, variante en el tiempo y no volátiles, que dan soporte al proceso de toma de decisiones. Vamos a analizar esto por partes. a. Orientado a temas Orientado a los temas principales de la organización. b. Integrado En un sistema operacional no hay integración, Esta integración se muestra de diferentes maneras: consistencia en codificación de estructuras, en unidades de medida de las variables. c. Variante en el tiempo El Data Warehouse refleja un histórico de los datos en un horizonte de tiempo mucho más amplio (del orden de años). De esta forma podemos detectar tendencias en el tiempo. d. No volátil El Data Warehouse existe para ser leído y no para ser modificado,

10 Botón menú Los elementos básicos de un Data Warehouse Sistema fuente: Sistemas operacionales de registros donde sus funciones son capturar las transacciones del negocio. A los sistemas fuentes también se le conoce como sistemas heredados (Legacy System). Área de tráfico de datos: Es un área de almacenamiento y grupo de procesos, que limpian transforman, combinan, remover los duplicados, guardan, archivan y preparan los datos fuente para ser usados en el Data Warehouse. Servidor de presentación: La máquina física objetivo en donde los datos del Data Warehouse son organizados y almacenados para consultas directas por los usuarios finales, reportes y otras aplicaciones. Modelo dimensional: Una disciplina específica para el modelado de datos que es una alternativa para los modelos de entidad relación. Procesos de negocios: Un coherente grupo de actividades de negocio que hacen sentido a los usuarios del negocio del Data Warehouse. Data Mart: Un subgrupo lógico del Data Warehouse completo. Data Warehouse: Búsquedas fuentes de datos de la empresa. Y es la unión de todos los Data Marts que la constituyen. Almacenamiento operacional de datos: Es el punto de integración por los sistemas operacionales. Es el acceso al soporte de decisiones por los ejecutivos. OLAP: Actividad general de búsquedas para presentación de texto y números del Data Warehouse, también un estilo dimensional especifico de búsquedas y presentación de información y que es ejemplificada por vendedores de OLAP. ROLAP: Un grupo de interfaces de usuarios y aplicaciones que le dan a la base de datos relacional un estilo dimensional. MOLAP: Un grupo de interfaces de usuarios, aplicaciones y propietarios de tecnología de bases de datos que tienen un fuerte estilo dimensional.

11 Aplicaciones para usuarios finales: Una colección de herramientas que hacen las consultas, analizan y presentan la información objetivo para el soporte de las necesidades del negocio. Herramientas de acceso a datos por usuarios finales: Un cliente de Data Warehouse. Herramientas exclusivas de consulta: Un tipo específico de herramientas de acceso a datos por usuarios finales que invita al usuario a formar sus propias consultas manipulando directamente las tablas relacionales y sus uniones. Modelado de aplicaciones: Un sofisticado tipo de cliente de Data Warehouse con capacidades analíticas que transforma o digiere las salidas del Data Warehouse. Meta Data: Toda la información en el ambiente del Data Warehouse que no son así mismo los datos actuales. Modelo de Data Warehouse Botón menú Los procesos básicos del Data Warehouse (ETL) a. Extracción: este es el primer paso de obtener la información hacia el ambiente del Data Warehouse. b. Transformación: una vez que la información es extraída hacia el área de tráfico de datos, hay posibles paso de transformación como; limpieza de la información, tirar la basura que no nos sirve, seleccionar únicamente los campos necesarios para el Data Warehouse, combinar fuentes de datos, haciéndolas coincidir por los valores de las llaves, creando nuevas llaves para cada registro de una dimensión.

12 c. Carga: al final del proceso de transformación, los datos están en forma para ser cargados. Botón menú Diseño de un almacén de datos Para desarrollar un Data Warehouse son necesarias herramientas que nos ayuden a migrar y a la transformar los datos hacia el almacén. Una vez realizada la migración, se requieren medios para manejar grandes volúmenes de información. Se diseña su arquitectura dependiendo de la estructura interna de los datos del almacén y especialmente del tipo de consultas a realizar. Con este criterio los datos deben ser repartidos entre numerosos centros de datos (Data Marts). Para abordar un proyecto de Data Warehouse es necesario hacer un estudio de algunos temas generales de la organización o empresa, los cuales se describen a continuación: a. Situación actual de partida.- Cualquier solución propuesta de Data Warehouse debe estar muy orientada por las necesidades del negocio y debe ser compatible con la arquitectura técnica existente y planeada de la compañía. b. Tipo y características del negocio.- Es indispensable tener el conocimiento exacto sobre el tipo de negocios de la organización y el soporte que representa la información dentro de todo su proceso de toma de decisiones. c. Entorno técnico.- Se debe incluir tanto el aspecto del hardware (mainframes, servidores, redes,...) así como aplicaciones y herramientas. Se dará énfasis a los Sistemas de soporte a decisiones (DSS), si existen en la actualidad, cómo operan, etc. d. Expectativas de los usuarios.- Un proyecto de Data Warehouse no es únicamente un proyecto tecnológico, es una forma de vida de las organizaciones y como tal, tiene que contar con el apoyo de todos los usuarios y su convencimiento sobre su bondad. e. Etapas de desarrollo.- Con el conocimiento previo, ya se entra en el desarrollo de un modelo conceptual para la construcción del Data Warehouse.

13 f. Prototipo.- Un prototipo es un esfuerzo designado a simular tanto como sea posible el producto final que será entregado a los usuarios. g. Piloto.- El piloto de un Data Warehouse es el primero, o cada uno de los primeros resultados generados de forma iterativa que se harán para llegar a la construcción del producto final deseado. h. Prueba del concepto tecnológico.- Es un paso opcional que se puede necesitar para determinar si la arquitectura especificada del Data Warehouse funcionará finalmente como se espera. Botón menú Fases de la implantación de un Data Warehouse 4. Explotación y mantenimiento de la información 1. Identificación de los requerimiento de información 3. Implementación 2. Análisis y diseño del modelo de bases de datos

14 1. Identificación de los requerimientos de información.- Un data Warehouse con un perfil de analistas de información, no son usuarios técnicos, y sus requerimiento no son conocidos de antemano, trabajan de forma recursiva en base a prueba/resultado, y no requieren tiempos de respuesta críticos. 2. Análisis y diseño del modelo de bases de datos.- En base a la información obtenida se definen los componentes del modelo Lógico de Bases de datos. DIMENSIONES: Representan las áreas temáticas o líneas de negocio. Proporcionan un método general de organizar la información corporativa. ATRIBUTOS: Son dimensiones dentro de una dimensión o calificadores de la dimensión. 3. Implementación.- El tipo de proceso que se vaya a utilizar para explotar los datos, y el Diseño del Modelo de Datos, condiciona la implementación del Data Warehouse. En el caso de técnicas OLAP

15 (On Line Analytical Processing) los tipos de implementación más usuales son bases de datos ROLAP (Relacional) ó MOLAP (Multidimensional). ROLAP MOLAP Explotación y mantenimiento de la información.- La explotación de un Data Warehouse se realiza mediante diversas técnicas dependiendo del tipo de aplicación que se quiera dar a los datos, de cómo se haya realizado el Diseño y la Implementación del modelo de datos: Query & Reporting (Consulta y generación de Informes). On Line Analytical Processing (OLAP) (Proceso de Análisis en Línea). Data Mining (Minería de Datos). El mantenimiento de un Data Warehouse es complejo, y se requiere una serie de fases que se repiten a lo largo del tiempo: Alimentación de Datos (Incremento de datos corporativos e integración de nuevas fuentes de datos). Incorporación de nuevas tecnologías que agilicen el desarrollo del sistema. (Actualización de Hardware y Software). Revisión de Modelos de Datos (basándose en la experiencia adquirida por los técnicos y los usuarios). Formación continua (de usuarios y técnicos). 2.

16 3. Botón menú Data-Warehousing: a. Facilita el análisis de los datos en tiempo real (OLAP), b. No disturba el OLTP de las bases de datos originales. c. A partir de ahora diferenciaremos entre bases de datos para OLTP (tradicional) y almacenes de datos (KDD sobre data-warehouses). Botón menú Conclusión Nuestra capacidad para almacenar datos ha crecido en los últimos años a velocidades exponenciales. En contrapartida, la capacidad para procesarlos y utilizarlos no ha ido a la par. Por este motivo, el Data Mining se presenta como una tecnología de apoyo para explorar, analizar, comprender y aplicar el conocimiento obtenido usando grandes volúmenes de datos. Descubrir nuevos caminos que nos ayuden en la identificación de interesantes estructuras en los datos es una de las tareas fundamentales en la Minería de Datos. Como hemos visto en este artículo, son muchas las áreas, técnicas, estrategias, tipos de bases de datos y personas que intervienen en un proceso de Data Mining. Los negocios requieren que las soluciones tengan una integración transparente en un ambiente operativo. Esto nos lleva a la necesidad de establecer estándares para hacer un ambiente interoperable, eficiente y efectivo. Se exponen algunas iniciativas para estos estándares, incluyendo aspectos en: Modelos: para representar datos estadísticos y de Data Mining. Atributos: para representar la limpieza, transformación y agregación de atributos usados como entrada en los modelos. Interfaces y API: para facilitar la integración con otros lenguajes o aplicaciones de software y API. Configuración: para representar parámetros internos requeridos para construir y usar los modelos. Procesos: para producir, desplegar y usar modelos.

17 Datos remotos y distribuidos: para analizar y explorar datos remotos y distribuidos. La Minería de Datos se presenta como una tecnología emergente, con varias ventajas: por un lado, resulta un punto de encuentro entre los investigadores y las personas de negocios; por otro, ahorra grandes cantidades de dinero a una empresa y abre nuevas oportunidades de negocios. Además, no hay duda de que trabajar con esta tecnología implica cuidar un sin número de detalles debido a que el producto final involucra toma de decisiones.