Minería de datos (Introducción a la minería de datos)

Transcripción

1 Minería de datos (Introducción a la minería de datos) M. en C. Sergio Luis Pérez Pérez UAM CUAJIMALPA, MÉXICO, D. F. Trimestre 14-I. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 1 / 24

2 Qué es la minería de datos? Qué es la minería de datos? Witten y Frank 2000 Es el proceso de extraer conocimiento útil y comprensible, desde grandes cantidades de datos almacenados en distintos formatos. Campo multidisciplinario Es un campo multidisciplinario de las ciencias de la computación puesto que puede ayudarse de los sistemas de bases de datos para el manejo de grandes volúmenes de datos, el apoyo de métodos estadísticos para el diseño de hipótesis y modelos matemáticos que con la ayuda de algunas técnicas de la inteligencia artificial, llevan a cabo la generación y refinemiento de tales modelos. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 2 / 24

3 Motivación de la minería de datos Motivación de la minería de datos I Motivación Aunque existen sistemas que permiten generar resúmenes o informes ejecutivos como el procesamiento de transacciones en tiempo real (On-Line Transaction Processing OLTP) o incluso la posibilidad de analizar la información desde distintas perspectivas como el procesamiento analítico en tiempo real (On-Line Analytical Processing OLAP), tales sistemas no generan reglas, patrones o bien conocimiento que pueda ser aplicado a nuevos datos. Así, uno de los retos es manejar grandes volúmenes de datos procedentes de fuentes heterogéneas. Otro reto es aplicar la técnica adecuada sobre tales datos tal que se pueda extraer conocimiento útil. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 3 / 24

4 Diferencia entre algoritmos y heurísticas Diferencia entre algoritmos y heurísticas Algoritmo Un algoritmo es un conjunto finito de pasos bien definidos y ordenados que permiten realizar una actividad, donde dados un estado inicial y una entrada, siempre se llega a un estado final y se obtiene una solución. Una propiedad importante es que para una misma entrada se obtiene siempre la misma salida y es completamente determinista. Heurística Una heurística es un conjunto de pasos para elegir o un conjunto de estados dentro del espacio de estos que son más probables de llevar a una solución aceptable (factible) del problema. En este caso, para una misma entrada no necesariamente se obtiene la misma salida. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 4 / 24

5 Relación entre la minería de datos y la inteligencia artificial Relación entre la minería de datos y la inteligencia artificial I Inteligencia Artificial John McCarthy acuñó el término en Es la simulación de la inteligencia humana en una máquina, de tal manera que la máquina sea eficiente en el proceso de identificar y utilizar el conocimiento adecuado en un determinado paso relacionado con la solución de un problema. La inteligencia artificial estudia los métodos que permiten resolver problemas en los que no existe el conocimiento sistemático para plantear una solución analítica o dicha solución posee una alta complejidad. Tales métodos utilizan el conocimiento heurístico disponible. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 5 / 24

6 Relación entre la minería de datos y la inteligencia artificial Relación entre la minería de datos y la inteligencia artificial II Técnicas de la inteligencia artificial en minería de datos Redes neuronales. Análogo al funcionamiento físico del cerebro de animales y humanos. Algoritmos genéticos. Análogo al proceso de evolución de las cadenas de ADN. Redes bayesianas. Proponen soluciones mediante inferencia probabilística. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 6 / 24

7 Aplicaciones Aplicaciones I Ejemplo 1 Un banco desea predecir cuáles de sus nuevos clientes que solicitan un crédito tienen mayor probabilidad de devolverlo con la finalidad de reducir sus pérdidas. Para ello se desea construir un modelo a partir de la historia crediticia de sus clientes anteriores. ID Crédito Casa Cuentas Devuelve Salario Cliente solicitado propia morosas crédito si 2 no no 0 si si 1 no si 0 si no 0 no Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 7 / 24

8 Aplicaciones Aplicaciones II Una técnica de minería de datos podría generar algunas reglas, por ejemplo: Si Cuentas-morosas > 0 entonces Devuelve-crédito no Si Cuentas-morosas = 0 y [Salario > 2500 o Casa-propia= si] entonces Devuelve-crédito sí en otro caso Devuelve-crédito no Ejemplo 2 En un supermercado se desea ubicar a los productos tal que los clientes puedan ubicar en zonas cercanas los productos que generalmente compran en conjunto. Se cuenta con una tabla que contiene como campos a los productos principales y registros si el cliente i-ésimo compro o no tal producto. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 8 / 24

9 Aplicaciones Aplicaciones III Cliente Huevo Aceite Pañales Vino Leche Mante. Sodas 1 si no no si no si si 2 no si no no si no no 3 no no si no si no no 4 no si si no si no no 5 si si no no no si no 6 no no si no no no si 7 si si no no si si si Un modelo de minería de datos podría encontrar que siempre que se compran pañales igual se compra leche, lo mismo con el vino y sodas, por lo que esos productos podrían ubicarse cerca, pero pueden estar lejos del aceite, el huevo y la mantequilla, otros productos que se acostumbran comprar juntos. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 9 / 24

10 Aplicaciones Aplicaciones IV Ejemplo 3 En una tienda de electrodomésticos se desea tener el inventario suficiente y necesario para satisfacer a los clientes, pero sin generar costos extras por el almacenaje innecesario de productos, es decir se desea tener los productos sólo en el momento adecuado. Para ello se cuenta con el registro de ventas mensuales de cada producto de los últimos doce meses. Producto E12 F12 M12 A12... N12 D12 TV HD DVD Multiregion ipod Touch Estereo Sony Xplod Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 10 / 24

11 Aplicaciones Aplicaciones V Un modelo de minería de datos podría determinar que en noviembre y diciembre de cada año las ventas se incrementan. También podría encontrar que cuando comienza el año las ventas bajan, con excepción del ipod Touch, que posiblemente es causa de que es un regalo común para los jóvenes el de reyes. Del mismo modo se incrementan conforme el mes de mayo se acerca por motivo del día de las madres. Un modelo de regresión permitiría realizar un estimado adecuado de la cantidad de productos a almacenar por mes. Más aplicaciones generales: Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 11 / 24

12 Aplicaciones Aplicaciones VI Negocios: Las empresas o bancos podrían aplicarla con la finalidad de determinar a qué personas debieran contactar pues tienen una mayor probabilidad de comprar sus productos. Se podrían crear modelos para predecir cuáles serán los mejores clientes y cuáles productos son más probables de que un cliente los acepte. En estos casos es necesario que los modelos sean actualizados constantemente. Por qué? Patrones de fuga. La finalidad es que las empresas o instituciones bancarias logren detectar cuáles de sus clientes están considerando cambiarse a la competencia. Entonces en función del valor del cliente se le pueden hacer ofertas personalizadas. Fraudes. Se puede apoyar en la detección de transacciones de lavado de dinero o de fraude en el uso de tarjetas de crédito o de servicios de telefonía móvil. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 12 / 24

13 Aplicaciones Aplicaciones VII Recursos humanos. Permite que el departamento de recursos humanos logre la identificación de las características de los empleados que han tenido mayor éxito en la empresa. Dicha información puede ayudar en la contratación de personal. Comportamiento en Internet. Permite el análisis del comportamiento de los visitantes en una página de Internet. La información obtenida podría utilizarse para ofrecer la propaganda adecuada a cada visitante. Una vez que el visitante adquiere un determinado producto, se puede intentar deducir qué otro ofrecerle. Juegos. La intención es la extracción de estrategias para juegos como el ajedrez y el go. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 13 / 24

14 Aplicaciones Aplicaciones VIII Genética. Se pretende apoyar en el estudio de la genética humana. La importancia radica en el hecho de ayudar a mejorar el diagnóstico, la prevención y el tratamiento de las enfermedades. Objetivo final de la minería de datos En general se desea que la minería de datos sea un soporte sólido para la toma de decisiones ante situaciones futuras. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 14 / 24

15 Tipos de datos Tipos de datos I Que tipos de datos sirven para realizar minería de datos? Casi cualquier tipo de información es buena dependiendo del tipo de problema a abordar. En general podemos encontrar tres clasificaciones dependiendo de cómo se encuentre almacenada la información: estructurada, semi-estructurada y no estructurada. Las bases de datos relacionales pertenecen a la categoría de datos estructurados, pues consisten de tablas que poseen relaciones bajo la existencia de un esquema asociado a ellas. Los siguientes casos entran en la categoria de bases de datos pero cuyo contenido requiere un tratamiento especial. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 15 / 24

16 Tipos de datos Tipos de datos II Con contenido espacial mantienen información relacionada a espacios físicos cuyos datos pueden ser geográficos, redes de transporte, información de tráfico, etc., donde la minería de datos podría encontrar patrones que permitan la construcción de nuevos caminos o líneas del metro. Con contenido temporal mantienen información relacionada al tiempo ya sea instantes específicos o intervalos temporales. Aquí la minería de datos podría encontrar tendencias climatológicas. De contenido documental que pueden poseer datos de los tres tipos y donde la minería de datos podría utilizarse para encontrar asociaciones entre contenidos o clasificación de objetos. Con contenido multimedia donde además de las técnicas de minería de datos se requieren algoritmos de búsqueda eficiente sobre este tipo de formatos. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 16 / 24

17 Tipos de datos Tipos de datos III La Internet es el repositorio de información mas grande donde la información prevaleciente es semi-estructurada y en la mayoría de los casos no estructurada. La minería web generalmente se utiliza para realizar: Minería del contenido la cual pretende encontrar patrones en el contenido de las páginas web. Minería de la estructura que pueden consistir en analizar páginas web cuyo contenido es semi-estructurado. Minería del uso para encontrar patrones de preferencias entre los usuarios de un sitio web y poder adecuar el sitio a sus necesidades. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 17 / 24

18 Tipos de modelos Tipos de modelos Modelos predictivos Un modelo predictivo pretende estimar valores futuros o desconocidos -variables objetivo o dependientes- en función de valores o campos conocidos -variables predictivas o independientes-. Modelos descriptivos Un modelo descriptivo sirve para identificar patrones o resúmenes que permiten explorar las propiedades de los datos examinados con la finalidad de poder describir datos futuros. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 18 / 24

19 El proceso de descubrimiento de conocimiento en bases de datos El proceso de descubrimiento de conocimiento en bases de datos I Berthold & Hand 2003 Es un proceso que realiza un análisis inteligente de los datos utilizando técnicas de análisis estadístico. Fayyad y otros 1996 Lo definen como un proceso no trivial de identificar patrones válidos, novedosos, útiles y comprensibles a partir de los datos. El proceso de descubrimiento de conocimiento en bases de datos puede seguir los siguientes pasos: Seleccionar el conjunto de datos, determinando las variables objetivo y las variables predictivas. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 19 / 24

20 El proceso de descubrimiento de conocimiento en bases de datos El proceso de descubrimiento de conocimiento en bases de datos II Análizar las propiedades de los datos, tratando de encontrar valores atípicos o determinar la ausencia de datos. Transformar el conjunto de datos de entrada, con la finalidad de prepararlos para aplicar la técnica de minería de datos adecuada. Seleccionar y aplicar la técnica de minería de datos, donde se construyen uno o más modelos. Extraer el conocimiento, donde se conciben los modelos representados a través de patrones o relaciones de asociación. Interpretar y evaluar los datos, donde se validan los modelos mediante el uso de distintas técnicas y se concibe el modelo final o se vuelve a iterar sobre estos pasos. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 20 / 24

21 Relación con otras disciplinas Relación con otras disciplinas I Las bases de datos. Uso de almacenes de datos y/o OLAP (On-Line Analytical Processing). OLAP Este tipo de procesamiento en tiempo real maneja operaciones únicamente de consulta sobre grandes cantidades de información con la finalidad de realizar informes y resúmenes toma de decisiones. Resúmenes de ventas mensuales. Consumos eléctricos por día. La espera media de los pacientes en un hospital. Productos: MS SQL Server 7.0 OLAP Services Microsoft Oracle OLAP 11g Oracle Seagate Worksheet Seagate Software. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 21 / 24

22 Relación con otras disciplinas Relación con otras disciplinas II OLTP (On-Line Transactional Processing). Consiste en realizar transacciones, actualizaciones y consultas a la base de datos con un objetivo operacional. Funcionalidad de las aplicaciones de la organización. Información del estado del sistema. Ejemplos: Agregar nuevos clientes. Cambio del sueldo de un empleado. Trámite de un pedido. La recuperación de información. Obtener información desde datos textuales. Bibliotecas digitales. Búsqueda por internet. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 22 / 24

23 Relación con otras disciplinas Relación con otras disciplinas III La estadística. Son necesarios cálculos para obtener: la media, la varianza, las distribuciones, el análisis univariante y multivariante, la regresión lineal y no lineal, la teoría del muestreo, la validación cruzada, la modelación paramétrica y no paramétrica, técnicas bayesianas. El aprendizaje automático. La máquina usa algunos ejemplos para aprender un modelo y los utiliza para resolver el problema. Los sistemas para la toma de decisión. El análisis ROC (Receiver Operating Characteristic) y los árboles de decisión. La visualización de datos. Uso de diagramas de barras, gráficas de dispersión, histogramas, coloreado de imagenes. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 23 / 24

24 Relación con otras disciplinas Relación con otras disciplinas IV La computación paralela y distribuida. Distribuir las tareas más complejas entre diferentes procesadores o nodos. Procesamiento del lenguaje natural. Es una disciplina encargada de producir sistemas informáticos que ayuden en la comunicación, por medio de la voz o del texto. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 24 / 24