KDD y MD. Dr. Juan Pedro Febles Rodríguez BIOINFO CITMA Juan Pedro Febles KDD y MD

Transcripción

1 KDD y MD Dr. Juan Pedro Febles Rodríguez BIOINFO febles@bioinfo.cu CITMA 2005

2 Temas a tratar Algunos antecedentes académicos. El proceso de descubrimiento de conocimientos en Datos (KDD). La minería de datos, un momento del KDD.

3 Objetivos Exponer la urgencia de trascender los métodos tradicionales para estudiar los datos existentes y poder descubrir conocimientos que pueden ser usados en la toma de decisiones. Identificar temas de colaboración entre portadores de los datos y especialistas de las ciencias básicas

4 Pincelada de historia académica 1985: Douglas Fisher funda la Artificial Intelligence and Statistic Society. Ligada: First International Workshop on artificial intelligence and statistic. A partir de entonces la conferencia es bianual. Objetivo principal: Promover la comunicación entre la comunidad estadística y la de Inteligencia artificial. 1994: Cheesman y Olford escriben: We feel that there is great potential for development at the interceccion of artificial Intelligence, computational science and statistic.

5 IA Familia de problemas Estadística como Clasificación Consiste en Encontrar las clases en que se estructura un dominio dado

6 El Conocimiento humano para Comprender el mundo Observación: Un buen número de aplicaciones reales en KDD o bien requieren un proceso de clasificación o son reducibles a el. Tres técnicas básicas utiliza Diferenciación de la experiencia en objetos particulares y sus atributos Distinción entre el todo y sus partes Clasificación

7 Otros momentos importantes I989: Primer Workshop on Kowledge Discovery of Datos en el seno de IJCAI, International Joint Conference on Artificial Intelligence. 1996: Famosa definición de Fayyad, sobre KDD y MD. The non-trivial process of identifying valid, novel, potentially useful, and ultimately understandable patterns in data.

8 ofrece MT KDD Significado del conocimiento extraído para La toma de decisiones no abarca Problema es Información oculta preparación los datos la interpretación y si MD aplica IA Estadística para Encontrar patrones Descubrir relaciones que permita Crear modelos que son Representación Abstracta de la Realidad

9 KDD Desde un nivel abstracto: Desarrollo de técnicas y métodos para darle sentido a los datos. El problema básico del KDD es: Partir de un conjunto de datos voluminoso y casi ininteligible y convertirlo en otro: Mas compacto Mas abstracto Mas útil

10 Meta Procesar automáticamente grandes cantidades de datos crudos, identificar los patrones más significativos y relevantes, y presentarlos como conocimiento apropiado para satisfacer las metas del usuario.

11 Creciente interés Ciencia Astronomía: Los éxitos obtenidos por SKICAT, un sistema usado por los astrónomos para analizar, clasificar y catalogar objetos celestes. 3 terabytes de información Economía Marketing. Inversiones Detección de fraude Telecomunicaciones Limpieza de datos

12

13 Resumen de los pasos en un proceso de KDD Primero: Esclarecer las características y prioridades del dominio e identificar las metas del proceso que se va a realizar desde el punto de vista del cliente o usuario. Segundo: Seleccionar el conjunto de datos, o enfatizar las variables o muestras sobre los cuales el descubrimiento va a ser ejecutado. Tercero: Limpieza y preprocesamiento de los datos. Incluye eliminación de ruidos, estrategias para recuperar datos perdidos, posibles cambios de los datos, etc.

14 Resumen proceso de KDD Cuarto: Reducción y proyección. Se trata de encontrar rasgos útiles para representar los datos de acuerdo a las metas propuestas. Quinto: Se trata de casar las metas del proceso de KDD planteadas en el primer paso, con un método particular de DM. Sexto: Selección de hipótesis. Métodos, algoritmos de MD, parámetros asociados a los modelos. Por ejemplo el usuario final puede estar mas interesado en un modelo predictivo.

15 Resumen proceso de KDD Séptimo: Minería de datos. Es la búsqueda de patrones de interés en una forma particular de representación: reglas, árboles, regresión,clustering,etc. Octavo: Interpretación de los patrones minados. Puede incluir visualización de los patrones extraídos. Noveno: Actuar con el conocimiento descubierto: directamente; incorporándolo a otro sistema; documentándolo y publicándolo; etc.

16

17 KDD

18 Minería a de Datos: Concepto Minería de Datos o Data Mining tiene distintas definiciones según el área en la que se utiliza, en general se dice que: Permite establecer procesos de forma automatizada para la obtención de información a partir de grandes cantidades de datos.

19 MINERIA DE DATOS

20

21

22 Dos tipos de metas Verificación: El sistema esta limitado a la hipótesis del usuario. Descubrimiento: El sistema, automáticamente, encuentra nuevos patrones. Puede ser para: Predicción: Cuando el sistema encuentra patrones por predicción del comportamiento de alguna entidad. Descripción: Donde el sistema presenta los datos de forma inteligible para los humanos.

23 Típicamente un algoritmo de DM tiene tres componentes: El modelo. Criterio de preferencia o elección El algoritmo de búsqueda.

24 Topologías del modelo Por su función puede ser de clasificación, regresión, clustering, de generación de reglas, reglas de asociación, modelos de dependencia o análisis de secuencias. Por su representación puede ser redes neuronales, árboles de decisión, discriminación lineal, etc.

25 Aprendizaje automático (machine learning). Edad: cuatro décadas Objetivo: desarrollar métodos computacionales que implementan varias formas de aprendizaje, en particular, mecanismos capaces de inducir conocimiento a partir de datos. Aplicación: problemas que carecen de solución algorítmica eficiente, son vagamente definidos, o informalmente especificados. Ejemplos: diagnostico médico, reconocimiento de patrones visuales y detección de regularidades en enormes cantidades de datos.

26 Algoritmos más utilizados en AA Aprendizaje basado en árboles de decisión Aprendizaje basado en redes neuronales artificiales Aprendizaje probabilístico y Bayesiano Aprendizaje basado en instancias Aprendizaje evolutivo Aprendizaje lógico inductivo Aprendizaje por refuerzo

27 Tendencias en Aprendizaje Automático tico 1. Aprendizaje por Refuerzo. 2. Aprendizaje estadístico. Maquinas de soporte vectorial Aprendizaje de redes bayesianas 3.Métodos basados en conjunto de clasificadores 4. Razonamiento basado en casos

28 Reconocimiento de patrones (pattern recognition o matching), Edad: + de cuatro décadas Objetivo: estudiar el desarrollo y aplicación de sistemas complejos basados en técnicas "blandas" (redes neuronales, lógica borrosa, algoritmos evolutivos, etc.) para la tarea de clasificación adaptable de patrones, en una doble vertiente de reconocimiento y de focalización (conocimiento contextual). Aplicación: problemas de los que no se dispone de un modelo matemático, o el modelo es demasiado complejo, o las propiedades estadísticas de los datos son muy variables Ejemplos: patrones visuales basados en imágenes aéreas o satelitales, clasificación y diagnóstico, problemas relacionados en el campo del control inteligente, etc.

29 soft-computing Edad: ultimas dos décadas Característica: engloba gran parte de las metodologías que pueden ser aplicadas en DM. Algunas de las metodologías más extendidas y usadas son: algoritmos genéticos, lógica fuzzy, redes neuronales, razonamiento basado en casos, conjuntos rough o hibridaciones de las anteriores.

30 MINERIA DE DATOS

31 MINERIA DE DATOS

32 Métodos de la Minería a de Datos 1.Clasificación 2.Regresión 3.Agrupamiento (Clustering) 4.Resumen 5.Modelado de dependencia 6.Análisis de secuencias

33 Clasificación Obtener un modelo que permita asignar un caso de clase desconocida a una clase concreta.

34 Agrupamiento (clustering) Hacer corresponder cada caso a una clase. Estas clases se obtienen directamente de los datos de entrada usando medidas de similaridad.

35 Modelado de Dependencias Obtener descripciones de dependencias existentes entre variables. Ejemplo reglas de asociación.

36 Regresión Obtener un modelo que permita predecir el valor numérico de alguna variable

37 Resumen Obtener representaciones compactas para subconjuntos de los datos de entrada. (Análisis interactivo de datos, generación automática de informes, visualización de datos, etc.)

38 Análisisde secuencias Se intenta modelar la evolución temporal de alguna variable, confines descriptivos o predictivos

39 MINERIA DE DATOS

40

41 MINERIA DE DATOS

42 Data warehouse La mayoría de los datos que se necesitan para el Data Mining se encuentran en bases de datos heterogéneas que necesitan ser integradas para su posterior análisis por Data Mining. En este sentido el Data warehouse es una de las tecnologías claves de gestión de datos para llevar a cabo Data Mining. En español pueden ser llamados: almacenes o bodegas de datos

43 Almacenes de Datos y Minería de Datos Es necesario tener almacenes de datos para realizar minería de datos? Los almacenes de datos no son imprescindibles para hacer extracción de conocimiento a partir de datos. se puede hacer minería de datos sobre un simple fichero de datos. Las ventajas de organizar un almacén de datos para realizar minería de datos se amortizan sobradamente a medio y largo plazo cuando: tenemos grandes volúmenes de datos, o éstos aumentan con el tiempo, o provienen de fuentes heterogéneas o se van a combinar de maneras arbitrarias y no predefinidas.

44 Datamart Es un subconjunto de un DW para un propósito específico. Se puede ver como una vista del DW orientada a un aspecto de un negocio, con un tiempo de vida reducido Su función es apoyar a otros sistemas para la toma de decisiones. Un datamart debe permitir consultas de muchas formas usando herramientas OLAP. Dos enfoques para construir DW: 1. Construir primero un núcleo del DW y luego hacer varios datamarts. 2. Construir primero un datamart e ir expandiendo la bodega de datos y añadiendo nuevos datamarts.

45 RETOS 1.La facilidad con que se puede caer en una falsa interpretación. n. 2.Las precisión n de las mediciones (tiempo, instrumento, ). 3.La protección n a la privacidad (empleo de tarjetas de créditos como fuente de datos, ).

46 MD vs MT la minería a de datos pretende extraer los metadatos a partir de información textual necesariamente estructurada la minería a de textos no se limita sólo s a la información n que cumple con requerimientos específicos o que está organizada de forma manual, sino que aplica a todo tipo de información.

47 Swanson y Smalheiser el stress se asocia a las migrañas. as. El estrés genera pérdidas p de magnesio. Los bloqueadores de calcio previenen las migrañas. as. El magnesio es un bloqueador natural del calcio. La difusión n de la depresión n cortical (SCD) aparece en casos de migraña. a. Altos niveles de magnesio inhiben el SCD. Los pacientes con migraña tienen una alta agregación n de plaquetas. El magnesio puede suprimir la agregación n de plaquetas

48 Conclusión n de Swanson y Smalheiser vínculo entre la falta de magnesio y algunos tipos de migrañas as.

49

50 Criterios para seleccionar aplicaciones Criterios prácticos: existe potencialmente un impacto significativo, no hay métodos alternativos, existe soporte del cliente para su desarrollo, no existen problemas de legalidad o violación a información privilegiada. Criterios técnicos: existen suficientes datos, atributos relevantes, poco ruido en los datos, y conocimiento del dominio.

51 Conclusión n principal El DCBD y su fase fundamental de MD es una actividad computacional extremadamente compleja que sólo s rinde frutos si se tiene una metodología a adecuada de trabajo como la descrita y se lleva a cabo con la participación n interdisciplinaria de los especialistas del área del problema y del dominio de los datos y los especialistas en computación n y matemática tica correspondientes. El proceso es altamente iterativo y las iteraciones son dictadas por las validaciones de los resultados que obligan a consecuentes reformulaciones del problema y reconsideración n y refinamiento de los datos y algoritmos utilizados.