Conceptos básicos útiles. PF-5028 Minería de datos Prof. Braulio José Solano Rojas UCR

Transcripción

1 Conceptos básicos útiles PF-5028 Minería de datos Prof. Braulio José Solano Rojas UCR

2 Grafos

3 Grafo Un grafo (o bien, un grafo no dirigido) G consiste en un conjunto E de lados (o ramas, aristas, arcos) tales que cada lado e E está asociado a un par no ordenado de vértices. Sin un único par de vértices v y w, se escribe e = (v, w) o bien e = (w, v). En este contexto, (v, w) denota un lado de un grafo no dirigido y no un par ordenado de números. 3 de 58

4 Grafo V := {1,2,3,4,5,6} E := {(1,2),(1,5),(2,3),(2,5),(3,4),(4,5),(4,6)} 4 de 58

5 Grafo Puentes de Könisberg Wikimedia commons 5 de 58

6 Grafo dirigido Un grafo dirigido (o digrafo) G consiste en un conjunto V de vértices (o nodos) y un conjunto E de lados (o ramas) tales que cada lado e E está asociado a un par ordenado de vértices. Si un lado e está asociado a un par ordenado único de vértices v y w, se escribe e = (v, w). 6 de 58

7 Grafos Se dice que un lado e = (v, w) de un grafo (dirigido o no dirigido) es incidente en v y w. Se dice que los vértices v y w son incidentes en e, y también que son vértices adyacentes. Si G es un grafo (dirigido o no dirigido) con un conjunto de vértices V y un conjunto de lados E, se escribe G = (V, E). Si no se hace otra especificación, los conjuntos E y V se suponen finitos. 7 de 58

8 Tipos de grafos Grafo nulo: aquel que no tiene vértices ni aristas. Grafo vacío: aquel que no tiene aristas. Grafo trivial: aquel que tiene un vértice y ninguna arista. Grafo simple: aquel que no posee bucles o lazos. Grafo completo: grafo simple en el que cada par de vértices están unidos por una arista, es decir, contiene todas las posibles aristas. 8 de 58

9 Tipos de grafos Grafo bipartito completo: sea (W, X) una partición del conjunto de vértices V, es aquel donde cada vértice en W es adyacente sólo a cada vértice en X, y viceversa. Grafo bipartito: sea (W, X) una partición del conjunto de vértices V, es aquel donde cada arista tiene un vértice en W y otro en X. Grafo plano: aquel que puede ser dibujado en el plano cartesiano sin cruce de aristas. 9 de 58

10 Árboles

11 Árbol Un árbol (libro) es un grafo simple en el cual existe un único camino entre cada par de vértices. Un árbol con raíz (radicado) es un árbol que tiene un vértice particular designado como raíz. 11 de 58

12 Árbol 12 de 58

13 Árbol - Teorema Sea T un grafo simple con n vértices. Entonces, son equivalentes los siguientes enunciados: T es un árbol. T es conexo y no contiene circuitos. T es conexo y tiene n 1 lados. T no contiene circuitos y tiene n 1 lados. 13 de 58

14 Árbol con raíz Sea T un árbol con raíz v0. Supóngase que x, y, z son vértices en T y que (v0, v1,, vn) es un camino en T. Entonces vn-1 es el padre de vn. vn es el hijo de vn-1. Si x es un antepasado de y, entonces y es un descendiente de x. Si x e y son hijos de z, entonces x e y son hermanos. Si x no tiene hijos, entonces x es un vértice terminal (o una hoja). Si x no es un vértice terminal, entonces x es un vértice interno (o de una rama). El subgrafo de T que consiste en x y todos sus descendientes, con x como raíz, es el subárbol de T que tiene a x como raíz (o está radicado en x). 14 de 58

15 Árbol binario Un árbol binario es uno con raíz en el cual cada vértice tiene un hijo a la derecha o un hijo a la izquierda, o un hijo a la derecha y uno a la izquierda, o bien, ningún hijo. Un árbol binario completo es uno en el cual cada vértice tiene un hijo a la derecha y no a la izquierda, o bien, ningún hijo. 15 de 58

16 Árbol binario de búsqueda Un árbol binario de búsqueda es un árbol binario T en donde se han asociado datos a los vértices. Los datos se disponen de manera que, para cualquier vértice V en T, cada dato en el subárbol a la izquierda (derecha, respectivamente) de V es menor que (mayor que, respectivamente) el dato correspondiente a V. Para las palabras comunes, se aplica el orden alfabético (orden lexicográfico). 16 de 58

17 Matrices

18 Matriz Una matriz es un arreglo rectangular de escalares, cuyas filas o columnas pueden considerarse como vectores según los requerimientos del caso. En matemáticas se usan generalmente para describir sistemas de ecuaciones lineales, sistemas de ecuaciones diferenciales o representar una aplicación lineal (dada una base). En programación es simplemente un arreglo bidimensional. 18 de 58

19 Matriz Una matriz m x n con entradas en R es un arreglo de elementos de R, que contenga m filas y n columnas. El escalar aij que corresponde a la fila i y a la columna j de una matriz A se llama la entrada (i, j) de A. Se escribe [ a 11 a 12 A= a 21 a 22 a m1 a m2 a 1n a 2n a mn ] Para abreviar, a veces se escribe A = [aij], donde se sobrentiende que i = 1, 2,, m, J = 1, 2,, n. 19 de 58

20 Transpuesta La transpuesta AT de una matriz A Rmxn es una matriz n x m, cuya entrada (i, j) es la entrada (j, i) de A. En símbolos, AT = [aij]. Más explícitamente, [ a11 a 21 A T = a12 a 22 a 1n a 2n a m1 a m2 a mn ] Una matriz cuadrada A Rmxn se llama simétrica si AT = A. 20 de 58

21 Producto de matrices Sea A una matriz m x n y B una matriz n x r, ambas con entradas en R. El producto de las matrices es la matriz m x r denotada por AB, cuya entrada (i, j) es el producto escalar de la fila i de A con la columna j de B, para i = 1, 2,, m; j = 1, 2,, r. Al escribir C = AB, se obtiene la fórmula: n c ij :=a ' i b j = a ik bkj k =1 21 de 58

22 Elementos básicos de análisis exploratorio de datos

23 23 de 58

24 24 de 58

25 Promedio y varianza Para resumir una variable cuantitativa X son índices comunes: El promedio: n 1 = xi X n i=1 La varianza: n 1 2 var ( X )= ( x i X ) n i=1 25 de 58

26 Desviación estándar La desviación estándar del vector X es: σ= var ( X ) 26 de 58

27 Variable centrada y reducida 27 de 58

28 Variable centrada y reducida 28 de 58

29 Covarianza 29 de 58

30 30 de 58

31 31 de 58

32 32 de 58

33 33 de 58

34 34 de 58

35 Álgebra lineal

36 Auto-valores y auto-vectores Sea V cualquier espacio vectorial, sea x un vector no cero en ese espacio vectorial y sea T una transformación linea que empareja V en V. Entonces x es un auto-vector de T con autovalor λ si se cumple la siguiente ecuación: Tx=λ x 36 de 58

37 Auto-valores y auto-vectores 37 de 58

38 Redes neuronales

39 Características del cerebro humano Paralelismo masivo Robustez Tolerancia a fallos Capacidad de aprender Capacidad de generalizar Capacidad de adaptación Capacidad inherente de procesar información contextual Bajo consumo 39 de 58

40 Neurona biológica 40 de 58

41 Respuestas biológicas y artificiales 41 de 58

42 Neurona de McCulloch-Pitts En 1943, McCulloch y Pitts describen la primer neurona artificial y cómo se podrían realizar cálculos lógicos. Estructura de su neurona: Conjunto de conexiones de entrada Valor de salida (binario) Función de proceso Umbral de activación 42 de 58

43 Neurona de McCulloch-Pitts 43 de 58

44 Perceptrón Rossenblatt 44 de 58

45 Separabilidad lineal 45 de 58

46 Teoría de la información

47 47 de 58

48 Generación de datos artificiales

49 Generación de datos artificiales De manera general, se dificulta conseguir conjuntos de datos para hacer pruebas de minería de datos. El tópico de la generación de datos secuenciales es un tema de investigación en sí mismo. 49 de 58

50 Generación de datos artificiales Producir datos aleatorios no es tarea fácil pues aún en datos creados a partir de funciones generadoras de números pseudo-aleatorios pueden haber patrones. Inclusive la media y la varianza designada pueden no coincidir con los resultados dependiendo de la cantidad de datos que se produzcan. Las funciones generadoras de números realmente aleatorios tienen un alto costo computacional. Para la producción de datos masivos esto no es práctico. 50 de 58

51 Generación de datos artificiales Cuando se generan datos totalmente aleatorios, normalmente se desean insertar patrones para ver si la herramienta que hemos creado es capaz de encontrarlos. Crear patrones a insertar no es difícil, lo difícil es mezclarlos con datos aleatorios por diversas razones, algunas de las cuales pueden ser específicas al tipo de minería a efectuar. 51 de 58

52 Repositorios de datos KDD Cup es usualmente uno de los repositorios más utilizados. En diferentes años se han atacado diferentes problemas así que existen datos para diferentes tareas de minería de datos. Frequent Itemset Mining Implementations Repository 52 de 58

53 Repositorios de datos UCR Time Series Classification/Clustering Page Existen otros repositorios de datos serios que pueden ser encontrados en Internet gracias a las herramientas de búsqueda. 53 de 58

54 Herramientas ARtool: herramienta para reglas de asociación con generación de datos artificiales. TARtool: similar a la herramienta anterior pero con un parámetro temporal. KNIME: herramienta de minería de datos de propósito general. Pueden crearse flujos de trabajo de generación de datos de 58

55 Generación de datos artificiales con KNIME Adä, I. y Berthold, M. R. (2010). The new iris data: modular data generators. En Proceedings of the 16th acm sigkdd international conference on knowledge discovery and data mining (pp ). KDD 10. Washington, DC, USA: ACM. The new iris data: modular data generators. 55 de 58

56 Generación de datos artificiales con KNIME Existen dos opciones para generar datos artificiales para una tarea de minería de datos específica. 1.Se puede crear un nuevo flujo de trabajo para generar datos para nuestro proyecto. Es necesario instalar la extensión KNIME para generación. 2.Se pueden reutilizar flujos de trabajo ya realizados por la comunidad de usuarios de KNIME. Instrucciones sobre como descargarlos se encuentran en: 56 de 58

57 Generación de datos artificiales con KNIME Inclusive se pueden encontrar flujos de trabajo fuera de los servidores públicos de KNIME. Basta hacer una búsqueda en algún buscador para encontrar nuevo material. 57 de 58

58 Gracias por su atención! Preguntas?