Técnicas de aprendizaje sobre series temporales

Transcripción

1 Técnicas de aprendizaje sobre series temporales

2 Contenido 1. Motivación. 2. Ejemplo del Problema. 3. Aproximaciones al problema de clasificación de series temporales. 4. Aprendizaje de reglas. 5. Boosting de literales. 6. Selección de características mediante Boosting. 1. Árboles de decisión. 2. Máquinas de vectores soporte. 7. Resumen final. 2

3 1. Motivación 3

4 4

5 Lenguaje de reglas gráfico 5

6 Evolución de series temporales 6

7 2. Ejemplo del problema 7

8 Conjunto de datos control Normal Decreciendo Creciendo Oscilando Hacia abajo Hacia arriba 8

9 Conjunto de datos control 9

10 Conjunto de datos: Disparo 10

11 Conjunto de datos: Dígitos 11

12 Conjunto de datos: Dígitos 12

13 Conjunto de datos: Dígitos 13

14 Descripción de la series Características de las series: Multivariables/univariables. Discretas. Periodo de muestreo constante. Igual longitud (en principio). Variable: x, y, Para las series multivariables. Atributo: tiempo. Valor: valor de la serie. Ejemplo de serie con 2 variables y longitud 3 {{x.1=1, x.2=5, x.3=2}, {y.1=15, y.2=7, y.3=14}} 14

15 3. Aproximaciones al problema de clasificación de series temporales 15

16 Aproximaciones principales Métodos basados en instancias. Métodos basados en características. Métodos basados en aproximaciones simbólicas. Redes neuronales. Máquinas de vectores soporte. Modelos ocultos de Markov y Redes Bayesianas dinámicas. Ensembles (Multiclasificadores) 16

17 4. Aprendizaje de Reglas Descripción de las series temporales: Predicados sobre intervalos, regiones: Siempre, Alguna-vez, Porcentaje-cierto Alguna-vez(Ejemplo, Variable, Inicio, Fin, Región) Alguna-vez(E, x, 53, 116, r 6 ). Porcentaje-cierto(Ejemplo, Variable, Inicio, Fin, Región, Porcentaje) Generados durante el proceso de aprendizaje. 17

18 Alguna-vez( E, x, 53, 116, r 6 ) x t 18

19 alguna-vez( E, x, 53, 116, r 6 ): T x t 19

20 alguna-vez( E, x, 53, 116, r 6 ): F x t 20

21 Aprendizaje de reglas Algoritmo de recubrimiento secuencial. Generación de cláusulas: General a específico, voraz, heurística. Problema multiclase: Listas de decisión Aprender y usar las reglas en orden. Reglas no ordenadas Aprender las reglas de cada clase de forma independiente. Principal dificultad: cómputo eficiente del mejor literal. 21

22 Ejemplos de reglas clase( E, cilindro ) :- not alguna-vez( E, x, 36, 68, 3), % 174, 25 alguna-vez( E, x, 61, 69, 6), % 158, 2 alguna-vez( E, x, 7, 39, 5). % 150, 0 clase( E, campana ) :- siempre( E, x, 2, 34, 1_4). % 211, 0 clase( E, embudo ) :- not alguna-vez( E, x, 55, 119, 6), % 201, 48 alguna-vez( E, x, 5, 37, 6), % 171, 8 alguna-vez( E, x, 18, 50, 6). % 134, 0 22

23 Interpretación reglas: Cilindro clase( E, cilindro ) :- not alguna-vez( E, x, 36, 68, 3), % 174, 25 alguna-vez( E, x, 61, 69, 6), % 158, 2 alguna-vez( E, x, 7, 39, 5). % 150, 0

24 Interpretación reglas: Campana clase( E, campana ) :- siempre( E, x, 2, 34, 1_4). % 211, 0

25 Interpretación de reglas: Embudo clase( E, embudo ) :- not alguna-vez( E, x, 55, 119, 6), % 201, 48 alguna-vez( E, x, 5, 37, 6), % 171, 8 alguna-vez( E, x, 18, 50, 2). % 134, 0

26 Predicados sobre intervalos: regiones Obtención de las regiones Conocimiento del dominio. Clustering. Clustering: k-medias sobre cada variable. 26

27 Selección de literales I Criterio: ganancia de información (FOIL) Búsqueda exhaustiva: Evaluar, para todos los ejemplos, todos las posibles combinaciones de valores para los argumentos de los predicados. Siempre( Ejemplo, Variable, Inicio, Fin, Región ). Dificultad: tamaño del espacio de literales. 27

28 Selección de literales II Si las series son de longitud n, el número de intervalos es O(n 2 ) Considerando solo los que son potencia de 2: O(n lg n) Reutilizar cálculos: Programación dinámica: combinar la información disponible de 2 intervalos consecutivos de tamaño l para obtener la información necesaria para el intervalo de tamaño 2l 28

29 Selección de literales III 29

30 Tiempo de ejecución O(ervnlgn) v: número de variables n: longitud de las series nlgn: orden del número de intervalos considerados e: ejemplos r: número de grupos 30

31 Otros Predicados 31

32 Predicado Valor-punto < 32

33 valor-punto<( E, x, 32, ): F 33

34 valor-punto<( E, x, 32, ): T 34

35 Predicado Media 35

36 media<( E, x, 24, 39, ): T 36

37 media<( E, x, 24, 39, ): F 37

38 Distancias Distancia euclídea de dos series: Suma de distancias euclídeas. Limitación: Pequeños retrasos en un evento pueden alterar notablemente la distancia euclídea. Alineamiento dinámico temporal (DTW): Permite desplazamientos en el eje temporal. Intenta alinear dos series minimizando el camino de alineamiento (según distancia local). Valor: el del camino de alineamiento mínimo. No es una distancia: medida de disimilitud. 38

39 Predicados de disimilitud distancia < (Ejemplo, Referencia, Variable, Valor) 1. Seleccionar aleatoriamente r ejemplos de referencia. 2. Calcular distancia ejemplos/referencias. 3. Atributos: distancia ejemplos de referencia. 4. Seleccionar mejor referencia/umbral.

40 Tiempo de ejecución O(tve(d(n) + lge) t: ejemplos de referencia v: variables n: longitud de las series d(n): coste de la distancia ed(n): coste de comparar un ejemplo de referencia a todos los demás elge: coste de ordenar los ejemplos de acuerdo a la función de disimilitud 40

41 Evaluación experimental 41

42 Resultados 42

43 Otros resultados CBF Saito & Coifman 95, 5.54 Wavelets + análisis discriminante lineal Kadous 99, 1.9 Extracción de sucesos + agrupamiento + árboles de decisión Frente a 4.31 con reglas, siempre, alguna-vez 2.76 con reglas, porcentaje-cierto 2.11 DTW 1.10 TODOS 43

44 4. Boosting de literales. 44

45 Selección de literales con Boosting Clasificador base: búsqueda en el espacio de literales. Criterio: el literal que minimiza el error del conjunto de datos actual (afectado por pesos) 45

46 Problemas multiclase AdaBoostOC. Clasificador base binario. En cada iteración: Seleccionar aleatoriamente un subconjunto de clases. Problema binario para el clasificador base: las clases del subconjunto frente al resto. Tantos clasificadores como iteraciones. Tantos pesos como iteraciones. 46

47 Ejemplo clasificador AdaBoostOC 47

48 Resultados 48

49 Comparación con reglas 49

50 Problemas multiclase AdaBoostMH con clasificadores binarios. Clasificador base binario. En cada iteración: Seleccionar aleatoriamente una clase. Problema binario para el clasificador base: la clase frente al resto. Pero utilizarlo como clasificador base para todas las clases Para la mayoría no será adecuado: peso negativo. Tantos clasificadores como iteraciones. Tantos pesos como iteraciones clases. 50

51 Ejemplo clasificador AdaBoostMH con clasificadores binarios 51

52 5. Selección de características mediante Boosting. 52

53 Selección de características mediante Boosting. Clasificadores base: nuevas características. Objetivos: Aumentar Precisión. Aumentar Comprensibilidad. Considerar características numéricas en vez de booleanas: media<( Ejemplo, Variable, Inicio, Fin, Umbral) MEDIA( Ejemplo, Variable, Inicio, Fin) 100 iteraciones. Cada ejemplo vendrá descrito por los valores de las características seleccionadas. 53

54 Transformación del conjunto de datos Construir un clasificador mediante Boosting con el tipo de clasificador base deseado. Descartar los pesos asignados a los clasificadores base. Los nuevos atributos son los clasificadores base generados. Para cada ejemplo, el valor de cada atributo es el resultado de evaluar el clasificador base sobre el ejemplo. 54

55 Árboles de decisión 55

56 Árboles de decisión 56

57 Árbol: intervalos 57

58 Árbol: intervalos 58

59 Máquinas de vectores soporte Objetivo: incrementar precisión. Kernel: lineal, gausiano. Lineal: Combinaciones lineales de literales( hiperplano en el espacio original). Gausiano: Requiere guardar vectores soporte (centros). Series en el espacio original. Ajuste de parámetros (C, radio): Validación cruzada 5 particiones. 59

60 Resultados SVM Kernel lineal 60

61 Comparación SVM - Boosting 61

62 Comparación SVM - Boosting 62

63 Resultados SVM Kernel Gausiano 63

64 Número de vectores soporte 64

65 Resumen de resultados media y desviación frente a valor-punto o datos originales: Boosting: 15/16 Árboles: 14/16 SVM lineal: 14/16 SVM gaussiano: 11/16 65

66 Recopilación de resultados V Japonesas. Kudo: 5.9% método basado en regiones 3.8% Modelos Ocultos de Markov Geurts: 19.19% árboles para series 2.97% combinación de 25 árboles 66

67 Recopilación de resultados: Auslan F Kadous: 14.2% árboles de metacaracterísticas 5.1% boosting de árboles 2.1% combinación de varios clasicadores Cada uno, boosting de árboles A partir de distintas características 12.9% Modelos Ocultos de Markov 67

68 7. Resumen final Método viable para construir clasificadores sobre series: resultados competitivos sobre diversos conjuntos de datos. Clasificadores comprensibles: Reglas Clasificadores comprensibles y más precisos: Árboles con selección de características mediante Boosting. Clasificadores precisos: Boosting. SVM con selección de características mediante Boosting. 68