Aprendizaje de reglas: Programación Lógica Inductiva

Transcripción

1 Introducción a la Ingeniería del Conocimiento Aprendizaje de reglas: Programación Lógica Inductiva Miguel A. Gutiérrez Naranjo Dpto. Ciencias de la Computación e Inteligencia Artificial Universidad de Sevilla IIC RGNC Aprendizaje de... 1

2 Qué es el Aprendizaje Automático? Any change in a system that allows it to perform better the second time on repetition of the same task or on another task drawn from the same population (Simon, 1983). El Aprendizaje Automático estudia cómo construir programas que mejoren automáticamente con la experiencia. Por qué estudiar Aprendizaje Automático? Recientes avances en la teoría y los algoritmos. Crecimiento desbordante de datos en línea (on line). Se dispone de máquinas suficientemente potentes. Interés por parte de la industria. IIC RGNC Aprendizaje de... 2

3 Algunos ejemplos (I) Minería de datos (Data mining): Uso de datos históricos para mejora de decisiones: Datos médicos Decisiones médicas Conducción autónoma de vehículos: Aprenden a conducirse en autopistas en función de la información visual que reciben. Reconocimiento del habla. Juegos Programas que se modifican a sí mismos según las costumbres del usuario: IIC RGNC Aprendizaje de... 3

4 Un problema de minería de datos Dados: Datos de 9714 pacientes, describiendo datos sobre embarazo y alumbramiento. Con 215 características de cada paciente. Objetivo: Aprender a predecir clases de pacientes con alto riesgo de cesárea. Una de las 18 reglas aprendidas: Si la madre es primeriza, los ultrasonidos en el segundo trimestre dan resultados anormales, etc... Entonces será necesaria cesárea IIC RGNC Aprendizaje de... 4

5 Análisis del riesgo en un crédito Reglas aprendidas a partir de la síntesis de datos: Primera regla: Si bancos con deudas > 2 y Reincidencias > 1, entonces Aceptar= No Sí... Segunda regla: Si Bancos con deudas = 0 y Ingresos > , entonces Aceptar= IIC RGNC Aprendizaje de... 5

6 Hacia dónde vamos (I) Hoy: La punta del iceberg Redes neuronales Arboles de decisión Programación lógica inductiva Regresión... Aplicados a bases de datos bien estructuradas Interés por parte de la industria IIC RGNC Aprendizaje de... 6

7 Hacia dónde vamos (II) Oportunidades para el futuro: Aprendizaje a partir de datos de varias fuentes simultáneas: Bases de datos internas, web,... Aprendizaje por experimentación activa Aprendizaje de decisiones en lugar de predicciones Aprendizaje acumulativo de larga duración Lenguajes de programación con aprendizaje incorporado? IIC RGNC Aprendizaje de... 7

8 Disciplinas relacionadas Inteligencia Artificial Métodos bayesianos Teoría de la complejidad Ingeniería del conocimiento Teoría de la información Filosofía Psicología y neurobiología... Estadística IIC RGNC Aprendizaje de... 8

9 Problema de aprendizaje Aprendizaje: Mejora de alguna tarea mediante la experiencia Tarea (T ): Lo que se debe aprender Experiencia (E): La que se tiene en relación a lo que se debe aprender Rendimiento (R): Medida de la calidad de lo aprendido Se dice que un sistema aprende de la experiencia, si el rendimiento R de la tarea T aprendida crece al crecer E. IIC RGNC Aprendizaje de... 9

10 Problema de aprendizaje Qué experiencia? Qué debe aprender? Cómo representamos el conocimiento? Qué algoritmo usaremos para aprenderlo? Cómo se mide la mejora? IIC RGNC Aprendizaje de... 10

11 Ejemplos Una forma de aprender a jugar al ajedrez (de mejorar nuestro juego), es jugar contra nosotros mismos. Normalmente la forma de saber si hemos aprendido es jugar contra otros. Caracterización de este problema de aprendizaje T : Jugar al ajedrez E: Conjunto de partidas jugadas contra uno mismo R: Porcentaje de partidas ganadas contra otro jugador IIC RGNC Aprendizaje de... 11

12 Ejemplos Una forma de que un sistema aprenda a reconocer palabras en un texto manuscrito, puede ser a partir de una base de datos con imágenes de palabras manuscritas y sus correspondientes transcripciones. La forma de saber si el sistema ha aprendido a reconocer palabras, será darle un texto manuscrito y ver cuantas transcripciones correctas hace. Caracterización de este problema de aprendizaje T : Reconocer palabras manuscritas E: Base de datos de palabras con sus transcripciones R: Porcentaje de palabras reconocidas IIC RGNC Aprendizaje de... 12

13 Ejemplos Se puede enseñar a un vehículo a conducir automáticamente, guiándose por lo que ve (usando sensores de visión), y suministrándole una base de datos en la que se hayan registrado las imágenes tomadas mientras un conductor humano conducía el vehículo, junto con las correspondientes acciones que hizo. Caracterización de este problema de aprendizaje T : Conducir un vehículo E: Base de datos de imágenes, y las acciones correspondientes, registradas durante conducción por parte de un conductor humano R: Distancia recorrida sin comenter ningún error IIC RGNC Aprendizaje de... 13

14 Qué estudiar en A. A.? Qué algoritmos pueden aproximar funciones correctamente? Cómo influye el número de ejemplos en la exactitud? Cómo influye la complejidad de la representación de las hipótesis? Cómo influye el ruido? Cuáles son los límites teóricos del aprendizaje? Cómo puede ayudar el conocimiento a priori? Qué esquemas del aprendizaje biológico podemos adoptar? Cómo pueden los sistemas alterar su propia representación? IIC RGNC Aprendizaje de... 14

15 Un ejemplo: Los trenes de Ryszard Michalski Buscamos una explicación que nos permita distinguir entre los trenes que van al este y los trenes que van al oeste. 1. TRAINS GOING EAST 2. TRAINS GOING WEST IIC RGNC Aprendizaje de... 15

16 Ejemplos Ejemplos positivos eastbound(east1). eastbound(east2). eastbound(east3). eastbound(east4). eastbound(east5). Ejemplos negativos eastbound(west6). eastbound(west7). eastbound(east8). eastbound(west9). eastbound(west10). Espacio y sistemas de búsqueda Conocimiento básico Tren 1: short(car_12). load(car_11,rectangle,3). wheels(car_11,2) Tren 2:... IIC RGNC Aprendizaje de... 16

17 Sesión [theory] [Rule 1] [Pos cover = 5 Neg cover = 0] eastbound(a) :- has_car(a,b), short(b), closed(b). [pos-neg] [5] [Training set performance] Actual Pred Accuracy = 1.0 [Training set summary] [[5,0,0,5]] [time taken] [0.13] IIC RGNC Aprendizaje de... 17

18 Qué es un concepto? Un concepto es el conjunto de todas sus instancias (G. Leibnitz) La Humanidad es el conjunto de todos los hombres. La sociedad andaluza es el conjunto de habitantes de Andalucía. La relación mayor que definida sobre el conjunto de los números reales es el conjunto de pares (x, y) tales que x es mayor que y. IIC RGNC Aprendizaje de... 18

19 Aprendizaje de conceptos Para conocer un conjuntos tenemos dos tipos de definiciones: Extensiva: Enumerando uno tras otro sus elementos Vocales = {a, e, i, o,u} Intensiva: Dando una propiedad que tengan todos aquellos y sólo aquellos elementos del conjunto P ares N = {n N m N(n = 2 m)} IIC RGNC Aprendizaje de... 19

20 Gráficamente U E + E H 1 H 3 H 4 H 2 IIC RGNC Aprendizaje de... 20

21 Un ejemplo E + = {2, 4, 6, 8} E = {11, 17} H 1 =E + H 2 = N E H 3 = {n N n es par } H 4 = {n N n 10} IIC RGNC Aprendizaje de... 21

22 Dos problemas Sólo conocemos una cantidad finita de instancias (positivas y negativas) del concepto. Cómo podemos obtener conocimiento general? Abducción Cómo podemos estar seguros de nuestro conocimiento? Justificación IIC RGNC Aprendizaje de... 22

23 Abducción (Peirce y Polya) Charles S. Peirce: La abducción es el proceso de formar hipótesis explicativas. La abducción es la única operación lógica que introduce nuevas ideas. The surprising fact C is observed. But if A were true, C would be a matter of course. Hence, there is reason to suspect that A is true. G. Polya contrasta dos tipos de argumentos: El silogismo demostrativo, en donde de A B y B falso, concluimos A El silogismo heurístico en donde de A B y B verdadero, se sigue que A es más creíble. IIC RGNC Aprendizaje de... 23

24 Reglas de inferencia (C. S. Peirce) DEDUCCIÓN Regla: Todas las judías de esta bolsa son blancas Premisa: Estas judías proceden de esta bolsa Conclusión: Estas judías son blancas INDUCCIÓN Premisa: Estas judías proceden de esta bolsa Conclusión: Estas judías son blancas Regla: Todas las judías de esta bolsa son blancas ABDUCCIÓN Regla: Todas las judías de esta bolsa son blancas Conclusión: Estas judías son blancas Premisa: Estas judías proceden de esta bolsa IIC RGNC Aprendizaje de... 24

25 Justificación David Hume, en sutreatise on Human Nature defendió que la idea de ley causal es algo que existe sólo en la mente y no hay necesidad lógica inherente a las leyes causales. Kark R. Popper apuntó el hecho de que las hipótesis científicas no pueden ser verificadas de manera conclusiva. Sólo pueden ser falsificadas de manera conclusiva. R. Carnap desarrolló teorías estadísticas para confirmar hipótesis científicas expresadas en lógica de primer orden. IIC RGNC Aprendizaje de... 25

26 Aprendizaje de conceptos El aprendizaje de conceptos estudia cómo conseguir la definición de una categoría a partir de ejemplos positivos y negativos de esa categoría. El aprendizaje de conceptos estudia cómo inferir automáticamente una función general sobre el conjunto de ejemplos que tome valores booleanos y caracterice los ejemplos conocidos. f : Ejemplos {0, 1} Dos objetivos: Compresión de la información Capacidad predictiva IIC RGNC Aprendizaje de... 26

27 Ejemplo Problema: Un amigo nuestro practica deportes acuáticos. Unos días los practica y otros no. Nos gustaría saber si hoy va a ir a practicarlos o no. o o o O o o o Universo: Conjunto de todos los dias posibles Objetivo: Conjunto de todos los dias que practica deporte Función objetivo: Función característica del conjunto objetivo Hacer deporte : Días {0, 1} IIC RGNC Aprendizaje de... 27

28 El problema de la representación Cómo representamos un día? Pares atributo valor Selección de atributos: Cielo, Temperatura, Humedad, Viento Agua, Previsión Selección de valores: Cielo: Soleado, lluvioso. Viento: Fuerte, débil, sin viento. Temperatura: Alta, templada, fría. Agua: Caliente, templada, fría. Humedad: Alta, normal, baja. Previsión: Cambio, Sigue igual. IIC RGNC Aprendizaje de... 28

29 Ejemplo Conjunto de entrenamiento: Cielo Temperatura Humedad Viento Agua Previsión Hacer Deporte Soleado Templada Normal Fuerte Templada Sigue igual Sí Soleado Templada Alta Fuerte Templada Siguel igual Sí Lluvioso Fría Alta Fuerte Templada Cambio No Soleado Templada Alta Fuerte Fría Cambio Sí Cuándo hacemos deporte? Podemos definir el concepto Hacer Deporte? IIC RGNC Aprendizaje de... 29

30 El problema del aprendizaje de conceptos (I) (Inf.) Dados: Un universo o conjunto de instancias X (Días posibles, cada uno descrito por los atributos Cielo, Temperatura, Humedad, Viento, Agua y Previsión). Una función de clasificación definida sobre X desconocida: c : X Clasif donde Clasif es el conjunto de posibles clasificaciones que tiene una instancia. En nuestro ejemplo podemos considerar Clasif={Sí, No} o Clasif = {0, 1} IIC RGNC Aprendizaje de... 30

31 El problema del aprendizaje de conceptos (Inf.) Un conjunto de entrenamiento (conocido) D = {(x 1, c(x 1 )), (x 2, c(x 2 )),..., (x n, c(x n ))} formado por pares (x i, c(x i )) donde x i X y c(x i ) es la clasificación de la instancia x i por la función c. Encontrar: Una función objetivo h : X Clasif tal que si (x i, c(x i )) D entonces h(x i ) = c(x i ) IIC RGNC Aprendizaje de... 31

32 Hipótesis La Hipótesis del Aprendizaje Inductivo: Cualquier hipótesis que aproxime la función objetivo sobre un conjunto suficientemente grande de ejemplos de entrenamiento también aproximará la función objetivo sobre el resto de los ejemplos. IIC RGNC Aprendizaje de... 32

33 El problema de la representación Seguimos con nuestro ejemplo Muchas representaciones posibles Pares valor atributo Hiṕotesis: Conjunción de restricciones sobre las instancias de los atributos Cada restricción puede ser: Un valor específico (p. e. Agua = Templada) Cualquier valor (p. e. Agua =?) No se permite ningún valor (p. e. Agua = ) IIC RGNC Aprendizaje de... 33

34 El problema de la representación Podemos considerar que los días para hacer deporte son aquellos en los que Cielo = Soleado y Temperatura = Da igual y Humedad = Da igual y Viento = Fuerte y Agua = Da igual y Previsión = Sigue igual O con una representación más compacta (Soleado,?,?,Fuerte,?,Sigue igual) IIC RGNC Aprendizaje de... 34

35 Programación Lógica Inductiva Programación Lógica Inductiva Aprendizaje Automático Formación de hipótesis a partir de observaciones Síntesis de nuevos conocimientos a partir de la experiencia Programación Lógica Representación formal Orientación semántica Técnicas IIC RGNC Aprendizaje de... 35

36 Desarrollo reciente Los sistemas de ILP han sido usados con éxito en una gran variedad de dominios, incluyendo Ecología Ingeniería Biología molecular Procesamiento del lenguaje natural Control del tráfico... IIC RGNC Aprendizaje de... 36

37 El problema de la representación (I) Pares atributo valor (Lógica proposicional) Hiṕotesis: Disyunción de conjunciones de pares atributo valor Como conjunto de reglas (Cielo=Soleado Humedad=Normal) (Cielo=Nublado) (Cielo=Lluvioso Viento=Débil) Si Cielo=Soleado y Humedad=Normal entonces Hacer deporte Si Cielo=Nublado entonces Hacer deporte Si Cielo=Lluvioso y Viento=Débil entonces Hacer deporte IIC RGNC Aprendizaje de... 37

38 El problema de la representación (II) Como árbol de decisión Cielo Soleado Nublado Lluvioso Humedad Si Viento Alta Normal Fuerte Debil No Si No Si IIC RGNC Aprendizaje de... 38

39 Limitaciones Limitaciones: Una representación formal limitada (lenguaje de pares atributo valor equivalente al de la lógica proposicional) Dificultad del manejo del conocimiento base IIC RGNC Aprendizaje de... 39

40 Programación Lógica Inductiva (I) Dados B Conocimiento básico D Conjunto de entrenamiento, con D = { x i, c(x i ) } n i H Espacio de hipótesis... tales que... B D ( i {1,..., n})[b x i, c(x i ) ] Encontrar h H tal que B D h ( i {1,..., n})[b H x i, c(x i ) ] IIC RGNC Aprendizaje de... 40

41 Ejemplos de ILP (I) Representación estándar: Ejemplos: Atomos cerrados de la relación hija(x,y). Conocimiento base: Definiciones de las relaciones progenitor(x,y) y mujer(x) (Atomos cerrados o definiciones de predicados). Conjunto de entrenamiento hija(maria,ana) hija(eva,tomas) hija(tomas,ana) hija(eva,ana) Conocimniento base progenitor(ana,maria) mujer(ana) progenitor(tomas,eva) mujer(maria) progenitor(ana,tomas) mujer(eva) Hipótesis inducida: hija(x,y) mujer(x), progenitor(y,x) IIC RGNC Aprendizaje de... 41

42 Ejemplos de ILP (II) H 0 = { camino(x,y) enlace(x,y) camino(x,y) enlace(x,z),camino(z,y) IIC RGNC Aprendizaje de... 42

43 Ejemplos de ILP (III) E = {par(0), par(s(s(0))), par(s(s(s(s(0))))),...} E = {par(s(0)), par(s(s(s(0)))), par(s(s(s(s(s(0)))))),...} Hipótesis: H 0 = { par(0) par(s(s(x))) par(x) IIC RGNC Aprendizaje de... 43

44 Métodos (I) Ascendente: Comenzamos por una hipótesis demasiado específica, i.e., que no cubre todos los ejemplos positivos y por tanto, debe ser generalizada. Técnicas: Resolución inversa (CIGOL) Menor generalización (Golem)... IIC RGNC Aprendizaje de... 44

45 Métodos (II) Descendente: Comenzamos por una hipótesis demasiado general, i.e., que cubre alguno de los ejemplos negativos y por tanto, debe ser especializada. Técnicas: Inferencia de modelos (MIS) Método extensional (Foil)... IIC RGNC Aprendizaje de... 45

46 CIGOL (S. Muggleton y W. Buntine, 1988) Sistema interactivo Método ascendente Basado en resolución inversa Entrada Salida Ejemplos Conocimiento base Respuestas a preguntas Cláusulas de Horn IIC RGNC Aprendizaje de... 46

47 Resolución C 1 q A C 2 p q, B C p A, B IIC RGNC Aprendizaje de... 47

48 Operadores en CIGOL (I) C 1 q A C p A, B C 2 p q, B Absorción: q A q A p A, B p q, B Identificación: p A, B q A p q, B p q, B IIC RGNC Aprendizaje de... 48

49 Operadores en CIGOL (II) W operadores C 1 [p r, A, B] q A, B [p A, B] B 1 p A, B C [r A] p A, q [q A, C] B 2 p A, C [q r, A, C] C 2 q A, C Intra construcción: Inter construcción: p A, B p A, C q A, B p A, q q A, C p A, B q A, C p r, A, B r A q r, A, C IIC RGNC Aprendizaje de... 49

50 Operadores en CIGOL (III) El operador de truncamiento {L 1 } {L} {L 2 } σ 1 τ 1 τ 2 σ 2 IIC RGNC Aprendizaje de... 50

51 Ejemplos con CIGOL (I) Concatenación de listas?- cigol. OPERADORES!- conc([s],[t],[s,t]). Truncamiento... I know: conc([s],[t],[s,t]).!- conc([],[a],[a]). Truncamiento... Is conc(a,[b],[c D]) always true? n. Superado el tiempo límite ms. para Absorción I know: conc([],[a],[a]). conc([s],[t],[s,t]). not(conc(a,[b],[c D])). IIC RGNC Aprendizaje de... 51

52 Ejemplos con CIGOL (II)!- conc([],[1,2],[1,2]). Truncamiento... L 1 =conc([],[a],[a]) Is conc([],[a B],[A B]) always true? y. L 2 =conc([],[1,2],[1,2]) I know: conc([],[a B],[A B]). conc([s],[t],[s,t]). not(conc(a,[b],[c D])).!- conc([1],[2,3],[1,2,3]). Truncamiento... L 1 =conc([s],[t],[s,t]) L 2 =conc([1],[2,3],[1,2,3]) IIC RGNC Aprendizaje de... 52

53 Ejemplos con CIGOL (III) Is conc([a],[b C],[A,B C]) always true? y. Absorción... conc([],[a B],[A B]) conc([a],[b C],[A,B C]) conc([],[a 1 B 1 ],[A 1 B 1 ]) conc([a 2 B 2 ],C 2,[A 2 D 2 ]):- conc(b 2,C 2,D 2 ) τ 1 = { A1 B B 1 C } conc([a],[b C],[A,B C]) τ 2 = A 2 A B 2 [] C 2 [B C] D 2 [B C] New clauses:[(conc([a B],C,[A D]):- conc(b,c,d)] cover new facts: conc([a,b],[c D],[A,B,C D])]... Are new clauses always true: y. IIC RGNC Aprendizaje de... 53

54 Ejemplos con CIGOL (IV)... I know: conc([],[a B],[A B]). conc([a B],C,[A D]):- conc(b,c,d). not(conc(a,[b],[c D])).!- conc([],[],[]). Truncamiento... Is conc([],a,a) always true? y.... I know: conc([],a,a). conc([a B],C,[A D]):- conc(b,c,d) not(conc(a,[b],[c D])). IIC RGNC Aprendizaje de... 54

55 Golem (S. Muggleton y C. Feng, 1990) La menor generalización general Plotkin (1970) y Reynolds (1970) dotan al conjunto de términos de un lenguaje de estructura de retículo mediante la relación de θ subsunción. Un concepto C subsume a otro D si D C La cláusula C 1 θ subsume a la cláusula C 2 si existe una sustitución θ tal que C 1 θ C 2 Forman retículo, i.e., dadas C 1 y C 2 existe un único inf(c 1, C 2 ) y un único sup(c 1, C 2 ) que llamaremos menor generalización general de C 1 y C 2. IIC RGNC Aprendizaje de... 55

56 Golem (mgg) Menor generalización general (mgg): mgg(f(t 1,..., t n ), g(s 1,..., s n )) = mgg(p(t 1,..., t n ), q(s 1,..., s n )) = Sea ψ : TERM TERM VAR f(mgg(t 1, s 1 ),..., mgg(t n, s n )) ψ(f(t 1,..., t n ), g(s 1,..., s n )) p(mgg(t 1, s 1 ),..., mgg(t n, s n )) No definida Si f = g e.o.c. Si p = q e.o.c. mgg(c 1, C 2 ) = {mgg(l 1, l 2 ) : l 1 C 1, l 2 C 2 } IIC RGNC Aprendizaje de... 56

57 Menor generalización (I) Ejemplo 1: expr(una,mujer) expr(una,niña) } = expr(una,x) Ejemplo 2: expr(el,hombre) masc(el), masc(hombre) expr(un,niño) masc(un), masc(niño) } = expr(x,y) masc(x), masc(y) IIC RGNC Aprendizaje de... 57

58 Menor generalización (II) Ejemplo 3: T O + O masc(el) fem(la) expr(el,niño) expr(el,mujer) masc(un) fem(una) expr(una,mujer) expr(una,niño) masc(niño) fem(niña) expr(el,hombre) expr(un,niña) masc(hombre) fem(mujer) H 0 = { expr(x,y) masc(x), masc(y) expr(x,y) fem(x), fem(y) IIC RGNC Aprendizaje de... 58

59 Ejemplos con Golem (I.a) Lógica proposicional Lenguaje: Dos símbolos proposicionales: p y q Cinco conectivas:,,, y. Definición: 1. p es una fórmula. 2. q es una fórmula. 3. Si F es una fórmula, también ( F ). 4. Si F y G son fórmulas, entonces también lo son (F G), (F G), (F G) y (F G). IIC RGNC Aprendizaje de... 59

60 Ejemplos con Golem (I.b) Ejemplos f([q,, [, q]]). f([p,, q]). f([, p]). f([q,, p]). f([[, p],, [, q]]). f([p,, q]). f(q). f([q,, p]). f([[, p],, [p,, q]]). f([p,, [, p]]). O + f([, [, p]]). f([q,, p]). f([[, q],, [p,, q]]). f([p,, [, p]]). f([p,, q]). f(p). f([, q]). f([p,, q]). f([q,, p]). f([, ]). f([q,, ]). f([,, p]). f([,, q]). f([q, q, p]). f([p,, ]). f([p, p, q]). f([, p, p]). f([p,, ]). f([,, q]). O f([p,, ]). f([,, p]). f([,, ]). f([p, p, [p,, q]]). f([, p, [, p]]). f([[, q],, [p,, ]]). Respuesta: f(q). f(p). f([, A]) : f(a). f([a,, B]) : f([, A]), f(b). f([a,, B]) : f([, A]), f(b). f([a,, B]) : f([, A]), f(b). f([a,, B]) : f(a), f(b). IIC RGNC Aprendizaje de... 60

61 Ejemplos con Golem (II.a) Lenguaje natural Lenguaje Ocho determinantes (d): el, la, los, las, un, una, unos, unas. Ocho nombres comunes (n): hombre, hombres, mujer, mujeres, niño, niños, niña, niñas. Ocho adjetivos (a): moreno, morena, morenos, morenas, rubio, rubia, rubios, rubias. Ocho nombres propios (np): Pepe, Paco, Antonio, Eduardo, María, Ana, Rosa, Julia. Conocomiento base (Clasificación): cl(paco,[np,m,s]) cl(rubias,[a,f,p]) IIC RGNC Aprendizaje de... 61

62 Ejemplos con Golem (II.b) Ejemplos: Estructura: (np), (d)+(n), (d)+(n)+(a) O + : O : Respuesta: sn([la,niña,morena]) sn([una,niños,moreno]) sn([la, mujer]). sn([una, mujer]). sn([a, niña]) : cl(a, [d, f, s]). sn([a]) : cl(a, [np, B, s]). sn([a, B]) : cl(a, [d, m, s]), cl(b, [n, m, s]). sn([a, B]) : cl(a, [d, C, p]), cl(b, [n, C, p]). sn([a, B, C]) : cl(a, [d, D, E]), cl(b, [n, D, E]), cl(c, [a, D, E]). IIC RGNC Aprendizaje de... 62

63 Aplicación con Golem (I) Predicción de la estructura secundaria de las proteinas (OUCL en cooperación con Imperial Cancer Research Fund) Dada la estructura primaria de una proteina (secuencia de aminoácidos), Encontrar la estructura secundaria Predecir si los residuos individuales formaán una hélice levógira Ejemplos: 12 proteinas no homólogas (1612 residuos) Conocimiento base: Propiedades físicas y químicas de los residuos individuales y su posición relativa dentro de la proteina Sistema: GOLEM 21 cláusula producidas, cada una de unos 15 literales Su precisión sobre un test independiente fue del 82 %, mientras que la precisión del mejor método convencional fue del 73 % IIC RGNC Aprendizaje de... 63

64 Aplicación con Golem (II) Predicción y Comparación de la acción de fármacos Ejemplos: 44 fármacos que se ajustan a la plantilla A Conocimiento base: Propiedades químicas de los sustituyentes Sistema ILP: GOLEM Las cláusulas inducidas fueron consideradas como una teoría novedosa por los químicos La correlación entre el resultado de la predicción y la acción real de los fármacos estudiados fue mejor que la alcanzada por métodos de regresión. IIC RGNC Aprendizaje de... 64

65 Aplicación con Golem (III) Clasificación biológica de la calidad del agua de un río Dada una lista de indicadores biológicos tomados en distintas muestras de agua y sus niveles de abundancia, clasificarlos en una de las cinco clases B1a, B1b, B2, B3, B4. Ejemplos: 300 muestras de la cuenca superior de un río de Gran Bretaña, clasificados por expertos. Conocimiento base: Relaciones entre los niveles de abundancia. Sistemas: GOLEM, CLAUDIEN Reglas descubiertas interesantes (según evaluación experta): b1b(x) ancilidae(x, A), gammaridae(x, B),..., greater than(d, B). IIC RGNC Aprendizaje de... 65

66 Invención de predicados (I) Derivadas de potencias de una variable Conocimiento base: Para toda potencia de una variable x, x m, existe un único monomio en esa variable, ax b, que representa la derivada de dicha potencia respecto de la variable. Ejemplos: Hipótesis: d x 2 dx = 2x d x 5 d x m dx = mxm 1 dx = 5x4 IIC RGNC Aprendizaje de... 66

67 Invención de predicados (I)?- cigol. OPERADORES!- deriv([1,x,2],[2,x,1]). Truncamiento... I know: deriv([1,a,2],[2,a,1]).!- deriv([1,x,5],[5,x,4]). Truncamiento... L 1 =deriv([1,x,2],[2,x,1]) L 2 =deriv([1,x,5],[5,x,4]) Is deriv([1,a,b],[b,a,c]) always true? n. Intra construcción deriv([1,x,2],[2,x,1]) deriv([1,x,5],[5,x,4]) IIC RGNC Aprendizaje de... 67

68 Invención de predicados (II) p116(2,1) deriv([1,a,b],[b,a,c]):-p116(b,c) p116(5,4) ɛ τ 1 τ 2 ɛ deriv([1,x,2],[2,x,1]) deriv([1,x,5],[5,x,4] deriv([1,a,b],[b,a,c]:- p116(b,c). p116(2,1). p116(5,4). What shall I call p116? menos 1... I know: deriv([1,a,b],[b,a,c]:- menos 1(B,C). menos 1(2,1). menos 1(5,4). not(deriv([1,a,b],[b,a,c])). IIC RGNC Aprendizaje de... 68

69 KDD El Descubrimiento de conocimiento en bases de datos es el proceso de identificar en los datos estructuras válidas, novedosas, potencialmente útiles y en última instancia comprensibles (U. Fayyad) IIC RGNC Aprendizaje de... 69

70 KDD: Fases Dominio de la aplicación Conocimiento de la aplicación Objetivos del proceso Creación de la base de datos Preproceso y limpieza de datos Reducción de variables y datos Elección del modelo resultante: Resumen, clasificación, regresión,... Minería de datos (Aprendizaje, ILP,...) Interpretación Uso del conocimiento adquirido IIC RGNC Aprendizaje de... 70

71 Bibliografía Lavrač, N. y Džeroski, S. Inductive Logic Programming Techniques and Applications Ellis Horwood Ltd., 1994 Nienhuys Cheng, S-H. y De Wolf, R. Foundations of Inductive Logic Programming Springer Verlag, 1997 Lavrač, N. y Džeroski, S. Relational Data Mining Springer., Network of Excellence in Inductive Logic Programming ILPnet2 ILPnet2/ Otros enlaces IIC RGNC Aprendizaje de... 71

72 Bibliografía Mitchell, T. M. Machine Learning McGraw Hill, Capítulo II. Lecturas recomendadas Markov, Z Machine Learning Course Bratko, I. PROLOG Programming for Artificial Intelligence Tercera Edición. Addison Wesley, Capítulo XVIII Langley, P Elements of Machine Learning Morgan Kaufmann Publishers, Capítulo I IIC RGNC Aprendizaje de... 72

73 Bibliografía Mitchell, T. M. Machine Learning McGraw Hill, Capítulo II. M. Anthony y N. Biggs Computational Learning Theory Cambridge University Press, Capítulo I. Lecturas recomendadas A.Aliseda Llera Seeking Explanations: Abduction in Logic, Philosophy os Science and Artificial Intelligence ILLC Dissertation Series, Capítulo I P. Flach Conjectures. An inquiry concerning the logic of induction ITK Dissertation series, Capítulo II M.A. Gutiérrez Naranjo Operadores de generalización para el aprendizaje clausal Tesis doctoral, Capítulo II IIC RGNC Aprendizaje de... 73