Tema 7: Sesgo inductivo

Transcripción

1 Introducción a la Ingeniería del Conocimiento Curso Tema 7: Sesgo inductivo Miguel A. Gutiérrez Naranjo Dpto. de Ciencias de la Computación e Inteligencia Artificial Universidad de Sevilla IIC CcIa Sesgo inductivo 7.1

2 Ampliación del espacio de hipótesis Qué ocurre si, a pesar de no haber ejemplos contradictorios, no hay ninguna hipótesis que cubra los ejemplos? Cielo Temperatura Humedad Viento Agua Previsión Hacer Deporte Soleado Templada Normal Fuerte Templada Cambio Sí Nublado Templada Normal Fuerte Templada Cambio Sí Lluvioso Templada Normal Fuerte Templada Cambio No La hipótesis más específica consistente con los dos primeros ejemplos es (?, T emplada, Normal, F uerte, T emplada, Cambio) y es demasiado general para el tercer ejemplo. IIC CcIa Sesgo inductivo 7.2

3 Un sistema insesgado (I) Solución: Proporcionar un espacio de hipótesis capaz de representar cualquier concepto, i.e. capaz de representar cualquier posible subconjunto de instancias de X. En nuestro ejemplo Hacer deporte: Hay 96 posibles ejemplos El espacio de hipótesis visto tenía 973 hipótesis El conjunto de las partes tiene 2 96 elementos (aprox ) IIC CcIa Sesgo inductivo 7.3

4 Un sistema insesgado (II) En el ejemplo Hacer deporte: Sea H el espacio de hipótesis visto en el tema anterior: Conjunciones de restricciones. Sea H el espacio de hipótesis que contiene cualquier concepto Cómo podemos representar H? Podemos representar H permitiendo todas las posibles conjunciones, disyunciones y negaciones de hipótesis de H. IIC CcIa Sesgo inductivo 7.4

5 Un sistema insesgado (III) Volvamos a nuestro ejemplo: Cielo Temperatura Humedad Viento Agua Previsión Hacer Deporte Soleado Templada Normal Fuerte Templada Cambio Sí Nublado Templada Normal Fuerte Templada Cambio Sí Lluvioso Templada Normal Fuerte Templada Cambio No Una hipótesis de H consistente con los ejemplos es: (Soleado,?,?,?,?,?) (Nublado,?,?,?,?,?) IIC CcIa Sesgo inductivo 7.5

6 Aumento de la expresividad Más expresividad = Menor capacidad de generalizar Propiedad fundamental de la inferencia inductiva: Un sistema de aprendizaje que no asuma conocimiento a priori sobre el concepto objetivo, no tiene base racional para clasificar instancias no observadas. IIC CcIa Sesgo inductivo 7.6

7 Inferencia inductiva Definición: Sean un conjunto de instancias X. una función de clasificación que toma valores booleanos c : X {0, 1}, un conjunto de hipótesis H y un conjunto de entrenamiento D = { x i, c(x i ) } i I Sea L un algoritmo de aprendizaje y x X. Denotamos por L H,D (x) la clasificación que el sistema L asigna a la instancia x después de estudiar el conjunto de entrenamiento D sobre el espacio de hipótesis H. Notaremos este paso de inferencia inductiva como (H D x) L H,D (x) IIC CcIa Sesgo inductivo 7.7

8 Ejemplo (I.a) Consideremos nuestro ejemplo con X las 96 instancias posibles de días, H la conjunción de restricciones sobre las instancias de los atributos, D este conjunto de entrenamiento Cielo Temperatura Humedad Viento Agua Previsión Hacer Deporte Soleado Templada Normal Fuerte Templada Sigue igual Sí Soleado Templada Alta Fuerte Templada Siguel igual Sí Lluvioso Fría Alta Fuerte Templada Cambio No Soleado Templada Alta Fuerte Fría Cambio Sí y L el algoritmo Find S. IIC CcIa Sesgo inductivo 7.8

9 Ejemplo (I.b) Si z es la instancia (Lluvioso, T emplada, N ormal, F uerte, T emplada, Cambio) entonces L H,D (z) = 0 ya que la salida del algoritmo es la hipótesis (Soleado, T emplada,?, F uerte,?,?) Podemos afirmar que L H,D (z) = c(z) para todo z? IIC CcIa Sesgo inductivo 7.9

10 Ejemplo (II.a) Con el mismo problema de aprendizaje, si L fuera el algoritmo de Eliminación de Candidatos, cuya salida es S: { <Sol., Templada,?, Fuerte,?,?>} <Sol.,?,?, Fuerte,?,?> <Sol., Templada,?,?,?,?> <?, Templada,?, Fuerte,?,?> G: { <Sol.,?,?,?,?,?>, <?, Templada,?,?,?,?>} IIC CcIa Sesgo inductivo 7.10

11 Ejemplo (II.b) Si z es la instancia entonces (Soleado,Templada,Normal,Fuerte,Fría,Cambio) L H,D (z) = 1 ya que todas las hipótesis del espacio de versiones clasifican z como positivo. Podemos afirmar que L H,D (z) = c(z) para todo z? IIC CcIa Sesgo inductivo 7.11

12 Sesgo inductivo (II) En general (H D x) L H,D (x) (H D x) L H,D (x) La información adicional B que nos garantiza ( x X)[(B H D x) L H,D (x)] es lo que llamamos sesgo inductivo. El sesgo inductivo de L es la menor cantidad de información B necesaria para que para cualquier espacio de hipótesis H y cualquier conjunto de entrenamiento D se verifique ( x X)[(B H D x) L H,D (x)] IIC CcIa Sesgo inductivo 7.12

13 Sesgo en Eliminación de candidatos Dados: Un conjunto de instancias X, un concepto c P(X), un conjunto de entrenamiento D c para ese concepto c y un conjunto H de hipótesis Si consideramos el espacio de versiones V S Dc,H computado por el algoritmo de Eliminación de candidatos, para todo x X definimos L H,D (x) de la siguiente manera: L H,D (x) = 1 si todas las hipótesis de V S Dc,H clasifican x como positivo. L H,D (x) = 0 si todas las hipótesis de V S Dc,H clasifican x como negativo. No definido, e.o.c. Sesgo inductivo: c H IIC CcIa Sesgo inductivo 7.13

14 Sistemas deductivos e inductivos IIC CcIa Sesgo inductivo 7.14

15 Tres sistemas de aprendizaje (I) Aprendizaje memorístico: Este sistema simplemente almacena cada ejemplo de entrenamiento observado en la memoria. Cuando le pedimos la clasificación de una nueva instancia, inspecciona la memoria y devuelve su clasificación si la encuentra y no definido si la instancia no ha sido observada. Sesgo inductivo: IIC CcIa Sesgo inductivo 7.15

16 Tres sistemas de aprendizaje (II) Eliminación de candidatos: Una nueva instancia es clasificada si y sólo si todas la hipótesis del espacio de versiones final coinciden en su clasificación y no clasifica en caso contrario. Sesgo inductivo: El concepto objetivo c debe pertenecer al conjunto H de hipótsis. IIC CcIa Sesgo inductivo 7.16

17 Tres sistemas de aprendizaje (III) Find S: Una vez encontrada la hipótesis más específica h, usamos esta hipótesis para clasificar nuevas instancias. Sesgo inductivo: c H Toda instancia que no podemos demostrar deductivamente su clasificación positiva, es negativa. IIC CcIa Sesgo inductivo 7.17

18 Bibliografía Mitchell, T. M. Machine Learning McGraw Hill, Capítulos II y III. IIC CcIa Sesgo inductivo 7.18