Tema AA-4: Sesgo inductivo

Transcripción

1 Razonamiento Automático Curso Tema AA-4: Sesgo inductivo Miguel A. Gutiérrez Naranjo José A. Alonso Jiménez Dpto. de Ciencias de la Computación e Inteligencia Artificial Universidad de Sevilla RA CcIa Sesgo inductivo AA-4.1

2 Ampliación del espacio de hipótesis Qué ocurre si, a pesar de no haber ejemplos contradictorios, no hay ninguna hipótesis que cubra los ejemplos? Cielo Temperatura Humedad Viento Agua Previsión Hacer Deporte Soleado Templada Normal Fuerte Templada Cambio Sí Nublado Templada Normal Fuerte Templada Cambio Sí Lluvioso Templada Normal Fuerte Templada Cambio No La hipótesis más específica consistente con los dos primeros ejemplos es (?, T emplada, Normal, F uerte, T emplada, Cambio) y es demasiado general para el tercer ejemplo. RA CcIa Sesgo inductivo AA-4.2

3 Un sistema insesgado (I) Solución: Proporcionar un espacio de hipótesis capaz de representar cualquier concepto, i.e. capaz de representar cualquier posible subconjunto de instancias de X. En nuestro ejemplo Hacer deporte: Hay 96 posibles ejemplos El espacio de hipótesis visto tenía 973 hipótesis El conjunto de las partes tiene 2 96 elementos (aprox ) RA CcIa Sesgo inductivo AA-4.3

4 Un sistema insesgado (II) En el ejemplo Hacer deporte: Sea H el espacio de hipótesis visto en el tema anterior: Conjunciones de restricciones. Sea H el espacio de hipótesis que contiene cualquier concepto Cómo podemos representar H? Podemos representar H permitiendo todas las posibles conjunciones, disyunciones y negaciones de hipótesis de H. RA CcIa Sesgo inductivo AA-4.4

5 Un sistema insesgado (III) Volvamos a nuestro ejemplo: Cielo Temperatura Humedad Viento Agua Previsión Hacer Deporte Soleado Templada Normal Fuerte Templada Cambio Sí Nublado Templada Normal Fuerte Templada Cambio Sí Lluvioso Templada Normal Fuerte Templada Cambio No Una hipótesis de H consistente con los ejemplos es: (Soleado,?,?,?,?,?) (Nublado,?,?,?,?,?) RA CcIa Sesgo inductivo AA-4.5

6 Aumento de la expresividad Más expresividad = Menor capacidad de generalizar Propiedad fundamental de la inferencia inductiva: Un sistema de aprendizaje que no asuma conocimiento a priori sobre el concepto objetivo, no tiene base racional para clasificar instancias no observadas. RA CcIa Sesgo inductivo AA-4.6

7 Inferencia inductiva Definición: Sean un conjunto de instancias X. una función de clasificación que toma valores booleanos c : X {0, 1}, un conjunto de hipótesis H y un conjunto de entrenamiento D = { x i, c(x i ) } i I Sea L un algoritmo de aprendizaje y x X. Denotamos por L H,D (x) la clasificación que el sistema L asigna a la instancia x después de estudiar el conjunto de entrenamiento D sobre el espacio de hipótesis H. Notaremos este paso de inferencia inductiva como (H D x) L H,D (x) RA CcIa Sesgo inductivo AA-4.7

8 Ejemplo (I.a) Consideremos nuestro ejemplo con X las 96 instancias posibles de días, H la conjunción de restricciones sobre las instancias de los atributos, D este conjunto de entrenamiento Cielo Temperatura Humedad Viento Agua Previsión Hacer Deporte Soleado Templada Normal Fuerte Templada Sigue igual Sí Soleado Templada Alta Fuerte Templada Siguel igual Sí Lluvioso Fría Alta Fuerte Templada Cambio No Soleado Templada Alta Fuerte Fría Cambio Sí y L el algoritmo Find S. RA CcIa Sesgo inductivo AA-4.8

9 Ejemplo (I.b) Si z es la instancia (Lluvioso, T emplada, N ormal, F uerte, T emplada, Cambio) entonces L H,D (z) = 0 ya que la salida del algoritmo es la hipótesis (Soleado, T emplada,?, F uerte,?,?) Podemos afirmar que L H,D (z) = c(z) para todo z? RA CcIa Sesgo inductivo AA-4.9

10 Ejemplo (II.a) Con el mismo problema de aprendizaje, si L fuera el algoritmo de Eliminación de Candidatos, cuya salida es S: { <Sol., Templada,?, Fuerte,?,?>} <Sol.,?,?, Fuerte,?,?> <Sol., Templada,?,?,?,?> <?, Templada,?, Fuerte,?,?> G: { <Sol.,?,?,?,?,?>, <?, Templada,?,?,?,?>} RA CcIa Sesgo inductivo AA-4.10

11 Ejemplo (II.b) Si z es la instancia entonces (Soleado,Templada,Normal,Fuerte,Fría,Cambio) L H,D (z) = 1 ya que todas las hipótesis del espacio de versiones clasifican z como positivo. Podemos afirmar que L H,D (z) = c(z) para todo z? RA CcIa Sesgo inductivo AA-4.11

12 Sesgo inductivo (II) En general (H D x) L H,D (x) (H D x) L H,D (x) La información adicional B que nos garantiza ( x X)[(B H D x) L H,D (x)] es lo que llamamos sesgo inductivo. El sesgo inductivo de L es la menor cantidad de información B necesaria para que para cualquier espacio de hipótesis H y cualquier conjunto de entrenamiento D se verifique ( x X)[(B H D x) L H,D (x)] RA CcIa Sesgo inductivo AA-4.12

13 Sesgo en Eliminación de candidatos Dados: Un conjunto de instancias X, un concepto c P(X), un conjunto de entrenamiento D c para ese concepto c y un conjunto H de hipótesis Si consideramos el espacio de versiones V S Dc,H computado por el algoritmo de Eliminación de candidatos, para todo x X definimos L H,D (x) de la siguiente manera: L H,D (x) = 1 si todas las hipótesis de V S Dc,H clasifican x como positivo. L H,D (x) = 0 si todas las hipótesis de V S Dc,H clasifican x como negativo. No definido, e.o.c. Sesgo inductivo: c H RA CcIa Sesgo inductivo AA-4.13

14 Sistemas deductivos e inductivos Vector de entrenamiento Nuevo ejemplo Sistema inductivo Algoritmo de Eliminacion de Candidatos Usando el espacio de hipotesis H Clasif. de un nuevo ejemplo, o "No lo se" Vector de entrenamiento Sistema deductivo equivalente Clasif. de un nuevo ejemplo, o "No lo se" Nuevo ejemplo Demostrador de teoremas Aserto: "H contiene el concepto objetivo" Sesgo inductivo explicito RA CcIa Sesgo inductivo AA-4.14

15 Tres sistemas de aprendizaje (I) Aprendizaje memorístico: Este sistema simplemente almacena cada ejemplo de entrenamiento observado en la memoria. Cuando le pedimos la clasificación de una nueva instancia, inspecciona la memoria y devuelve su clasificación si la encuentra y no definido si la instancia no ha sido observada. Sesgo inductivo: RA CcIa Sesgo inductivo AA-4.15

16 Tres sistemas de aprendizaje (II) Eliminación de candidatos: Una nueva instancia es clasificada si y sólo si todas la hipótesis del espacio de versiones final coinciden en su clasificación y no clasifica en caso contrario. Sesgo inductivo: El concepto objetivo c debe pertenecer al conjunto H de hipótsis. RA CcIa Sesgo inductivo AA-4.16

17 Tres sistemas de aprendizaje (III) Find S: Una vez encontrada la hipótesis más específica h, usamos esta hipótesis para clasificar nuevas instancias. Sesgo inductivo: c H Toda instancia que no podemos demostrar deductivamente su clasificación positiva, es negativa. RA CcIa Sesgo inductivo AA-4.17

18 Bibliografía Mitchell, T. M. Machine Learning McGraw Hill, Capítulos II y III. RA CcIa Sesgo inductivo AA-4.18