Aprendizaje Computacional y Extracción de Información

Transcripción

1 Aprendizaje Computacional y Extracción de Información Introducción Jose Oncina oncina@dlsi.ua.es Dep. Lenguajes y Sistemas Informáticos Universidad de Alicante 17 de octubre de 2005 J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

2 Índice 1 Introducción 2 Ejemplo: el juego de las Damas 3 Bases de datos 4 Aplicaciones 5 Cuestiones J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

3 Qué es aprender? La RAE lo define como: Adquirir el conocimiento de algo por medio del estudio o de la experiencia. Como sabemos que hemos adquirido el conocimiento? J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

4 Otra definicion de aprender definicion: Se aprende cuando se cambia el comportamiento en una tarea de forma que se mejora con la experiencia Según la definición... Unos zapatos aprenden? Habrá que definir: A qué tarea nos referimos Como obtenemos la experiencia Qué significa mejor (como se mide) J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

5 Porqué trabajar en aprendizaje? Hay tres grandes nichos: 1 Minería de datos: Extraer conocimiento a partir de (muchos) datos Bases de datos médicas conocimiento médico Registros de compras pautas de compras 2 Aplicaciones que no sabemos programar a mano Conducir un vehículo traducción automática 3 programas que se auto-adaptan Noticias interesantes Buscadores auto-ajustables J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

6 Porqué ahora? Han habido grandes progresos en la teoría y en la práctica Abundancia de datos Los ordenadores son cada vez mas potentes Industria en crecimiento J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

7 Ejemplo: Juego de las damas Tarea: jugar a las damas Rendimiento: porcentaje de partidas ganadas en un torneo Experiencia: oportunidad de jugar contra si mismo J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

8 Algunas cuestiones a aclarar A partir de que datos vamos a aprender? Que es exactamente lo que debemos aprender? Como lo vamos a representar? Como lo vamos a aprender? Vamos a ver cada cuestión por separado... J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

9 A partir de que datos vamos a aprender? Experiencia directa o indirecta? conocemos cuales son las jugadas buenas o las jugadas de una partida ganadora (o perdedora) Disponemos de un maestro al que preguntar? Las muestras, son representativas del torneo? J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

10 Que es exactamente lo que vamos a aprender? eligemovimiento : tablero movimiento V : tablero R Una vez estimada, la función V puede usarse para calcular el valor de un tablero J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

11 Posible definición de la función V Si b es una posición final ganadora, entonces V (b) = 1 Si b es una posición final perdedora, entonces V (b) = 1 Si b es una posición final de tablas, entonces V (b) = 0 Si b no es una posición final, entonces V (b) = V (b ), donde b es la mejor posición final a la que se puede llegar desde b jugando de forma óptima. Problema: Este procedimiento no es practicable J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

12 como vamos a representar V? Conjunto de reglas? Red neuronal? Función sobre ciertas características de la posición?... J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

13 Una representación lineal V (b) = w 1 x 1 + w 2 x 2 + w 3 x 3 + w 4 x 4 + w 5 x 5 + w 6 x 6 A las x i se les denomina características x 1 : número de piezas negras x 2 : número de piezas blancas x 3 : número de damas negras x 4 : número de damas blancas x 5 : número de piezas blancas amenazadas x 6 : número de piezas negras amenazadas J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

14 Ejemplos de entrenamiento V (b): función objetivo óptima V (b): función objetivo estimada V t (b): valor de entrenamiento Una forma para obtener valores de entrenamiento: V t (b) = V (sucesor(b)) Donde sucesor(b) denota la posición después de jugar el programa y su oponente. Si el programa y su oponente juegan bien, tendremos las mismas oportunidades de ganar antes y después de su jugada J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

15 Como lo vamos a aprender? Hay que aprender los valores de w i Una posibilidad es minimizar la suma de los errores al cuadrado: argmin w i (b,v t (b)) ( V t (b) V ) 2 (b) J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

16 De forma equivalente Repetir un cierto número de veces... Para cada par (b, V t (b)) 1 Calcular V (b) 2 Calcular el error de la posición actual: error(b) = V t (b) V (b) 3 Para cada característica x i, actualizar w i : w i = w i + η error(b) x i Donde η es una constante (> 0) para moderar la tasa de aprendizaje Si x i = 0, no se actualiza w i Si error(b) = 0, no se actualiza w i Si error(b) > 0 ( V (b) es muy pequeño), el peso w i aumentará. J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

17 Elecciones al diseñar J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

18 Es un buen día para jugar? Condiciones para practicar un deporte Outlook Temperature Humidity Windy Play Sunny Hot High False No Sunny Hot High True No Overcast Hot High False Yes Rainy Mild Normal False Yes Algunas reglas If outlook = sunny and humidity = high then play = no If outlook = rainy and windy = true then play = no If outlook = overcast then play = yes If humidity = normal then play = yes If none of the above then play = yes J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

19 Clasificación frente a asociación Reglas de Clasificación Predice el valor de un atributo dado (la clase de un ejemplo) Ejemplo: If outlook = sunny and humidity = high then play = no Reglas de asociación Predice el valor de un atributo arbitrario (o combinación de) Ejemplos: If temperature = cool then humidity = normal If humidity = normal and windy = false then play = yes If windy = false and play = no then outlook = sunny and humidity = high J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

20 Con datos numéricos Condiciones para practicar un deporte Outlook Temperature Humidity Windy Play Sunny False No Sunny True No Overcast False Yes Rainy False Yes Algunas reglas If outlook = sunny and humidity > 83 then play = no If outlook = rainy and windy = true then play = no If outlook = overcast then play = yes If humidity < 85 then play = yes If none of the above then play = yes J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

21 Una bases de datos completa Tipo de lentillas age spectacle astig. tear prod. contact precription rate lenses young myope no reduced none young myope no normal soft young myope yes normal hard young hypermetrope no reduced none pre-presbyopic myope no reduced none presbyopic myope no reduced none J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

22 Las reglas Un conjunto de reglas completo y correcto If tear production rate = reduced then recommendation = none If age = young and astigmatic = no and tear production rate = normal then recommendation = soft If age = pre-presbyopic and astigmatic = no and tear production rate = normal then recommendation = soft If age = presbyopic and spectacle prescription = myope and astigmatic = no then recommendation = none If spectacle prescription = hypermetrope and astigmatic = no and tear production rate = normal then recommendation = soft If spectacle prescription = myope and astigmatic = yes and tear production rate = normal then recommendation = hard If age young and astigmatic = yes and tear production rate = normal then recommendation = hard If age = pre-presbyopic and spectacle prescription = hypermetrope and astigmatic = yes then recommendation = none If age = presbyopic and spectacle prescription = hypermetrope and astigmatic = yes then recommendation = non J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

23 Un árbol de decisión J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

24 Clasificación de flores Algunas reglas Tipos de Iris Sepal w. Sepal l. Petal w. Petal l. Type Iris setosa Iris setosa Iris versicolor Iris versicolor Iris virginica Iris virginica If petal length < 2.45 then Iris setosa If sepal width < 2.10 then Iris versicolor... J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

25 Regresión Prediccion de rendimiento de una CPU Cycle time Main memory Cache Channels Performance (ns) (Kb) (Kb) MYCT MMIN MMAX CACH CHMIN CHMAX PRP Regresión Lineal P = MYCT MMIN MMAX CACH CHMIN CHMAX J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

26 Valores desconocidos Negociaciones laborales Attribute Type Duration (Numb. of years) Wage incr. first year Percentage 2 % 4 % 4.3 % 4.5 % Wage incr. second year Percentage? 5 % 4.4 % 4.0 % Wage incr. third year Percentage???? Cost of living adjust. {none,tcf,tc} none tcf? none Working hours per week (Numb. of hours) Pension {none,ret-allw, none??? empl-cntr} Standby pay Percentage? 13 %??... Acceptability of contract {good,bad} bad good good good J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

27 Árboles de decisión J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

28 Conocimiento del dominio Enfermedades de la soja Attribute NoV Sample value Environment Time occurrence 7 July Precipitation 3 Above normal Seed Condition 2 Normal Mold growth 2 Absent Fruit Con. of fruit pods 4 Normal Fruit spots 5? Leaves Condition 2 Abnormal Leaf spot size 3? Stem Condition 2 Abnormal Stem lodgin 2 Yes Roots Condition 2 Abnormal Diagnosis 19 Diaporthe stem canker J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

29 El conocimiento del dominio regla 1 If leaf condition is normal and stem condition is abnormal and stem cankers is below soil line and canker lesion color is brown then diagnosis is rhizoctonia root rot regla 2 If leaf malformation is absent and stem condition is abnormal and stem cankers is below soil line and canker lesion color is brown then diagnosis is rhizoctonia root rot En este dominio Leaf condition is normal leaf malformation is absent J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

30 Algunas aplicaciones Conducción automática Personalización de páginas web Procesado de peticiones de préstamos Localización de manchas de petroleo Predicción de la demanda eléctrica Diagnosis de fallos en máquinas Marketing y ventas J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

31 Conducción automática (ALVINN) J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

32 Extracción de asociaciones J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

33 Personalización (your store) J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

34 Procesado de peticiones de préstamos American Express Dado un cuestionario con información personal y financiera Cuestión: debemos prestar dinero? Métodos estadísticos simple cubren el 90 % de los casos Los casos dudosos se mandan a personal especializado Casi el 50 % de los casos resultan en impagos Solución: Rechazar todos los casos dudosos Problema: Los casos dudosos son los clientes mas activos! J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

35 Usando una técnica de aprendizaje 1000 muestras de casos dudosos 20 atributos Edad Número de años en el mismo trabajo Número de años en el mismo domicilio Número de años trabajando con el banco Qué otras tarjetas de crédito posee,... Reglas aprendidas: correctas en el 70 % de los casos Los expertos humanos solo el 50 % Las reglas pueden usarse para explicar las decisiones J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

36 Detección de manchas de petroleo Dadas imágenes radar tomadas desde satélite de aguas costeras Problema: detectar manchas de petroleo Las manchas aparecen como regiones oscuras Pero también pueden aparecer regiones oscuras a causa de las condiciones meteorológicas Proceso caro que necesita personal altamente entrenado J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

37 Usando una técnica de aprendizaje Extracción de regiones oscuras a partir de imágenes normalizadas Atributos: Tamaño de la región Forma, área Intensidad Dentado y afilado de los bordes Proximidad a otras regiones Información acerca del fondo de la imagen Restricciones: Pocos ejemplos de entrenamiento (las manchas son raras) Datos desequilibrados (muchas regiones oscuras no son manchas) Requerimiento: tasa de las falsas alarmas debe ser ajustable J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

38 Predicción de carga Las compañías eléctricas necesitan predecir la carga de la red Una predicción correcta implica grandes ahorros Dado un modelo construido manualmente que asume condiciones climáticas normales Problema: ajustar para las condiciones del tiempo El modelo estático consiste en: carga base del año periodicidad de la carga por meses efecto de las fiestas J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

39 Usando una técnica de aprendizaje Predicción corregida encontrando días similares Atributos: temperatura humedad velocidad del viento nubosidad diferencia entre la carga predicha y la real Se buscan los dias mas parecidos y se modifica la predicción de modelo base en consonancia. J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

40 Diagnosis de fallos en máquinas Es un campo típico de la inteligencia artificial Datos: El análisis de Fourier de las vibraciones medidas en varios puntos Pregunta: cual es el fallo? Permite un mantenimiento preventivo La información tiene mucho ruido Hasta ahora las reglas se producían a mano J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

41 Usando una técnica de aprendizaje Datos: 600 fallos con diagnosis hechas por expertos 300 no satisfactorias, el resto usado como entrenamiento Los atributos se aumentaron con conceptos relativos al dominio Al principio, lo expertos no estaban satisfechos porque la reglas no estaban relacionadas con su conocimiento Se añadió mas conocimiento del dominio. Mas reglas pero que los expertos entendían Las reglas aprendidas fueron mejores que las hechas a mano J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

42 Marketing y ventas Las compañías tienen grandes cantidades de información acerca de las ventas Aplicaciones: Fidelidad del cliente: identificar los clientes que es posible que abandonen mediante la detección de cambios en su comportamiento. Ofertas especiales: identificar clientes provechoso (clientes fiables que necesitas dinero durante las vacaciones) J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

43 Marketing y ventas Análisis del carro de la compra Encontrar items que se suelen comprar a la vez Análisis histórico de los patrones de consumo Identificar futuros clientes propaganda focalizada J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

44 Algunas cuestiones en Aprendizaje Computacional Que algoritmos pueden aproximar que funciones? En que circunstancias? Como influye el número de muestras de aprendizaje a la precisión? Como influye la complejidad del espacio de representación? Como influye el ruido en la precisión? Cuales son lo límites teóricos del aprendizaje? Como puede ayudar el conocimiento a priori? Podemos comprender lo que ha aprendido un sistema? J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50

45 Relación con otras disciplinas Inteligencia artificial Reconocimiento de formas Procesamiento del Lenguaje Natural Robótica Teoría de control Estadística Filosofía J. Oncina (Universidad de Alicante) ACEI 17 de octubre de / 50