SISTEMAS INTELIGENTES

Transcripción

1 SISTEMAS INTELIGENTES T8: Aprendizaje basado en instancias

2 Índice Aprendizaje basado en instancias Métricas NN Vecino más próximo: Regiones de Voronoi El parámetro K Problemas de los algoritmos basados en instancias Técnicas de reducción de instancias

3 Aprendizaje basado en instancias (IBL) Idea: en situaciones parecidas se toman decisiones similares Si tenemos que tomar una decisión, buscaremos en nuestra memoria el caso que más se parece a la situación actual y repetiremos la misma (acertada) acción Aprendizaje: la clase de un nuevo ejemplo será la misma que la del ejemplo más similar de entre los que conocemos Quizás es la técnica de aprendizaje más intuitiva y sencilla. Ha generado multitud de algoritmos Case Base Reasoning (CBR): instancias con representaciones simbólicas

4 Similitud y distancia Un concepto recurrente en todos las técnicas de aprendizaje (supervisado y no supervisado) es el concepto de similitud Motivo: objetos similares tendrán clases/grupos similares Problema: Es difícil que dos cosas sean exactamente iguales Más similar : Cómo se mide la similitud? La distancia es la inversa de la similitud Muchas técnicas basan su aprendizaje en los métodos que miden la similitud (distancia) Los algoritmos basados en instancias depende casi totalmente del concepto de distancia

5 Métricas (I) Es el aspecto clave de estos sistemas No existe el ajuste exacto, como en las reglas o árboles El sistema hereda las desviaciones de su métrica cada métrica proporciona su sesgo de aprendizaje no existe una métrica que funcione bien en todos los problemas Más empleadas: euclídea, HVDM...

6 Métricas (II) d(x,y) es una métrica si y solo si cumple: d(x,y) >= 0 d(x,y) = d(y,x) d(x,y) >= d(x,w) + d(w,y) para todo par de ejemplos x e y

7 Métricas (III) Atributos numéricos Distancia Euclídea: Distancia de Manhattan: Distancia de Chebychev: Atributos discretos: Solapamiento (atr. discretos): Si tienen el mismo valor la distancia es 0, sino 1 VDM vdm a C ( x, y) = c= 1 n i= 1 N N ( x y ) w ( x y ) i n i= 1 a, x, c a, x i max x i y i i N = 1.. N n a, y, c a, y x i y i n i= 1 i i i

8 VDM vdm a C ( x, y) = c= 1 N N a, x, c a, x Color Peso Manzana Rojo 10 NO Verde 145 SI Rojo 10 SI Verde 118 SI Naranja 130 NO Naranja 155 NO Verde 130 SI Rojo 135 SI Naranja 140 NO N N a, y, c a, y vdm Color vdm Color ( Rojo, Verde) N = N N N Color, Rojo, SI Color, Rojo Color, Rojo, NO Color, Rojo N N Color, Verde, SI N Color, Verde Color, Verde, NO N Color, Verde ( Rojo, Verde) = ( ) + ( ) = vdm Color ( Rojo, Naranja) = ( ) + ( ) = vdm Color ( Naranja, Verde) = ( 0 1) + ( 1 0) = +

9 Algoritmo del vecino más próximo (NN) Algoritmo simple y efectivo Función de aprendizaje: almacena todos los ejemplos de entrenamiento (lazy learning) Difieren el trabajo hasta el momento de la clasificación Función de evaluación: por mínima distancia d ( x, q) = ( ) Ejemplos no vistos: clase del ejemplo (UNO) almacenado (vecino) más próximo a A x a q a Las regiones que se forman con 1-NN se denominan regiones de Voronoi Múltiples versiones variando la métrica y el número de vecinos considerados (k-nn)

10 Ejemplo Atributo Atributo 1

11 Regiones de Voronoi

12 El parámetro K (I) Para clasificar un nuevo ejemplo x, observamos los K ejemplos más próximos y asignamos a x la clase más frecuente k=1 x k=6

13 El parámetro K (II) Parámetro clave Se suele elegir impar para deshacer los posibles empates Sirve para reducir la sensibilidad al ruido Hace un poco más lento el proceso de clasificación de nuevos casos. Para solucionarlo se pueden indexar los ejemplos Ejemplos: si k es muy bajo: sistema sensible al ruido si k es muy alto: las zonas más densas pueden acaparar las menos densas

14 Problemas de los NN s (I) 1. Almacenan demasiadas instancias Se incrementa el tiempo de respuesta Aumenta la sensibilidad frente al ruido Sobreajuste Soluciones ininteligibles Solución: Técnicas de reducción de instancias Incrementales Decrementales Por lotes

15 Problemas de los NN s (II). Atributos: igual importancia Solución: técnicas de selección de atributos Eliminación de atributos irrelevantes Ponderar la importancia de cada atributo 3. Problemas derivados de la métrica utilizada Solución: seleccionar la métrica que mejor se adapta a cada problema

16 Técnicas de reducción de instancias Objetivo: dado un conjunto de instancias S se busca un subconjunto R que resuelva el problema como S (o mejor) y con menos ejemplos El mayor o menor acierto, en determinadas situaciones, no es lo más importante Ventajas: Se reduce el tiempo de respuesta. Fundamental en problemas en tiempo real Menor sensibilidad al ruido Conocimiento más inteligible? Se pueden utilizar no sólo para producir clasificadores Eliminación de ruido Elección de prototipos

17 Tipos de algoritmos de reducción Incrementales: R inicialmente vacío, y se añaden instancias de S que cumplan alguna condición Problema: influye el orden de presentación. Barajado Ventaja: se pueden añadir nuevas instancias después de aprender Decrementales: R=S y se van eliminando aquellas instancias que verifiquen algún criterio Problema: Mayor coste computacional Ventaja: Consiguen mayor reducción Por lotes: La decisión de eliminar/incluir una instancia depende de un lote de ejemplos. Problema: Tamaño de los lotes? Ventaja: No toman decisiones sin partir de una información suficiente

18 Algoritmos de reducción Incrementales: CNN: añaden los ejemplos de S mal clasificados con los que llevamos seleccionados en R IB: igual que CNN salvo inicializaciones Decrementales Lotes: RNN: borra las instancias de R que no provocan que se clasifiquen mal otras instancias de S ENN: borra las instancias de R que no coinciden con la clase mayoritaria de sus k vecinos (RENN repetir ENN) Filtro de ruido Familia DROP: Borra una instancia de R si los k más cercanos a ella pueden clasificarse correctamente sin ella SNN: demasiada complejidad

19 RENN Repited Edited NN rule

20 DROP 1

21 RISE [Domingos, 96] Es un sistema de aprendizaje híbrido Combina reglas instancias Las reglas se inducen mediante la generalización de instancias Una instancia puede considerarse como la regla más específica Para clasificar un nuevo ejemplo, aplica la regla (o instancia) que se encuentra más cerca