3.1 Introducción Método para aproximación de funciones objetivo que tengan valores discretos (clasificación) Uno de los métodos mas extensamente usados para inferencia inductiva Capaz de aprender hipótesis que se conformen de una disjunción (busca un espacio de hipótesis completamente expresivo) Resultado puede ser representado con reglas ifthen Sesgo inductivo: preferencia por árboles pequeños (navaja de Occam)
3.2 Representación de árboles de decisión Cada nodo prueba algún atributo de la instancia siendo evaluada Se va ramificando la búsqueda hasta llegar a una hoja - > función objetivo Un árbol de decisión representa (en toda su extensión) una disjunción de conjunciones de restricciones sobre los atributos Ejemplo: (Outlook=Sunny? Humidity=Normal)? (Outlook = Overcast)? (Outlook=Rain? Wind=Weak)
Ejemplo: PlayTennis
Árbol de decisión para ejemplo PlayTennis
3.3 Problemas apropiados para Árboles de Decisión (DTL) Las instancias pueden ser representadas por pares (atributo, valor) La función objetivo tiene valores discretos (o pueden ser discretizados) Pueden ser requeridas descripciones en forma de disjunción Posiblemente existen errores en los datos de entrenamiento (robustos al ruido) Posiblemente falta información en algunos de los datos de entrenamiento
3.4 El algoritmo básico para obtener un DTL Búsqueda exhaustiva, de arriba hacia abajo, a través del espacio de posibles árboles de decisión (ID3 y C4.5) Raíz: el atributo que mejor clasifica los datos Cuál atributo es el mejor clasificador?? respuesta basada en la ganancia de información
Entropía Entropía(S)? - p log 2 p - p log 2 p p ( ) = proporción de ejemplos positivos (negativos) La entropía especifíca el número de bits de informacion necesarios para codificar la clase de un conjunto de miembros de S (mensaje) En general: Entropía(S) = -? i=1,c p i log 2 p i
Ganancia de Información Mide la reducción esperada de entropía sabiendo el valor del atributo A Gain(S,A)? Entropía(S) -? v? Valores(A) ( S v Entropía(S v )/ S ) Valores(A): Conjunto de posibles valores del atributo A S v : Subconjunto de S en el cual el atributo A tiene el valor v
Ejemplo
Eligiendo el próximo atributo
Problema PlayTennis Gain(S,Outlook) = 0.246 Gain(S,Humidity) = 0.151 Gain(S,Wind) = 0.048 Gain(S,Temperature) = 0.029? Outlook es el atributo del nodo raíz
3.5 Búsqueda por el Espacio de Hipótesis en Árboles de decisión El espacio de hipótesis del ID3 es un espacio completo de funciones finitas El ID3 mantiene sólo una hipótesis mientras busca otra por el espacio El ID3 en su forma pura no realiza backtracking El ID3 usa todos los ejemplos de entrenamiento en cada paso de la búsqueda (realiza estadísticas)
Búsqueda por el Espacio de Hipótesis
3.6 Sesgo Inductivo en DTL Sesgo inductivo aproximado del ID3: Se prefieren Árboles más cortos. Se prefieren árboles que ubiquen una ganancia de información alta cerca de la raíz. El ID3 busca incompletamente en un Espacio de Hipótesis completo (sesgo de prefencia)
Por qué se prefieren hipótesis pequeñas? Navaja de Occam: Preferir la hipótesis más simple que explica el fenómeno
3.7 Cuestiones en DTLs Evitar el sobreentrenamiento Parar de crecer el árbol temprano Postprocesamiento del árbol (poda) Cómo? Usar un conjunto de ejemplos de validación Usar estadísticas
Podado para reducir error Los nodos son podados iterativamente, siempre eligiendo que al removerlo incrementa mejor la exactitud del DTL sobre el conjunto de validación
DTL Avanzados Incorporar atributos con valores continuos Otras medidas para seleccionar atributos Manejo de datos con valores de atributos faltantes Manejo de atributos con diferente peso