Técnicas de Clasificación Supervisada DRA. LETICIA FLORES PULIDO

Transcripción

1 Técnicas de Clasificación Supervisada DRA. LETICIA FLORES PULIDO

2 2 Objetivo El objetivo principal de las técnicas de clasificación supervisada es obtener un modelo clasificatorio válido para permitir tratar casos futuros Se trata de que el sistema sea capaz de aprender de lo que tiene para poder generalizar y tratar lo que no tiene

3 3 Dentro de las técnicas de clasificación supervisada, una de las aproximaciones más conocidas es la que se basa en criterios de vecindad Bajo esta perspectiva, los métodos de clasificación exigen la definición de una cierta medida de similitud (o distancia) entre los distintos elementos del espacio de representación.

4 4 Es decir, precisan de la definición de una métrica que ayude a comparar las distancias entre los distintos objetos. La ventaja más inmediata que presentan las técnicas de clasificación basadas en criterios de vecindad con respecto a otros métodos de clasificación, hace referencia a su simplicidad conceptual, que se podría resumir del siguiente modo:

5 5 La clasificación de un nuevo punto del espacio de representación se calcula en función de las clases, conocidas de antemano, de los puntos más próximos a él. Tal y como se desprende de la afirmación anterior, la idea fundamental sobre la que se apoyan estas técnicas de clasificación, se basa en que las muestras pertenecientes a una misma clase, probablemente se encontrarán próximas en el espacio de representación.

6 6 Caso de la Clase A Candidato Caso de la Clase B

7 7 En los algoritmos basados en vecindad, la decisión de clasificar un caso x en la categoría depende de una colección de N casos previamente clasificados: (x 1, 1 ), (x 2, 2 ),, (x N, N ), Y el proceso de clasificación puede dar lugar a errores.

8 8 Este tipo de problemas se enmarca en el dominio de la clasificación supervisada, y no existe un clasificador óptimo que resuelva satisfactoriamente todos los problemas que se puedan plantear. Si se asume que los casos ya clasificados (x i, i ) se hallan independiente e idénticamente clasificados respecto a una distribución de probabilidad, se pueden establecer ciertos argumentos heurísticos para el desarrollo de buenos procesos de clasificación.

9 9 Por ejemplo, parece razonable asumir que observaciones que se encuentran cercanas (con alguna métrica apropiada) tendrán aproximadamente la misma distribución de probabilidad a posteriori en sus respectivas clasificaciones.

10 10 De este modo, para clasificar el caso x, podríamos querer asociar más peso a la evidencia de un caso conocido cercano x i Quizás el procedimiento de decisión más simple es el del vecino de distancia mínima (nearest neighbour- NN), que asigna a x la categoría de su vecino más cercano de entre los ya clasificados

11 11 La primera formulación de una regla del estilo de NN parece haber sido generada por Fix and Hodges (1951) que investigaron el método conocido como K-NN (K vecinos mas cercanos), que asigna a un caso no clasificado la clase mas fuertemente representada de entre sus K vecinos mas cercanos.

12 12 En general cualquier problema de clasificación abordado con un enfoque basado en criterios de vecindad se puede caracterizar del siguiente modo: 1. Se dispone de N prototipos (o muestras ya clasificadas) llamado conjunto de entrenamiento 2. Tenemos que clasificar un nuevo caso, x, no perteneciente al conjunto de entrenamiento

13 13 3. Existe una métrica entre los diferentes objetos del espacio de representación 4. No se utiliza ninguna otra información acerca de la distribución de los parámetros estadísticos asociados al conjunto de entrenamiento

14 14 Vistas estas características, algunos autores distinguen los algoritmos de clasificación por vecindad del resto de los algoritmos de clasificación supervisada argumentando, mientras en el resto de los algoritmos de clasificación se realiza una inducción del modelo (árbol de decisión, reglas de un sistema experto, etc.) y utilizan posteriormente el modelo inducido (inducción + deducción).

15 15 en los algoritmos basados en vecindad el modelo se halla implícito en los datos, sin llegar a explicitarse, con lo que se dice que se realiza una transducción.

16 16 Regla del Vecino más Próximo En este caso, el clasificador asociará un caso x la clase verdadera del objeto que se encuentra más próximo a x dentro del espacio de representación. Para esta aproximación, todos los prototipos del conjunto de entrenamiento participan en la decisión de clasificación de la nueva muestra, esto es, el modelo de clasificación está compuesto por todos los casos que componen el conjunto de entrenamiento.

17 17 Regla del Vecino más Próximo Un aspecto a tener en cuenta es que la efectividad de esta regla está condicionada a que se disponga de un número suficientemente grande de prototipos en el conjunto de entrenamiento Desde un punto de vista práctico, este hecho puede representar un serio inconveniente en cuanto al costo computacional requerido para buscar el prototipo más próximo dentro del conjunto de entrenamiento.

18 18 Regla del Vecino más Próximo No obstante, este inconveniente se puede mitigar con la utilización de alguno de los procedimientos existentes para reducir el numero de casos que componen el modelo, de forma que este no esté compuesto por todos los casos que forman el conjunto de entrenamiento sino por un subconjunto de los mismos. validación-

19 19 Regla de K vecinos más Próximos (K-NN) Por medio de esta regla, la clase asignada a un nuevo caso x será la clase más votada entre los K vecinos más próximos del conjunto de entrenamiento Sin embargo, cabe la posibilidad de que se produzca un empate en el número de votos de la clase más votada

20 20 Regla de K vecinos más Próximos (K-NN) En ese caso, para seleccionar la clase a asignar, es necesario utilizar algún método de resolución de empates; Entre ellos, podremos encontrar los siguientes: 1. Asignar al caso a clasificar la clase que tenga el primer vecino más próximo de entre las empatadas en votos 2. Seleccionar como clase a asignar aquella entre las empatadas cuya media de distancias de sus vecinos sea menor.

21 21 Regla de K vecinos más Próximos (K-NN) La principal ventaja de la regla K-NN con respecto a la regla NN radica en que, al utilizar varios vecinos en lugar de uno sólo para la clasificación de un nuevo caso, se aprovecha de una forma más eficiente la información que se puede extraer del conjunto de entrenamiento.

22 22 Regla de K vecinos más Próximos (K-NN) Sin embargo, esto no quiere decir que el método K-NN sea siempre más exacto que el de NN, sino que se ha comprobado empíricamente que el primero comete menos errores de clasificación que el segundo, para algún valor de la constante K En la literatura, se obtiene que los mejores resultados se obtienen con k=3 o k=5, aunque esto depende en gran manera del problema que se quiera abordar

23 23 Regla de K vecinos más Próximos (K-NN) En la siguiente figura se puede observar cual es el comportamiento típico del algoritmo K-NN para diferentes valores del número de vecinos a tener en cuenta en problemas clasificatorios de dos clases Para un número mayor de clases, la gráfica es parecida, desplazada a la derecha Pero para cada problema el comportamiento puede diferir del que se muestra

24 Regla de K vecinos más Próximos (K-NN)