CLASIFICACIÓN NO SUPERVISADA CLASIFICACIÓN NO SUPERVISADA N. QUEIPO, S. PINTOS COPYRIGHT 2005 FUNDAMENTOS DE DATA MINING Y SUS APLICACIONES

Transcripción

1 DEFINICIÓN: AGRUPAR UN CONJUNTO DE n OBJETOS, DEFINIDOS POR p VARIABLES, EN c CLASES, DONDE EN CADA CLASE LOS ELEMENTOS POSEAN CARACTERÍSTICAS AFINES Y SEAN MÁS SIMILARES ENTRE SÍ QUE RESPECTO AELEMENTOS PERTENE- CIENTESAOTRAS CLASES PROPÓSITOS GRAFICAR GRUPOS AFINES, COMO ES EL CASO DE LOS DENDROGRAMASDE LAS TAXONOMÍAS SIMPLEMENTE ORGANIZAR INFORMACIÓN ABUNDANTE Y COMPLEJA HALLAR EL NÚMERO CDE CLASES ADECUADO ENCONTRARSUBCLASES DENTRO DE CLASESNATURALES 1

2 OBJETIVOS DUALES EN LA OBTENCIÓN DE UNA CLASIFICACIÓN ÓPTIMA MINIMIZAR LAS DESVIACIONES ENTRE LAS OBSERVACIONES QUEPERTENECEN AL MISMOGRUPO MAXIMIZAR LAS DISTANCIAS ENTRE LOS CENTROS DE LOS GRUPOS DISPERSIÓN DE UNA CLASE DEFINICIÓN: SE LLAMARÁ S Wj,DISPERSIÓN EN LA CLASE j, ALA SUMA DE LAS DISTANCIAS AL CUADRADO DE CADA OBSERVACIÓN X i AL CENTROm j DE LA CLASE (j)quela CONTIENE Clase(j) S Wj = Nj i= 1 X i m j 2 m j 2

3 CRITERIO DE OPTIMIZACIÓN MINIMIZARLASUMADE LAS DISPERSIONESDEDE LAS CLASES: min C P W = S Wj j = 1 DISPERSIÓN TOTAL: ST = N i= 1 X i m 2 INDICADOR,R 2 R 2 =1 Pw ST MIDELABONDAD DE LACLASIFICACIÓN m 0 R 2 1 3

4 INDICADORDEDE DAVIES BOULDIN(Idb) 1 Idb = c ( Qk ) sc ( Ql ) d ( Q Q ) C max sc + = 1 l k ce k, l k DONDE: s c : ES EL PROMEDIO DE LAS DISTANCIAS DE LOS PUNTOSALCENTRO DE LA CLASE s c = i x m i N k k d ce :ES LA DISTANCIA ENTRE LOS CENTROS, m k Ym l,de DOS CLASES, k Y l, RESPECTIVAMENTE d ce = m k m l INDICADORDEDE DAVIES BOULDIN(Idb) ( Qk ) sc( Ql ) d ( Q, Q ) sc + ce k l ESTARAZÓN, ENTRE LASUMADE LAMEDIADE LAS DISTANCIAS ACADA CLASE YLA DISTANCIA ENTRE CLASES ES PEQUEÑA SI LAS CLASES SON COMPACTAS Y ALEJADAS ENTRE SÍ. EN CONSECUENCIA, LA PARTICIÓN EN CLASES QUE MINIMICE EL INDICADOR DE DAVIES BOULDIN ES UNA PARTICIÓN ADECUADA 4

5 OBJETIVOSDE UNA BUENACLASIFICACIÓN MAXIMIZARR 2 MINIMIZAR Idb 4 3CLASES 2 CLASES R 2 Idb ROJO AZUL CUÁNTAS PARTICIONES SON POSIBLES? EL NÚMERO DE PARTICIONES DE UN CONJUNTO DE ELEMENTOS EN cclases ESTÁ DADO POR LOS NÚMEROS DE STIRLINGDE SEGUNDACLASE : n N C PARTICIONES POREJEMPLO: ES IMPRÁCTICOHALLAR ELÓPTIMOCALCULANDO EXHAUSTIVAMENTE ELVALORDE Pw PARACADAPARTICIÓN 5

6 MÉTODOS DE CLASIFICACIÓN NO SUPERVISADA ANÁLISIS DE CONGLOMERADOS DIRECTOS JERÁRQUICOS MAPAS AUTO-ORGANIZATIVOS MÉTODOS DIRECTOS CARACTERÍSTICAS: CALCULAN POSIBLES LAS DISTANCIAS DE LAS OBSERVACIONES CENTROS DE LAS CLASES, PARA A LUEGO MODIFICAR ESTOS ÚLTIMOS SIGUIENDO EL CRITERIO DE OPTIMIZACIÓN NOHACEN USO DE LAS DISTANCIASENTRE LOSELEMENTOS ELNÚMERO DE CLASES SE FIJADE ANTEMANO PRINCIPALMENTE USADO CUANDO NES GRANDE (N >5000, POREJEMPLO) 6

7 ALGORITMO ITERATIVO DE EVOLUCIÓN DE LOS CENTROS (K-MEANS) ETAPAS: UBICACIÓN DE LOS CENTROS INICIALES DE LAS CLASES ASIGNACIÓN DE LAS OBSERVACIONES A LA CLASE MÁS CERCANA DETERMINACIÓN DE LOS NUEVOS CENTROS DE LAS CLASES VERIFICAR SI SE CUMPLE ALGUNO DE LOS CRITERIOS DE FINALIZACIÓN DEL ALGORITMO K-MEANS Centros al azar 7

8 K-MEANS Centros de masa K-MEANS 8

9 DETERMINACIÓN DEL NÚMERO DE CLASES EJEMPLO DE DATOS BIDIMENSIONALES DETERMINACIÓN DEL NÚMERO ÓPTIMO DE CLASES EN FUNCIÓN DEL R 2 R 2 NOSE OBTIENE UN BENEFICIO SIGNIFICATIVO PORDESGLOSAR ENMÁS DE 4 CLASES ÓPTIMO 9

10 NÚMERO ÓPTIMO DE CLASES = 4 CENTROS FINALES MÉTODOS JERÁRQUICOS PROPÓSITO: DADO UN CONJUNTO INICIAL DONDE CADA ELEMENTO ES UNA CLASE, CREAR UN ARBOL JERÁRQUICO AGRUPANDO EN CADA ETAPA LAS DOS CLASES UBICADAS AMÍNIMA DISTANCIA, ÉSTA INDICALA ALTURA SOBRE EL ÁRBOL A B C D E ALTURA 10

11 CARACTERÍSTICAS CLASIFICAN APARTIR DE LA MATRIZ DE DISTANCIA ENTRE LASOBSERVACIONES NOSE FIJA EL NÚMERO DE CLASES SE DETERMINA EL NÚMERO ÓPTIMO DE CLASES ANALIZANDO ELÁRBOL JERÁRQUICO APROPIADOS SÓLO SI EL TAMAÑO DEL CONJUNTO ES PEQUEÑO, EN CUYO CASO SON MÁS EFICIENTES QUE LOS MÉTODOSDIRECTOSDIRECTOS DISTANCIAS A DISTINGUIR ENTREELEMENTOS EUCLÍDEA ESTANDAR MAHALANOBIS ENTRE CLASES DISTANCIA MÍNIMA DISTANCIA PROMEDIO PONDERADO DISTANCIA PROTOTIPO (CENTROIDE) MÍNIMA VARIANZA (WARD) 11

12 CLASIFICACIÓN SUPERVISADA DISTANCIAS ENTRE ELEMENTOS EUCLIDIA Altura Peso CLASIFICACIÓN SUPERVISADA DISTANCIAS ENTRE ELEMENTOS MAHALANOBIS Altura T 1 ( x y) Σ ( x y) Peso 12

13 CLASIFICACIÓN SUPERVISADA DISTANCIAS ENTRE ELEMENTOS MAHALANOBIS Altura T 1 ( x y) Σ ( x y) Peso DISTANCIAS ENTRE CLASES DISTANCIA MÍNIMA Puntos más cercanos entre las clases 13

14 DISTANCIAS ENTRE CLASES DISTANCIA PROMEDIO PONDERADO DISTANCIAS ENTRE CLASES DISTANCIA PROTOTIPO (CENTROIDE) Centros de masa 14

15 DISTANCIAS ENTRE CLASES MÍNIMA VARIANZA (WARD) S A A P w =S A + S B + S C + S D C P w1 =S AB + S C + S D B S AB S C D distward(a,b)=p w1 -P w =S AB -(S A +S B ) S B S D DISTANCIAS ENTRE CLASES MÍNIMA VARIANZA (WARD) S A A P w =S A + S B + S C + S D S AC C P w2 =S AC + S B + S D B S C D distward(a,c) =S AC -(S A +S C ) S B S D 15

16 DISTANCIAS ENTRE CLASES MÍNIMA VARIANZA (WARD) S A B A C S C P w =S A + S B + S C + S D P w3 =S AD + S B + S C S AD distward(a,d) =S AD -(S A +S D ) D S B S D DISTANCIAS ENTRE CLASES MÍNIMA VARIANZA (WARD) S A A C S C distward(b,c) distward(c,d) B D distward(b,d) S B S D Min( distward(a,b), distward(a,c), distward(a,d), distward(b,c), distward(b,d), distward(c,d) ) 16

17 DISTANCIA DE VUELOS ENTRE CIUDADES 17