Análisis de Conglomerados

Transcripción

1 Análisis de Datos Avanzados Análisis de Conglomerados Joaquín Aldás Manzano Universitat de València * joaquin.aldas@uv.es

2 Descripción Definición Cuando tenemos un conjunto de variables que caracterizan a unos individuos, el análisis de conglomerados (cluster) nos permite hacer grupos de individuos (conglomerados), de tal forma que, respecto a esas variables, los individuos agrupados son parecidos entre sí, y lo más distintos posibles respecto a los que están en los otros grupos. Proceso X X 2 X 3 X k O O 2 O 3 O n O O 2 O 3 O O 2 O 3 O n O n G G 2 G g G G 2 G 3 G g X X 2 X 3 X k 2

3 Descripción Ejemplo intuitivo del proceso E one two three four five six seven eight nine ten N en to tre fire fem seks sju atte ni ti DA en to tre fire fem seks syv otte ni ti DU een twee drie vier vijf zes zeven acht negen tien G eins zwei drei vier funf sechs sieben acht neun zehn FR un deux trois quatre cinq six sept huit neuf diz SP uno dos tres cuatro cinco seis siete ocho nueve diez I uno due tre quattro cinque sei sette otto nove dieci P jeden dwa trzy cztery piec szesc siedem osiem dziewiec dziesiec H egy ketto harom negy ot hat het nyolc kilenc tiz FI yksi kaksi kolme neua viisi kuusi seitseman kahdeksan yhdeksan kymmenen E N DA DU G FR SP I P H FI E N D A 0 2 DU G F R SP I P 0 0 H 0 2 FI 0 3

4 Descripción Ejemplo intuitivo del proceso: cuántos grupos?

5 Objetivos Desarrollo a partir del caso HATCO Segmentación de mercados: establecer grupos de clientes de HATCO según la imagen que tienen de la empresa, de acuerdo con los atributos X a X7. La selección de las variables debe hacerse atendiendo a consideraciones tanto teóricas como prácticas: Revisión de literatura Que caractericen a los objetos que vayan a clasificarse Estén vinculadas a los objetivos de clasificación No hay indicador de bondad de ajuste, no hay forma de saber qué variables son relevantes y cuáles no hasta que se ha efectuado Quiere hacerlo en función de su posición respecto a las principales variables de competencia: X Rapidez del servicio X2 Nivel de precios X3 Flexibilidad de precios X Imagen del fabricante X Calidad del servicio X6 Imagen de los vendedores X7 Calidad del producto

6 Planteamiento del problema Cálculo de medidas de similitud (distancias) Detección y eliminación de outliers Medida de similitud Variables métricas Distancia euclídea Distancia euclídea al cuadrado (Ward) Minkowski Datos binarios Distancia euclídea (cálculo diferente) Distancia euclídea al cuadrado (cálculo diferente) Diferencia de tamaño Diferencia de configuración Forma Probar varias y analizar la coherencia de los resultados Estandarización de los datos Las medidas de distancia son muy sensibles a las escalas de medición Estandarizar si las variables no están medidas en la misma escala En nuestro ejemplo no tiene sentido estandarizar (misma escala) 6

7 Planteamiento del problema Detección y eliminación de outliers Método de la distancia de Mahalanobis (D) Calculamos la distancia D de cada caso al centroide Eliminamos aquellos casos con una distancia excesiva D 2 se distribuye aproximadamente como una χ 2 con gl grados de libertad (gl = número de variables) Hair, Anderson, Tatham y Black (99) y Tabachnick y Fidell (996) recomiendan ser muy exigentes a la hora de calificar como outlier a un caso: p<.00 Cómo hacerlo? Regresamos las variables que usemos en el análisis de conglomerados sobre cualquier variable (es irrelevante, por ejemplo el identificador de caso es una buena posibilidad) Pedimos que nos guarde la distancia de Mahalanobis (D 2 ) como nueva variable Representamos la distancia de Mahalanobis en un gráfico de línea o, alternativamente, calculamos la significatividad del estadístico chi cuadrado asociado a cada caso SIG.CHISQ (valor,df) en SPSS o DISTR.CHI(valor,df) en Excel. 7

8 Planteamiento del problema Detección y eliminación de outliers 22 p<0.00 p<0.0 8

9 Planteamiento del problema Cálculo de medidas de similitud (distancias) Tomaremos como ejemplo la distancia euclídea D = (. -.8) + ( ) + 2 ( ) + (.7-6.6) + ( ) + ( ) + (.2-8.) =.29 9

10 Planteamiento del problema Estandarización de los datos Ejemplo de los efectos Nombre de Activos la empresa (pesetas) Trabajadores E E E E E E E E Grupo Caso Matriz de distancias distancia euclídea , ,00E+0,00E+0,00E+0,00E ,000 9,9E+09,00E+0 9,9E+09,00E+0 00, ,00E+0,00E+0,00E+0,00E , ,9E+09,00E+0 9,9E+09,00E+0,00E+0 9,9E+09,00E+0 9,9E , ,00E+0,00E+0,00E+0,00E ,000,00E+0 9,9E+09,00E+0 9,9E+09 00, ,00E+0,00E+0,00E+0,00E , Esta es una matriz de disimilaridades Grupo 2 0

11 Planteamiento del problema Estandarización de los datos Ejemplo de los efectos Nombre de Activos Valores estandarizados la empresa (pesetas) Trabajadores Activos Trabajadores E ,00-0,90 E ,99 -,09 E ,00,09 E ,99 0,90 E ,99,09 E ,00 0,90 E ,99-0,90 E ,00 -,09 Media Desv. típica ,2 Matriz de distancias Caso :Case 2:Case 2 3:Case 3 :Case :Case 6:Case 6 7:Case 7 8:Case 8 distancia euclídea :Case 2:Case 2 3:Case 3 :Case :Case 6:Case 6 7:Case 7 8:Case 8,86,862,67 2,639 2,8,87,889,86 2,08,862 2,767 2,639,87,87,862 2,08,86,87,889 2,639 2,780,67,862,86,87,87 2,0 2,639 2,639 2,767,87,87,86,862 2,08 2,8 2,639,889,87,86,67,862,87,87 2,639 2,0,862,67,86,889,87 2,780 2,639 2,08,862,86 Esta es una matriz de disimilaridades Grupo : E y E2 Grupo 2: E3 y E Grupo 3: E y E6 Grupo 3: E7 y E8

12 Estimación del modelo Métodos jerárquicos: Se comienza con tantos grupos como individuos y se van agrupando según diversos criterios: centroide vecino más cercano vecino más lejano... No jerárquicos: Se determina el número de grupos Se proporciona un centroide inicial Se van incorporando a los individuos hasta que se cumpla un criterio de parada Selección: Ambos Primero método jerárquico para establecer número de grupos y centroides iniciales Luego método no jerárquico 2

13 Estimación del modelo Ilustración del método del centroide 30 Ventas Millardos de pesetas E3 E E2 E E7 E E8 E6 Nombre de la empresa Inversión en publicidad (decenas de millones) Ventas (millardos) E 6 0 E2 2 E E 2 2 E 0 E6 0 E7 2 E Inversión en publicidad Decenas de millones de pesetas Matriz de distancias distancia euclídea al cuadrado Caso Esta es una matriz de disimilaridades 3

14 Estimación del modelo Ilustración del método del centroide 30 Ventas Millardos de pesetas E3 E E2 E E7 E E8 E6 Nombre de la empresa Inversión en publicidad (decenas de millones) Ventas (millardos) E 6 0 E2 2 E E 2 2 E 0 E6 0 E7 2 E Inversión en publicidad Decenas de millones de pesetas Publicidad de E3- = = Ventas de E3- = = 23, 2 Inversión en Nombre de la empresa publicidad (decenas de Ventas (millardos) millones) E 6 0 E2 2 E3-23, E 0 E6 0 E7 2 E D E ( ) ( ) = , = 207, 3, E3

15 Estimación del modelo Ilustración del método del centroide 30 Ventas Millardos de pesetas E3 E E2 E E7 E E8 E6 Nombre de la empresa Inversión en publicidad (decenas de millones) Ventas (millardos) E 6 0 E2 2 E E 2 2 E 0 E6 0 E7 2 E Inversión en publicidad Decenas de millones de pesetas Matriz de distancias Caso E E2 E3- E E6 E7 E8 distancia euclídea al cuadrado E E2 E3- E E6 E7 E8 32,0 207,3 8,0 8,0 066,0,0 32,0 9,3 0,0,0 20,0 63,0 207,3 9,3 338,3 93,3 8,3 33,3 8,0 0,0 338,3 0,0 22,0 3,0 8,0,0 93,3 0,0 2,0,0 066,0 20,0 8,3 22,0 2,0 29,0,0 63,0 33,3 3,0,0 29,0 Esta es una matriz de disimilaridades D E ( ) ( ) = , = 207, 3, E3

16 Estimación del modelo Ilustración del método del centroide 30 2 E3 E E7 E8 Conglomerado que se combina Historial de conglomeración Etapa en la que el conglomerado aparece por primera vez Ventas Millardos de pesetas 20 0 E2 E E E6 Etapa Conglom erado Conglom erado 2 Coeficientes Conglom erado Conglom erado 2 Próxima etapa 3 3, , , , , , , Inversión en publicidad Decenas de millones de pesetas Matriz de distancias distancia euclídea al cuadrado E E2 E3- E E6 E7 E8 Caso E 32,0 207,3 8,0 8,0 066,0,0 E2 32,0 9,3 0,0,0 20,0 63,0 E3-207,3 9,3 338,3 93,3 8,3 33,3 E 8,0 0,0 338,3 0,0 22,0 3,0 E6 8,0,0 93,3 0,0 2,0,0 E7 066,0 20,0 8,3 22,0 2,0 29,0 E8,0 63,0 33,3 3,0,0 29,0 Esta es una matriz de disimilaridades 6

17 Estimación del modelo Ilustración del método del vecino más cercano 30 2 u E E3 E7 E8 v Ventas Millardos de pesetas 20 0 y E2 w E { E z E6 x Inversión en publicidad Decenas de millones de pesetas Etapa Conglomerado que se combina Conglom erado Historial de conglomeración Conglom erado 2 Coeficientes Etapa en la que el conglomerado aparece por primera vez Conglom erado Conglom erado 2 Próxima etapa 3 3, , , , , , ,

18 Estimación del modelo Ejemplo de HATCO: determinación del número de grupos 8

19 Estimación del modelo Ejemplo de HATCO: cálculo de los centroides iniciales Al ejecutar el análisis jerárquico, una vez determinado el número de grupos se pide que guarde la pertenencia al grupo de cada caso Se obtienen la media de las 7 variables implicadas en cada grupo Ahora ya sabemos que el número lógico de grupo es 2 y tenemos una estimación razonable de los centroides iniciales, podemos realizar un análisis de conglomerados no jerárquico (k-medias) 9

20 Estimación del modelo El método no jerárquico k-medias Lo ilustraremos con el ejemplo anterior de la relación entre publicidad y ventas por tener un número reducido de casos. Damos por hecho que con un método jerárquico hemos determinado que 2 es el número lógico de grupos y hemos obtenido una estimación razonable de los centroides iniciales. Nombre de la empresa Inversión en publicidad (decenas de millones) Ventas (millardos) E 6 0 E2 2 E E 2 2 E 0 E6 0 E7 2 E Centros iniciales de los conglomerados inversion publicitaria ventas Conglomerado Se calcula la distancia (siempre es euclídea) de cada observación al centroide inicial Se asigna cada observación al grupo del que dista menos Se recalculan los centroides Se vuelve calcular la distancia de cada observación a los nuevos centroides Se asigna cada observación al grupo del que dista menos Se repite el proceso hasta que no hay reasignación de casos o un número determinado de iteraciones 20

21 Estimación del modelo El método no jerárquico k-medias Nombre de la empresa Inversión en publicidad (decenas de millones) Ventas (millardos) E 6 0 E2 2 E E 2 2 E 0 E6 0 E7 2 E Centros iniciales de los conglomerados inversion publicitaria ventas Conglomerado Observación Publicidad Ventas Distancia al centroide Conglomerado 2 asignado E 6 0 3,37,2 2 E2 2 38,0,00 2 E ,6 3,6 2 E ,29 0,00 2 E 0 7,07 36,2 E6 0 0,00 39,29 E7 2,8 33,00 E ,00 38,0 2 ( ) ( ) 2 2 dec (, ) = = 3.37 ( ) ( ) 2 2 dec (, ) = =.2 2

22 Estimación del modelo El método no jerárquico k-medias Nombre de la empresa Inversión en publicidad (decenas de millones) Ventas (millardos) E 6 0 E2 2 E E 2 2 E 0 E6 0 E7 2 E Conglomerado Centroides iniciales Centroides finales Publicidad Ventas Publicidad Ventas 0 7, 9, , 7,7 Observación Publicidad Ventas Distancia al centroide Conglomerado 2 asignado E ,83 8,0 2 E2 2 3,89 3,78 2 E ,60,93 2 E 2 2 3,96 7,27 2 E 0 9,8 33, E6 0,93 37,60 E7 2 6,27 33,30 E , 38,62 2 ( ) ( ) 2 2 dec (, ) = = ( ) ( ) 2 2 dec (, ) = =

23 Estimación del modelo El método no jerárquico k-medias Conglomerado Centroides iniciales Centroides finales Publicidad Ventas Publicidad Ventas 0 7, 9, , 7,7 Historial de iteraciones Iteración 2 Cambio en los centros de los conglomerados 2,93 7,267,000,000. Covergencia alcanzada debido a un cambio en la distancia nulo o pequeño. La distancia máxima en la que ha cambiado cada centro es,000. La iteración actual es 2. La distancia mínima entre los centros iniciales es 39,29. ( ) ( ) 2 2 d = =.93 ( ) ( ) 2 2 d = = Pertenencia a los conglomerados Número de caso Conglom erado Distancia 2 8,0 2 3,783 2,93 2 7,267 9,82,93 6,270 8,3 23

24 Estimación del modelo El método no jerárquico k-medias: aplicación al ejemplo de HATCO Indicamos en la sintaxis los centroides iniciales QUICK CLUSTER x x2 x3 x x x6 x7 /MISSING=LISTWISE /CRITERIA=CLUSTER(2) MXITER(0) CONVERGE(0) /METHOD=KMEANS(NOUPDATE) /INITIAL ( ) /PRINT INITIAL ANOVA. 2

25 Estimación del modelo El método no jerárquico k-medias: aplicación al ejemplo de HATCO Obtenemos los centroides finales que ahora maximizan la homogeneidad de cada grupo. Podemos pasar a interpretar? Deberíamos fijarnos si podemos dar como significativas todas las diferencias de medias antes de continuar 2

26 Interpretación de resultados El método no jerárquico k-medias: aplicación al ejemplo de HATCO Añadimos a los centroides los resultados del análisis de la varianza que toma como variable dependientes las siete variables y como factor la pertenencia al conglomerado 26

27 Validación del modelo Procedimiento técnico Selección aleatoria del centroide inicial y comprobación de la estabilidad de los resultados 27

28 Validación del modelo Procedimiento sustantivo Tiene la pertenencia a uno u otro conglomerado consecuencias sobre el comportamiento de las empresas respecto a otras variables? 28