TEMA 6 ANÁLISIS DE CONGLOMERADOS

Transcripción

1 TEMA 6 ANÁLISIS DE CONGLOMERADOS Facultade de Psicoloxía Campus Sur, s/n Santiago de Compostela wwwusces/psicom Dr Jesús Varela Mallou Dr Antonio Rial Boubeta Dr Eduardo Picón Prado Análisis Multivariante Santiago de Compostela, 2018

2 INTRODUCCIÓN Lecturas obligatorias Picón, E Varela, J y Real, E (2003): Clasificación y Segmentación Post Hoc mediante el Análisis de Conglomerados En JP Lévy y J Varela (Dirs): Análisis Multivariante para las Ciencias Sociales Madrid: Pearson Educación 2

3 INTRODUCCIÓN Contextualización Métodos de Dependencia: Se asume que una variable (Y) depende de (es causada o determinada por) otras variables (X1, X2 etc) Ejemplos: Regresión, ANOVA, Análisis Discriminante Métodos de Independencia: No se asume que ninguna variable sea causada o determinada por otras Básicamente tenemos X1, X2 Xn (pero no Y) Ejemplos: Análisis de Conglomerados, Análisis Factorial, etc Cuándo se usan métodos de independencia se deja que los datos hablen por ellos mismos No hay modelización previa 3

4 INTRODUCCIÓN Contextualización Análisis Factorial: Cuando lo que interesa son agrupar variables Análisis Clúster: Cuando lo que interesa son agrupar observaciones Principio rector: Maximización de la homogeneidad intra grupos (conglomerados, segmentos) y simultáneamente Maximización de la heterogeneidad inter grupos

5 INTRODUCCIÓN Dos fases fundamentales 1ª: Obtención de segmentos X1 X2 X3 X4 Cluster Cluster 1 Obs1 Obs Obs Cluster 2 Obs4 Obs Obs6 3 Cluster 3 Obs7 Obs8 3 1 Obs9 3 Obs10 2 Resultado final: En el fichero de datos, una nueva variable que asigna cada observación a un conglomerado específico 5

6 INTRODUCCIÓN Dos fases fundamentales 2ª: Perfilado de segmentos Resultado final: Una tabla de contingencia entre la variable de agrupamiento y una serie de variables sociodemográficas o de otro tipo (distintas de las utilizadas para establecer los conglomerados) Cluster 1 Cluster 2 Cluster 3 Edad % Mujeres Tamaño de la familia Opinión Opinión Opinión Jóvenes solteros Familia tradicional Maduros felices 6

7 Cómo se construyen los conglomerados? El análisis estadístico necesita: 1 Una MEDIDA para calcular la distancia entre dos sujetos, lo distintos que son 2 Un criterio, una regla, un MÉTODO PARA AGRUPARLOS y asignarlos a cada conglomerado

8 La medida? Distancia Euclídea (por defecto en SPSS) Y B (x 2, y 2 ) y 2 -y 1 A (x 1, y 1 ) x 2 -x 1 d = (x 2 -x 1 ) 2 + (y 2 -y 1 ) 2 X Otras distancias disponibles en SPSS: City-Block (usa de distancias absolutas en vez de la distancia al cuadrado de las coordenadas), Minkowski, Coseno, Chebychev, Correlación de Pearson El tipo de medida seleccionada influye poco en los resultados finales 8

9 El método de agrupamiento? Hay muchos y muy diferentes Métodos sin solapamiento Métodos con solapamiento Aglomerativos Jerárquicos Divisivos Iterativos - Umbral secuencial - Umbral paralelo - Redes Neuronales - Partición óptima (8) - k-centroides con solapamiento - k-medias con solapamiento - Análisis de Clases Latentes - AC Borroso - Factorial Tipo-Q (9) Métodos de vinculación Métodos de centroide Métodos de varianza 1 2 Nombre en SPSS Vinculación entre-grupos Vinculación intra-grupos - Promedio - Entre grupos (1) - Intra grupos (2) - Ponderado - Único - Ordinario (3) - Densidad - Dos fases - Completo (4) - Centroide (5) - Mediana (6) - Ward (7) Nota: Los métodos en cursiva están disponibles en SPSS Redes Neuronales requiere de la herramienta de data mining Clementine Vecino más próximo Vecino más lejano Agrupación de centroides Agrupación de medianas Método de Ward Conglomerado de K-medias Análisis Factorial

10 Principales tipologías de agrupamiento Sin solapamiento Con solapamiento Vinculación única: Mínima distancia Vinculación completa: Máxima distancia Jerárquico No jerárquico Vinculación media (inter-grupos): Distancia media Aglomerativo 1a 1b 1c 2 Divisivo 1a 1b 1b 1 1b 2 Método de centroide: Distancia entre centros Método de Ward: Minimización de la varianza intragrupos

11 CÓMO FUNCIONAN LOS PROCEDIMIENTOS JERÁRQUICOS (AGLOMERATIVOS)? Qué par de elementos se unirán primero? A B G C D H E 11

12 Depende de la medida de distancia que utilicemos, pero supongamos que A-B y D-E Surgen así dos conglomerados A B G C D H E 12

13 El siguiente punto más próximo a estos dos conglomerados es C A dónde será adscrito? A B G C D H E 13

14 A dónde se encuentre más próximo (distancia euclídea), pero EXISTEN VARIAS POSIBILIDADES (métodos de agrupamiento) A B G C D H E 14

15 A dónde se encuentre más próximo (distancia euclídea), pero EXISTEN VARIAS POSIBILIDADES (métodos de agrupamiento): A B G 10,5 8,5 7,0 11,0 12,0 C 8,5 9,0 D 9,5 H E 15

16 VECINO MÁS LEJANO (COMPLETE LINKAGE): Adscribe C al conglomerado cuya distancia el caso más alejado de ese conglomerado es menor A 10,5 B G C d(c;ab)=max(dca;dcb) D 9,5 H E 16

17 VECINO MÁS PRÓXIMO (SINGLE LINKAGE): Adscribe C al conglomerado cuyo distancia al caso más cercano de ese conglomerado es menor A B 7,0 G d(c;ab)=min(dca;dcb) Inconvenientes: Encadenamiento C 8,5 D Ventajas: Detecta muy bien outliers H E 17

18 MÉTODOS BASADOS EN PUNTUACIONES MEDIAS: Adscribe C al conglomerado cuya promedio de distancias es menor A B G Vinculación Intragrupos Vinculación intergrupos Mediana Centroide Ward 8,5 C Tienden a obtener conglomerados de tamaño similar 9,0 D Preferibles al resto de jerárquicos, especialmente WARD y VINCULACIÓN INTERGRUPOS H E 18

19 MÉTODOS BASADOS EN PUNTUACIONES MEDIAS: Adscribe C al conglomerado cuya distancia es menor a Vinculación INTERgrupos: Media de todas las distancias entre C y cada uno de los elementos del conglomerado Vinculación INTRAgrupos: Incluye además las distancias dentro de cada conglomerado, es decir, todas las posibles

20 MÉTODOS BASADOS EN PUNTUACIONES MEDIAS: Adscribe C al conglomerado cuya distancia es menor a Centroide: Centro de simetría del cluster, calculado como la media de las distancias de todos sus elementos: Mediana: Centroides calculados sólo con valores centrales Ward: Proporciona la menor suma de cuadrados intragrupos En vez de utilizar las distancias entre casos utiliza esta medida de variabilidad 20

21 Todos estos métodos JERÁRQUICOS como resultado de su proceso aglomerativo, ofrecen un DENDROGRAMA, una representación gráfica en forma de árbol que muestra: 1 Qué elementos se han ido uniendo en cada paso 2 Cómo se organizan los casos 3 Cuántos conglomerados podemos distinguir en los datos 21

22 CÓMO SE CREA EL DENDROGRAMA? Paso 0: Cada observación Es considerada como un conglomerado independiente Medida de Distancia OBS 1 OBS 2 OBS 3 OBS 4 OBS 5 OBS 6 0,2 0,4 0,6 0,8 1,0 22

23 Cluster 1 Paso 1: Se agrupan los dos casos más próximos entre sí OBS 1 OBS 2 OBS 3 OBS 4 OBS 5 OBS 6 0,2 0,4 0,6 0,8 1,0 23

24 Cluster 1 Paso 2: Se agrupan los siguientes casos con menores distancias entre ellos Cluster 2 OBS 1 OBS 2 OBS 3 OBS 4 OBS 5 OBS 6 0,2 0,4 0,6 0,8 1,0 24

25 Cluster 1 Paso 3: El caso 3 se une al clúster 1 OBS 1 OBS 2 OBS 3 OBS 4 Cluster 2 OBS 5 OBS 6 0,2 0,4 0,6 0,8 1,0 25

26 OBS 1 Cluster 1-2 OBS 2 OBS 3 OBS 4 Paso 4: Se juntan los dos clusters 1 y 2, quedando un sólo caso desparejado: un outlier OBS 5 OBS 6 0,2 0,4 0,6 0,8 1,0 26

27 Ejemplos de dendrogramas Un buen resultado: 2 conglomerados claros Un mal resultado: No hay conglomerados claros Un mal resultado: Tenemos un outlier (caso 1017) y el dendrograma muestra encadenamiento Dendrograma típico al emplear Vecino Más Próximo 27

28 Ejemplos de dendrogramas

29 Y QUÉ HAY DE LOS MÉTODOS ITERATIVOS? No agrupan los datos por similaridad entre ellos No crean un dendrograma Son métodos que van ajustando iterativamente los centroides de un número fijo de conglomerados k a los datos Cada paso de un método jerárquico va agrupando casos similares en un mismo cluster Cada paso de un método iterativo va recolocando los centroides para que estén óptimamente posicionados en el centro real del conglomerado 29

30 CÓMO FUNCIONA K-MEDIAS? Supongamos que el número de grupos k = 3 30

31 CÓMO FUNCIONA K-MEDIAS? Iteración 0 Se comienza con una posición aleatoria de los centroides 31

32 CÓMO FUNCIONA K-MEDIAS? Iteración 1 Se asigna cada caso al centroide más próximo 32

33 CÓMO FUNCIONA K-MEDIAS? Iteración 2 Se recoloca el centroide en el centro de los puntos asignados 33

34 CÓMO FUNCIONA K-MEDIAS? Iteración 3 Se continúa iterativamente hasta que: 1 La distancia entre centroides es máxima 2 La distancia casocentroide es mínima 34

35 QUÉ MÉTODO ES PREFERIBLE? VENTAJAS DE LOS JERÁRQUICOS - Proporcionan una fotografía de cómo estan organizados los datos El investigador puede ver cuántos conglomerados existen en los datos - Pueden calcularse los centros de esos conglomerados: centroides (medias) - Vecino Más Próximo es especialmente bueno para localizar outliers - Ward y Vinculación INTERgrupos son los preferidos de entre los jerárquicos: estudios de simulación han comprobado que adscriben cada elemento a su conglomerado verdadero mejor que el resto (especialmente WARD) Tienden a ofrecer conglomerados similares en tamaño y dispersión de sus elementos, de forma redondeada DESVENTAJAS DE LOS JERÁRQUICOS - Cualquiera de los métodos jerárquicos por separado funciona peor que k-medias 35

36 QUÉ MÉTODO ES PREFERIBLE? VENTAJAS DE LOS ITERATIVOS - K medias es el método más robusto respecto a presencia de outliers y errores en las medidas de distancia DESVENTAJAS DE LOS ITERATIVOS - Requiere que el investigador especifique previamente tanto el número de conglomerados como sus centros iniciales SOLUCIÓN? Combinar ambos procedimientos, utilizando: 1 Jerárquico para eliminar outliers, determinar el numero de clusters y sus centros iniciales 2 K-medias para obtener la solución conglomerativa final 36

37 1ª FASE: MÉTODOS JERARQUICOS ANÁLISE MULTIVARIANTE FASES DEL ANÁLISS Fases a la hora de ejecutar un Análisis de Conglomerados Etapas preliminares PLANTEAMIENTO DEL PROBLEMA SELECCIÓN DE VARIABLES VECINO MÁS PRÓXIMO: DETECCIÓN Y ELIMINACIÓN DE OUTLIERS WARD: OBTENCIÓN DEL NÚMERO DE CONGLOMERADOS Obtención de los segmentos VINCULACIÓN INTRAGRUPOS: ANÁLISIS DE LA ESTABILIDAD CREACIÓN DEL FICHERO DE MEDIAS DE CADA CONGLOMERADO 2ª FASE: MÉTODO K-MEDIAS: OBTENCIÓN DE LA SOLUCIÓN CONGLOMERATIVA FINAL Descripción de los segmentos PERFILADO DE LOS CONGLOMERADOS 37

38 1ª FASE: MÉTODOS JERARQUICOS ANÁLISE MULTIVARIANTE FASES DEL ANÁLISS ETAPAS PRELIMINARES PLANTEAMIENTO DEL PROBLEMA SELECCIÓN DE VARIABLES VECINO MÁS PRÓXIMO: DETECCIÓN Y ELIMINACIÓN DE OUTLIERS WARD: OBTENCIÓN DEL NÚMERO DE CONGLOMERADOS VINCULACIÓN INTRAGRUPOS: ANÁLISIS DE LA ESTABILIDAD CREACIÓN DEL FICHERO DE MEDIAS DE CADA CONGLOMERADO 2ª FASE: MÉTODO K-MEDIAS: OBTENCIÓN DE LA SOLUCIÓN CONGLOMERATIVA FINAL PERFILADO DE LOS CONGLOMERADOS CUESTIONES PREVIAS Cuál es el objetivo de mi estudio? Busco explorar datos o confirmar hipótesis? Quiero encontrar segmentos o grupos? SELECCIÓN DE VARIABLES Las variables deben ser independientes, no correlacionadas Si son ítems de un test mejor hacer un análisis factorial antes Debe tener sentido agruparlas Rubbish in, rubbish out El número de variables a introducir en el análisis no es importante (Md = 15) Sí debe mantenerse un número suficiente de casos por variable, idealmente 2 m (m = nº variables) Por lo tanto, mejor muestras grandes y representativas 38

39 1ª FASE: MÉTODOS JERARQUICOS ANÁLISE MULTIVARIANTE FASES DEL ANÁLISS OBTENCIÓN DE LOS SEGMENTOS PLANTEAMIENTO DEL PROBLEMA SELECCIÓN DE VARIABLES VECINO MÁS PRÓXIMO: DETECCIÓN Y ELIMINACIÓN DE OUTLIERS WARD: OBTENCIÓN DEL NÚMERO DE CONGLOMERADOS VINCULACIÓN INTRAGRUPOS: ANÁLISIS DE LA ESTABILIDAD Posibles outliers El número indica la posición que ocupan en el fichero Se ocultan de los análisis y se vuelve a ejecutar este método para comprobar el efecto sobre el dendrograma CREACIÓN DEL FICHERO DE MEDIAS DE CADA CONGLOMERADO 2ª FASE: MÉTODO K-MEDIAS: OBTENCIÓN DE LA SOLUCIÓN CONGLOMERATIVA FINAL PERFILADO DE LOS CONGLOMERADOS 39

40 1ª FASE: MÉTODOS JERARQUICOS ANÁLISE MULTIVARIANTE FASES DEL ANÁLISS OBTENCIÓN DE LOS SEGMENTOS PLANTEAMIENTO DEL PROBLEMA SELECCIÓN DE VARIABLES VECINO MÁS PRÓXIMO: DETECCIÓN Y ELIMINACIÓN DE OUTLIERS WARD: OBTENCIÓN DEL NÚMERO DE CONGLOMERADOS VINCULACIÓN INTRAGRUPOS: ANÁLISIS DE LA FIABILIDAD Para determinar el número de conglomerados natural existen criterios numéricos y gráficos SPSS no ofrece numéricos y de los gráficos sólo el dendrograma El dendrograma nos muestra 3 grupos claros: ACIÓN DEL FICHERO DE MEDIAS DE CADA CONGLOMERADO 2ª FASE: MÉTODO K-MEDIAS: OBTENCIÓN DE LA SOLUCIÓN CONGLOMERATIVA FINAL Para validar esta solución, se recomienda utilizar, además, otro procedimiento PERFILADO DE LOS CONGLOMERADOS 40

41 1ª FASE: MÉTODOS JERARQUICOS ANÁLISE MULTIVARIANTE FASES DEL ANÁLISS OBTENCIÓN DE LOS SEGMENTOS PLANTEAMIENTO DEL PROBLEMA SELECCIÓN DE VARIABLES VECINO MÁS PRÓXIMO: DETECCIÓN Y ELIMINACIÓN DE OUTLIERS WARD: OBTENCIÓN DEL NÚMERO DE CONGLOMERADOS VINCULACIÓN INTRAGRUPOS: ANÁLISIS DE LA ESTABILIDAD CREACIÓN DEL FICHERO DE MEDIAS DE CADA CONGLOMERADO El análisis del CAMBIO EN EL COEFICIENTE DE CONGLOMERACIÓN indica que 3 conglomerados es además la opción mejor desde un punto de vista estadístico 2ª FASE: MÉTODO K-MEDIAS: OBTENCIÓN DE LA SOLUCIÓN CONGLOMERATIVA FINAL PERFILADO DE LOS CONGLOMERADOS 41

42 1ª FASE: MÉTODOS JERARQUICOS ANÁLISE MULTIVARIANTE FASES DEL ANÁLISS OBTENCIÓN DE LOS SEGMENTOS PLANTEAMIENTO DEL PROBLEMA SELECCIÓN DE VARIABLES VECINO MÁS PRÓXIMO: DETECCIÓN Y ELIMINACIÓN DE OUTLIERS WARD: OBTENCIÓN DEL NÚMERO DE CONGLOMERADOS VINCULACIÓN INTRAGRUPOS: ANÁLISIS DE LA ESTABILIDAD CREACIÓN DEL FICHERO DE MEDIAS DE CADA CONGLOMERADO 2ª FASE: MÉTODO K-MEDIAS: OBTENCIÓN DE LA SOLUCIÓN CONGLOMERATIVA FINAL PERFILADO DE LOS CONGLOMERADOS 42

43 1ª FASE: MÉTODOS JERARQUICOS ANÁLISE MULTIVARIANTE FASES DEL ANÁLISS OBTENCIÓN DE LOS SEGMENTOS PLANTEAMIENTO DEL PROBLEMA SELECCIÓN DE VARIABLES VECINO MÁS PRÓXIMO: DETECCIÓN Y ELIMINACIÓN DE OUTLIERS PASOS Se calculan las medias de cada variable para cada uno de los 3 conglomerados WARD: OBTENCIÓN DEL NÚMERO DE CONGLOMERADOS VINCULACIÓN INTRAGRUPOS: ANÁLISIS DE LA ESTABILIDAD CREACIÓN DEL FICHERO DE MEDIAS DE CADA CONGLOMERADO Se copian los datos en un fichero de datos, nombrando a las variables exactamente igual e incluyendo una variable que se debe llamar necesariamente cluster_ 2ª FASE: MÉTODO K-MEDIAS: OBTENCIÓN DE LA SOLUCIÓN CONGLOMERATIVA FINAL PERFILADO DE LOS CONGLOMERADOS 43

44 1ª FASE: MÉTODOS JERARQUICOS ANÁLISE MULTIVARIANTE FASES DEL ANÁLISS OBTENCIÓN DE LOS SEGMENTOS PLANTEAMIENTO DEL PROBLEMA SELECCIÓN DE VARIABLES En esta última fase final especificamos: 1 3 como número de conglomerados VECINO MÁS PRÓXIMO: DETECCIÓN Y ELIMINACIÓN DE OUTLIERS WARD: OBTENCIÓN DEL NÚMERO DE CONGLOMERADOS VINCULACIÓN INTRAGRUPOS: ANÁLISIS DE LA ESTABILIDAD 2 El fichero de medias recién creado como centros iniciales La variable que se crea en el archivo de datos tras un k medias se reconoce bien respecto de un método jerárquico CREACIÓN DEL FICHERO DE MEDIAS DE CADA CONGLOMERADO 2ª FASE: MÉTODO K-MEDIAS: OBTENCIÓN DE LA SOLUCIÓN CONGLOMERATIVA FINAL PERFILADO DE LOS CONGLOMERADOS Importante informar del % de casos reasignados a otro conglomerado 44

45 1ª FASE: MÉTODOS JERARQUICOS ANÁLISE MULTIVARIANTE FASES DEL ANÁLISS PERFILADO DE LOS SEGMENTOS PLANTEAMIENTO DEL PROBLEMA SELECCIÓN DE VARIABLES VECINO MÁS PRÓXIMO: DETECCIÓN Y ELIMINACIÓN DE OUTLIERS WARD: OBTENCIÓN DEL NÚMERO DE CONGLOMERADOS VINCULACIÓN INTRAGRUPOS: ANÁLISIS DE LA ESTABILIDAD IMPORTANTÍSIMA FASE Tenemos ya los conglomerados formados pero ahora qué hacemos con ellos?? Debemos cruzarlos con otras variables del cuestionario (no utilizadas para crear los grupos) con el fin de perfilarlos, saber un poco más de ellos Para ello se utilizan: CREACIÓN DEL FICHERO DE MEDIAS DE CADA CONGLOMERADO 2ª FASE: MÉTODO K-MEDIAS: OBTENCIÓN DE LA SOLUCIÓN CONGLOMERATIVA FINAL - Contrastes F si se cruza la variable de conglomerados con una variable métrica - Contrastes X 2 si se cruzan con una variable categórica PERFILADO DE LOS CONGLOMERADOS 45

46 1ª FASE: MÉTODOS JERARQUICOS ANÁLISE MULTIVARIANTE FASES DEL ANÁLISS PERFILADO DE LOS SEGMENTOS PLANTEAMIENTO DEL PROBLEMA SELECCIÓN DE VARIABLES VECINO MÁS PRÓXIMO: DETECCIÓN Y ELIMINACIÓN DE OUTLIERS WARD: OBTENCIÓN DEL NÚMERO DE CONGLOMERADOS VINCULACIÓN INTRAGRUPOS: ANÁLISIS DE LA ESTABILIDAD CREACIÓN DEL FICHERO DE MEDIAS DE CADA CONGLOMERADO 2ª FASE: MÉTODO K-MEDIAS: OBTENCIÓN DE LA SOLUCIÓN CONGLOMERATIVA FINAL PERFILADO DE LOS CONGLOMERADOS 46