Análisis de clasificación

Transcripción

1 Seminario de Doctorado Análisis de clasificación Pedro López-Roldán Departamento de Sociología Centro de Estudios Sociológicos sobre la Vida Cotidiana y el Trabajo (QUIT) Instituto de Estudios del Trabajo (IET) Universidad Autónoma de Barcelona Pedro.Lopez.Roldan@uab.cat Sandra Fachelli Departamento de Sociología y Análisis de las Organizaciones Universidad de Barcelona Grupo de Investigación en Educación y Trabajo (GRET) Universidad Autónoma de Barcelona Sandra.Fachelli@ub.edu Agosto de 2015

2 Presentación: clasificación y tipología El Análisis de Clasificación (ACL) técnica multivariada llamada también: Cluster Analysis (Análisis de Conglomerados) Análisis de Clasificación Automática / Analyse Typologique Reservamos la expresión Análisis tipológico para aludir a un proceso metodológico más general destinado a la construcción de tipologías, profuso en la tradición sociológica, que eventualmente puede usar técnicas de tipo multivariable. Propuesta metodológica de construcción: Tipología estructural y articulada se define como un instrumento de operativización conceptual, construido de forma articulada entre la teoría y la realidad empírica, y destinado a definir, estructurar y medir la complejidad multidimensional de los fenómenos sociales. Ello se traduce en la constitución de un conjunto de categorías o tipos a través de la agrupación de un universo de unidades mediante la combinación simultánea de las características que constituyen su espacio de atributos. (López-Roldán, 1996: 15) Construcción de tipologías Análisis de Clasificación 1

3 La tipología estructural i articulada Propuesta metodológica de construcción (López-Roldán, 1994) Articulación Estructuración TEORÍA Tipificación de la realidad social Articulación Realidad empírica Medición Operativizar Definir Deducción / Concreción Inducción / Abstracción Explicación estructural Construcción de tipologías Análisis de Clasificación 2

4 Proceso de construcción de tipologías Modelo de Análisis Análisis de análisis Factorial Clasificación X (n p) R (p p) F (n m) D (n n) T (k m) Datos originales Matriz de Correlaciones Matriz Factorial Matriz de Distancias Matriz Tipológica n radios, p variables, m factores y k tipos Georeferenciación Mapa social Construcción de tipologías Análisis de Clasificación 3

5 El análisis de clasificación Presentación. Proceso de clasificación Representación de 5 individuos en el espacio de 2 variables Espacio de atributos Espacio social Se parte de individuos caracterizados por variables (X) Objetivo: crear grupos lo más parecidos internamente y lo más diferentes entre ellos De forma automatizada según cada método A partir de calcular medidas de similitud o de disimilitud (proximidad) Construcción de tipologías Análisis de Clasificación 4

6 El análisis de clasificación Proceso de análisis de un ACL Construcción de tipologías Análisis de Clasificación 5 Fin

7 1. Elección del conjunto de variables original Etapa más crítica Métrica: habitualmente continua, pero también pueden ser cualitativas de tipo binario (dicotómicas, con valores 0/1) o bien pueden ser datos de frecuencias Deben ser homogéneas y comparables entre sí Hay que evaluar si están correlacionadas y si su importancia es proporcionada (sobredimensionalización) Deben tener las mismas unidades de medida (estandarizar) Idoneidad de un Análisis Factorial: Los factores acumulan diversas variables en cada uno de ellos Los factores son variables incorrelacionadas Los factores son variables continuas Estandarizadas: expresadas en unidades de desviación típica (media 0 y desviación 1) Son variables que más discriminan o diferencian los individuos SPAD cita tomar el 80% de la varianza o la mitad de factores (!) Construcción de tipologías Análisis de Clasificación 6

8 2. Elección de la medida de proximidad Con variables continuas: Distancia euclidiana d p 2 ( i, i' ) dii' ( xij xi' j ) j 1 Fragmento original de la obra Elementos de Euclides de Alexandria ( ac) Pitágoras de Samos (582 ac ac) h a b h (6 2) (5 2) Construcción de tipologías Análisis de Clasificación 7

9 2. Elección de la medida de proximidad Matriz de distancias Construcción de tipologías Análisis de Clasificación 8

10 3. Elección del método de clasificación Más de 100 métodos de clasificación existentes a) Métodos jerárquicos Ascendentes o aglomerativos: - Distancias mínimas - Distancias máximas - Distancia media entre grupos - Distancias entre centroides - Distancia mediana CLUSTER en SPSS - Ward (mínima pérdida de inercia) RECIP en SPAD Descendentes o disociativos: - los anteriores - Monotéticos: Método de William i Lambert Detector automático de interacción (AID) - Politéticos c) Métodos mixtos - SEMIS en SPAD (Clas.if. Híbrida) - TWOSTEP CLUSTER en SPSS (Clasif. en dos fases) b) Métodos no jerárquicos o de partición De reasignación: - Centros móviles (K-means, QUICK CLUSTER en SPSS) - Nubes dinámicas con grupos estables -MétododeForgy - Climbing - Isodata distancias mínimas De búsqueda de la densidad: - De aproximación tipológica: análisis modal de Wishart, método de Taxmap de Carmichael i Sneath, método Fortin - De aproximación probabilística: método de les combinaciones de Wolf - Vecino más cercano (KNN en SPSS) Directos: block clustering de Hartigan De reducción de dimensiones: análisis factorial Q Otros: algoritmos más recientes Construcción de tipologías Análisis de Clasificación 9

11 3. Elección del método de clasificación Métodos jerárquicos ascendentes Dendrograma (árbol de agregación) Construcción de tipologías Análisis de Clasificación 10

12 3. Elección del método de clasificación Método ward, de mínima pérdida de inercia (intergrupos) Construcción de tipologías Análisis de Clasificación 11

13 3. Elección del método de clasificación Método ward, de mínima pérdida de inercia (intergrupos) Construcción de tipologías Análisis de Clasificación 12

14 3. Elección del método de clasificación Método de centros móviles: no jerárquico, nubes dinámicas, muchos datos Construcción de tipologías Análisis de Clasificación 13

15 3. Elección del método de clasificación Método de grupos estables Método no jerárquico. Nubes dinámicas Gran cantidad de datos Proceso: 1. Se fijan k de grupos con unos centres iniciales aleatorios a donde se asignan los individuos más próximos: 2. Esta partición se hace s veces (2, 3, 4 ): 3. Se construye la partición-producto (tabla de contingencia): las casillas no vacías del cruce son los grupos estables 4. A continuación, habiendo reducido el número de unidades, se aplica un procedimiento clasificatorio, p. ej. Ward Construcción de tipologías Análisis de Clasificación 14

16 3. Elección del método de clasificación Método mixto, algoritmo del software SPAD (SEMIS) Partiendo de las puntuaciones factoriales del conjunto de individuos se aplica un triple proceso clasificatorio (Lebart, Morineau, Piron, 2004: 177 a 184): 1. Una primera clasificación se obtiene por el cruce de varias particiones de base construidas alrededor de centros móviles 2. Las clases estables que se obtienen de este primer procedimiento se agregan a continuación por un método de clasificación jerárquica ascendente según el criterio de Ward 3. Finalmente, las diferentes particiones de los individuos que se pueden obtener a partir del árbol de agregación del procedimiento Ward optimizan o se consolidan mediante una reasignación a los diferentes grupos creados en cada partición con un nuevo proceso de clasificación por centros móviles que mejora la inercia entre los grupos. A partir del árbol de agregación se trata de determinar el corte que corresponde a la mejor o mejores particiones Construcción de tipologías Análisis de Clasificación 15

17 4. Clasificación en un número de grupos El número de grupos, según el método clasificatorio: Se fija con anterioridad Se determina a posteriori Según criterios e hipótesis previas o de forma más exploratoria Criterios para decidir el número de grupos: Proporción de varianza explicada por cada partición Distancias entre los grupos. Analizar la Tabla de aglomeración: crecimiento del coeficiente Saltos del dendrograma En algunos métodos puede ser una decisión automatizada El contenido substantivo y los criterios teóricos son importantes Se trata de comparar y contrastar clasificaciones alternativas y validarlas Construcción de tipologías Análisis de Clasificación 16

18 4. Clasificación en un número de grupos Tabla de aglomeración RMB 1986 Construcción de tipologías Análisis de Clasificación 17

19 4. Clasificación en un número de grupos Tabla de aglomeración Cálculo de (ver Excel): -Diferencias primeras ( velocidad ) -Diferencias segundas ( aceleración ) Historial de conglomeración Etapa Grupos Conglomerado que se combina Coeficientes Diferencias primeras Diferencias segundas Etapa en la que el conglomerado aparece por primera vez Próxima etapa Conglomerado Conglomerado Conglomerado Conglomerado , , , ,00 0, , ,00 0, , ,00 0, , ,00 0, , ,01 0, , ,01 0, , ,01 0, , ,02 0, , ,02 0, , ,03 0, , ,03 0, , ,04 0, , ,04 0, , ,07 0, , ,07 0, , ,08 0, , ,08 0, , ,09 0, , ,14 0, , ,15 0, , ,20 0, , ,23 0, , ,24 0, , ,27 0, , ,48 0, , ,70 0, , ,82 0, , ,52 0, , ,79 0, , ,75 1, , ,69 0, , ,01 17, , ,43 10, , Construcción de tipologías Análisis de Clasificación 18

20 5. Descripción y validación de los grupos o tipos Descripción de los tipos Caracterización cruzando la tipología con las variables factoriales, las originales (activas y pasivas) y otras de interés Tablas de contingencia Tablas de medias Representaciones gráficas: gráficos de dispersión, de barras, mapas,... Validación de los resultados Validación: estabilidad de los resultados Cambiar las variables (introducir o quitar) Cambiar su codificación Cálculo de medidas de evaluación: Internas: índice de Davies Bouldin, índice Dunn, coeficiente Silhouette, cophenético, de pertenencia Externas: medida Rand, medida F, índice de Jaccard, índice Fowlkes Mallows, matriz de confusión, información mútua Simulación de Montecarlo Interpretación teórica Construcción de tipologías Análisis de Clasificación 19

21 5. Descripción de los grupos o tipos Ejemplo de la RMB 1986 Construcción de tipologías Análisis de Clasificación 20

22 5. Descripción de los grupos o tipos Ejemplo de la RMB 1986 Construcción de tipologías Análisis de Clasificación 21

23 5. Descripción de los grupos o tipos Ejemplo de la RMB 1986 Construcción de tipologías Análisis de Clasificación 22

24 5. Descripción de los grupos o tipos Ejemplo de la RMB 1986 Construcción de tipologías Análisis de Clasificación 23

25 5. Descripción de los grupos o tipos Ejemplo de la RMB 1986 Construcción de tipologías Análisis de Clasificación 24

26 Construcción de los estratos Construcción de tipologías Análisis de Clasificación 25

27 Construcción de los estratos Construcción de tipologías Análisis de Clasificación 26

28 Construcción de los estratos Construcción de tipologías Análisis de Clasificación 27

29 Construcción de los estratos Construcción de tipologías Análisis de Clasificación 28

30 Análisis de Clasificación con SPAD Procedimiento general de construcción tipológica: ACM en combinación con el análisis de clasificación (ACL) Seleccionamos el procedimiento predefinido por el menú: Template / Predefined chains Análisis Factorial combinado con Análisis de Clasificación CORMU: Análisis de Correspondencias Múltiples COREM: Análisis de Correspondencias Múltiples con eliminación de categorías CORCO: Análisis de Correspondencias Múltiples Condicional Construcción de tipologías Análisis de Clasificación 29

31 Análisis de Clasificación con SPAD Procedimiento general de construcción tipológica: ACM en combinación con el análisis de clasificación (ACL) ACM CORMU: Multiple Correspondence Analysis DEFAC: Description of Factorial Axes ACL RECIP/SEMIS: Factor Based Cluster Analysis PARTI-DECLA: Cut the tree & Cluster Description Guardar variables ESCAL: Storing of Factorial Axis & Partitions Construcción de tipologías Análisis de Clasificación 30

32 Análisis de Clasificación con SPAD RECIP (método ward y optimización por el método de centros móviles) Elección RECIP (ward) SEMIS (mixto) Factores para el ACL Elementos terminales (nodos) del árbol de agregación Casos de cada grupo Parámetros de la presentación de los resultados Exportación de resultados a Excel Construcción de tipologías Análisis de Clasificación 31

33 Análisis de Clasificación con SPAD PARTI-DECLA (partición y descripción clases) Parámetros de las particiones: consolidación y casos ilustrativos Parámetros de presentación de resultados: -Casos de cada grupo -Coordenadas de las particiones - Parangones : casos representativos de cada partición -Crea fichero Excel Decisión del usuario del nº de particiones Búsqueda automática de las mejores particiones: cuántas (3) entre qué mínimo (3) y máximo (10) Caracterización de las particiones Construcción de tipologías Análisis de Clasificación 32

34 Análisis de Clasificación con SPAD ESCLA (guardar factores y clases) Particiones Se traspasan las variables (se etiquetan) y se validan Factores Se traspasan las variables (se etiquetan) y se validan Nombre y carpeta del archivo de datos Parámetros de resultados y trabajo Construcción de tipologías Análisis de Clasificación 33

35 Análisis de Clasificación con SPAD Resultados RECIP (clasificación jerárquica) Construcción de tipologías Análisis de Clasificación 34

36 Análisis de Clasificación con SPAD Resultados RECIP (clasificación jerárquica) Coordenadas facoriales Descripción de los 50 elementos terminales (nodos). Valores test de significación de cada nodo sobre cada factor retenido (> 2) Construcción de tipologías Análisis de Clasificación 35

37 Análisis de Clasificación con SPAD Resultados RECIP (clasificación jerárquica) Rango del primer y último nodo terminal comprendido en el nodo estudiado Descripción de los 50 elementos terminales (nodos) de la jerarquía Efectivos y peso Rango de los dos nodos o grupos que se unen Número de nodo e índice de nivel del nodo Construcción de tipologías Análisis de Clasificación 36

38 Análisis de Clasificación con SPAD Resultados RECIP Editor jerárquico del dendrograma Construcción de tipologías Análisis de Clasificación 37

39 Análisis de Clasificación con SPAD Resultados PARTI Mejores particiones Clasificación en 3 grupos Nº de casos y rango de los nodos terminales de cada grupo o clase Construcción de tipologías Análisis de Clasificación 38

40 Análisis de Clasificación con SPAD Resultados PARTI Significación y coordenadas de cada grupo antes de la consolidación Distancia al centro, al individuo medio Proceso de consolidación alrededor del centro de cada grupo (método de centros móviles), evolución de la mejora de la inercia intergrupos (explicada) Descomposición de la inercia antes y después de la consolidación en cada clase o grupo: Inercia total = Inercia intra + Inercia entre Significación y coordenadas de cada grupo después de la consolidación Construcción de tipologías Análisis de Clasificación 39

41 Análisis de Clasificación con SPAD Resultados PARTI Parangones : casos representativos (ideales) de cada partición. Los más próximos al centro de cada grupo Construcción de tipologías Análisis de Clasificación 40

42 Análisis de Clasificación con SPAD Resultados DECLA. Lo que son + Lo que no son Categorías características por orden de importancia según el valor test Construcción de tipologías Análisis de Clasificación 41

43 Análisis de Clasificación con SPAD Resultados gráficos Editor de gráficos factoriales Casos activos Casos ilustrativos Variables activas categóricas Variables ilustrativas categóricas Particiones Variables ilustrativas continuas Selección de las variables del gráfico Construcción de tipologías Análisis de Clasificación 42

44 Análisis de Clasificación con SPAD Construcción de tipologías Análisis de Clasificación 43

45 Análisis de Clasificación con SPAD Construcción de tipologías Análisis de Clasificación 44

46 Análisis de Clasificación con SPSS Construcción de tipologías Análisis de Clasificación 45

47 Análisis de Clasificación con SPSS Variables que actúan de criterios clasificatorios: originales o variables factoriales Para clasificar casos o variables Permite eliminar las tablas o los gráficos de los resultados. De interés en particular cuando el número de casos es elevado Construcción de tipologías Análisis de Clasificación 46

48 Análisis de Clasificación con SPSS Tabla con el historial y los coeficientes Pedir sólo si el nº de casos es reducido Tabla con el grupo en el que se clasifica cada caso Con variables factoriales no es necesario, sí con variables originales directamente Pedir sólo si el nº de casos es reducido Guarda las variables clasificatorias. Depende de cada análisis, un nº concreto, o entre 2 y un nº superior que puede ser 3, 4, 5, 6, 10, o incluso mayor si se desea Construcción de tipologías Análisis de Clasificación 47