4. MÉTODOS DE CLASIFICACIÓN

Transcripción

1 4. MÉTODOS DE CLASIFICACIÓN Una forma de sintetizar la información contenida en una tabla multidimensional (por ejemplo una tabla léxica agregada), es mediante la conformación y caracterización de grupos. Los grupos o clases se conforman de manera que los elementos dentro de cada grupo sean lo más homogéneos posibles y que, en cambio, los elementos de diferentes grupos sean lo más diferentes posibles. Los métodos de clasificación se pueden dividir en jerárquicos y no jerárquicos. En los no jerárquicos el número de clases se establece previamente y el algoritmo de clasificación asigna los individuos a las clases, partiendo de algunos valores iniciales y buscando optimizar algún criterio establecido de antemano. En la clasificación jerárquica se construye un "árbol" o "dendrograma", (del griego dendron = árbol), cuyas ramas terminales representan a cada uno de los individuos y el tronco es la clase conformada por todos los individuos. Un dendrograma representa una serie de particiones embebidas, en donde el número de clases decrece a medida que se aumenta la altura del árbol. Para obtener alguna clasificación particular se hace "un corte" en el árbol. Un árbol se puede construir partiendo del tronco (el conjunto de todos los individuos) y haciendo divisiones sucesivas hasta llegar a cada uno de los individuos o partiendo de las ramas terminales (cada uno de los individuos) y haciendo uniones sucesivas hasta llegar a un grupo con todos los individuos. El primer método se denomina "clasificación jerárquica

2 54 Alvaro Montenegro y Campo Elías Pardo divisiva" y el segundo "clasificación jerárquica aglomerativa" y es el que más se usa en la práctica. Los métodos de clasificación requieren de una definición de la distancia o un índice de disimilaridad entre los elementos que se van a clasificar. Si las variables son de tipo continuo la distancia más utilizada es la euclidiana canónica: 2 ij k ik jk (4.1) d = ( x - x ) la sumatoria se hace sobre todas las variables (subíndice k), el valor entre paréntesis es la diferencia entre los valores de la variable k que asumen los individuos i y j. Dos individuos se parecen si asumen valores parecidos para todas las variables. Las coordenadas de un análisis factorial son de tipo continuo y por lo tanto es válido utilizar la anterior distancia. 4.1 Clasificación jerárquica con el método de Ward Los métodos de clasificación jerárquica requieren, además de la distancia entre individuos, una distancia entre grupos de individuos, que se denomina también criterio de agregación y es la que da el nombre al método de clasificación jerárquica. El método de Ward es el que más sentido estadístico tiene, en el caso de variables continuas, pues en cada paso del algoritmo se obtienen grupos de la manera que la inercia dentro de los grupos es mínima y por ende la inercia entre los grupos es máxima Distancia de Ward Sean A y B dos grupos o clases no vacías y disyuntas y sean p A, p B y & g A y & g B, los pesos y centros de gravedad de las partes A y B respectivamente..

3 Introducción al análisis de datos textuales 55 & A x A p i i p = (4.2) & g = 1 A p A & & p x (4.3) xiεa i i la inercia de A B, respecto a g AUB (vector centro de gravedad del grupo AUB), teniendo en cuenta que A y B son disyuntos, es I & = I & g g (A)+ I & g (B) (4.4) A B A B A B en función de las inercias de los grupos A y B separados, la expresión anterior es: I & = I & (A)+ I & (B) + g A B g A g B pa pb p p g & g & A + A B B 2 (4.5) En la ecuación anterior se observa que la inercia dentro de la clase A B es la suma de las inercias dentro de las clases A y B separadas, más un tercer término que constituye el incremento de la inercia dentro de las clases al unir A y B. Este término se define como la distancia de la inercia entre A y B disyuntas o distancia de Ward y es la cantidad a minimizar en cada paso de la clasificación jerárquica. W( A, B ) = p p A B p + p A B & & 2 g g A B (4.6) En particular para dos individuos la distancia de Ward es: W x x = p p i j ( & p p x x i, & j ) & & i + i j j 2 (4.7) si los pesos son iguales a uno para los dos individuos, la anterior expresión se reduce a:

4 56 Alvaro Montenegro y Campo Elías Pardo & & 1 & & W( xi, x j ) = xi x j = dij (4.8) Formula de recurrencia El método de Ward tiene la propiedad de ser secuencial, es decir, que es posible calcular la distancia de Ward en un paso de la construcción del árbol en función de las distancias del paso precedente. Sean A, B y C tres grupos presentes en el mismo paso de construcción del árbol. Si se unen A y B para formar el grupo AB, es necesario calcular la distancia de Ward entre los grupos AB y C. Se conocen las distancias W(A,B), W(A,C) y W(B,C). La distancia W(AB,C) en función de las anteriores: W(A B,C)= ( P A + P C )W(A,C)+ ( P B + P C )W(B,C) - PCW(A,B) (4.9) P A + P B + PC Procedimiento para construir el árbol El procedimiento para obtener el árbol de clasificación, utilizando el método de Ward es el siguiente: 1. Calcular las distancias de Ward entre parejas de individuos según la ecuación (4.7), las cuales constituyen la matriz de partida para el método de Ward. 2. Seleccionar la pareja de grupos (individuos en el primer paso) que presente la menor distancia de Ward para conformar el nuevo grupo. 3. Calcular las distancias entre todos los grupos y el grupo recién conformado utilizando la ecuación (4.9), donde A y B representan los grupos de la pareja que se une y C los grupos restantes y p A, p B y p C son los pesos (números de individuos en caso de pesos iguales) de cada grupo. 4. Eliminar las filas y columnas correspondientes a los individuos A y B, y adicionar una fila y una columna para registrar las distancias calculadas en 3.

5 Introducción al análisis de datos textuales Repetir 3 a 5 hasta llegar a una matriz de 2x2. EJEMPLO Para ilustrar el procedimiento y facilitar la comprensión de los elementos de una clasificación jerárquica con el método de Ward, se hace la clasificación de las ocho palabras más frecuentes del Soneto a Teresa, las cuales se muestran en la tabla 4.1: NUM. PALABRAS FRECUENCIAS LONGITUDES de el en la por quien teresa y Tabla 4.1: Vocabulario reducido del Soneto a Teresa En la tabla léxica las filas son cada una de las líneas del soneto y las columnas las ocho palabras retenidas. Sobre esta tabla se realiza un análisis de correspondencias simples para realizar la clasificación jerárquica de las palabras utilizando las coordenadas de las palabras sobre los dos primeros ejes factoriales. En la tabla 4.2 se presentan los pesos y coordenadas de las ocho palabras y en la figura 4.1 se presentan el primer plano factorial. PALABRAS PESOS F1 F2 de el en la por quien teresa y Tabla 4.2: Pesos y coordenadas sobre los dos primeros ejes de las palabras

6 58 Alvaro Montenegro y Campo Elías Pardo Figura 4.1: Palabras en el primer plano factorial del ACS El procedimiento se ilustra con las coordenadas sobre los dos primeros ejes, es decir con la información resumida en el primer plano factorial. La inercia, es decir la suma de las varianzas de las dos variables (F1 y F2) es: = 1.27 Procedimiento 1. Calcular las distancias de Ward entre parejas de individuos según la ecuación (4.7), las cuales constituyen la matriz de partida para el método de Ward: como ejemplo se calcula la distancia entre las palabras de y el: x0143. W( de, el ) = [( ) 2 + ( ) 2 ] = ( ) =

7 Introducción al análisis de datos textuales 59 La matriz de distancias de Ward entre palabras se muestran en la tabla 4.3. de el en la por quien teresa y de el en la por quien teresa y Tabla 4.3: Distancias de Ward entre palabras 2. Seleccionar la pareja de individuos que presente la menor distancia de Ward para conformar el nuevo grupo: las palabras por y quien a una distancia de cero, el grupo conformado o nodo se denomina Calcular las distancias entre todos los grupos y grupo recién conformado utilizando la ecuación (4.9), donde A y B representan los grupos de la pareja que se une y C los grupos restantes y p A, p B y p C son los pesos de cada grupo: calculo de la distancia entre 9 y de: ( )x ( )x x0 W(por quien,de) = = = de forma similar se hacen los cálculos para las distancias entre 9 (poruquien) y las demás palabras. 4. Eliminar las filas y columnas correspondientes a los individuos A y B, y adicionar una fila y una columna para registrar las distancias calculadas en 3: se eliminan las filas y las columnas por y quien y se introducen las fila y columna 9, en donde se registran las distancias calculadas, la matriz de distancias de Ward es ahora: de el en la 9 teresa y de el en

8 60 Alvaro Montenegro y Campo Elías Pardo la teresa y Repetir 2 a 4 hasta llegar a una matriz de 2x2. Ahora se unen de y teresa a una distancia de y el nuevo grupo o nodo se denomina 10. Es necesario calcular las distancias entre 10 y las demás palabras y grupos. Se eliminan de la matriz anterior las filas y columnas correspondientes a de y teresa y se introducen una fila y una columna para en grupo 10. La nueva matriz es: el en la 9 10 y el 0 en la y La menor distancia es 0.005, entre en y 10, los cuales se unen en el nodo denominado 11, repitiendo el procedimiento descrito antes, se obtiene la nueva matriz: el la 9 11 y el 0 la y Ahora se unen el y la a una distancia de 0.025, conformando el nodo 12 y la nueva matriz de distancias de Ward es: y

9 Introducción al análisis de datos textuales 61 y Se unen 11 y 12 a una distancia de 0.058, conformando el nodo 13. La nueva matriz es: 13 9 y y Luego se unen 9 y 13 a una distancia de , conformando el nodo 14. Solo hace falta calcular la distancia entre 14 e y, la cual es: Esta es la última distancia de unión entre 14 e y, con lo cual todas las palabras conforman un solo grupo. Todos los pasos de una clasificación jerárquica se registran en un árbol. El SPAD-T, antes del árbol presenta un histograma de índices de nivel, con el cual se visualizan fácilmente los saltos del árbol, para decidir en donde cortarlo con el fin de obtener una partición en un número de clases conveniente. Las palabras se identifican con los números 1 a 8 y a cada nuevo nodo se le va asignando el número siguiente. El histograma de índices de nivel y el árbol para este ejemplo se muestran en las figuras 4.2 y 4.3. CLASSIFICATION HIERARCHIQUE : DESCRIPTION DES NOEUDS NUM. AINE BENJ EFF. POIDS INDICE HISTOGRAMME DES INDICES DE NIVEAU * * * *** ******* ********************************************** ******************************************************************************** SOMME DES INDICES DE NIVEAU = Figura 4.2: Histograma de índices de nivel del ejemplo RANG IND. IDEN DENDROGRAMME (INDICES EN POURCENTAGE DE LA SOMME DES INDICES : MIN =.00% / MAX = 55.15%) 1.20 de tere --* en --* la el -----*-----* por quie --* * y * Figura 4.3: Dendrograma del ejemplo

10 62 Alvaro Montenegro y Campo Elías Pardo Antes de iniciarse la construcción del árbol se tienen 8 grupos, cada uno formado por una palabra, con una inercia entre grupos de Cuando se unen 6 (quien) y 5 (por) la inercia intra grupos es de cero y la inercia entre los 7 grupos sigue siendo El nodo 10 esta formado por la unión entre 7 (teresa) y 1 (de), en este paso la inercia intra grupos es y la inercia entre los seis grupos es de La inercia intra grupos se va incrementando, en cada paso, en el valor del índice y la inercia entre grupos va disminuyendo en esa misma cantidad. Al final toda la inercia es intra grupos, pues se tiene un solo grupo con todas las palabras, lo cual quiere decir que la suma de los índices es igual a la inercia total. El árbol construido por el SPAD-T muestra como índice el porcentaje de inercia, en lugar del valor de la distancia de Ward (incremento de inercia intra grupos). Si lo que interesa es obtener una partición del conjunto de palabras, entonces esta se obtiene cortando el árbol en un lugar apropiado. En el histograma de índices se observan saltos importantes entre los nodos 14 y 15 y entre los nodos 13 y 14. Al cortar entre los nodos 14 y 15 se obtienen dos clases: una con la palabra y y otra con las demás palabras. Si se corta entre los nodos 13 y 14 se obtienen 3 clases: {y}, {por, quien} y {de,teresa,en,la,el}. 4.2 El método de las nubes dinámicas El método de nubes dinámicas en su forma más simple se lleva a cabo de la siguiente manera: 1. Se establece el número de clases a obtener. Esta es una decisión a-priori, este es el principal problema de estos métodos cuando no se tiene información previa para establecer el número de clases. Se establece un núcleo para cada una de las clases, bien sea al azar o mediante algún criterio, por ejemplo con información de un plano factorial. 2. Se calculan para cada individuo las distancias a cada uno de los núcleos y se asigna a la clase más cercana.

11 Introducción al análisis de datos textuales Se calculan los centros de gravedad de las clases los que se toman como nuevos núcleos.. 4. Se repite 3. y 4. hasta lograr un criterio de convergencia El SPAD-T utiliza como criterio el cociente: inercia entre grupos/inercia total, el cual se incrementa a medida que el algoritmo avanza, hasta llegar a la estabilización. El procedimiento anterior se ilustra con el mismo ejemplo de la sección 4.1: 1. Número de clases a obtener y núcleos iniciales: tres clases y se toman como núcleos, de forma arbitraria, los siguientes tres puntos: (-0.5, 0.5), (0, 0) y (0, -0.5) Las distancias al cuadrado entre cada uno de los ocho puntos palabra y los tres núcleos anteriores son: PALABRAS PESOS F1 F2 d1 d2 d3 ASIG. de el en la por quien teresa y En la última columna de la tabla aparece cada palabra asignada al núcleo más cercano, los tres nuevos centros de gravedad son: (-0.42, 0.59), (0.9, 0.04) y (0, -1.23). La inercia entre grupos, es decir la inercia de los tres centros de gravedad con respecto al punto (0, 0), centro de gravedad de las ocho palabras, tiene el valor 0.84, que representa el 0.84/1.27 = 0.66 de la inercia total. Las distancias a los anteriores centros de gravedad están en la siguiente tabla: PALABRAS PESOS F1 F2 d1 d2 d3 ASIG. de el en la por quien

12 64 Alvaro Montenegro y Campo Elías Pardo teresa y al hacer las reasignaciones el se mueve al grupo 1 y los nuevos centros de gravedad son: (-0.39, 0.42), (-0.2, -1.23) y (2.04, 0.21), con una inercia entre grupos de 1.18, que es el 0.93 de la inercia total, las distancias a estos nuevos centros de gravedad son: PALABRAS PESOS F1 F2 d1 d2 d3 ASIG. de el en la por quien teresa y ahora nada cambia y por lo tanto el proceso termina conformándose los tres grupos: {de, el, en, la, teresa}, {y} y {por, quien}. El resultado final de los métodos de nubes dinámicas depende de la selección de los puntos iniciales para los núcleos de las clases. 4.3 Descripción de las clases Se hace mediante la identificación de las variables y modalidades específicas de las clases. La especificidad se da cuando los valores de las media o de la frecuencia relativa dentro de la clase son significativamente diferentes a los valores para el conjunto global de los elementos que se están clasificando. En el caso de variables continuas se compara la media de la clase con la media general, mediante una prueba de hipótesis bajo supuesto de normalidad. El valor z, denominado valor test, esta dado por: z k = xk x s k

13 Introducción al análisis de datos textuales 65 donde x k es la media de la variable en la clase k, x la media global y s k la desviación estándar de la clase k. Si el valor test es mayor que 2 la media de la clase es significativamente superior a la media global y si es menor de -2 es significativamente inferior. En el caso de variables nominales la frecuencia de cada modalidad en la clase se compara con la frecuencia de la modalidad global, la prueba de hipótesis a contrastar conlleva un distribución hipergeométrica. El valor p (probabilidad de obtener un valor más lejano del obtenido) se expresa también como un valor test. Valores test mayores que dos indican especificidad significativamente positiva de la clase (frecuencia mayor que la global) y valores test menores que -2 indican especificidad negativa (modalidad más rara en la clase que la global). 4.4 La estrategia de clasificación en el los programa SPAD-T La estrategia implementada en SPAD-T es la de realizar la clasificación sobre las coordenadas factoriales de análisis correspondencias simples. En este programa se utiliza una combinación del método de clasificación jerárquica utilizando el criterio de Ward y del método de nubes dinámicas (método no jerárquico). La estrategia contempla los siguientes pasos: 1. Seleccionar el número de ejes factoriales a usar en la clasificación. Puesto que la clasificación se realiza sobre las coordenadas factoriales de un análisis factorial previo, es posible seleccionar todos los ejes, lo cual equivale a hacer una clasificación directa, o seleccionar un menor número de ejes. Al seleccionar un menor número de ejes se esta filtrando posiblemente ruido, es decir inercia que puede deberse al azar y que no contiene información. Con esta opción se obtienen, a menudo, clasificación que son más

14 66 Alvaro Montenegro y Campo Elías Pardo claras que las obtenidas con toda la información. El número de ejes es una opción del usuario, el valor por defecto es Realizar una clasificación jerárquica partiendo de las coordenadas factoriales sobre los ejes retenidos para la clasificación.. 3. Obtener una partición de del árbol obtenido en el paso 2. El número de clases es una decisión del usuario, para la cual es muy útil es histograma de índices de nivel. 4. Hacer una optimización de la partición obtenida en el paso 2, haciendo uso del procedimiento de nubes dinámicas, en este caso los centros de gravedad de la participación obtenida con la clasificación jerárquica son los núcleos iniciales del procedimiento. 5. Descripción de las clases obtenidas. Produce las salidas más útiles para caracterizar las clases obtenidas. En el caso de clasificar respuestas las clases se caracterizan con las elementos característicos, es decir, palabras características, segmentos característicos o respuestas características. 4.5 Clasificación en el análisis de datos textuales En el análisis de datos textuales se puede hacer clasificación de las filas de una tabla léxica, en cuyo caso se obtienen grupos de respuestas (individuos), que se parecen en el vocabulario que utilizan. Ya que los individuos no se expresan de la misma forma según su pertenencia a un grupo socioeconómico, su edad, su nivel de educación, sus opiniones,..., parece tener sentido agrupar los individuos según su vocabulario para, después, caracterizar las clases así obtenidas por la información conocida sobre los individuos. (Bécue, 1991, pag. 61). También se pueden clasificar las columnas, con lo que se obtienen grupos de formas gráficas (palabras), que son utilizadas mas o menos por los mismos individuos. Unas formas tenderán a pertenecer a la misma clase, si son pronunciadas con frecuencia por los

15 Introducción al análisis de datos textuales 67 mismos individuos. La clasificación automática de las formas describe sistemáticamente las asociaciones que existen entre ellas. Esas asociaciones dejan intuir cadenas, es decir, sucesiones de formas no forzosamente consecutivas, empleadas en las mismas respuestas. En cierta manera sugiere la repetición de ciertas respuestas (Bécue, 1991, pag. 61).. La aplicación de la clasificación a la tabla léxica agregada conlleva a la clasificación de las formas gráficas (filas) según sus perfiles de utilización en los textos y de los textos (columnas), según los perfiles de las formas gráficas que aparecen. Sobre las tablas de segmentos repetidos también se pueden llevar a cabo clasificaciones. En el capítulo cinco se muestran varias clasificaciones en el análisis de la pregunta abierta y en el capítulo seis en otras aplicaciones.