Métodos de la Minería de Datos

Transcripción

1 This is page i Printer: Opaue this Métodos de la Minería de Datos Dr. Oldemar Rodríguez Rojas de noviembre de 2005

2 ii

3 Contents This is page iii Printer: Opaue this

4 iv

5 This is page v Printer: Opaue this Clasificación jeráruica ascedente. Introducción Para utilizar plenamente los métodos de análisis descriptivo de datos multivariados se reuiere la elaboración de histogramas, mapas, árboles, índices,... Con vistas a la producción de esos materiales es necesario formular los algoritmos correspondientes de una forma precisa, de manera ue sea posible su implementación computacional. Es claro esntonces ue la herramienta por excelencia del análisis de datos es el instrumento informático, y la posibilidad de ue sea utilizado por los profesionales no matemáticos depende de ue dispongan de un software amigable. En este artículo presentamos una descripción de la teoría, los métodos, algoritmos, y de la herramienta informática, atinente a la clasificación automática ascendente. Los principales elementos téoricos, metodológicos y algorítmicos se presentan en la segunda y tercera secciones. En la cuarta sección se describen los aspectos informáticos principales ue intervienen en el diseño y creación del sistema Pimad-Clasifica en ambiente Windows. Finalmente en la uinta sección se incluye un ejemplo de ilustración. 2. Definiciones básicas Sea X la matriz de datos cuyas n filas o p columnas, forman el conjunto del cual se busca una buena partición. Supondremos ue X es una matriz de n individuos por p variables continuas, una tabla de contingencia, o alguna otra forma de datos asimilables a los anteriores. 2.. Disimilitudes y agregaciones Con el propósito de encontrar una clasificación de las filas o de las columnas de X, el primer problema a resolver es cómo cuantificar la similitud entre esos objetos o entre grupos de objetos.

6 vi. Clasificación jeráruica ascedente 2.2. Indices de disimilitud Un índice de disimilitud entre un conjunto de objetos I (filas de la tabla de datos) es una función d tal ue y d : I I [0, + [ d(x, y) = d(y, x) para todo x, y I. También llamamos a esta función, por abuso de lenguaje, una distancia. La distancia seleccionada depende, en general, de la naturaleza de los datos. Así, en nuestro caso tendremos tres clases de distancias: Distancia euclídea clásica: supongamos ue x i = (x i,..., x ip ) y x s = (x s,..., x sp ) son dos filas cualesuiera de la matriz X, entonces la distancia euclídea diagonal es p d(x i, x s ) = (x ij x sj ) 2 j= Este tipo de disimilitud se usa comunmente cuando las variables observadas son continuas. Distancia euclídea de las varianzas: cuando las variables tienen varianzas muy desiguales, la magnitud del término (x ij x sj ) 2 puede depender de la varianza σ 2 j de la variable xj, haciendo depender la distancia entre filas, de la estructura de varianzas más ue de la estructura de correlaciones. Para corregir este efecto se usa la fórmula p d(x i, x s ) = (x ij x sj ) 2 σ 2 j= j Obsérvese ue lo anterior euivale a dividir cada columna x j por su desviación estándar σ j y usar la distancia euclídea clásica sobre los datos así transformados. Distancia Chi-dos (χ 2 ): si X es una tabla de contingencia o una tabla en la cual tiene sentido la suma por filas y por columnas, se acostumbra usar el índice Chi-dos en virtud de las propiedades ue posee. El cuadrado de esta distancia se define por la fórmula p χ 2 (p i, p s ) = c j= j ( xij f i x ) 2 sj f s

7 . Clasificación jeráruica ascedente vii donde p i = ( xi f i,..., xip f i ) es el i-ésimo perfil de fila, c j = n i= x ij el total de la columna x j, y f i = p j= x ij es el total de la fila x i. A cada individuo se le asigna el peso p i = fi T. Si el interés fuese hacer un análisis de las columnas entonces se trabaja con la tabla transpuesta y todas las definiciones anteriores valen. El índice Chi-dos goza de la propiedad de reducibilidad, la cual, grosso modo, expresa: si dos o más columnas de X son muy correlacionadas, entonces se pueden sustituir por su suma, y la distancia Chi-dos entre las nuevas filas es aproximadamente igual a las distancias entre las filas originales. Cuando la correlación es perfecta, las distancias se mantienen invariables. Lo anterior significa ue el índice χ 2 elimina la contribución repetitiva de las variables correlacionadas, sobre la magnitud de las distancias Índices de agregación Para cuantificar la similitud entre grupos de objetos del conjunto a clasificar, se usan unas funciones llamadas índices de agregación o, simplemente, agregaciones. Una agregación es una función δ tal ue δ : P (I) P (I) [0, + [ δ(x, x) = 0 x P (I) δ(x, y) = δ(y, x), donde P (I) es el conjunto de partes de I, no vacías y disjuntas dos a dos. Se ofrece a continuación una lista de agregaciones:. Agregación de Ward: δ w (x, y) = x y x + y g x g y 2 donde g x y g y son el baricentro de x P (I) y y P (I) respectivamente. 2. Agregación del salto mínimo: δ min (x, y) = min {d (h, k) h x y k y}. 3. Agregación del salto máximo: δ max (x, y) = max {d (h, k) h x y k y}

8 viii. Clasificación jeráruica ascedente 4. Agregación del promedio de las disimilitudes: δ prom (x, y) = {d (h, k) h x y k y}. x y Se encuentran en la literatura especializada una gran cantidad de fórmulas de agregación. Gracias al Francés Michel Jambu disponemos de una fórmula general unificadora de esta diversidad, la cual transcribimos: δ(x y, z) = a δ(x, z) + a 2 δ(y, z) + a 3 δ(x, y) + a 4 f(x) +a 5 f(y) + a 6 f(z) + a 7 δ(x, z) δ(y, z) donde a,..., a 7 son unas constantes ue dependen de la agregación δ.. Agregación de Ward: Los a i son: a = x + z x + y + z, a 2 = z a 3 = x + y + z, a i = 0; i = 4, 5, 6, 7. y + z x + y + z, 2. Agregación del salto mínimo: Los a i son: a = a 2 = 2, a i = 0 para i = 3, 4, 5, 6 y a 7 = 2 y δ min ({h}, {k}) = d (h, k). 3. Agregación del salto máximo: Los a i son: a = a 2 = 2, a 7 = 2 y a i = 0 si i = 3, 4, 5, Agregación del promedio de las disimilitudes: Los a i son: a = x + z, a 2 = y + z y a i = 0 para i = 3, 4, 5, 6, Jeraruías binarias Una jeraruía binaria sobre un conjunto de objetos denotado por I es una colección H de partes no vacías de I, llamadas nodos o clases ue poseen las siguientes propiedades: {x} H para todo x I. I H. Para todo x H tal ue card(x) >, existen y, z H tales ue x = y z y y z = Φ. Esto significa ue toda parte de la jeraruía H, con más de un elemento, es la unión disjunta de dos partes pertenecientes también a H. Para construir una jeraruía binaria se utiliza el algoritmo general ue resumimos así: Sea I = {,..., n} el conjunto del cual se busca una buena partición.

9 . Clasificación jeráruica ascedente ix. Inicialización: el procedimiento empieza con las clases ue se reducen a un solo elemento, es decir con la partición P h = {{},..., {n}}, con h = Formación de nuevos nodos: se fusionan los dos nodos de P h más cercanos en el sentido de la agregación δ. Es decir, si x y y son estos dos nodos entonces δ (x, y) = min{δ (l, k) l, k P h }. 3. Actualización de P h : sea h h + y P h [P h {x y}] {x, y}. 4. Test: Si h < n 2 regresar a 2. En otro caso, hacer la última fusión y terminar. Una jeraruía binaria se llama débilmente indexada si existe una función f : H [0, + [ con las siguientes propiedades:. f (x) = 0 x H tal ue card (x) =. 2. f (x) f (y) x, y H tales ue x y. Si para una función f asociada a una jeraruía falla la segunda propiedad, decimos ue la jeraruía tiene inversiones. La forma práctica de construir jeraruías débilmente indexadas por medio del algoritmo general es definiendo f (x y) = max {f(x), f(y), δ (x, y)}. Para esta definición, E. Diday obtuvo varios resultados relativos a la existencia e inexistencia de inversiones. Los resultados más elaborados se refieren a dar condiciones sobre los valores de los a i de la fórmula de Jambu. Se ofrece a continuación una lista de agregaciones con información sobre los correspondientes a i y la existencia de inversiones. x y. Agregación de Ward: δ w (x, y) = x + y g x g y 2 donde x y g x son el peso y el baricentro de x respectivamente. Los a i son: a = x + z, a 2 = y + z, a 3 = z, a i = 0; i = 4, 5, 6, Agregación de la inercia: δ I (x, y) = k x y p k k g x y 2, los a i son: a = x+ z, a 2 = y+ z, a 3 = x+ y, a 4 = x, a 5 = y, a 6 = z y a 7 = 0.

10 x. Clasificación jeráruica ascedente 3. Agregación de la varianza: δ var (x, y) = x + y δ I (x, y) ue es una variante de la agregación anterior. Lo ue se uiere es tomar en cuenta el tamaño de los nodos, puesto ue entre clases con inercia del mismo orden de magnitud, son mejor agrupadas las de mayor cardinalidad. Los a i se deducen inmediatamente de los de δ I, multiplicando cada uno por el factor. 4. Agregación del aumento ponderado de la varianza: δ aum (x, y) =var(x y) x x+ y var(x) y x+ y var(y) lo ue naturalmente es igual a x+ y δ w (x, y). Los a i se deducen de los a i de δ w, multiplicando cada uno por x+ y+ z. 5. Agregación de la diferencia de los centros de gravedad: δ cg (x, y) = g x g y 2, los a i son: a = x x + y, a = y x y x + y, a 3 = ( x + y) Agregación del salto mínimo: δ min (x, y) =min{d (h, k) h x y k y}, los a i son: a = a 2 = 2, a i = 0 para i = 3, 4, 5, 6 y a 7 = 2 y δ min ({h}, {k}) = d (h, k). 7. Agregación del salto máximo: δ max (x, y) =max{d (h, k) h x y k y}, los a i son: a = a 2 = 2, a 7 = 2 y a i = 0 si i = 3, 4, 5, Agregación del promedio de las disimilitudes: δ prom (x, y) = x y {d (h, k) h x y k y}, los a i son: a = x + z, a 2 = y + z y a i = 0 para i = 3, 4, 5, 6, 7. Para las agregaciones δ w, δ I, δ var, δ aum y δ cg se usa una métrica euclídea. En las otras d es cualuier índice de disimilitud. En cuanto a la existencia de inversiones en la jeraruía binaria edificada con el algoritmo general, tenemos: δ w, δ I, δ aum, δ min, δ max y δ prom producen jeraruías sin inversiones. δ var y δ cg pueden producir jeraruías con inversiones.