ANALISIS DE PROXIMIDADES

Transcripción

1 -1- ANALISIS DE PROXIMIDADES (MULTIDIMENSIONAL SCALING (MDS)) José Luis Vicente Villardón Departamento de Estadística Universidad de Salamanca

2 -- MODELOS DE MDS INTRODUCCION El Multidimensional Scaling (MDS) o Análisis de Proximidades es un método que trata de representar medidas de proximidad (similaridades o disimilaridades) entre pares de objetos como distancias (euclídeas) en un espacio multidimensional de baja dimensión. La representación en baja dimensión permite la inspección visual de la estructura de los datos. USOS DEL MDS - Técnica Exploratoria - Contraste de hipótesis estructurales - Exploración de estructuras psicológicas. - Modelos de juicio de similaridad CONCEPTOS INICIALES - Medida de la proximidad δ ij (distancia observada) (similaridad observada) (disimilaridad) - El MDS trata de representar proximidades mediante distancias entre puntos de una configuración m-dimensional X, que denominaremos el espacio MDS. - En el espacio MDS definimos un sistema de coordenadas. Cada uno de los ejes del sistema de coordenadas se denomina dimensión.

3 -3- - La distancia entre dos puntos i, j en el espacio MDS la denotamos con d ij (X) o simplemente con d ij, y es m d ij = (x ik x jk ) k=1 y es la distancia euclídea fundamental o distancia pitagórica. - El MDS convierte proximidades δ ij definidas en un espacio abstracto no determinado, en distancias d ij en el espacio MDS, f : δ ij d ij donde la función f especifica el modelo de MDS. f (δ ij ) = d ij Es decir, el MDS trata de aproximar un conjunto de proximidades, o una función de las mismas, mediante una configuración euclídea. f (δ ij ) = ˆ δ ij ó ˆ d ij se conocen normalmente como disparidades.

4 -4- MDS METRICO La función f es de forma conocida pero de parámetros desconocidos. - MDS absoluto, clásico o Coordenadas principales ˆ δ ij = δ ij - MDS para escala de razón ˆ δ ij = bδ ij - MDS para escala de intervalo ˆ δ ij = a + bδ ij - Otros tipos no lineales - Logarítmico ˆ δ ij = b log(δ ij ) ˆ δ ij = a + b log(δ ij ) - Exponencial ˆ δ ij = a + be δ ij - Cuadrático - Inverso - Recíproco ˆ δ ij = a + bδ ij + cδ ij δ ˆ ij = a + b δ ij ˆ δ ij = b(1 δ ij ) Las disparidades se estiman mediante regresión

5 -5- MDS NO METRICO La función f no se especifica completamente, se restringe para que sea monótona - MDS ordinal Si δ ij < δ kl entonces ˆ δ ij ˆ δ kl y sin orden particular cuando δ ij = δ kl - MDS nominal Si δ ij = δ kl entonces ˆ δ ij = ˆ δ kl Las disparidades se estiman mediante regresión monótona. EMPATES EN MDS NO METRICO Se dice que hay un empate cuando dos proximidades tienen el mismo rango de orden. - Aproximación Primaria: Los empates no imponen restricciones sobre las distancias - Aproximación secundaria: Las distancias en la solución son iguales.

6 -6- ERRORES, FUNCIONES DE PERDIDA Y STRESS Aunque el modelo exige que f (δ ij ) = d ij, en la práctica f (δ ij ) d ij tan cerca como sea posible. Se define el error de la representación como e ij = [ f (δij ) d ij ] y sumando para todos los pares σ r = σ r (X) = [f(δij ) d ij ] (i,j) se obtiene lo que se denomina stress bruto, que depende de la calibración de las proximidades. Para evitar la dependencia de las escala podemos escribir σ 1 = σ σ1 (X) = r (X) = d ij (i, j) [ f (δ ij ) d ij ] (i, j) d ij (i,j) Tomando la raíz cuadrada se obtiene el Stress-1 de Kruskal. Stres 1 = σ 1 = [f(δ ij ) d ij ] (i,j) d ij (i, j)

7 -7- Si la matriz es simétrica, basta tomar la suma para i < j. Minimizar el Stress-1, requiere encontrar un X óptimo en dimensión m y una función f adecuada.

8 -8- INTERPRETACION DEL STRESS El stress es una medida de la falta de ajuste que depende de varios factores. - n, el número de puntos. A mayor número de puntos mayor stress. - - m, la dimensionalidad del espacio MDS. A mayor dimensionalidad mayor stress. - El error en los datos: A mayor error mayor stress - El número de empates: En general, mayor número de empates permiten menor stress. - El número de datos perdidos: En general un mayor número de datos perdidos produce un menor stress. - El modelo de MDS: El MDS para datos de intervalo produce un mayor stress que el modelo ordinal, particularmente si f es marcadamente no lineal. STRESS PARA DATOS PERDIDOS Es posible incluir datos perdidos añadiendo ponderaciones, de forma que el stress podría escribirse como. σ 1 = w ij [f (δ ij ) d ij ] (i,j) w ij d ij (i, j) donde la ponderación es 1 si el dato es válido y 0 si se trata de un dato perdido.

9 -9- DIAGRAMAS DE SHEPARD El diagrama de Shepard complementa a la nedida del Stress. Se trata de un diagrama de dispersión que representa a las proximidades frente a las disparidades o a las distancias. disparidades ó distancias proximidades El stress puede interpretarse como un coeficiente de correlación que mide la falta de ajuste. El diagrama de Shepard permite detectar outliers y formas de la función. El diagrama de Shepard es particularmente útil en MDS ordinal para detectar la forma aproximada de la función monótona desconocida. DIAGRAMAS DE RESIDUALES Representan las diferencias entre las disparidades y las distancias frente a las proximidades. Su interpretación es similar a la que se utiliza en regresión.

10 -10- ALGORITMO GENERAL PARA LA OBTENCION DEL MDS Comenzar Solución inicial X (0) k=0 Actualizar X (k) () Calcular las disparidades óptimas para las distancias en X (k) Estandarizar las disparidades k=k+1 Calcular σ r (k) NO K 0? SI NO σ r (k-1) - σr (k) < ε ó k=nº max de iteraciones (): Busqueda del stress mínimo SI Parar

11 -11- PRINCIPIOS DE LA MAYORIZACION La característica fundamental de la mayorización iterativa es que genera secuencias no crecientes de valores de la función que termina generalmente en un mínimo local. La idea general consiste en reemplazar la función a minimizar f(x) por una función auxiliar g(x, z) donde z es un valor fijo. La función g(x,z) debe cumplir las siguientes propiedades para que sea una función mayorizante: - La función g(x,z) debeser más simple de minimizar que f(x). Por ejemplo, una función cuadrática. - La función original debe ser siempre menor, o al menos igual que la función auxiliar, f(x) g(x,z). - La función auxiliar ha de tocar a la superficie (curva) en el punto soporte z, f(z) = g (z,z).

12 -1- ALGORITMO ITERATIVO DE MAYORIZACION 1.- Tomar z = z 0, (z 0 es un valor inicial)..- Buscar una actualización de x u para la que g(x u,z) g(z,z). 3.- Si f(z) f(x u ) < e, parar 4.- Tomar z = x u, e ir a. g(x,x 0 ) f(x) g(x,x 1 ) f(x 0 )=g(x 0,x 0 ) g(x 1,x 0 ) f(x 1 )=g(x 1,x 1 ) g(x,x 1 ) f(x ) x x 1 x 0 MAYORIZACION CUADRATICA Si f(x) tiene la segunda derivada acotada, existe una función cuadrática que tiene, comparada con f(x), una segunda derivada mayor en cualquier punto x. Para este tipo de funciones, f(x) puede mayorizarse con g(x, z) = a(z)x b(z)x + c(z) con a(z) > 0 y a(z), b(z) y c(z) funciones de z pero no de x.

13 -13- MAYORIZACION DEL STRESS (SMACOF) (Para la función identidad) El Stress bruto puede escribirse como σ r (X) = wij [δ ij d ij (X)] i<j = w ij δ ij + w ij d ij (X) w ij δ ij d ij i< j i< j i< j = η δ + η (X) ρ(x) (X) los elementos (sumandos) de η (X) pueden escribirse como w ij d ij (X) = wij tr( X A ij X) = tr( X w ij A ij X) con a ii = a jj = 1, a ij = a ji = 1 y el resto 0. (A ij está centrada por filas y por columnas, A ij 1 = 1 A ij = 0) Sumando para i y j η (X) = w ij d ij (X) = tr( X ( w ij A ij ) X) = tr( X VX) i<j i<j con V = w ij A ij. i<j Ó, en general v ij = w ij si i j y v ii = n j=1w ij.

14 -14- η (X) es una función cuadrática de X fácil de manejar. V está centrada por filas y por columnas. Es de rango n-1 y el valor propio nulo corresponde al vector propio n 1 1. ρ(x) es una suma ponderada de distancias ρ(x) = (w ij δ ij )d ij (X) i<j para obtener una mayorización para de d ij (X) usamos la desigualdad de Cauchy-Schwarz m m m p a q a ( p a ) 1/ ( q a ) 1/ a=1 a=1 a=1 la igualdad se verifica cuando q a = cp a. Si sustituimos p a por (x ia x ja ) y q a por (z ia z ja ) obtenemos m m (x ia x ja )(z ia z ja ) (x ia x ja ) 1/ m (z ia z ja ) 1/ a=1 a=1 a=1 = d ij (X)d ij (Z) = con igualdad si Z =X. Dividiendo ambos sumandos por d ij (Z) y multiplicando por 1, nos da d ij (X) m (x ia x ja )(z ia z ja ) a=1 d ij (Z)

15 -15- Procediendo como antes y m (x ia x ja )(z ia z ja ) = tr( X A ij Z) a=1 ρ(x) = (w ij δ ij ) d ij (X) tr( X ( w ij δ ij d i<j ij (Z) A ij )Z) = tr( X B(Z)Z) donde B(Z) tiene elementos b ij = w ij δ ij para i j y d d ij (Z) ij (Z) 0 0 para i j y d ij (Z) = 0 b ii = - n b ij j=1, j i Como la igualdad se produce si Z=X, hemos obtenido la desigualdad de mayorización ρ(x) = tr( X B(X)X) tr( X B(Z)Z) Combinando los resultados anteriores σ r (X) = ηδ + tr( X VX) tr( X B(X)X) η δ + tr( X VX) tr( X B(Z)Z) = τ(x, Z) τ (X,Z) es una función mayorizante del stress que es cuadrática en X. El mínimo puede obtenerse analíticamente igualando la derivada a cero

16 -16- τ(x,z) X = VX B(Z)Z = 0 de forma que VX = B(Z)Z V es singular por lo que, para resolver el sistema tenemos que utilizar una inversa generalizada V + = (V + 11 ) 1 n 11' el último término ( n 11') es irrelevante ya que V + se multiplica por una matriz ortogonal a 1, ya que B(Z)Z tiene un vector propio 1 con valor propio 0. La fórmula de actualización es entonces: X u = V + B(Z)Z Si todos los pesos w ij = 1, entonces V + = n 1 J con J = I n 1 11, la matriz de centrado, y la fórmula de actualización es X u = n 1 B(Z)Z (Transformación de Guttman).

17 -17- ALGORITMO 1.- Tomar Z = X (0), k=0..- Calcular σ r (X (0) ) 3.- k = k Actualizar las coordenadas X (k) = V + B(Z)Z. 5.- Calcular σ r (X (k ) ) 6.- Si σ r (X (k 1) ) σ r (X (k) ) < ε ó k = número máximo de iteraciones, entonces parar 7.- Tomar Z = X (k) e ir a 3.

18 -18- STRESS CON DISPARIDADES Las disparidades se incorporan a la función de stress como σ r ( δ ˆ,X) = w ij [ δ ˆ ij d ij (X)] i<j = w ˆ ij δ ij + w ij d ij (X) w ij δ ˆ ij d ij i<j i< j i< j = η δ ˆ + η (X) ρ( δ ˆ, X) (X) donde ˆ δ es un vector de sx1disparidades con s=n(n-1)/. Optimizando sobre ˆ δ y X, una solución trivial es ˆ δ = 0 y X=0. Para evitar esta solución degenerada, tomamos ˆ δ con longitud fija η δ ˆ = n(n 1)/ En el algoritmo se ajustan las disparidades por regresión. Para la fórmula de actualización se utilizan las disparidades ajustadas.

19 -19- ALGORITMO 1.- Tomar Z = X (0), e iniciar el contador de iteraciones k=0..- Encontrar las disparidades óptimas ˆ δ para distancias fijadas d ij (X (0) ). El procedimiento para el ajuste suele ser una regresión de las distancias sobre las proximidades observadas de acuerdo con la función f. 3.- Estandarizar δ ˆ de forma que η δ ˆ = n(n 1)/. 4.- Calcular σ r (X (0) ) 5.- Incrementar el contador de iteraciones, k = k Actualizar las coordenadas X (k) = V + B(Z)Z, reemplazando δ ij por ˆ δ ij. 7.- Encontrar las disparidades óptimas ˆ δ para distancias fijadas d ij (X () ) con el mismo procedimiento que en. 8.- Estandarizar δ ˆ de forma que η δ ˆ = n(n 1)/. 9.- Calcular σ r ( ˆ δ,x (k) ) 10.- Si σ r ( ˆ δ,x (k 1) ) σ r ( ˆ δ, X (k) ) < ε ó k = número máximo de iteraciones, entonces parar 11.- Tomar Z = X (k) e ir a 5.