Análisis de Correspondencias Simple

Transcripción

1 1 Capítulo 4 Análisis de Correspondencias Simple 41 INTRODUCCIÓN El Análisis de Correspondencias Simple permite describir las relaciones entre dos variables categóricas dispuestas en una tabla de contingencia Variables categóricas: I {1, 2,, n}, J {1, 2,, p} Distribución conjunta: (I, J ) 1 2 p Total 1 π 11 π 12 π 1p π 1+ 2 π 21 π 22 π 2p π 2+ n π n1 π n2 π np π n+ Total π +1 π +2 π +p 1 Distribuciones condicionadas: J I 1 2 p Total 1 π 11 /π 1+ π 12 /π 1+ π 1p /π π 21 /π 2+ π 22 /π 2+ π 2p /π 2+ 1 n π n1 /π n+ π n2 /π n+ π np /π n+ 1 Total π +1 π +2 π +p 1

2 2 I J 1 2 p Total 1 π 11 /π +1 π 12 /π +2 π 1p /π +p π 1+ 2 π 21 /π +1 π 22 /π +2 π 2p /π +p π 2+ n π n1 /π +1 π n2 /π +2 π np /π +p π n+ Total Tabla de contingencia: Se toma una muestra aleatoria simple de m individuos y se apuntan sus valores de las variables I y J La tabla de contingencia se obtiene contando el número de individuos en cada combinación de categorías de I y de J (I, J ) 1 2 p Total 1 k 11 k 12 k 1p k 1+ 2 k 21 k 22 k 2p k 2+ n k n1 k n2 k np k n+ Total k +1 k +2 k +p k ++ = m k ij : Número de individuos con I = i y J = j

3 Tabla de frecuencias relativas: Representa la distribución conjunta muestral de las variables I y J, y las distribuciones marginales donde (I, J ) 1 2 p Total 1 f 11 f 12 f 1p f 1+ 2 f 21 f 22 f 2p f 2+ n f n1 f n2 f np f n+ Total f +1 f +2 f +p 1 f ij = k ij k ++, f i+ = k i+ k ++, f +j = k +j k ++ Ejemplo 41 Se dispone de datos sobre el consumo de cuatro marcas en tres segmentos de consumidores En la tabla siguiente tenemos el número de individuos que compran habitualmente la marca i y que pertenecen al segmento j Se desea estudiar qué relaciones hay entre las variables Marca y Segmento Tabla de contingencia: Segmento Marca Total A B C D Total

4 4 Tabla de frecuencias relativas: Total A B C D Total Tabla de perfiles fila: Representa las distribuciones muestrales de la variable J condicionadas a cada categoría de la variable I; es decir, las distribuciones de J I = i, i = 1,, n J I 1 2 p Total 1 f 11 /f 1+ f 12 /f 1+ f 1p /f f 21 /f 2+ f 22 /f 2+ f 2p /f 2+ 1 n f n1 /f n+ f n2 /f n+ f np /f n+ 1 f +1 f +2 f +p 1 Esta tabla se puede obtener a partir de la tabla de frecuencias relativas o de la tabla de contingencia inicial: f ij f i+ = k ij k ++ k i+ k ++ = k ij k i+

5 Tabla de perfiles columna: Representa las distribuciones muestrales de la variable I condicionadas a cada categoría de la variable J ; es decir, las distribuciones de I J = j, j = 1,, p I J 1 2 p Total 1 f 11 /f +1 f 12 /f +2 f 1p /f +p f 1+ 2 f 21 /f +1 f 22 /f +2 f 2p /f +p f 2+ n f n1 /f +1 f n2 /f +2 f np /f +p f n Ejemplo 42 Para la tabla de contingencia dada en el Ejemplo 41, contestar a las preguntas: De entre los individuos del Segmento 1, qué proporción compran la Marca A? De entre los individuos que compran la Marca A, qué proporción están en el Segmento 1? Para contestar necesitamos obtener las tablas de perfiles fila y de perfiles columna Tabla de perfiles fila: Total A B C D Total

6 6 Tabla de perfiles columna: Total A B C D Total TEST X 2 DE INDEPENDENCIA Supongamos que deseamos contrastar H 0 : I y J son independientes H 1 : I y J son dependientes Ejemplo 43 La variable I=Marca {A,B,C,D} es independiente de J =Segmento {1,2,3}, si: la proporción de personas que compra la marca A es la misma dentro de los tres segmentos Idem para las marcas B, C y D Es decir, debe ocurrir En general, la variable I es independiente de J si la proporción de individuos que pertenecen a una categoría i de I es la misma dentro de cualquier categoría j de J, es decir, si

7 En forma más resumida, I es independiente de J si π ij π +j = π i+, i {1, 2,, n}, j {1, 2,, p}, o lo que es lo mismo, π ij = π i+ π +j, i {1, 2,, n}, {1, 2,, p} Estadístico X 2 : El estadístico X 2 mide las distancias entre las frecuencias observadas f ij y las que deberíamos observar si las variables I y J fuesen independientes, f i+ f +j, X 2 = k ++ n i=1 p j=1 (f ij f i+ f +j ) 2 f i+ f +j En términos de las frecuencias absolutas, el estadístico X 2 es ( n p k ij k ) 2 i+k +j X 2 k ++ = k i+ k +j i=1 j=1 k ++ Teorema 41 (Distribución del estadístico X 2 de independencia) Si I y J son independientes, entonces X 2 X 2 (n 1)(p 1) 7 Por el Teorema anterior, podemos tomar un valor extremo de la distribución; es decir, un valor X(n 1)(p 1),α 2 que deja a su derecha una probabilidad α pequeña, y se rechaza la hipótesis de independencia al nivel de significación α si el valor obtenido del estadístico supera este valor X 2 > X 2 (n 1)(p 1),α p-valor = P ( Y > X 2) < α, donde Y es una variable aleatoria con distribución X 2 (n 1)(p 1) Normalmente se toma α = 0,05

8 Ejemplo 44 Considera la tabla de contingencia del Ejemplo 41 Contrastamos la hipótesis H 0 frente a H 1 : X 2 = H 0 : Marca y Segmento son independientes H 1 : Marca y Segmento son dependientes 8 Sea Y X El p-valor se puede calcular, por ejemplo, mediante Excel: p-valor = P (Y > 362,413) = 3, < 0,05 Se rechaza la hipótesis nula de independencia Esto significa que: - bien, existen al menos dos segmentos en los que las proporciones de consumidores de las marcas es diferente; - bien, existen al menos dos marcas en las que la proporción de individuos en los segmentos es diferente

9 9 43 NUBES DE PUNTOS FILA Y COLUMNA Puntos fila: Las filas de la tabla de perfiles fila son n puntos con p coordenadas, y los llamaremos puntos fila: ( ) R i = (r i1, r i2,, r ip ) =,,,, i = 1,, n Cada punto fila va a tener asociado un peso (llamado también ponderación), dado por su frecuencia relativa marginal Nube de puntos fila: La nube de puntos fila es el conjunto de puntos fila asociados a sus correspondientes pesos, es decir, N(I) = {(R i, f i+ ), i = 1, 2,, n} Centro de gravedad de la nube de puntos fila: El baricentro o centro de gravedad de los puntos fila es una media ponderada de los n puntos: R = (r 1,, r p ), donde r j = n f i+ r ij, j = 1,, p i=1 El centro de gravedad coincide con la última fila de la tabla de perfiles fila, es decir R = (f +1,, f +p ) Efectivamente, n r j = i=1 f i+ f ij f i+ = n f ij = f +j, j = 1, 2,, p i=1

10 Puntos columna: Cada perfil columna es un punto con n coordenadas y se denomina punto columna, ( ) C j = (c 1j, c 2j,, c nj ) =,,,, j = 1, 2,, p Nube de puntos columna: La nube de puntos columna es el conjunto de puntos columna con sus respectivos pesos, N(J ) = {(C j, f +j ), j = 1, 2,, p} Centro de gravedad de la nube de puntos columna: El baricentro o centro de gravedad de la nube de puntos columna es una media ponderada de los p puntos columna: donde c i = C = (c 1,, c n ), p f +j c ij, i = 1, 2,, n j=1 El centro de gravedad coincide con la última columna de la tabla de perfiles columna, es decir, C = (f 1+,, f n+ ) 10 Efectivamente, p c i = j=1 f +j f ij f +j = p f ij = f i+, i = 1, 2,, n j=1 44 INERCIA DE LAS NUBES DE PUNTOS Distancia X 2 entre dos puntos fila R i y R i : p 1 d X (R i, R i ) = (r ij r i f j) 2 = +j j=1

11 11 Distancia X 2 entre dos puntos columna C j y C j : d X (C j, C j ) = n i=1 1 f i+ (c ij c ij ) 2 = Ejemplo 45 Para la tabla de contingencia del Ejemplo 41, calcular la distancia X 2 entre los puntos fila R 1 y R 2, y entre los puntos columna C 1 y C 2 Distancia X 2 entre R 1 y R 2 : d X (R 1, R 2 ) = Distancia X 2 entre C 1 y C 2 : d X (C 1, C 2 ) = Inercia de un punto fila: La inercia del punto fila R i es el producto de su peso por la distancia X 2 de dicho punto al centro de gravedad, I(R i ) = f i+ d X (R i, R) Inercia de un punto columna: La inercia del punto columna C j es I(C j ) = f +j d X (C j, C) Ejemplo 46 Para la tabla de contingencia del Ejemplo 41, obtener las inercias de cada punto fila

12 12 Distancias al centro de gravedad: Inercias de los puntos fila: Inercia de la nube de puntos fila: La inercia de la nube de puntos fila N(I) es la suma de las inercias de los puntos fila, I [N(I)] = n I(R i ) = i=1 n f i+ d X (R i, R) = i=1 La inercia de los puntos fila es una medida de la variabilidad de los puntos fila Inercia de la nube de puntos columna: p p I [N(J )] = I(C j ) = f +j d X (C j, C) j=1 j=1

13 13 Proposición 41 Se verifica Prueba: I [N(I)] = I [N(J )] = X 2 k ++ La inercia total de la nube de puntos fila coincide con la inercia de la nube de puntos columna La cantidad de inercia o variabilidad de la nube de puntos fila (o de puntos columna) mide con el grado de dependencia entre las variables I y J Ejemplo 47 Calcular la inercia total de la nube de puntos fila para la tabla de contingencia del Ejemplo 41 Comprobar que coincide con X 2 /k ++ I[N(I)] = Por otro lado, X 2 k ++ =

14 14 45 ANÁLISIS DE LA NUBE DE PUNTOS FILA Se desea representar los puntos fila en un espacio de menor dimensión, con ejes ortogonales, y de manera que los puntos proyectados en los nuevos ejes tengan la máxima inercia (o máxima X 2, es decir, máxima dependencia entre las variables I y J ) Como podemos observar, el problema es similar al Análisis de Componentes Principales, reemplazando la varianza por la inercia de los puntos fila Sin embargo, en el Análisis de Componentes Principales la distancia natural entre puntos es la distancia euclídea, mientras que aquí es la distancia X TRANSFORMACIONES DE LA NUBE DE PUNTOS Nube de puntos transformada: La siguiente transformación de la nube de puntos fila permitirá utilizar la distancia euclídea al cuadrado d 2 e en lugar de la distancia d X donde N (I) = {(R i, f i+ ), i = 1, 2,, n}, ( ) ( Ri = (ri1,, rip) =,, =,, ) El centro de gravedad de N (I) es ( R = f+1,, ) f +p Ejemplo 48 Para la tabla de contingencia del Ejemplo 41, obtener la nube de puntos transformada, representando sus puntos fila en una tabla

15 A B C D Total Proposición 42 La distancia euclídea al cuadrado entre los puntos fila transformados R i e R i es igual a la distancia X 2 entre los puntos fila sin transformar R i y R i Prueba: Por tanto, la inercia de la nube de puntos fila se puede escribir utilizando la distancia euclídea al cuadrado, de la forma n ( I[N(I)] = f i+ d 2 e Ri, R ) i=1 Ejemplo 49 Para la tabla de contingencia dada en el Ejemplo 41, calcular la distancia euclídea al cuadrado entre los puntos fila transformados R 1 y R 2 Compara el resultado con el obtenido en el Ejemplo 45

16 Nube de puntos fila centrada: Se realiza una nueva transformación de la nube de puntos fila, restándoles su centro de gravedad, N (I) = {(X i, f i+ ), i = 1, 2,, n}, 16 donde los puntos son X i = R i R ; es decir, ( X i = (x i1,, x ip ) =,, ), i = 1,, p El centro de gravedad es ahora X = (0,, 0) = O La inercia total, en función de los puntos fila centrados, es: n I[N(I)] = f i+ d 2 e(x i, O) i=1 Llamaremos X a la matrix cuyas filas son los puntos fila centrados X 1,, X n Ejemplo 410 Para la tabla de contingencia del Ejemplo 41, obtener la matriz X = (x ij ) de puntos fila centrados 0,336 0,336 0,671 0,304 0,608 0,304 X = 0,412 0,206 0,206 0,628 0,126 0, DETERMINACIÓN DE LOS EJES PRINCIPALES La nube de puntos fila centrados consta de n puntos, X 1 = (x 11,, x 1p ) X n = (x n1,, x np )

17 Los puntos tienen p coordenadas, pero en realidad están en un espacio de dimensión p 1 Buscamos otros r < p 1 ejes en los que representar los puntos Sea a α = (a 1α,, a pα ) el vector director de un nuevo eje La coordenada de un punto X i en el eje determinado por a α es: g iα = x ia α = Inercia de un eje α: Es la suma de las inercias de los puntos proyectados en el eje α, n n I α = f i+ (g iα ) 2 = f i+ (x ia α ) 2 i=1 Matriz de inercia: Consideremos la matriz de puntos fila centrados X = (x ij ), y la matriz diagonal con los pesos de los puntos fila, D I = diag{f 1+,, f n+ } La matriz de inercia de los puntos fila es T = X D I X i=1 El elemento (j, k) de esta matriz es n t jk = f i+ x ij x ik i=1 La matriz de inercia T es análoga a una matriz de varianzascovarianzas de X, ponderando las filas de X por sus correspondientes pesos Ejemplo 411 Obtener la matriz de inercia T para la tabla de contingencia del Ejemplo 41 0,168 0,048 0,226 T = 0,048 0,155 0,022 0,226 0,022 0,226 17

18 La inercia del eje α se puede escribir en función de la matriz de inercia T de la forma I α = a αta α 18 Primer eje principal de correspondencias: El primer eje principal es el eje con máxima inercia; es decir, el eje con vector director a 1 que es solución del problema: Max I 1 = a 1Ta 1 sa a 1a 1 = 1 (41) Solución: La inercia máxima I 1 es el mayor valor propio λ 1 de la matriz de inercia T, y la dirección del primer eje principal a 1 es el vector propio unitario asociado a λ 1 Eje principal α-ésimo de correspondencias: Es el eje ortogonal a los ejes 1, 2,, α 1, con máxima inercia; es decir, es el eje cuyo vector director a α es solución del problema Max I α = a αta α sa a αa α = 1 a αa j = 0, j = 1,, α 1 Solución: Si λ α es el α-ésimo mayor valor propio de T, con vector propio a α, entonces el eje principal α-ésimo es la recta con vector director a α, y λ α es la inercia de dicho eje principal, es decir, la inercia máxima es I α = λ α

19 Coordenadas de los puntos fila en los ejes principales: Los vectores directores de los ejes principales son a 1 = (a 11,, a p1 ) a r = (a 1r,, a pr ) Llamamos x i al vector que va desde el origen hasta el punto X i Las coordenadas de X i en los ejes determinados por a 1,, a r son: g i1 = =, g ir = = Las coordenadas del punto fila X i = (x i1,, x ip ) en el nuevo sistema de coordenadas formado por los ejes principales son X i G i = (g i1,, g ir ), Coordenadas de los n puntos fila en los ejes principales: X 1 G 1 = (g 11,, g 1r ) X n G n = (g n1,, g nr ) Observemos que el centro de gravedad de las nuevas coordenadas G i, i = 1, 2,, n es G = (0,, 0) = O Ejemplo 412 Los valores y vectores propios de la matriz T obtenida en el Ejemplo 411 son λ 1 = 03405, a 1 = (04682, 03452, 08134) λ 2 = 02086, a 2 = ( 06689, 07399, 00710) λ 3 = 0, a 3 = (05773, 05773, 05773) 19

20 20 Hay r = 2 ejes principales, con vectores directores a 1 y a 2, Las inercias de dichos ejes son I 1 = e I 2 = Las coordenadas del punto fila Marca A en los ejes principales son G 1 = (g 11, g 12 ), donde g 11 = g 12 = Para el punto fila Marca B son G 2 = (g 21, g 22 ), donde g 21 = g 22 = Las coordenadas de Marca C son G 3 = (g 31, g 32 ), donde g 31 = g 32 = Por último, las coordenadas de Marca D son G 4 = (F 41, F 42 ), siendo g 41 = g 42 = Proposición 43 El vector R = ( f+1,, f +p ) es un vector propio de T asociado al valor propio 0 Esta proposición implica que hay como máximo p 1 ejes principales 46 ANÁLISIS DE LA NUBE DE PUNTOS COLUM- NA Nube de puntos columna: N(J ) = {(C j, f +j ), j = 1, 2,, p},

21 21 donde C j = (c 1j, c 2j,, c nj ) = (,,, ), j = 1, 2,, p Distancia X 2 entre dos puntos columna: d X (C j, C j ) = Nube de puntos columna transformada: La nube de puntos columna transformada va a permitir utilizar la distancia euclídea N (J ) = {(C j, f +j ), j = 1, 2,, p}, donde C j = (c 1j,, c nj) = Centro de gravedad de N (J ): ( C = f1+,, ) f n+ Nube de puntos centrada: donde N (J ) = {(Y j, f +j ), j = 1, 2,, p}, Y j = (y 1j,, y nj ) = Puntos columna centrados: Y 1 = (y 11,, y n1 ) Y p = (y 1p,, y np )

22 La coordenada de un punto Y j en el eje con vector director b β es h jβ = Inercia del eje β: I β = 22 Matriz de inercia de los puntos columna: Consideremos la matriz de puntos columna Y = (y ij ), y la matriz diagonal con los pesos de los puntos columna, D J = diag{f +1,, f +p } La matriz de inercia de los puntos columna es la matriz S = YD J Y El elemento (i, j) de esta matriz es p s ij = f +k y ik y jk Se verifica que k=1 I β = b β S b β Eje principal de la nube de puntos columna: Es el eje que maximiza la inercia de los puntos columna Se encuentra entonces resolviendo el problema Max I 1 = b 1 S b 1 sa b 1b 1 = 1 La inercia máxima es el mayor valor propio de la matriz S, llamémoslo λ 1, y b 1 es el vector propio unitario asociado a λ 1 Eje principal β-ésimo de la nube de puntos columna: Es el eje ortogonal a los ejes principales 1, 2,, β 1 con inercia máxima El eje principal β-ésimo es la recta cuyo vector director es b β, el vector propio asociado al β-ésimo mayor valor propio λ β de S

23 Además, λ β es la inercia del eje principal β-ésimo Coordenadas de los puntos columna en los ejes principales: Los vectores directores de los ejes principales son b 1,, b r Coordenadas de los p puntos columna en los r ejes principales: 23 Y 1 H 1 = (h 11,, h 1r ), Y p H p = (h p1,, h pr ), h 1β = y 1b β h pβ = y pb β Proposición 44 El vector C = ( f1+,, f p+ ) es un vector propio de S asociado al valor propio 0 Por tanto, hay como máximo n 1 ejes principales para la nube de puntos columna Proposición 45 Las matrices T y S tienen los mismos valores propios no nulos Para cada valor propio λ α positivo, tenemos asociado un vector propio a α de T, y un vector propio b α de S Tendremos r = mín{n 1, p 1} ejes principales Proposición 46 (Fórmulas de transición) Para cada uno de los ejes principales α, se verifica h jα = 1 n c ij g iα, g iα = 1 p r ij h jα λα λα i=1 j=1

24 Ejemplo 413 Para los datos del Ejemplo 41, obtener las coordenadas de los puntos columna en sus ejes principales Las coordenadas del primer punto columna, H 1 = (h 11, h 12 ), se obtienen como una media ponderada de las coordenas de los puntos fila, donde las ponderaciones son los elementos del primer perfil columna h 11 =, h 12 = Las coordenadas del segundo punto columna son H 2 = (h 21, h 22 ), donde h 21 =, h 22 = Por último, las coordenadas del tercer punto fila son H 3 = (h 31, h 32 ), donde h 31 =, h 32 = 47 INTERPRETACIÓN DE LOS RESULTADOS 471 SELECCIÓN DEL NÚMERO DE EJES PRINCIPALES Los criterios de selección del número de ejes principales son: Proporción de inercia explicada 75 %: Como la inercia del eje α es λ α, la inercia total es r I[N(I)] = λ α α=1 Por tanto, la proporción de inercia explicada por el eje α es λ α r α=1 λ α 24

25 La proporción de inercia explicada por los r 1 primeros ejes será r1 α=1 λ α r α=1 λ α Inercia superior a la inercia media Gráfico de sedimentación 472 CONTRIBUCIÓN ABSOLUTA Y RELATIVA La inercia de un eje α es la suma de las inercias de los puntos fila proyectados en dicho eje, λ α = o de los puntos columna proyectados en dicho eje, λ α = Contribución absoluta de un punto fila a un eje: La contribución absoluta del punto fila i-ésimo a la inercia del eje α es ca α (G i ) = f i+g 2 iα λ α La contribución absoluta del punto columna j-ésimo al eje α es ca α (H j ) = f +jh 2 jα λ α Las contribuciones absolutas miden la cantidad de inercia que aporta una categoría (un punto fila o columna) a la inercia de un eje Las categorías con contribuciones absolutas más altas son las protagonistas en la construcción del eje, y nos van a servir para interpretar el sentido de los ejes principales 25

26 Ejemplo 414 Calcular las contribuciones absolutas de los puntos fila y de los puntos columna a la inercia de los ejes principales obtenidos para el Ejemplo 41 Coordenadas Contrib absol Punto fila Peso Dim 1 Dim 2 Dim 1 Dim 2 A B C D Coordenadas Contrib absol Punto columna Peso Dim 1 Dim 2 Dim 1 Dim Ahora vamos a definir unas medidas de la cantidad de inercia que aporta un eje a un punto La inercia del punto fila G i en el nuevo sistema de coordenadas es r I(G i ) = f i+ d 2 e(g i, O), d 2 e(g i, O) = giα 2 Contribución relativa de un eje a la inercia de un punto: La contribución relativa del eje α a la inercia del punto fila G i es cr α (G i ) = g 2 iα d 2 e(g i, O) De la misma forma, la contribución relativa del eje α a la inercia del punto columna H j es cr α (H j ) = h 2 jα d 2 e(h j, O) α=1 26

27 Las contribuciones relativas nos indican si los puntos están bien representados en los nuevos ejes Ejemplo 415 Calcular las contribuciones relativas de los puntos fila para los datos del Ejemplo 41 Contrib rel Punto fila Dim 1 Dim 2 Total A B C D Un punto se considera aceptablemente representado por los nuevos ejes si la suma de las contribuciones relativas de los ejes seleccionados a la inercia de este punto es al menos 06, es decir, si r cr α (G i ) 0,6 α=1 Si existe algún punto fila o columna que no esté bien representado, entonces no se pueden extraer conclusiones sobre sus relaciones con el resto de puntos Un punto fila G i se considera representado por el eje α si cr α (G i ) 0,2 Se podrán extraer conclusiones acerca de dicho punto en relación al eje α sólo cuando su contribución relativa supere esta cantidad 27

28 REPRESENTACIONES GRÁFICAS Nube de puntos fila respecto a sus ejes principales Nube de puntos columna respecto a sus ejes principales Representación simultánea de puntos fila y columna en un espacio conjunto