Introducción a las técnicas de. Análisis multivariante

Transcripción

1 Introducción a las técnicas de Análisis Multivariante Fco. Javier Burguillo Universidad de Salamanca

2 Objetivo: estudio de varias variables simultáneamente: X X X3 X4 X5 Objeto Objeto Objeto Métodos con variable dependiente Hay una variable que depende de otras que se miden como independientes o predictoras.tienen un interés predictivo. Métodos con sólo variables independientes No se distingue entre variables dependientes e independientes. Tienen un interés descriptivo en el sentido de clasificar objetos en función de las variables.

3 Métodos con variable dependiente y X X X X4 Objeto Objeto Objeto Regresión lineal múltiple Regresión lineal generalizada Regresión logística binaria Regresión logit

4 Métodos con sólo variables independientes a) No se conocen los grupos de los objetos Objeto X X 34 X3 6 X4 0. X5 0.7 Análisis de clusters Jerárquicos K-medias Objeto Objeto Análisis de componentes principales Métodos biplot b) Sí que se conocen los grupos de los objetos Objeto Objeto Objeto 3 Grupo X X X X MANOVA Análisis en variables canónicas Análisis discriminante Objeto

5 Regresión lineal múltiple por mínimos cuadrados La regresión lineal simple Sólo una variable independiente : por ejemplo línea recta y = C + Bx SSQ = (y i ( a + bx )) i Ahora: la regresión lineal múltiple Más de una variable independiente : y = C + B x + Bx + B3 x3 ( SSQ) a ( SSQ) b = = = = 0 0 a b = =. Tratamiento matemático análogo a regresión lineal simple. Se puede explicitar cada parámetro, solución única, método exacto Se puede explicitar cada parámetro, solución única, método exacto

6 Ejemplo de regresión n lineal múltiplem La aplicación importante es estimar Masa tumoral para un caso nuevo

7 Regresión n logística binaria y(i) =vivo 0=muerto variables: X, X, X 3, p() = probabilidad de que y = p() log = L = a ax + ax + a 3.. p() X 0 + La aplicación importante es estimar p() para un caso nuevo: p() = + e L (ej: p() = 0.73 de sobrevivir)

8 Análisis de clusters X X X3 Xm Objeto Objeto Objeto Objeto n Dada una serie de n objetos y m variables X, X,, X m, el propósito es clasificar los objetos en grupos (clusters) según la similitud (menor distancias) entre ellos: Aglomerativos o divisivos Procedimientos: Jerárquicos Supervisados (k-medias)

9 Análisis jerárquico rquico de clusters (Ejemplo) Análisis de 0 pacientes X X X3 Paciente 34 6 Objeto Objeto Transformar variables? Sin transformar Métrica distancia entre objetos d ij = m k= x ik Algoritmo de unión de clusters d x jk ( ) d =min, i, jk ij d ik Los 0 pacientes se agrupan (dendrograma) 4 grupos CML ALL AML RCML

10 Etapas de un análisis jerárquico de clusters (variables cuantitativas) ) Estandarizar las variables si fuera necesario. ) Elegir una medida de distancia entre objetos. 3) Elegir un algoritmo para unir (fusionar) grupos. 4) Decidir el número final de clusters e interpretarlos.

11 ) Transformación de variables para uniformar sus escalas (sólo variables cuantitativas) ) No transformar si las variables están medidas en las mismas unidades. ) Normalizar variables a media = 0 y desviación estándar = : x x s ) Aplicar raíz cuadrada a las variables. ) Hacer el logaritmo de las variables. x =

12 a) Elegir una medida de distancia entre objetos Distancia ciudad (city block): D Distancia Euclidia : ij = m Dij = k= m k = x / ( ) ( x x ) ik ik x jk jk x i x j x i variables (plano) x j variables (plano) Distancia Euclidia al cuadrado. Disimilaridad de Bray-Curtis (en %).

13 b) Calcular la matriz de distancias X X X3 X4 X5 Objeto Objeto Objeto Objeto d d d d d d d d d d d d d d d d Matriz de distancias d d d d Objeto Matriz de distancias

14 3) Algoritmos de unión (fusión) de clusters El primer cluster consiste en n clusters de objeto cada uno, el algoritmo los va fusionando por pasos hasta llegar a un último cluster que contiene los n objetos. Qué criterio se sigue para ir fusionando los clusters? Cluster Por centroides Vecino más próximo (single link) Cluster 3 Cluster Vecino más lejano (complete link)

15 Ejemplo del algoritmo vecino más próximo Matriz distancias Objeto Dendrograma (árbol) Distancia Cluster,,3,4,5 (, ), 3, 4, 5 (, ), 3, (4, 5) (, ), (3, 4, 5) (,, 3, 4, 5) Distancia entre 4 y 5 (rama)

16 Algoritmos de unión (fusión) de clusters (cont.) Método del promedio del grupo Cluster A Cluster B Cluster C D + D4 + D5 + D3 + D4 + D AB = 6 Y análogamente: 3 D5 D + D7 + D8 + D6 + D7 + D AC = 6 etc 6 D8

17 Ejemplo del algoritmo promedio de grupo Objeto Distance matrix 5 Dendrograma (árbol) Distancia Cluster,,3,4,5 (, ), 3, 4, 5 (, ), 3, (4, 5) (, ), (3, 4, 5) (,, 3, 4, 5)

18 Por donde cortar el dendrograma? o el problema del número n de grupos Análisis de 0 pacientes Paciente Paciente Paciente 3 X 4 0. Transformar variables? Sin transformar Métrica distancia entre objetos distancia X ciudad 40 Algoritmo de unión de clusters vecino más próximo 5 X Los 0 pacientes se agrupan (dendrograma) grupos 3 grupos 4 grupos CML ALL AML RCML

19 Ojo: el dendrograma depende de la transformación de los datos, tipo de distancia y algoritmo elegidos Sin transformar, distancia euclidia, vecino más próximo Estandarizados, distancia euclidia, vecino más próximo Estandarizados, distancia ciudad, promedio de grupo

20 Análisis de clusters por K medias (ejemplo) Es un análisis de clusters de tipo supervisado (no jerárquico). El número de clusters que se desea tiene que decidirse a priori. Análisis de 0 pacientes Caso X X X3 X X Análisis con 3 clusters CML ALL Se deciden k centroides (3 por ej.) AML centroide X X X3 X4 X

21 Fundamento de Clusters por K-medias ) Imaginemos n objetos a clasificar en base a m variables ) Elegimos un procedimiento para decidir las estimas iniciales de los k centroides (semillas): El investigador elige los k centroides. Seleccionar k objetos al azar k primeros objetos Semilla 3 Semilla Semilla 3) Elegir un algoritmo para reasignar los objetos a los clusters hasta alcanzar un criterio de convergencia.

22 Análisis por Componentes Principales (Ejemplo) 6 pacientes 5 variables autoperimetría laser (campo visual) Caso X 4.. X CP CP X = = X a X X X3. X5 6 Reducir las 5 variables a X X + + a a X X a a m X m m X m 3-4 componentes principales Caso CP 4.. CP CP CP m m m = a X + a X Estas CP i explicarán la mayor variabilidad de las variables originales - Las CP i presentan incorrelación entre ellas a mm X m

23 Extracción n de las componentes principales Transformación = Untransformed Tipo de matriz = Correlation matrix Tipo de puntuación = Standardised scores Eigenvalores Proporción Acumulativa CP 6.833E CP 3.74E CP3.3E CP4.055E CP E CP6.69E CP7.968E CP E CP9 4.89E CP E CP.53E CP 6.593E CP E CP4.308E CP5.5E CP CP CP3 CP4 Se extraen 4 componentes: CP, CP, CP3 y CP4

24 Contribución n de las variables originales a CP y CP Las 5 variables originales

25 Representación n de los casos bajo CP y CP (puntuaciones o scores en CP y CP) Los 6 pacientes

26 Representación Biplot: Cómo surge? Imaginemos variables medidas sobre n sujetos, se pueden representar a la vez variables y sujetos? : Sujeto Sujeto X 4 X Si X (Peso) Sujeto X (Talla)

27 Cómo generalizarlo?: La representación Biplot Cómo representar simultáneamente m variables y n sujetos? Sujeto Sujeto Sujeto 3 Sujeto n X X X X m ) No es posible representar, tal cual están, más de 3 variables (3D). ) Se recurre a extraer la información mediante o 3 componentes o ejes ficticios (Biplot D o 3D), obtenidos por descomposición de la matriz original en valores singulares (SVD). Sujeto 4 Var Sujeto 3 Var 3 Sujeto Var 5 Sujeto 6 Sujeto Var 4 Sujeto 5 Var

28 Representación Biplot (Interpretación) A partir del gráfico Biplot se puede reconocer: Sujeto 4 Var Sujeto 3 Var 3 Sujeto Var 5 Sujeto 6 Sujeto Var 4 Sujeto 5 Var La variabilidad en las variables (desviación estándar), ya que a mayor longitud del vector mayor error en la variable. La correlación entre variables, ya que vectores formando ángulo pequeño se interpretan como variables bien correlacionadas. Vectores perpendiculares se refieren a variables con correlación nula y vectores contrarios a variables correlacionadas negativamente. Agrupaciones de casos: casos próximos tiene valores parecidos de las variables.

29 Ejemplo: Biplot para variedades de lirios Fisher estudió 50 muestras de lirios del campo y a todos les medió la longitud y la anchura del sépalo y la longitud y anchura del pétalo.

30 Biplot para los datos de lirios de Fisher

31 Biplot (fundamento matemático) ) Se tiene una matriz X de n filas por m columnas: ) Se hace una descomposición en valores singulares (SVD): X = UΣV T X = 3) Nos quedamos con la aproximación dada por los primeros valores singulares: 4) Esta aproximación se puede escribir de 3 formas: Biplot simétrico Biplot con énfasis en filas Biplot con énfasis en columnas

32 Métodos con sólo variables independientes ( b. Cuando se conocen los grupos de los objetos) Objetivo: Estudiar las diferencias entre grupos y predecir el grupo de nuevas muestras. Objeto Objeto Objeto 3 Grupo X X X X MANOVA Análisis en variables canónicas Análisis discriminante Objeto

33 MANOVA (ANOVA de varias variables) Imaginemos que se miden 4 variables en 3 grupos: Objeto Objeto Objeto 3 Objeto 4 Objeto 5 Objeto 6 Grupo Grupo Grupo Grupo Grupo Grupo Grupo X X X X H 0 : No hay diferencia entre los vectores de medias de las 4 variables en los 3 grupos: x x x 3 x x x 3 x x x x x x Objeto 7 Objeto 8 Objeto 9 Grupo 3 Grupo 3 Grupo H : al menos hay vectores de medias que difieren significativamente de un grupo a otro.

34 MANOVA (Ejemplo: datos de lirios de Fisher ) VARIABLE VARIABLE VARIABLE 3 VARIABLE 4 GROUP E E E E-0 GROUP E E E E+00 GROUP E E E E+00 POOLED MEAN E E E E+00 Hay diferencias entre estos vectores de medias?

35 MANOVA (datos de lirios de Fisher (cont.) ) VARIABLE VARIABLE VARIABLE 3 VARIABLE 4 GROUP E E E E-0 GROUP E E E E+00 GROUP E E E E+00 POOLED MEAN E E E E+00 Hay diferencias entre estos vectores de medias? Para decidirlo se hacen diferentes tests estadísticos: Statistic Value Transform deg.free. p Wilks lambda.344e E Reject H0 Roys largest root 3.9E+0 Lawley-Hotelling T 3.48E E Reject H0 Pillais trace.9e+00 Como p < 0.0 se concluye que al menos vectores de medias si difieren

36 MANOVA: Hay igualdad de perfiles? MANOVA H0: selected group profiles are equal Hotelling T^ =.03E+03 Test statistic S = 6.63E+0 Numerator DOF = 3 Denominator DOF = 96 P(F >= S) = Reject H0 at % sig.level

37 Análisis por variables canónicas Grupo X X X3 X4 Imaginemos: Se han medido varias variables en diferentes objetos de grupos. Objeto Objeto. Objeto Objeto Objetivos: Para discriminar entre los grupos todo lo posible se busca una combinación lineal de las variables que maximice la la relación de la variabilidad entre grupos respecto a la variabilidad intra grupos. x x x Esquema para variables: x x Dirección de máxima separación Y + = ax ax x

38 Análisis por variables canónicas (Ejemplo: Lirios de Fisher) Grupo variables Muestras a asignar? ? ?

39 Análisis por variables canónicas (Fundamento matemático) CV CV = a = a X X + + a a X X + + a a 3 3 X 3 X a 4 a 4 X 4 X 4 Correlations Eigenvalues Proportions Chi-sq. NDOF p Canonical variate means E+00.5E-0.85E E E E-0 Canonical coefficients -8.94E-0.40E E+00.65E+00.0E E-0.80E E+00 CV CV

40 Asignación de objetos a grupos por Análisis Discriminante Grupo variables Muestras a asignar? y? ? y m = = a a x m x + + a + + p a x mp p x + p a + 0 a m0

41 Asignación de objetos a grupos por Análisis Discriminante (ej: Lirios de Fisher) Serie de entrenamiento Grupo LongSep AnchSep LongPet AnchPet Muestras a asignar a grupos Distancias de Mahalanobis entre grupos Distancias de Mahalanobis muestras- grupos Muestra Muestra Muestra

42 Aplicación del en las investigaciones con Chips de ADN

43

44 Los 0 Genes principales asociados a la respuesta a Imatinib Usando la prueba t de student #genename t-statistic pvalue R H AA AA R A AI AA T AA

45 Exploración de datos en la serie de entrenamiento (3 pacientes y 0 genes predictores)

46 Cluster jerárquico de los 3 pacientes

47 Componentes principales

48 ANALISIS DISCRIMINANTE Distancia de Mahalanobis al cuadrado