Mínimos Cuadrados Parciales

Transcripción

1 Mínimos Cuadrados Parciales Resumen El procedimiento Mínimos Cuadrados Parciales (PLS Partial Least Squares) está diseñado para construir un modelo estadístico que relaciona múltiples variables independientes X con múltiples variables dependientes Y. El procedimiento es mucho más útil cuando hay muchos factores y el objetivo principal es predecir las variables respuesta. Los mínimos cuadrados parciales (PLS) son ampliamente usados por ingenieros químicos y quimiométricos para calibración espectrométrica. StatFolio de Ejemplo: pls.sgp Datos de Ejemplo: El archivo spectra.sf6 contiene los espectros observados de n = 33 muestras que contienen concentraciones conocidas de dos aminoácidos, tirosina (tyrosine) y triptofano (tryptophan). Los espectros están medidos a k = 30 frecuencias. Una porción de los datos, tomados de McAvoy et al. (1989), se muestra a continuación: Sample Tryptophan Tyrosine f1 f2 f3 f4 f5 17mix mix mix mix mix mix mix mix mix mix La columna de más a la izquierda identifica cada muestra (sample). Las siguientes 2 columnas son concentraciones conocidas de los aminoácidos. Las 30 columnas restantes contienen los espectros medidos. Nota: concentraciones originalmente iguales a 0 se pusieron a 1.0E-8 para que se pudiera realizar la transformación logarítmica. A continuación se muestra el espectro observado para una muestra típica: 2006 por StatPoint, Inc. Mínimos Cuadrados Parciales - 1

2 Gráfico de Muestras vs Frecuencia Muestras Frecuencia Las primeras 18 muestras se usarán como grupo de entrenamiento para estimar un modelo de predicción. Entonces el modelo se probará en las 15 muestras restantes. Ingreso de Datos La caja de diálogo solicita los nombres de las columnas que contienen a las variables dependientes Y e independientes X: 2006 por StatPoint, Inc. Mínimos Cuadrados Parciales - 2

3 Y: una o más columnas numéricas que contienen las n observaciones para las variables dependientes Y. Se pueden ingresar nombres de columnas o expresiones de STATGRAPHICS. X: una o más columnas numéricas que contienen los n valores para las variables independientes X. Selección: selección de un subgrupo de datos. Las filas seleccionadas se usarán como el grupo de entrenamiento. Las filas así elegidas pueden usarse como un grupo de prueba para validar el modelo ajustado. En el ejemplo, se tomaron los logaritmos base 10 de las concentraciones para crear dos variables dependientes. Todas las 30 frecuencias se ingresaron en el campo de las Variables Independientes. La entrada en el campo Selección hará que las primeras 18 filas se usen como grupo de entrenamiento por StatPoint, Inc. Mínimos Cuadrados Parciales - 3

4 Modelo Estadístico Al igual que en regresión múltiple, el objetivo de los mínimos cuadrados parciales (PLS) es construir un modelo lineal de la forma Y = Xβ + E (1) donde Y es una matriz n por m que contiene los n valores estandarizados de las m variables dependientes, X es una matriz n por p que contiene los valores estandarizados de las p variables predictoras, β es una matriz p por m de parámetros del modelo, y E es una matriz n por m de errores. A diferencia de la regresión múltiple, el número de observaciones n puede ser menor que el número de variables independientes p. Sin embargo, en vez de estimar β directamente, se extraen primero c componentes. Luego los coeficientes se calculan a partir del producto de dos matrices: β = WQ (2) donde W es una matriz p por c de pesos que transforman a X en una matriz T de valores de los factores de acuerdo con T = XW (3) y Q es una matriz de coeficientes de regresión (cargas) que expresan la dependencia entre Y y los valores de los factores: Y = TQ + E (4) La matriz de variables independientes también puede representarse en términos de P una matriz c por p de cargas de factores como X = TP + F (5) donde F es una matriz n por p de desviaciones. Parte de la tarea al realizar un análisis de mínimos cuadrados parciales (PLS) es determinar el número apropiado de componentes c. Si se establece c demasiado bajo o demasiado alto, el modelo puede no dar buenas predicciones para las futuras observaciones por StatPoint, Inc. Mínimos Cuadrados Parciales - 4

5 Resumen del Análisis El Resumen de Análisis muestra información sobre el modelo ajustado. La sección de arriba de la salida resume los datos de entrada y presenta un análisis de varianza para cada variable dependiente. Mínimos Cuadrados Parciales (FIRST(18)) Número de variables dependientes: 2 LOG10(Tryptophan) LOG10(Tyrosine) Número de variables independientes: 30 Número de casos completos: 18 Número de componentes extraidos: 10 Validación cruzada: prueba de establecer tamaño 15 Análisis de Varianza para LOG10(Tryptophan) Fuente Suma de Cuadrados Gl Cuadrado Medio Razón-F Valor-P Modelo Residuo Total (corr.) Análisis de Varianza para LOG10(Tyrosine) Fuente Suma de Cuadrados Gl Cuadrado Medio Razón-F Valor-P Modelo Residuo Total (corr.) Se incluyen en la salida: Resumen Estadístico: un indicador del número (p) de variables X y (m) del número de variables Y. Número de Casos Completos: el número de observaciones n en el grupo de entrenamiento. Número de Componentes Extraídos: el número de componentes c usado para ajustar el modelo. c no puede ser mayor que el menor de p y (n 1). Validación Cruzada: el método para validar el modelo de predicción. Dependiendo de las Opciones del Análisis, un grupo de prueba interno o externo puede ser usado para ayudar a elegir el número de componentes. Análisis de Varianza: una tabla de ANOVA para cada una de las variables dependientes. Valores pequeños de P (por debajo de 0.05 si se trabaja al nivel de significancia del 5%) indican que el modelo es estadísticamente significativo. En el ejemplo anterior, se extrajeron 10 componentes. Los modelos resultantes son predictores significativos para las concentraciones de ambos aminoácidos., ya que ambos valores de P son extremadamente pequeños. La segunda parte de la salida ilustra la utilidad del modelo con diferente número de componentes: 2006 por StatPoint, Inc. Mínimos Cuadrados Parciales - 5

6 Modelo para LOG10(Tryptophan) % Variación Cuadrado Medio Predicción Componente en Y R-Cuadrada PRESS R-Cuadrada Modelo para LOG10(Tyrosine) % Variación Cuadrado Medio Predicción Componente en Y R-Cuadrada PRESS R-Cuadrada Para cada variable dependiente, las tablas muestran: % de Variación en Y: el porcentaje de la suma de cuadrados total corregida para el grupo de entrenamiento explicada por cada componente conforme es agregado al ajuste. R-Cuadrada: el porcentaje acumulado del total de la variación explicada por los modelos con el número indicado de componentes, en una escala de 0% a 100%. Cuadrado Medio PRESS: cuadrado medio de los errores de predicción, calculado a partir del grupo de prueba de validación cruzada (PRESS, Prediction Error Sum of Squares Suma de Cuadrados del Error de Predicción). Esta estadística es comparable al cuadrado medio de los residuos de la tabla de ANOVA, excepto que la primera se calcula a partir de las predicciones para las observaciones cuando éstas no se emplean para ajustar el modelo. Al elegir el número de componentes a extraer, se debe buscar un modelo con un cuadrado medio PRESS pequeño. R Cuadrada de Predicción: uno menos la razón del Cuadrado Medio PRESS para el número indicado de componentes al valor cuando se ajusta un modelo con sólo un término constante. Valores altos indican buenos modelos. La R Cuadrada de Predicción alcanza un pico para LOG10(Tryptophan) en 3 componentes, y para LOG10(Tyrosine) en 9 componentes por StatPoint, Inc. Mínimos Cuadrados Parciales - 6

7 La última sección de la salida presenta una tabla similar para los porcentajes de la variación total en las variables X y Y explicada conforme aumenta el número de componentes. Variables Independendientes y Dependientes % Variación % Acumulado % Variación % Acumulado Predicción Promedio Componente en X de X en Y de Y R-Cuadrada La última columna muestra la R Cuadrada de Predicción promedio a través de todas las variables dependientes. El promedio alcanza un pico en 7 componentes, sugiriendo que un modelo con siete componentes sería una buena elección. Gráfico Comparativo de Modelos El porciento de variación acumulada en X y Y y la R cuadrada de predicción promedio exhibidas en la tabla anterior se grafican en la Gráfica de Comparación de Modelos. Gráfica de Comparación de Modelos Porciento de variación X Y PRESS Número de componentes Este gráfico es útil para visualizar cuántos componentes tienen que extraerse. Advierta que el porcentaje de variación para PRESS aumenta a lo largo de 7 componentes. Nota: En el resto de este documento, se mostrarán los resultados para un modelo con 7 componentes por StatPoint, Inc. Mínimos Cuadrados Parciales - 7

8 Opciones del Análisis Número de componentes: el número de componentes a incluir en el modelo. Este número no puede exceder al menor del número de variables independientes y n 1. Método de Validación: el método para validar de forma cruzada el modelo. Esto consiste en usar el modelo para predecir observaciones excluidas del ajuste del modelo. Se pueden usar los siguientes métodos: 1. Ninguno no se lleva a cabo la validación cruzada. 2. Sacar uno a la vez el modelo se vuelve a ajustar n veces, cada vez dejando fuera 1 de las observaciones y volviendo a ajustar el modelo usando las otras n 1. Luego la observación omitida se predice con el modelo del que fue excluida. 3. Sacar cada k-ésima éste es similar al método #2, excepto que sólo cada k-ésima observación es omitida y luego predicha. Esto acorta el proceso en grandes conjuntos de datos. 4. Dejar fuera bloques de k las observaciones se remueven en grupos de k, el modelo se vuelve a ajustar, y se predicen las k observaciones. 5. Usar casos no seleccionados si hizo uso del campo Seleccionar en la caja de diálogo del ingreso de datos, los casos excluidos por esa selección se usarán como casos de prueba. En el ejemplo, el campo Seleccionar eligió las primeras 18 filas para usarlas como grupo de entrenamiento para el modelo, formando con las 15 filas restantes un grupo de prueba por StatPoint, Inc. Mínimos Cuadrados Parciales - 8

9 Coeficientes de Regresión La table de Coeficientes de Regresión muestra los coeficientes estimados de los modelos ajustados. Se exhiben ambos coeficientes, estandarizados y sin estandarizar. A continuación se muestra una pequeña sección de la salida: Coeficientes de Regresión Coeficientes Estandarizados LOG10(Tryptophan) LOG10(Tyrosine) Constante f f f f Coeficientes No Estandarizados LOG10(Tryptophan) LOG10(Tyrosine) Constante f f f f El modelo sin estandarizar muestra la ecuación ajustada en la métrica de las mediciones originales. Por ejemplo, el modelo para la primera variable dependiente es log(tryptopan) = f f f f 4 + (6) El modelo estandarizado reexpresa cada una de las variables en una forma estandarizada substrayendo su media muestral y dividiendo entre su desviación estándar muestral. Expresando las nuevas variables como Y, X 1, X 2, y así sucesivamente, el modelo estandarizado para dos datos muestrales es Y = 0.160X X X X 4 + (7) Mientras que el modelo sin estandarizar es útil para hacer predicciones para nuevas muestras, los coeficientes del modelo estandarizado se comparan más fácilmente entre sí cuando las variables predictoras tienen diferentes unidades por StatPoint, Inc. Mínimos Cuadrados Parciales - 9

10 Gráfica de Coeficientes La Gráfica de Coeficientes presenta una de dos cantidades: 1. Los coeficientes de regresión estandarizados β para cada variable dependiente. 2. Las cargas Q del componente para cada variable dependiente. El ejemplo a continuación grafica las β s: Gráfica de Coeficientes PLS Coeficiente Estnd LOG10(Tryptophan) LOG10(Tyrosine) f1 f2 f3 f4 f5 f6 f7 f8 f9 f10 f11 f12 f13 f14 f15 f16 f17 f18 f19 f20 f21 f22 f23 f24 f25 f26 f27 f28 f29 f30 Los coeficientes proveen un tipo de firma para cada variable dependiente. Advierta el gran coeficiente negativo para f4 cuando predice LOG10(Tyrosine). Opciones de Ventana Eje Y: la cantidad y valor a graficar en el eje vertical. Primer Y/Comp: el índice de la primer variable o componente a incluir en el gráfico. Última Y/Comp: el índice de la última variable o componente a incluir en el gráfico por StatPoint, Inc. Mínimos Cuadrados Parciales - 10

11 Primer X: el índice de la primer variable independiente a incluir en el gráfico. Última X: el índice de la última variable independiente a incluir en el gráfico. Pesos y Cargas de los Componentes La tabla de Pesos y Cargas de los Componentes identifica cada uno de los componentes que se extrajeron de los datos. A continuación se muestra una porción de la tabla: Pesos y Cargas de los Componentes Variables Dependendientes LOG10(Tryptophan) LOG10(Tyrosine) Variables Independientes f f f f Se incluyen en la tabla: 1. Q, la matriz c por m de cargas (coeficientes de regresión) que relaciona la matriz de valores de los factores T con la variable dependiente Y: Y = TQ + E (8) 2. W, la matriz p por c de pesos de los factores, que crean los valores de los factores a partir de los valores estandarizados de las variables independientes de acuerdo con T = XW (9) Gráfico de Componentes 2D La opción Gráfico de Componentes 2D presentará la matriz T de puntajes de los factores o las matrices W y P de los pesos de los componentes. En el caso de la matriz de valores de los factores, el gráfico toma la siguiente forma: 2006 por StatPoint, Inc. Mínimos Cuadrados Parciales - 11

12 Gráfica de Valores de Factor PLS Factor Factor 1 Se seleccionan dos factores, para por cada eje, y se grafican n puntos que representan las n filas en las correspondientes columnas de T. En situaciones donde los factores son interpretables, este gráfico muestra el valor de cada una de las muestras para estos factores. Si se eligen los pesos de los componentes, el gráfico tiene la siguiente forma: 0.5 Gráfica de Pesos de Componente PLS Componente 2 f3 0.4 f4 f5 LOG10(Tyrosine) f6 0.3 LOG10(Tryptophan) f7 0.2 f8 0.1 f9 f10 f11 f12 f13 f28 f16 f14 f15 f26 f27 f29 f30 f17 f19 f22 f25 f18 f23 f20 f24 f Componente 1 Se eligen dos componentes, uno para cada eje, y se grafican p + m puntos que representan las p variables independientes y las m variables dependientes. A partir de esta gráfica, se puede ver cómo cada una de las variables originales afecta a los componentes derivados por StatPoint, Inc. Mínimos Cuadrados Parciales - 12

13 Opciones de Ventana STATGRAPHICS Rev. 4/25/2007 Graficar Elija columnas de ya sea la matriz T de valores del factor o de la matriz W de los pesos del componenete. Componente en Eje X: Seleccione uno de los c componentes para que se grafique en el eje horizontal. Componente en Eje Y: Seleccione uno de los c componentes para que se grafique en el eje vertical. Gráfica de Componentes 3D La opción Gráfica de Componentes 3D es análoga al gráfico 2D excepto que se eligen tres componentes. Gráfica de Pesos de Componente PLS Componente LOG10(Tryptophan) f3 LOG10(Tyrosine) 0.36 f f f f7 f8 f9 f11 f12 f13 f14 f15 f16 f22 f17 f18 f19 f20 f21 f23 f24 f28 f30 f26 f27 f29 f Componente Componente por StatPoint, Inc. Mínimos Cuadrados Parciales - 13

14 Opciones de Ventana STATGRAPHICS Rev. 4/25/2007 Graficar Elija columnas de ya sea la matriz T de valores del factor o de la matriz W de los pesos del componente. Componente en Eje X: Seleccione uno de los c componentes para que se grafique en el eje horizontal. Componente en Eje Y: Seleccione uno de los c componentes para que se grafique en el eje que se extiende hacia atrás al interior de la pantalla. Componente en Eje Z: Seleccione uno de los c componentes para que se grafique en el eje vertical. Predicciones y Residuos La ventana de Predichos y Residuos presenta información para las observaciones en el grupo de entrenamiento, observaciones en el grupo de prueba, y/o cualesquiera nuevas filas que hayan sido agregadas a la hoja de datos que contengan valores para las variables independientes pero valores faltantes para Y. La última opción le permite emplear el modelo para hacer predicciones para las observaciones no incluidas ni en el grupo de entrenamiento ni en el de prueba. La tabla a continuación muestra parte de la salida para los datos del ejemplo: Predicciones y Residuos Residuo Fila LOG10(Tryptophan) Predicho Residuo Estandarizado Se incluye una tabla por separado para cada variable dependiente. Se incluyen en la tabla: 2006 por StatPoint, Inc. Mínimos Cuadrados Parciales - 14

15 Fila el número de la fila en la hoja de datos. Y el valor observado de la variable independiente, si lo hay. Predicho el valor Ŷ predicho a partir del modelo ajustado. Residuo el valor del residuo para la i-ésima observación de la j-ésima variable dependiente se calcula con e ij = Y Yˆ (10) ij ij Residuo Estandarizado para los casos en el grupo de entrenamiento, un residuo Estudentizado internamente calculado dividiendo cada residuo entre una estimación de su error estándar, dado por r ij eij = (11) CME 1 h ) j ( i donde h i es el punto nivelador del i-ésimo caso. Opciones de Ventana Las filas mostradas pueden incluir: 1. Residuos atípicos en el grupo de entrenamiento: cualquiera hileras en el grupo de entrenamiento con residuos estandarizados que excedan de 2 en valor absoluto. 2. Todo el grupo de entrenamiento: todas las hileras del grupo de entrenamiento. 3. Conjunto de prueba: todas las hileras del grupo de prueba. 4. Filas con respuestas vacías: filas con valores vacías para una o más de las variables dependientes por StatPoint, Inc. Mínimos Cuadrados Parciales - 15

16 Observados versus Predichos Este gráfico muestra los valores de una variable dependiente elegida versus los valores predichos por el modelo ajustado: -3 Gráfica de Observados versus Predichos para for LOG10(Tryptophan) -4 Observado Predicho Si el modelo ajusta bien, los puntos debieran alinearse a lo largo de la línea diagonal. Opciones de Ventana Elija la variable dependiente que desee graficar. Puntos Leverage Cuando se ajusta un modelo PLS, no todas las observaciones tienen la misma influencia en la estimación de los coeficientes en el modelo ajustado. Aquéllas con valores atípicos de las variables independientes tienden a tener más influencia que las otras.. La ventana de Puntos Leverage muestra cualesquiera observaciones que tienen una inusual influencia en el modelo ajustado: Puntos Leverage Fila Leverage Leverage promedio para un solo punto = El punto leverage es una estadística que mide la influencia de cada observación en el modelo final. Las observaciones se ponen en la lista si tienen más de 3 veces el leverage de un punto 2006 por StatPoint, Inc. Mínimos Cuadrados Parciales - 16

17 promedio. Las observaciones con altos puntos leverage deben examinarse de cerca para estar seguros de que son válidas, ya que una observación con punto leverage alto que es también un valor atípico puede distorsionar gravemente al modelo estimado. En los datos de la muestra, no hay puntos leverage altos. Gráficas de Distancia para Residuos Las Gráficas de Distancia para Residuos grafican la distancia del origen a los residuos de X o Y que corresponden a cada caso en el grupo de entrenamiento. Los gráficos pueden usarse para determinar qué casos se desvían más de los valores predichos Gráfica de Distancia para Residuos Y Distancia Fila Las distancias se expresan como la suma de cuadrados de la diferencia entre los valores observados y predichos de las variables estandarizadas. Para las variables Y, los residuos son elementos de la matriz E de dimensiones n por m en la ecuación Y = Xβ + E (12) Gráfica de Distancia para Residuos X Distancia Fila Para las variables X, los residuos son elementos de la matriz F de dimensiones n por p en la ecuación 2006 por StatPoint, Inc. Mínimos Cuadrados Parciales - 17

18 X = TP + F STATGRAPHICS Rev. 4/25/2007 (13) Salvar Resultados Se pueden salvar en la hoja de datos los siguientes resultados: 1. Valores predichos los valores predichos de la(s) variable(s) dependiente(s). 2. Residuos Y los residuos para cada variable dependiente. 3. Residuos Estandarizados Y los residuos estandarizados para cada variable dependiente. 4. Residuos PRESS los residuos PRESS para cada variable dependiente. 5. Residuos X los residuos para cada variable independiente. 6. Leverages los puntos niveladores para cada uno de los n casos. 7. Distancias Y la distancia de los residuos Y para cada uno de los n casos. 8. Distancias X la distancia los residuos X para cada uno de los n casos. 9. Pesos de Componentes la matriz W de pesos. 10. Cargas de factor Y la matriz Q de cargas de los factores. 11. Cargas de factor X la matriz P de cargas de los factores. 12. Matriz de valores la matriz T de valores. Cálculos El programa usa el algoritmo NIPALS (Nonlinear Iterative Partial Least Squares, Mínimos Cuadrados Parciales Iterativos No Lineales) para extraer los componentes, después de transformar primero cada variable de manera que tengan una media de 0 y una desviación estándar de por StatPoint, Inc. Mínimos Cuadrados Parciales - 18