MASTER DE INGENIERÍA BIOMÉDICA. Métodos de ayuda al diagnóstico clínico.

Transcripción

1 MASTER DE INGENIERÍA BIOMÉDICA. Métodos de ayuda al diagnóstico clínico. Tema 4: Modelos lineales. 1

2 Objetivos del tema Conocer los parámetros que indican la posible relación lineal entre variables. Aprender la base de los métodos de mínimos cuadrados. Implementar y analizar un modelo lineal. Interpretar los resultados obtenidos con un modelo lineal. Conocer cómo se puede aumentar la potencia de un modelo manteniendo la linealidad en sus parámetros. Conocer y desarrollar una regresión logística. Limitaciones/ventajas. Aprender las limitaciones de los modelos lineales y las posibles formas que se tienen de superar dichas limitaciones. 2

3 Dónde estamos Ya se ha realizado el procesado de los datos previos (se han completado, seleccionado variables, EDA y clustering); el siguiente paso es desarrollar un modelo que resuelva el problema planteado. Los tipos de problemas que se abordan en un problema de decisión clínica son: Problema Clasificación Modelización Predicción. Descripción # C! % 1 X n " $... % & C N!! X n " Yn!! X n " Xn+ p En los tres casos hay que establecer una correspondencia entre unos datos que llamaremos de entrada al modelo y otras que llamaremos de salida Y=g(X). Empezaremos por los modelos más simples: LINEALES EN LOS PARÁMETROS. 3

4 Covarianza y coeficiente de correlación (I). Dadas dos variables se define el estimador de la covarianza entre dichas variables Cov x, y ( ) = 1 N N $ ( x i " m x )# y i " m y i=1 ( ) Este parámetro depende del rango de las variables x e y; se plantea usar un parámetro que no tenga en cuenta dicho rango; aparece entonces lo que se conoce como coeficiente de correlación. coefc x, y ( ) = r xy = Cov(x, y) " x #" y Aquí mk es el valor medio de la variable k. Este parámetro indica la posible relación lineal existente entre las variables x e y. Si no se tiene dicha relación, o es de tipo no lineal, dicho parámetro toma un valor cercano a 0. Las propiedades más importantes de este coeficiente son: No tiene dimensiones Es invariante bajo transformaciones lineales de las variables. Está entre -1 y 1. Su cercanía a 0 indica la ausencia de relación lineal. 4

5 Coeficiente de correlación (II) $ ( ' r >0 $ ' & & r <0!! "!!!"#$!"!%#$ % %#$ " "#$! "!!!"#$!"!%#$ % %#$ " "#$! ' ( & r =0 $ r =0! " ' &! % "!"!&!!!" % "! %!&!!!" % "! 5

6 Regresión simple (I) En ese caso buscamos encontrar la relación lineal entre una variable que denominamos independiente (o variable respuesta) y otra que denominaremos dependiente Finalidad Descripción Estimación. Predicción Testeo Objetivo Describir las relaciones entre las variables Estimar la variable de salida dentro del rango que se tiene Estimar la variable de salida fuera del rango que se tiene Comprobar si existe tal relación mediante test estadísticos El modelo que se plantea es el siguiente y i = " 0 + " 1 # x i + $ i Donde x e y son las variables de interés y los parámetros a determinar son los βk. Aquí los ϵi son variables aleatorias independientes e identicamente distribuidos, i.i.d, de forma normal con media cero y varianza σ 2 estas son la suposiciones que se tienen para este tipo de modelos. Para determinar los parámetros se define lo que se conoce como una función de coste (lo mismo haremos en redes neuronales) que nos dará lo bueno que es el ajuste. La más usual es la que tiene en cuenta los errores cometidos por el modelo al cuadrado J = N $ i=1 { y i " [ b 0 + b 1 # x i ]} 2 6

7 Regresión simple (II) N "J = 0 #&{ y i $ [ b 0 + b 1 % x i ]}% x i = 0 "b 1 i=1 N "J = 0 #&{ y i $ [ b 0 + b 1 % x i ]} = 0 "b 0 i=1 J = N $ i=1 { y i " [ b 0 + b 1 # x i ]} 2 Ahora hay que determinar los parámetros a partir de la función de coste anterior. Hay que fijarse que los términos que aparecen en el sumatorio son la diferencia entre el valor real y el valor estimado por el modelo. A esta diferencia se le conoce como residuo. El objetivo es minimizar dicha función con respecto a los parámetros que se tienen (PROCEDIMIENTO MATEMÁTICO: derivar parcialmente con respecto a cada uno de los parámetros e igualar a cero). Se tiene entonces: 7

8 Regresión simple (III) Los parámetros obtenidos son Una vez estimados los parámetros del modelo cabe preguntarse cómo de precisos son dichos parámetros. Para ello se hace uso del llamado ANOVA (análisis de la varianza) que considera tres términos para analizar (aquí yest es el valor estimado por el modelo lineal): A partir de los parámetros calculados se puede estimar la variable de respuesta para cada valor de x. La varianza de los residuos vendrá dada por 2 " est = b 0 = m y " b 1 # m x N % i=1 { y i # [ b 0 + b 1 $ x i ]} 2 N # 2 Aquí SS hace referencia a suma de cuadrados y T,R y E a total, regresión y error Cada uno de los tres parámetros define una característica; SST da la variabilidad de y si se estima usando el valor medio; SSE mide dicha variabilidad si se usa el modelo y SSR es la varianza del propio modelo. A partir del análisis de estos estadísticos y de relaciones entre ello se pede determinar la bondad del modelo lineal planteado 8

9 Regresión simple (IV) La siguiente tabla muestra la forma típica de presentación de resultados en un ANOVA. Aquí n es el número de datos que se tienen Suma de cuadrados Expresión Grados de libertad Total (SST) n (y i m y ) 2 n-1 i=1 n Regresión (SSR) (y iest m y ) 2 1 i=1 n Error (SSE) (y iest y i ) 2 n-2 Fuente Grados de libertad (gl) i=1 SS MS F Regresion 1 SSR SSR/gl MSR/MSE Error n-2 SSE SSE/gl Total n-1 SST F = MSR MSE F 1,n 2; H 0 : β 1 =0 SST=SSR+SSE Distribución F con 1,n-2 grados de libertad. 9

10 Regresión simple (V) A partir de los términos que aparecen en el ANOVA se determina otro parámetro que se conoce como R 2 Regression Analyisis by Example, Wiley. R 2 da el % de SST que refleja el modelo lineal. Este parámetro irá entre 0 y 1; cercano a 1 indica un ajuste bueno. Otra forma de entenderlo es que indica la mejora del modelo de regresión frente al modelo más tonto considerar como estimación de la variable de salida el valor medio SIEMPRE. Este parámetro es igual al coeficiente de correlación al cuadrado. 10

11 Regresión múltiple (I) El caso analizado hasta ahora, la regresión simple no es el más usual, normalmente se busca establecer relaciones entre una determinada variable de salida y más de una de entrada; tenemos entonces lo que se conoce como regresión múltiple. Aquí se pueden plantear los siguientes objetivos para el modelo Inferencia (estimación y testeo) de los parámetros que forman el modelo Las condiciones de la regresión simple se mantienen, esto es, términos ɛk se corresponden a variables aleatorias normales con valor medio 0 y varianza σ 2 no estando relacionados entre ellos (independientes). El procedimiento de cálculo es el mismo lo que ocurre ahora es que el número de parámetros a calcular crece. Buscamos minimizar la suma de los residuos al cuadrado, esto es... Estimación/predicción de y Selección de qué variables son las mejores para formar el modelo. Ahora aparecen más derivadas parciales, m+1, que se convierten en un sistema de p+1 ecuaciones lineales con coeficientes constantes. 11

12 Regresión múltiple (II) Se puede analizar el problema desde un punto de vista matricial lo que simplifica la notación. Para ello se definen los siguientes vectores y matrices 12

13 Regresión múltiple (III) Recordemos que, al igual que ocurría en la regresión simple los parámetros obtenidos son una estimación de los parámetros que se tienen en realidad. Se tendrá entonces que dicha estimación tendrá una valor esperado y una varianza Si no se conoce la varianza de los errores (que será el caso más habitual) hay que estimar dicha varianza mediante la siguiente expresión: Al igual que en la regresión simple aquí se puede realizar un Análisis de Varianza (ANOVA) y se puede calcular el parámetro R 2. En la regresión múltiple se tiene otro índice conocido como R 2 residual que refleja el mayor/menor número de parámetros en el modelo así el ajuste obtenido; viene dado por Al aumentar el número de parámetros R 2 ajustado puede aumentar O DISMINUIR (puede ser hasta negativo). Esto puede servir para escoger o no determinadas variables de entrada 13

14 Regresión múltiple (IV) Ejemplo obtenido en Use of Intermediate Statistics: Use and Interpretation, Lawrence & Erlbaum, 14

15 Regresión múltiple (V) Aquí se plantean dos test estadísticos que usan diferente distribuciones de probabilidad según la hipótesis que se quiere comprobar. Ahora lo que queremos comprobar es la hipótesis coeficiente a coeficiente Se calcula el siguiente factor Para esta hipótesis se determina el siguiente estadístico. El siguiente paso es fijar un nivel de significancia (α=0.05) y aceptar/rechazar la hipótesis nula según el siguiente criterio El siguiente paso es fijar un nivel de significancia (α=0.05) y aceptar/rechazar la hipótesis nula según el siguiente criterio Aquí la distribución a usar es la F. 15

16 Regresión múltiple (VI) A la hora de desarrollar una regresión múltiple hay que tener en cuenta una serie de cuestiones sobre las suposiciones de partida Existe la relación buscada y=g(x)?; usamos lo que se conoce como scatterplot; en este tipo de representación se tienen gráficas de la variables agrupadas por pares. Applied Linear Regression, Wiley. Otra opción es usar la matriz de correlaciones, Sobre la selección de la variables en el modelo de regresión múltiple se tienen varias aproximaciones. Forward Selection. Se considera primero un modelo simple con cada variable. Se escoge la que mejor ajuste ofrezca y se repite el procedimiento otra vez manteniendo esa variable. Así se continúa hasta no tener mejoras en el ajuste. Backward Selection. Es el procedimiento inverso al anterior, se parte de un modelo con todas las variables y se van eliminando. Se detiene el proceso cuando no se tienen mejoras en el ajuste. Stepwise Selection. Es una mezcla de los anteriores; Se comienza con un modelo simple como el primero y después de cada inclusión se plantea una eliminación de variables hasta que no se consigue una mejora apreciable. 16

17 Regresión múltiple (VII) Los residuos son i.i.d según una distribución normal de varianza constante y valor medio cero?. Se utiliza representaciones gráficas así como la determinación de los estadísticos para comprobar esta suposición Applied Statistics Using SPSS, STATISTICA, MATLAB and R, Springer. Applied Linear Regression, Wiley 17

18 Regresión múltiple (VIII) Otro punto a tener en cuenta es el evitar altas correlaciones entre las variables de entrada. Este problema se conoce como colinealidad. Este problema supone que pequeñas variaciones en los datos pueden provocar grandes cambios en los coeficientes del modelo. Existen varias formas de comprobar este hecho. La primera opción es usando lo que se conoce como matriz de correlaciones. Sin embargo esta matriz no detecta de forma correcta si se tienen variables de entrada combinaciones lineales de otras. Otro parámetro para detectar la colinealidad y que no tiene el problema de la matriz de correlaciones es el conocido como VIF (Variance Inflation Factor) definido como Aquí el índice de ajuste que aparece es el correspondiente al ajuste de la variable de entrada k usando el resto de variables de entrada. Se da como regla el eliminar aquella variable que tiene un valor superior a 10 de este parámetro. Se conoce con este nombre porque la varianza de los coeficientes de la regresíon múltiple es propocional a este valor. Si el parámetro de ajuste R es próximo a 1 el factor VIF aumenta y, por tanto, la varianza de los coeficientes también aumenta 18

19 Regresión múltiple (VIII) Ejemplo obtenido en Use of Intermediate Statistics: Use and Interpretation, Lawrence & Erlbaum, 19

20 Funciones de coste. Regresión robusta (I). El problema de las regresiones analizadas (simple y múltiple) estriba en que se intenta minimizar la suma de los residuos al cuadrado. Este hecho provoca que los outliers tengan mucha importancia en el ajuste final. Dos posibles soluciones a este problema son: a) definir una nueva función a minimizar (función de coste) y b) pesar cada uno de los términos que aparecen en la función minimizar ( weighted regression ) 20

21 Funciones de coste. Regresión robusta (II). Funciones de coste robustas. La función que se ha planteado ha sido la siguiente: Las funciones robustas más usadas son: Regresión robusta (residuos pesados) Aquí el problema que se tiene es el impacto que tienen los outliers sobre el modelo final. Podemos reducir dicha influencia si le asignamos a esos datos un valor pequeño en la función final. Esta ecuación puesta en forma matricial (aquí W es una matriz diagonal) Todas estas funciones tienen en común que presentan bajos valores cuando la variable de entrada es muy grande en relación al valor que tomaría la función de coste cuadrática. El problema de todas ellas es que no existe una solución directa y hay que aplicar procedimiento iterativos (REGLA DELTA). Desarrollando se llega a El mínimo de J es 21

22 Regresión logística (I) Hasta ahora se han desarrollado modelos para determinar el valor de una determinada variable continua (modelo de regresión); qué modelo aplicamos cuando tenemos un problema de clasificación binaria?. Usamos entonces lo que se conoce como una regresión logística Este modelo es una caso particular de lo que se conoce como MODELO LINEAL GENERALIZADO y consisten en la aplicación de una función no lineal a una regresión múltiple Si se hace la siguiente transformación Odds Se llega a la siguiente relación lineal Podemos entonces aplicar todo lo aprendido de modelos lineales para la variable transformada. 22

23 Regresión logística (II) Existe una forma de obtener la regresión logística de manera probabilística: supongamos que tenemos un problema donde queremos asignar el vector de entrada X a dos posibles clases A y B. Aplicando Bayes. Si las distribuciones condicionadas son gaussianas, esto es, Entonces, si las dos distribuciones TIENEN LA MISMA VARIANZA se llega la ecuación de una regresión logística para el valor de la probabilidad condicionada P(A X). Aquí se tiene el significado de probabilidad que se le da a este modelo. Hay que destacar que, si los dos clases no tuvieran la mima varianza (hecho que ocurre casi siempre) la aplicación de la regresión logística tiene poco sentido desde esta aproximación. 23

24 Regresión no lineal La regresión logística es un claro ejemplo de que podemos realizar ajustes a funciones no lineales en las entradas pero sí lineales en los parámetros. Las siguientes funciones son ejemplos de este tipo de linealidad El problema que existe es que, a priori no conocemos el tipo de mapeo entre cada variable de entrada y la de salida. La solución que se recurre más a menudo es establecer gráficas bidimensionales/ tridimensionales entre variables de entrada y la de salida manteniendo el resto de variables a un valor constante. Pero esto tiene un problema; dependiendo de ese valor podemos encontrar una relación u otra. A modo de ejemplo en la siguiente función Como no podemos representar las tres variables de entrada y la de salida fijamos por ejemplo x1 a 2; qué ocurre con x2?. Y si tomamos x3 igual a 2?. Los modelos lineales se pueden obtener sin problemas sin embargo tienen serias limitaciones en cuanto a su capacidad de modelización de fenómenos como la saturación, histéresis, fenómenos de memoria, ec. 24

25 MASTER DE INGENIERÍA BIOMÉDICA. Métodos de ayuda al diagnóstico clínico. Tema 4: Modelos lineales. 25