Regresión Lineal Simple y Múltiple Regresión Logística

Transcripción

1 Regresión Lineal Simple y Múltiple Regresión Logística Miguel González Velasco Departamento de Matemáticas. Universidad de Extremadura MUI en Ciencias de la Salud MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 1 / 33

2 Índice 1 Introducción 2 Regresión Lineal Simple y Correlación Lineal 3 Regresión Lineal Múltiple 4 Regresión Logística MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 2 / 33

3 Introducción Objetivos Desarrollar un modelo que permita explicar la relación entre una variable respuesta, Y, y una variable explicativa o regresora, X. Modelo de Regresión Lineal Simple. Estudiar cómo determinar si existe relación entre dos variables cuantitativas X e Y, así como definir coeficientes para, caso de existir, determinar la fuerza de dicha asociación. Coeficientes de Correlación. Generalizar los modelos anteriores al caso de más de una variable explicativa o regresora. Modelo de Regresión Lineal Múltiple. Introducir el Modelo de Regresión Logística. MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 3 / 33

4 Modelo de Regresión Lineal Simple Planteamiento general Supongamos que estamos interesados en determinar la relación entre las variables: Y, variable aleatoria sobre una población (dependiente o respuesta). X variable que influye en Y, llamada predictora, explicativa o regresora y definida sobre la misma población que Y. La distribución de probabilidad de Y dependerá del valor que tome X. No obstante, Y no está completamente determinada por X, ya que hay otras influencias aleatorias. Esto se expresa mediante la ecuación: Y = f (X) + E (ecuación de regresión de Y sobre X) E, variable aleatoria no observable con media E[E] = 0 (error o ruido) MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 4 / 33

5 Modelo de Regresión Lineal Simple Regresión Lineal Simple Si f es una recta, entonces la regresión de Y sobre X es lineal. Y = α + βx + E En la práctica, la ecuación anterior es imposible de determinar. Nuestro problema se limita a la Inferencia (estimación puntual, intervalos de confianza y contraste de hipótesis) sobre los parámetros α y β, en base a una serie de datos observados de este modelo. Intuitivamente, la pendiente de la recta, β, marca el crecimiento (o decrecimiento) de la variable Y por cada unidad que crece la variable X. MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 5 / 33

6 Modelo de Regresión Lineal Simple Otros parámetros: coeficiente de correlación lineal Algunos parámetros cuantificarán el grado de relación entre X e Y y el sentido de la misma. Son la Covarianza Poblacional (σ xy ) y el Coeficiente de Correlación Lineal (ρ). Se relacionan mediante la expresión ρ = σ xy σ x σ y, 1 ρ 1 donde σ 2 x, σ 2 y denotan las varianzas poblacionales. Se verifica que Si β, σ xy, ρ < 0, la relación lineal es negativa (cuando crece X, decrece Y). Si β, σ xy, ρ = 0, no hay relación lineal, las variables son incorreladas, es decir, el comportamiento de X no afecta al de Y. Si β, σ xy, ρ > 0, la relación lineal es positiva (cuando crece X también crece Y). ρ = 1 y ρ = 1 indican una relación lineal determinística entre X e Y, con ausencia de aleatoriedad. MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 6 / 33

7 Modelo de Regresión Lineal Simple: Inferencia Modelo Y = α + βx + E, E N(0, σ 2 ) Muestra La inferencia se basará en una muestra aleatoria simple ambas variables X e Y, medidas sobre los mismos individuos, es decir en una muestra aleatoria de la población bidimensional (X, Y) Y y 1 y 2 y 3... y n X x 1 x 2 x 3... x n MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 7 / 33

8 Modelo de Regresión Lineal Simple: Inferencia A fin de estudiar la evolución del ángulo de Clarke (en grados) con la edad del niño (sano) se obtuvieron ambos datos en un grupo de 16 niños (entre 3 y 10 años) elegidos al azar: Edad (X) Ángulo (Y) Representamos las dos variables en la nube de puntos o diagrama de dispersión Y=Angulo de Clark X=Edad MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 8 / 33

9 Modelo de Regresión Lineal Simple: Inferencia Estimación puntual Los estimadores de los parámetros del modelo son: Estimador puntual de β: b = S xy S xx = (xi x)(y i ȳ) (xi x) 2 = Estimador puntual de α: a = ȳ b x. xi y i ( xi ) ( yi ) /n x 2 i ( xi ) 2 /n. Recta de regresión muestral: y = a + bx. La recta de regresión lineal estimada de Y sobre X es la recta que mejor se ajusta a la nube de puntos de un determinado conjunto de datos (ajuste de mínimos cuadrados) Estimador puntual de σ 2 : s 2 = n 1 n 2 i=1 (y i (a + bx i )) 2 = n 1 2 [S yy bs xy ], siendo S yy = (y i ȳ) 2 = y 2 i ( y i ) 2 /n. MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 9 / 33

10 Modelo de Regresión Lineal Simple: Inferencia n = 16 P i xi = 104, P i x2 i = 760, P i yi = 538, P i y2 i = 18826, P i xiyi = 3739 S xx = P i (xi x)2 = P i x2 i ( P i xi)2 /n = /16 = 84 S yy = /16 = S xy = P i xiyi (P xi)(p i i yi)/n = /16 = 242 x = 6.5, ȳ = b = Sxy = 242 = 2.88, a = = 14.9 S xx 84 y = x s 2 = 1 1 (Syy bsxy) = ( ) = n 2 14 MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 10 / 33

11 Modelo de Regresión Lineal Simple: Inferencia Y=Angulo de Clark X=Edad MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 11 / 33

12 Modelo de Regresión Lineal Simple: Inferencia Existe relación entre la edad y el ángulo de Clarke?. Contraste de hipótesis MODELO: Y = α + βx + E, E sigue distribución N(0,σ 2 ) H 0 : β = 0 H 1 : β 0 El estadístico de contraste es: H 0 : no hay relación lineal entre X e Y H 1 : sí hay relación lineal entre X e Y t exp = b s/ S xx Rechazamos H 0 al nivel α si t exp > t α (n 2), siendo t α (n 2) el cuantil de orden 1 α/2 de una distribución t-student con n 2 grados de libertad. MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 12 / 33

13 Modelo de Regresión Lineal Simple: Inferencia Existe relación entre la edad y el ángulo de Clarke?. t exp = MODELO: Y = α + βx + E, E sigue distribución N(0,σ 2 ) b s/ 2.88 = = S xx 2.754/84 H 0 : β = 0 vs. H 1 : β 0 Se rechaza H 0 al nivel de significación α si t exp > t α (n 2) α = t (14) = 4.14 t exp > t (14) H 1 p < MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 13 / 33

14 Modelo de Regresión Lineal Simple: Inferencia Cuánto varía el ángulo por cada año que pasa de edad? b = 2.88 MODELO: Y = α + βx + E, E sigue distribución N(0,σ 2 ) Intervalos de confianza A un nivel de confianza 1 α: Para β: β b ± t α (n 2) s Sxx Para α: α a ± t α (n 2)s 1 n + S x2 xx 1 α = β 2.88 ± t 0.05 (14) = 2.88 ± 0.39 = [2.49, 3.27] CON UNA 84 CONFIANZA DEL 95% MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 14 / 33

15 Modelo de Regresión Lineal Simple: Correlación Lineal Cómo podemos medir el grado de la relación entre la edad y el ángulo de Clarke? Grado de relación entre las variables Si aceptamos H 0 : β = 0 (es decir, no podemos encontrar evidencias estadísticas de que no sea cierta) la variable X desaparece de la ecuación Y = α + βx + E, o sea, toda la variabilidad de Y es aleatoria. Si aceptamos H 1 : β 0, entonces parte de la variabilidad de Y es debida a X y habrá relación entre X e Y. El grado de relación y el signo de la misma nos lo estima el coeficiente de correlación lineal muestral ˆρ = r = S xy. Este coeficiente está entre -1 y 1, Sxx S yy y por tanto su magnitud puede ser comparada con estas cantidades. Así su proximidad a -1 ó a 1 nos da idea de una asociación lineal fuerte mientras que su proximidad a 0 de una asociación débil. Su signo nos indica si la relación es negativa o positiva. MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 15 / 33

16 Modelo de Regresión Lineal Simple: Correlación Lineal Cómo podemos medir el grado de la relación entre la edad y el ángulo de Clarke? r = S xy 242 = = Sxx S yy Contraste de hipótesis A menudo es útil contrastar El estadístico de contraste es H 0 : ρ = 0 H 1 : ρ 0 t exp = Rechazamos H 0 al nivel α si t exp > t α (n 2) (n 2)r 2 1 r 2 Este contraste es equivalente al de H 0 : β = 0 y por tanto requiere la hipótesis de normalidad. MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 16 / 33

17 Modelo de Regresión Lineal Simple: Correlación Lineal Existe relación lineal entre la edad y el Ángulo de Clarke? H 0 : ρ = 0 vs. H 1 : ρ 0 t exp = (n 2)r r 2 = = Se rechaza H 0 al nivel de significación α si t exp > t α (n 2) α = t (14) = 4.14 t exp > t (14) H 1 p < MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 17 / 33

18 Modelo de Regresión Lineal Simple: Correlación Lineal Qué porcentaje de la variabilidad del ángulo queda explicada por la relación que mantiene con la variable edad? Coeficiente de determinación Al valor r 2 se le denomina coeficiente de determinación. Mide el grado de asociación lineal (sin signo) entre X e Y. Intuitivamente, r 2 se puede interpretar como el tanto por 1 de la variabilidad de Y que queda explicada por la variable X. Qué porcentaje de la variabilidad del ángulo queda explicada por la relación que mantiene con la variable edad? r 2 = MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 18 / 33

19 Modelo de Regresión Lineal Simple: Predicciones Qué valor del ángulo tendría un niño con 12 años? Y uno de 5 años? Predicciones La recta de regresión estimada Y = a + bx puede ser utilizada para realizar predicciones. Sea x 0 un valor dentro del rango de valores muestreados de la variable X (para valores fuera de este rango no es conveniente hacer predicciones), que se corresponde con un valor y 0 de la variable Y que no hemos observado. Aunque no conozcamos y 0, la recta anterior nos permite hacer inferencia sobre este valor. Así su estimación será ŷ 0 = a + bx 0 Si además E N(0, σ) podemos dar un intervalo de confianza al nivel 1 α para y 0: " ŷ 0 ± t α(n 2) ss # (x0 x)2 + n S xx Estas predicciones sólo serán fiables si hemos probado que hay relación entre las variables y el coeficiente de determinación r 2 es alto. MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 19 / 33

20 Modelo de Regresión Lineal Simple: Predicciones Qué valor del ángulo tendría un niño con 12 años? Y uno de 5 años? Para 12 no se debe calcular pues el rango de valores muestreados de la variable Edad es x 0 = 5 ŷ 0 = = 29.3 Intervalo de confianza para una predicción al nivel 1 α = 0.95: ( y ± t 0.05 (14) ) (5 6.5)2 + = 29.3 ± 3.7 = [25.6, 33.0] CON UNA CONFIANZA DEL 95% MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 20 / 33

21 Modelo de Regresión Lineal Simple: Predicciones Y=Angulo de Clark X=Edad MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 21 / 33

22 Correlación No Paramétrica Coeficiente de correlación de Spearman Qué podemos decir si no tenemos la hipótesis de normalidad? COEFICIENTE DE CORRELACIÓN DE SPEARMAN: 6 r s = 1 n(n 2 1) n (R i R i) 2, i=1 siendo (R i, R i), i = 1,..., n los pares de rangos asociados a las observaciones (x i, y i ), i = 1,..., n H 0 : X, Y independientes vs. H 1 : X, Y relación monótona Si n 50, se rechaza H 0 al nivel de significación α si r s > r α, r α en la tabla de Spearman. Si n > 50, se rechaza H 0 al nivel de significación α si r s n 1 > z α, siendo z α el cuantil de orden α/2 de una distribución Normal estándar. MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 22 / 33

23 Correlación No Paramétrica (1.5) (1.5) (3.5) (3.5) (5.5) (5.5) (7.5) (7.5) (9.5) (9.5) X Y (2) (1) (4) (3) (7) (6) (8) (5) (9.5) (9.5) (11.5) (11.5) (13.5) (13.5) (15.5) (15.5) X Y (11) (12.5) (12.5) (14) (16) (15) R i R i R i - R i r s = 1 n(n 2 1) = 1 n (R i R i) 2 i=1 6 16(16 2 1) (( 0.5) ) = MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 23 / 33

24 Correlación No Paramétrica COEFICIENTE DE CORRELACIÓN DE SPEARMAN: r s = H 0 : X, Y independientes vs. H 1 : X, Y relación monótona Se rechaza H 0 al nivel de significación α si r s > r α (n) r α (n) en la tabla de Spearman α = r (16) = r s > r (16) H 1 p < MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 24 / 33

25 Modelo de Regresión Lineal Múltiple Definición Variable Respuesta: Y Variables Regresoras: X 1, X 2,..., X k Relación Variable Respuesta - Variables Regresoras: o equivalentemente Y = β 0 + β 1 X β k X k + E, E[E] = 0 E[Y X 1 = x 1,..., X k = x k ] = β 0 + β 1 x β k x k Distribución de Probabilidad Variable de Error o de la Respuesta: Distribución Normal E N(0, σ 2 ) MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 25 / 33

26 Modelo de Regresión Lineal Múltiple Muestra Variable Respuesta: Y Variables Regresoras: X 1, X 2,..., X k Datos: Y X 1 X 2... X k Y 1 x 11 x x 1k Y 2 x 21 x x 2k Inferencia Y n x n1 x n2... x nk Estimación: parámetros β 0... β k Test de Hipótesis: Modelo adecuado: H 0 : β 1 =... = β k = 0 Parámetros del modelo: Para cada i = 1,..., k, H 0 : β i = 0 Ajuste del Modelo: Coeficientes R 2 y R 2 -ajustado. Diagnosis: Residuos. Selección de Variables: Métodos Forward y Backward. MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 26 / 33

27 Modelo de Regresión Logística Simple Definición Variable Respuesta Dicotómica: Y = 1 si ocurre un determinado suceso; Y = 0 si no ocurre dicho suceso. Y sigue una distribución de Bernoulli. Suceso = muerte, curación, enfermedad,... Variable Regresora: X. p x = E[Y X = x] prob. de que ocurra el suceso cuando X = x 1 p x = 1 + exp( (β 0 + β 1 x)) ( ) px log = β 0 + β 1 x 1 p x p x 1 p x = exp(β 0 + β 1 x) MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 27 / 33

28 Modelo de Regresión Logística Simple Muestra Muestra aleatoria de la población bidimensional (X, Y) Y y 1 y 2 y 3... y n X x 1 x 2 x 3... x n Inferencia Estimación: parámetros β 0, β 1 Test de Hipótesis: Adecuación del Modelo: Test de Hosmer-Lemeshow Parámetros del modelo: Para cada i = 0, 1, H 0 : β i = 0 Ajuste del Modelo: Coeficiente R 2 de Nagelkerke. MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 28 / 33

29 Modelo de Regresión Logística Simple Bioensayos: Modelos Dosis-Respuesta Variable Respuesta Dicotómica: Y = 1 si ocurre un determinado suceso; Y = 0 si no ocurre dicho suceso. Y sigue una distribución de Bernoulli. Suceso = muerte, curación, enfermedad,... Variable Regresora: X = dosis de una sustancia. p x = E[Y X = x] prob. de que ocurra el suceso cuando X = x 1 p x = 1 + exp( (β 0 + β 1 x)) ( ) px log = β 0 + β 1 x 1 p x p x 1 p x = exp(β 0 + β 1 x) MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 29 / 33

30 Modelo de Regresión Logística Simple Bioensayos: Modelos Dosis-Respuesta. Ejemplo Los siguientes datos corresponden un experimento efectuado con una serie de grupos de ratas que fueron expuestas a diferentes niveles de concentración de ETU (Ethylene thiourea) observándose el número de ratas que desarrollaron tumores tiroideos (Graham et al. (1975)). Datos: Dosis Muestra Tumor MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 30 / 33

31 Modelo de Regresión Logística Simple Bioensayos: Modelos Dosis-Respuesta. Ejemplo Los siguientes datos corresponden un experimento efectuado con una serie de grupos de ratas que fueron expuestas a diferentes niveles de concentración de ETU (Ethylene thiourea) observándose el número de ratas que desarrollaron tumores tiroideos (Graham et al. (1975)). Datos: Dosis Muestra Tumor MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 31 / 33

32 Modelo de Regresión Logística Múltiple Definición Variable Respuesta Dicotómica: Y = 1 si ocurre un determinado suceso; Y = 0 si no ocurre dicho suceso. Y sigue una distribución de Bernoulli. Variables Regresoras: X 1,..., X k. X = (X 1,..., X k ) x = (x 1,..., x k ) E[Y X = x] = p x prob. de que ocurra el suceso cuando X = x p x = ( ) 1 px log = β 0 +β 1 x β k x k 1 + exp( (β 0 + β 1 x β k x k )) 1 p x p x 1 p x = exp(β 0 + β 1 x β k x k ) MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 32 / 33

33 Modelo de Regresión Logística Múltiple Muestra Variable Respuesta: Y Variables Regresoras: X 1, X 2,..., X k Datos: Y X 1 X 2... X k Y 1 x 11 x x 1k Y 2 x 21 x x 2k Inferencia Y n x n1 x n2... x nk Estimación: parámetros β 0... β k Test de Hipótesis: Adecuación del Modelo: Test de Hosmer-Lemeshow Parámetros del modelo: Para cada i = 1,..., k, H 0 : β i = 0 Ajuste del Modelo: Coeficiente R 2 de Nagelkerke. Selección de Variables: Métodos Forward y Backward. MUI en Ciencias de la Salud (UEx) Regresión Lineal y Logística Miguel González Velasco 33 / 33