Modelos de suavizado, aditivos y mixtos

Transcripción

1 Carmen Armero 26 de mayo de 2011

2 Modelos aditivos Regresión polinómica

3 Modelos aditivos, I Un modelo aditivo es un modelo lineal con un predictor lineal definido a través de una suma de funciones suaves de las covariables. (Y X, U, V, W, Z,...) Normal(µ, σ 2 ) µ = E(Y X, U, V, W, Z,...) µ = Xβ + f 1 (U) + f 2 (V ) + f 3 (W, Z) +... siendo: Y : variable respuesta X: matriz de diseño correspondiente a las covariables que definen las componentes paramétricas del modelo. β: vector de los coeficientes de regresión. U, V, W, Z,...: covariables f j (.): funciones suaves de las covariables, j = 1, 2, 3,...

4 Modelos aditivos, II Ventajas: modelos muy fleibles que permiten modelizar, a través de funciones suaves, relaciones de tipo no lineal entre la variable respuesta y las predictoras. Precio que tenemos que pagar: Estudio y representación de funciones suaves. Procedimientos de selección del grado de suavización de las funciones consideradas.

5 Regresión polinómica univariantes A lo largo de casi todo el tema trabajaremos con la situación más sencilla: Una única covariable, X, que supondremos que toma valores en el intervalo [0, 1]. La distribución de la variable respuesta es (Y i X i ) N(f ( i ), σ 2 ), con lo que: Y i = f ( i ) + ɛ i, i = 1,..., n siendo f una función suave y ɛ i variables aleatorias i.i.d. distribuidas según N(0, σ 2 ).

6 Regresión polinómica Para poder estimar la función f de la forma más sencilla posible deberíamos poder representar f de forma que Y i = f ( i ) + ɛ i, i = 1,..., n se convirtiera en un modelo lineal. Y ésto se puede hacer eligiendo una base de funciones de dimensión q que genere un subespacio de funciones que incluya a f como elemento y que pueda epresarse como: q f () = β j b j () siendo β j el parámetro, desconocido, asociado al elemento j, b j (), de dicha base de funciones. De esa forma: q Y i = β j b j () + ɛ i, i = 1,..., n j=1 j=1 se convierte en un modelo lineal de dimensión q. La propuesta más sencilla: bases de polinomios.

7 Regresión polinómica Ejemplo 1: Una base de polinomios, I Supongamos que f es un polinomio de grado 4 de forma que el espacio de polinomios de grado 4 contiene a f. Una base de este subespacio es: b 1 () = 1 b 2 () = b 3 () = 2 b 4 () = 3 b 5 () = 4 Con lo que el modelo: Y i = q j=1 β j b j ( i ) + ɛ i, i = 1,..., n se convierte en el modelo lineal de dimensión q = 5: Y i = β 1 + β 2 i + β 3 2 i + β 4 3 i + β 5 4 i + ɛ i, i = 1,..., n

8 Ejemplo 1: Una base de polinomios, II f () = Regresión polinómica b1()= b2()= b3()= b4()= b5()= f()

9 Ejemplo 1: Una base de polinomios, III f () = Regresión polinómica b1()= b2()= b3()= b4()= b5()= f()

10 Regresión polinómica Bases de polinomios Las bases de polinomios son muy útiles en aquellas situaciones en las que el objetivo se centra en las propiedades de f en la vecindad de una localización concreta. Pero cuando el objetivo es estudiar la función f en un dominio amplio no son adecuadas debido a su falta de robustez. Tienen muchos problemas de multicolinealidad.

11 Ejemplo 2: Regresión polinómica Regresión polinómica Modelo: Y i = q j=1 β j j 1 i + ɛ i, i = 1,..., n, con q = 2, 6, 9, 10, 11, y y y y y y

12 Regresión polinómica Recapitulemos... Regresión polinómica? No, gracias (en general, claro). Eisten otro tipo de bases de funciones que funcionen mejor? Si, un montón. Vale, pues seguimos...

13 Regresión polinómica Splines Un spline es una curva definida a trozos mediante polinomios. Los splines se utilizan para aproimar curvas con formas complicadas. Tienen una representación sencilla y son fáciles de implementar. Tienen buenas propiedades matemáticas. Producen buenos resultados con polinomios de grado bajo evitando así las oscilaciones, indeseables en la mayoría de las aplicaciones, que se producen con polinomios de grado elevado.

14 Regresión polinómica Bases de splines Muchas bases de splines y de muy diferente tipo Las más populares: Bases de polinomios truncados. Bases de splines cúbicos. Bases de B-splines. Bases de thin plate splines. En este tema sólo trabajaremos splines cúbicos, concretamente con una base que definiremos en las siguientes transparencias.

15 Regresión polinómica Splines cúbicos, I Un spline cúbico es una curva construida a partir de trozos de polinomios de grado 3 que se ensamblan perfectamente de forma que la curva que forman es continua hasta la segunda derivada. A las abcisas de los puntos en los que se unen las distintas bases (los trozos) se les llama nodos. Spline cúbico generado por 11 bases (trozos) y 12 nodos (10 de ellos interiores).

16 Splines cúbicos II: por qué splines cúbicos? Regresión polinómica Los elementos de una base de splines cúbicos son polinomios de grado 3. Se utilizan mucho porque tienen muy buenas propiedades matemáticas: son los polinomios de grado más pequeño que tienen segundas derivadas contínuas y puntos de infleión. f () = ; f () = ; f () = 6 2 y y y

17 Splines cúbicos, III Regresión polinómica Una de las bases de splines cúbicos más utilizadas basadas en q 2 nodos interiores, j, j = 1, 2,..., q 2, es: b 1 () = 1 b 2 () = b j+2 () = R(, j ), j = 1,..., q 2 siendo : R(, z) = ( [ (z 1/2) 2 1/12 ] [ ( 1/2) 2 1/12 ] /4 ] z 1/2) 4 1/2( z 1/2) 2 + 7/240 /24 La dimensión de la base, q, está determinada por el número, q 2, de nodos interiores que seleccionamos. Los dos primeros elementos de la base b 1 () = 1 y b 2 () = no dependen de los nodos elegidos y...modelo de regresión lineal simple! Con esta base de splines definimos f a través de un modelo lineal con matriz de diseño X con q columnas cuya i-ésima fila es: X i = [1, i, R( i, 1 ), R( i, 2 ),..., R( i, q 2 )]

18 Splines cúbicos, IV: Ejemplo 3, I Regresión polinómica Base de splines cúbicos basada en 2 nodos interiores, 1 = 1/3 y 2 b 1 () = 1, b 2 () = b 3 () = R(, 1/3), b 4 () = R(, 2/3) = 2/3, es: rk rk

19 Regresión polinómica Splines cúbicos, V: Ejemplo 3, II Base de splines cúbicos basada en 3 nodos interiores, 1 = 1/4, 2 = 2/4 y 3 = 3/4, es: b 1 () = 1, b 2 () = b 3 () = R(, 1/4), b 4 () = R(, 2/4), b 5 () = R(, 3/4) rk rk rk

20 Splines cúbicos, VI: Ejemplo 3, III Regresión polinómica Base de splines cúbicos basada en 4 nodos interiores, 1 = 1/5, 2 = 2/5, 3 = 3/5 y 4 = 4/5, es: b 1 () = 1, b 2 () = b 3 () = R(, 1/5), b 4 () = R(, 2/5), b 5 () = R(, 3/5), b 6 () = R(, 4/5) rk rk rk rk

21 Ejemplo de juguete, I y Regresión polinómica Vamos a utilizar un ejemplo de jugueta para ilustrar los conceptos que estamos introduciendo. Datos: <-c(0.1,0.2,0.4,0.5,0.7,0.9) y<-c(2,4,5,3,2,6) plot(,y, pch=16, col=red, ylim=c(0,8))

22 Ejemplo de juguete, II Regresión polinómica Vamos a utilizar un modelo de regresión con splines cúbicos basados en los nodos interiores 1 = 1/3 y 2 = 2/3. Con lo que el modelo lineal será: Y = β 1 + β 2 + β 3 R(, 1 = 1/3) + β 4 R(, 2 = 2/3) + ɛ La epresión general de la matriz de diseño será: X = }{{} 6 4 Y operando: X = }{{} R(0.1, 1/3) R(0.1, 2/3) R(0.2, 1/3) R(0.2, 2/3) R(0.4, 1/3) R(0.4, 2/3) R(0.5, 1/3) R(0.5, 2/3) R(0.7, 1/3) R(0.7, 2/3) R(0.9, 1/3) R(0.9, 2/3), ,

23 Regresión polinómica Ejemplo de juguete, III mod.1 <- lm(y X-1), modelo de regresión ajustado summary(mod.1) Estimate Std. Error t value Pr(> t ) X Coefficients: X ** X * X ** Signif. codes: 0 *** ** 0.01 * Residual standard error: 0.32 on 2 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 4 and 2 DF, p-value:

24 Regresión polinómica y Ejemplo de juguete, IV La función de regresión estimada es:

25 Regresión polinómica Ejemplo: Volvo, I Ejemplo: Volvo 1 Se piensa que los coches con grandes cilindradas se deterioran menos rápidamente que los que tienen pequeñas cilindradas. En un estudio sobre el tema se analizaron 19 motores Volvo 19 y se obtuvieron los siguientes datos: tama~no<-c(1.42,1.58,1.78,1.99,1.99,1.99,2.13,2.13,2.13,2.32,2.32, 2.32,2.32,2.32, 2.43,2.43,2.78,2.98,2.98) desgaste<-c(4.0,4.2,2.5,2.6,2.8,2.4,3.2,2.4,2.6,4.8,2.9,3.8,3.0, 2.7,3.1,3.3,3.0,2.8,1.7) Modelo: desgaste i = f (tamaño i ) + ɛ i, ɛ i i.i.d. N(0, σ 2 ) i = 1,..., n = 19 y vamos a modelizar f a través de una base de splines cúbicos. Trabajamos ahora con el script SVolvo1 para ilustrar el tratamiento del problema a través de un modelo de regresión con splines. Utilizaremos dos bases de distinta dimensión para entender un poco más el papel de los distintos elementos en el modelo.

26 Control del grado de suavización, I La elección del grado de suavización está controlada por la dimensión de la base de splines. Este es un tema importante. Necesitamos introducir criterios que nos permitan seleccionar de forma adecuada el grado de suavización del modelo. Antes de empezar a estudiar este tema vamos a recordar el método de mínimos cuadrados...que introdujimos en la asignatura de modelos lineales. La siguiente transparencia es un quasicopy-paste de la transparencia del tema 1 de la asignatura de Modelos lineales para el modelo de regresión lineal simple en la que introducíamos el método de mínimos cuadrados.

27 Control del grado de suavización, II Quasi-copy-paste de Estimación: método de mínimos cuadrados, I A partir de la información proporcionada por n observaciones emparejadas {(X i, Y i ), i = 1,..., n} el método de los mínimos cuadrados considera la diferencia entre cada observación Y i de la variable respuesta y su correspondiente media, β 1 + β 2 X i, a través del estadístico: Q(β 1, β 2 ) = n i=1 (Y i (β 1 + β 2 X i )) 2 y elige como estimadores de β 1 y β 2 aquellos valores que minimizan el valor de Q(β 1, β 2 ). Dicho proceso de minimización (función de dos variables) proporciona como estimadores de ambos parámetros aquellos valores que cumplen las ecuaciones: n i=1 Y i = nβ 1 + β 2 n i=1 X i n i=1 X i Y i = β 1 n i=1 X i + β 2 n i=1 X 2 i que son conocidas como ecuaciones normales.

28 Control del grado de suavización, III Pero nosotros ahora no estamos trabajando con el modelo de regresión lineal simple sino con un modelo de regresión lineal múltiple en el que la matriz de diseño está definida por los elementos de una base de splines. Con lo que ahora deberíamos modificar la descripción anterior como: A partir de la información proporcionada por n observaciones emparejadas {(X i, Y i ), i = 1,..., n} el método de los mínimos cuadrados considera la diferencia entre cada observación Y i de la variable respuesta y su correspondiente media (o función de regresión), β 1 b 1 ( i ) + β 2 b 2 ( i ) β q b q( i ), a través del estadístico: Q(β 1,..., β q) = n i=1 (Y i (β 1 b 1 ( i ) + β 2 b 2 ( i ) β q b q( i )) 2 y elige como estimadores de β 1,..., β q, aquellos valores que minimizan el valor de Q(β 1,..., β q). Para aligerar un poco la notación a partir de ahora la epresión anterior la representaremos como: Q(β) = Y Xβ 2 siendo β = (β 1, β 2,..., β q) T, Y = (Y 1,..., Y n) T y X la matriz de diseño definida por la base de splines cuyas fila i-ésima es de la forma: X i = [b 1 ( i ), b 2 ( i ),..., b q( i )]

29 Control del grado de suavización: Criterio 1 Criterio 1: Reducir la base de splines. Una posibilidad que tenemos para elegir el grado de suavización es a través de contrastes de hipótesis en los que se valoren modelos con mayor o menor grado de suavización, es decir, con mayor o menor número de nodos. Pero esta propuesta es problemática porque, por ejemplo, un modelo basado en q 1 nodos igualmente espaciados no está encajado en un modelo basado en q nodos. Modelo 1: Y = β 1 + β 2 + β 3 R(, 1 = 1/2) + ɛ Modelo 2: Y = β 1 + β 2 + β 3 R(, 1 = 1/3) + β 4 R(, 1 = 2/3) + ɛ Podríamos pensar en un proceso de selección de variables backward, empezando con un grid amplio de nodos e ir eliminando nodos. No es un proceso recomendable porque el modelo resultante es, en general, bastante pobre ya que el ajuse en estos modelos depende fuertemente de la localización elegida para los nodos. Por lo tanto el criterio 1 NO parece adecuado.

30 Control del grado de suavización: Splines penalizados, I. Criterio 2: Utilizar splines penalizados. Mantenemos fija la base de splines y controlamos el grado de suavización del modelo añadiendo una penalización a la función objetivo del método de mínimos cuadrados: Q(β) = Y Xβ 2 Q(β) = Y Xβ 2 + λ Penalización λ es el parámetro de suavización. Cuando λ = 0 estamos en el caso particular en el que no hay penalización y a medida que λ aumenta aumentamos la intensidad de la penalización. Cuando λ tiende a el modelo se convierte prácticamente en un modelo de regresión lineal simple. Penalización = 1 0 f () d(). Cual sería la penalización si f () = β 1 + β 2?, y si f () = β 1 + β 2 + β β 4 4?, Modelos muy montañosos-inestables, modelos muy penalizados.

31 Control del grado de suavización: Splines penalizados, II. Penalización = 1 0 f () d(). Felizmente puede epresarse como: Penalización = 1 0 f () d() = β T S β siendo S una matriz de orden q q con coeficientes conocidos que dependen de la base elegida y a la que se conoce como matriz de penalización. Mínimos cuadrados penalizados: Q(β) = Y Xβ 2 +λ β T S β Estimador penalizado de β: ˆβ penal = (X T X + λs) 1 X T Y Matriz de proyección del modelo penalizado: H penal = X(X T X + λs) 1 X T Estimación de la función de regresión: X ˆβ penal = H penal Y

32 Control del grado de suavización: Splines penalizados, III. Modelo lineal: Y = Xβ + ɛ siendo X la matriz de diseño definida por una base de splines. Comparamos: no penalizados Q(β) = Y Xβ 2 ˆβ = (X T X) 1 X T Y H = X(X T X) 1 X T penalizados Q(β) = Y Xβ 2 +λ β T S β ˆβpenal = (X T X + λs) 1 X T Y H penal = X(X T X + λs) 1 X T siendo λ el parámetro de suavizado y S la matriz de penalización.

33 Control del grado de suavización: Splines penalizados, IV. Modelo: Y = Xβ + ɛ siendo X la matriz de diseño definida por una base de splines. La epresión de la matriz de penalización, S, depende de la base de splines que consideremos. Si trabajamos con la base de splines cúbica de dimensión q introducida anteriormente, la matriz de penalización S es de orden q q y se define como: Las dos primeras columnas y filas están todas ellas formadas por ceros (no hay penalización al término paramétrico de la base). S j+2,k+2 = R(j, k ), j, k = 1,..., q 2

34 Ejemplo de juguete, V Estamos trabajando un modelo de regresión con splines cúbicos basados en los nodos interiores 1 = 1/3 y 2 = 2/3. Datos: <-c(0.1,0.2,0.4,0.5,0.7,0.9) y<-c(2,4,5,3,2,6) Vamos a calcular la matriz de penalización S. Se trata de una matriz de orden 4 4 con elementos S = }{{} 4 4 Y operando: S = }{{} R(1/3, 1/3) R(1/3, 2/3) 0 0 R(2/3, 1/3) R(3/3, 2/3), ,

35 Control del grado de suavización: Splines penalizados, V. El modelo de regresión lineal penalizado Y = Xβ + ɛ, siendo X la matriz de diseño definida por una base de splines y penalización λβ T Sβ. Es equivalente al modelo de splines de regresión lineal no penalizados siendo: Y = X β + ɛ, Y = (Y, 0, 0,..., 0) T vector de dimensión (n + q) 1, }{{} q [ ] X X = B matriz de diseño de orden (n + q) q λ B es una matriz que cumple B T B = S y que puede obtenerse a través de la descomposición de Cholesky. λ es el parámetro de penalización.

36 Ejemplo de juguete, VI El modelo de regresión penalizado que hemos escrito en la transparencia Ejemplo de juguete, V es equivalente al modelo de splines de regresesión no penalizados: Y = X β + ɛ, siendo: Y }{{} 10 1 = Y 1 Y 2 Y 3 Y 4 Y 5 Y , X = }{{} R(0.1, 1/3) R(0.1, 2/3) R(0.2, 1/3) R(0.2, 2/3) R(0.4, 1/3) R(0.4, 2/3) R(0.5, 1/3) R(0.5, 2/3) R(0.7, 1/3) R(0.7, 2/3) R(0.9, 1/3) R(0.9, 2/3) λ B(1/3, 1/3) λ B(1/3, 2/3) λ B(2/3, 1/3) λ B(3/3, 2/3)

37 Ejemplo de juguete, VII El modelo de regresión penalizado que hemos escrito en la transparencia Ejemplo de juguete, V es equivalente al modelo de regresión con splines: Y = X β + ɛ, siendo: Y }{{} 10 1 = Y 1 Y 2 Y 3 Y 4 Y 5 Y , X = }{{} λ λ λ λ ,

38 Ejemplo de juguete, VIII y y y y y y El modelo de regresión penalizado del Ejemplo de juguete con λ = 0.1, 0.01, 0.001, , ,

39 Control del grado de suavización: Splines penalizados, V, otra vez. El modelo de regresión lineal penalizado Y = Xβ + ɛ, siendo X la matriz de diseño definida por una base de splines y penalización λβ T Sβ. Es equivalente al modelo de regresión lineal no penalizado siendo: Y = X β + ɛ, Y = (Y, 0, 0,..., 0) T vector de dimensión (n + q) 1, }{{} q [ ] X X = B matriz de diseño de orden (n + q) q λ B una matriz que cumple B T B = S y que puede obtenerse a través de la descomposición de Cholesky. λ el parámetro de suavización.

40 , I El parámetro de suavización, λ, juega un papel muy importante en el grado de suavización del modelo. Es un parámetro desconocido que deberemos estimar adecuadamente. Recordamos que si λ es grande el modelo suaviza los datos en eceso mientras que si λ es pequeño los datos estarán muy poco suavizados. En ambos casos, la función de regresión estimada, que representaremos ahora como ˆf (), estará lejos de la verdadera función f (). Un criterio sensato para estimar el parámetro de penalización sería elegir aquel valor de λ que minimizase: M = 1 n n i=1 (f ( i ) ˆf ( i )) 2, pero como f () es desconocida no podemos utilizarlo. Pero esta es una buena idea que puede aprovecharse, y a partir de ella, introduciendo algunas hipótesis y aproimaciones, se obtiene el estadístico general de validación cruzada: V g = n n i=1 (y i ˆf ( i )) 2 traza(i H) que elige como mejor estimador de el valor que minimiza V g, siendo H la matriz de proyección del modelo.

41 y Ejemplo de juguete, IX Estimación del parámetro de suavizado, ˆλ= (ojo) Estadístico GVC y estimación de la función de regresión del modelo de splines penalizados. Estadístico GVC V i

42 Ejemplo: Volvo, II. Ejemplo: Volvo 2 Se piensa que los coches de grandes cilindradas se deterioran menos ràpidamente que los que tienen pequeñas cilindradas. En un estudio sobre el tema se analizaron 19 motores Volvo 19 y se obtuvieron los siguientes datos: tama~no<-c(1.42,1.58,1.78,1.99,1.99,1.99,2.13,2.13,2.13,2.32,2.32, 2.32,2.32,2.32, 2.43,2.43,2.78,2.98,2.98) desgaste<-c(4.0,4.2,2.5,2.6,2.8,2.4,3.2,2.4,2.6,4.8,2.9,3.8,3.0, 2.7,3.1,3.3,3.0,2.8,1.7) Modelo: desgaste i = f (tamaño i ) + ɛ i, ɛ i i.i.d. N(0, σ 2 ) i = 1,..., n = 19 y vamos a modelizar f a través de una base de splines cúbicos. Trabajamos ahora con el script SVolvo2 para ilustrar el tratamiento del problema a través de un modelo de regresión con splines penalizados. Utilizaremos dos bases de distinta dimensión para entender un poco más el papel de los distintos elementos en el modelo.

43 , I Para no hacerlo todo mucho más complicado a nivel formal suponemos que el modelo aditivo con varias variables eplicativas incluye sólo dos variables predictoras. En concreto, estudiaremos el comportamiento de una variable respuesta Y a través de las variables predictoras X y Z según el modelo de estructura aditiva: Y i = f 1 ( i ) + f 2 (z i ) + ɛ i siendo: f 1 y f 2 son funciones suaves. ɛ i : variables i.i.d con distribución N(0, σ 2 ) Suponemos por simplicidad que todos los valores de X y Z pertenecen al intervalo [0, 1] Nota 1 sobre la hipótesis de efectos aditivos de X y Z: f 1 () + f 2 (z) es un caso especial, bastante restrictivo, de la función general f (, z). Nota 2: como el modelo contiene más de una función aparece un problema de identificabilidad ya que, por ejemplo, si añadimos una constante a f 1 y sustraemos la misma constante a f 2 el modelo no cambia.

44 Modelos aditivos con variables predictoras, II Despues de resolver el problema de la identificabilidad del mpdelo, el modelo aditivo con varias variables eplicativas puede estudiarse a través del mismo tipo de análisis que hemos aprendido en el tema anterior cuando trabajábamos con una única variable predictiva: Representación de las funciones suaves a través de bases de funciones, en particular, splines. Estimación a través del método de mínimos cuadrados penalizados. Selección del grado de suavización del modelo a través de procedimientos de validación cruzada. El siguiente material profundiza en estos temas.

45 Modelos aditivos con variables predictoras, III Utilizamos dos variables eplicativas, X y Z, para analizar una variable respuesta Y a través del modelo aditivo: Y i = f 1 ( i ) + f 2 (z i ) + ɛ i siendo (Y i X 1i, X 2i ) N(f 1 ( i ) + f 2 (z i ), σ 2 ), i = 1,..., n. Podemos representar cada una de estas dos funciones a través de una base de splines penalizados. Si utilizamos la base cúbica que conocemos del tema anterior: q 1 2 f 1 () = δ 1 + δ 2 + j=1 q 2 2 f 2 (z) = γ 1 + γ 2 z + j=1 δ j+2 R(, j ) γ j+2 R(z, z j ) siendo γ j y δ j los parámetros desconocidos de la función f 1 y f 2 y j y z j los nodos interiores para cada una de las dos bases consideradas.

46 Modelos aditivos con variables predictoras, IV El problema de la falta de identificabilidad en el modelo aditivo se genera porque δ 1 y γ 1 están confundidos. La forma más sencilla de resolver este problema es considerar que uno de ellos es cero, por ejemplo γ 1. Con esta condición el modelo aditivo anterior puede escribirse como un modelo lineal Y = X β + ɛ con: Matriz de diseño X de orden n (q 1 + q 2 1) cuya fila i-ésima es de la forma: X i = [1, i, R( i, 1 ), R( i, 2 ),..., R( i, q 1 2 ), z i, R(z i, z 1 ),..., R( i, q 2 2 )] Vector de parámetros β = (δ 1, δ 2,..., δ q1, γ 2, γ 3,..., γ q2 ) T La suavización de cada una de las funciones f 1 y f 2 viene dada por la penalización: 1 1 f 1 ()2 d = β T S 1 β, f 1 ()2 d = β T S 2 β 0 0 siendo S 1 y S 2 matrices de orden (q 1 + q 2 1) (q 1 + q 2 1) cuyos elementos son todos cero ecepto para S 1 (j + 2, k + 2) = R( j, k ), j, k = 1,..., q 1 2 y S 2 (j + q 1 + 1, k + q 1 + 1) = R(z j, z k ), j, k = 1,..., q 2 2

47 Modelos aditivos con variables predictoras, IV La estimación de los parámetros del modelo, β, la obtenemos minimizando: Y X β 2 + λ 1 β T S 1 β + λ 2 β T S 2 β siendo λ 1 y λ 2 los parámetros de suavizado que controlan el peso que debe asignarse para que f 1 y f 2 sean suaves, en relación al objetivo general que es acercarse lo más posible a los datos. Por el momento supondremos que ambos parámetros son conocidos. Si definimos S = λ 1 S 1 + λ 1 S 1 el modelo penalizado anterior es equivalente al modelo lineal no penalizado: Y = X β + ɛ, siendo: Y = (Y, 0, 0,..., 0) T vector de dimensión (n + q 1 + q 2 1) 1, }{{} q 1 +q 2 1 [ ] X X = matriz de diseño de orden (n + q B 1 + q 2 1) (q 1 + q 2 1) B una matriz de orden (q 1 + q 2 1) (q 1 + q 2 1) que cumple B T B = S y que puede obtenerse a través de la descomposición de Cholesky.

48 Ejemplo: Arbres, I Los siguientes datos corresponden a observaciones de la altura, circunferencia y volumen de 31 cerezos que han sido talados previamente. Circun Altura Volumen Circun Altura Volumen

49 Ejemplo: Arbres, II Modelo: Volumen i = f 1 (Circun i ) + f 2 (Altura i ) + ɛ i, ɛ i i.i.d. N(0, σ 2 i = 1,..., n = 31 Trabajamos ahora con el script Arbres para para ilustrar el tratamiento del problema a través de un modelo de regresión con splines penalizados. El documento con todo el script y los resultados tambien se llama Arbres pero está en formato doc.