e i y i y i y i 0 1 x 1i 2 x 2i k x ki

Transcripción

1 Demostracioes de Rgresió múltiple El modelo que se platea e regresió múltiple es: y i 0 1 x 1i x i k x ki u i dode x 1, x,,x k so las variables idepedietes o explicativas. La variable respuesta depede de las variables explicativas y de ua compoete de error, u i que se distribuye como ua ormal de media cero y variaza costate. u i N0, El ajuste del modelo se realiza por míimos cuadrados o máxima verosimilitud. E el caso de distribució ormal de errores ambos métodos coicide como ya se vió e Regresió Simple. Deomiado y i 0 1 x 1i x i k x ki al valor que el modelo estimado predice para la observació y i,elerrorcometidoeesaprevisióes: e i y i y i y i 0 1 x 1i x i k x ki dode 0, 1,, k so los valores estimados del modelo. El criterio de míimos cuadados asiga a 0, 1,, k el valor que miimiza la suma de errores al cuadrado de todas las observacioes. Vamos a trabajar e forma matricial. Notacioes y 1 y 1 y y Y y y, Y 1 k, 1

2 e e 1 e e X es la deomiada matriz de diseño, de dimesió k 1. 1 x 11 x 1 x k1 X 1 x 1 x x k 1 x 1 x x k 1,X 1, X,X k x 11 Siedo X 1 x 1 x 1 El modelo puede escribirse e forma matricial como: Y X U Y el modelo estimado Y Xe Ajuste por míimos cuadrados e i y i y i y i 0 1 x 1i x i k x ki dode 0, 1,, k so los valores estimados del modelo. El criterio de míimos cuadados asiga a 0, 1,, k el valor que miimiza la suma de errores al cuadrado de todas las observacioes. La suma de errores es: S i1 e i y i 0 1 x 1i x i k x ki i1 Para calcular el míimo de esta ecuació, hay que derivar respecto de 0, 1,, k. La solució que se obtiee debe expresarse e térmios matriciales y es: S X Y X Y X X X Y X X X X 1 X Y dode represeta u vector columa de dimesió k 1 que cotiee los parámetros. Es

3 importate otar que X X es ua matriz simétrica y para que sea ivertible su rago (que coicide co el rago de X debe ser máximo, es decir k1. 1 k La variaza residual tiee la expresió. s R e i1 i k 1 No vamos a demostrar que este estimador es cetrado para. Relacioes etre las variables. X X 1 X Y Y X XX X 1 X Y HY Dode la matriz H es idempotete, simétrica y del mismo rago que X, k 1. H XX X 1 X H.H XX X 1 X XX X 1 X H e Y Y Y HY I HY La relació Y HY idica que la matriz H (que es idempotete) trasforma el vector de observacioes Y e el vector de valores ajustados Y. Ua matriz idempotete realiza ua proyecció, por lo que la regresió va a ser ua proyecció. Para eteder mejor cómo es esa proyecció vamos estudiar las relacioes etre e,y e Y. E primer lugar, vamos a demostrar que el vector de residuos e es perpeticular al vector de valores ajustados Y y a la matriz X. Para demostrar que e Y debemos demostrar que e Y 0 e Y I HY HY Y I HHY Y HY Y HHY 0 ya que HH H por la propiedad de idempotecia. Además (I-H) es simétrica y se puede demostrar que es tambié idempotete.

4 Para demostrar que e X debemos demostrar que e X 0 e X I HY X Y I HX Y X XX X 1 X X 0 La iterpretació geométrica es clara. U matriz idempotete es ua matriz de proyecció. El modelo de regresió Y HY proyecta el vector de observacioes sobre el subespacio vectorial de las columas de la matriz X. Es decir sobre el subespacio de las variables idepedietes. El vector de residuos es perpeticular a las X y al vector Y. El gráfico muestra la proyecció: Distribució de X X 1 X Y AY. El vector de observacioes Y se distribuye como ua ormal multivariate de media X y de matriz de variazas y covariazas I. Y N X, I Como es ua combiació lieal de las variables Y, podemos cocluir que se distribuye como ua variable ormal. Tedremos que calcular su esperaza y su variaza: E EX X 1 X Y X X 1 X EY X X 1 X X Por tato es u estimador cetrado de.

5 var varay A.varYA X X 1 X VarYXX X 1 X X 1 X XX X 1 X X 1 X XX X 1 X X 1 Nk1, X X 1 Ua correspodiete a ua de las variables tedrá la distribució: i N i, q ii dode q ii es elemeto deiagoal correspodiete de la matriz XX 1 q 00 q 11 XX 1 q q kk La estimació de se hace mediate la variaza residual que es s R e i1 i k 1 de maera que vamos a estimar la variaza de i N i, q ii mediate s R q ii Al producto s R q ii se le deomia Error Estádar e la estimació del coeficiete i ylo proporcioa el ordeador. Se puede demostrar que SE i s R q ii k 1 s R k1 Cotraste t Hemos demostrado que i N i, q ii por tato La defiició de ua t de k grados de libertad es: i i q ii N0,1

6 t k N0,1 1 k k s R. La ormal la teemos e la distribució de i yla k1 la obteemos de la distribució de Como ya se ha visto al térmio t k1 1 k1 i i q ii k1 s R i i s R q ii s R q ii SEi se le deomia error estádar de i. Es el valor del error estádar que proporcioa el ordeador. El cotraste t va a testear la posibilidad de que i 0. Es decir que el valor de verdad de la població sea realmete cero. Si esto fuera cierto la variable X i o ifluiría sobre la variable Y. Habíamos demostrado que H 0 : i 0 H 1 : i 0 i i SE i t k1 Si se cumple la hipótesis ula de que 1 0 resultará que 1 0 SE 1 1 SE 1 t k1 Por tato si se cumple H 0 el valor de i SE i deberá ser de ua t k1. Esta distribució si 30 deja etre ; el 95% de probabilidad. Por tato si obteeemos u úmero e ese rago es posible que efectivamete i 0. Si por el cotrario el úmero es mayor que e valor absoluto pesaremos que i 0 y, cosecuetemete, diremos que la varible ifluye. Este es el fudameto teórico del cotraste t que proporcioa el ordeador. Itervalo de cofiaza Como sabemos que i i SE i t k1 podemos establecer

7 Pt / i i SE i t / 1 P i t / SE i i i t / SE i 1 Por tato i i t / SE i co cofiaza 1-. Si trabajamos co 0.05 y 30, el itervalo se covierte e i i SE i Descomposició de variabilidad restado y y elevado al cuadrado: sumado para todas las observacioes i1 y i y i e i y i y y i y e i y i ye i y i y i1 y i y i1 El último térmio es cero como se demostró e regresió simple. Por tato i1 y i y i1 y i y i1 VT VE VNE VT y i y i1 VE y i y VNE i1 i1 e i e i y i ye i i1 Dode VT es la variació total VE es lavariació explciada y VNE es la variació o explicada. Coefeiciete de Determiació y coeficiete de determiació corregido por e i

8 grados de libertad. El coeficiete de determiació, R, proporcioa la catidad de variabilidad de y que explica la x. Sedefie R VE y i y VT i1 y i y i1 y i y Si embargo, el coeficiete de determiació así defiido tiee el problema de que al icluir uevas variable aumeta su valor, icluso cuado esas variables o sea sigificativas.este problema hace que R o se pueda utilizar como criterio válido para icluir o excluir variables. Para evitar este problema se defie el Coeficiete de Determiació corregido por grados de libertad, R.SedefieR como i1 s y R 1 1 R 1 k 1 Este coeficiete R o tiee los icoveietes de R ya que al itroducir más variables e el modelo o aumeta ecesariamete su valor. Cotraste de regresió F. El cotraste de regresió e regresió múltiple sirve para comprobar si el modelo explica ua parte sigificativa de la variabilidad de y. Se puede demostrar que si 1 k 0, el cociete y i y VE/k 1 VNE/ k 1 i1 1 i1 e i F se distribuye como ua F k1,k1.si el valor obteido es u valor probable para ua F k1,k1 llegaremos a la coclusió de que el modelo o explica cojutamete ada. Si por el cotrario el test idica que el valor obteido o puede razoablemete proveir de ua F, etoces el modelo explica ua parte sigificativa de y.