MODELOS DE REGRESIÓN. Prof. Susana Martín Fernández

Transcripción

1 MODELOS DE REGRESIÓN Prof. Susaa Martí Ferádez

2 REGRESIÓN SIMPLE

3 Objetvo Sea..., valores de la varable umérca X. Sea Y(y, y,..., y ) u vector aleatoro de varables aleatoras depedetes, el modelo de regresó estuda la depedeca leal del vector Y,, respecto a la varable X. Cuado el coocmeto de ua varable determa totalmete el valor de otra habrá ua relacó fucoal etre ambas varables. S el coocmeto de ua varable o aporta formacó sobre el valor de otra, ambas varables so depedetes. E geeral el coocmeto de ua varable predce e mayor o meor grado el coocmeto de otra. Se dce que etre ellas hay ua relacó estocástca.

4 Metodología.Represetacó gráfca de los datos..plateameto del modelo. 3.Estmacó de los parámetros. 4.Cotraste de smplfcacó del modelo. 5.Comprobacó de las hpótess báscas por aálss de resduos. 6.Aálss del Coefcete de Correlacó 7.Valdacó del modelo 8.Aplcacó del modelo

5 Represetacó gráfca de los datos. Ej. E ua plata de produccó de ogeo, se cree que la pureza del oígeo producdo co u proceso de fraccoameto está relacoada co el porcetaje de hdrocarburos e el codesador prcpal de la udad de procesameto. %_Ogeo %_HCarburos

6 Plateameto del modelo. Y α 0 + α + ε [,] Las varables del vector ε(ε,ε,...ε ) represeta la perturbacó aleatora, y se asume que cumple que: So depedetes Sgue u dstrbucó ormal Todas tee la msma varaza homocedastcdad, σ. E[ ε ] 0

7 Plateameto del modelo. De forma matrcal el modelo quedaría de la sguete forma : Y β X ' + ε Dode: ( ) β 0 α α X L L

8 Plateameto del modelo. E el ejemplo, para ua muestra cocreta sería: β ε X + Y ' ),..., ( ), ( ' ε ε ε α α +

9 Estmacó de los parámetros. La fucó de verosmltud para los parámetros α 0, α, σ, es la sguete: f(y, α 0, α, σ ) (π ) / Se calcula los valores de α 0, α, que hace máma la fucó de verosmltud: y ˆ α - ˆ α y - ˆ 0 α σ αˆ e - σ ( y -α 0 - α ( - )(y ( - ) - y) σ ) Cov(Y,X )

10 Estmacó de los parámetros. El valor de σ que hace máma la fucó de verosmltud es: σˆ (y - αˆ ) El estmador resultate de la varaza o varaza resdual es: Ŝ R - e 0 - αˆ e Los resduos tee que cumplr dos restrccoes que procede del cálculo de los estmadores de máma verosmltud: 0 e 0 e

11 Estmacó de los parámetros Estmacó α 0 Estmacó α Estmacó σ

12 Estmacó de los parámetros Gráfco del Modelo Ajustado 00 %_Ogeo %_HCarburos %_Ogeo *%_HCarburos

13 Smplfcacó del Modelo Los cotrastes de smplfcacó del modelo so los sguetes:. El modelo o es leal: H 0 : α 0. El térmo depedete es cero: H 0 : α 0 0

14 Smplfcacó del Modelo El modelo o es leal: H 0 : α 0 Bajo la hpótess ula, los estmadores de los parámetros so: ˆα y 0 00 ( α ˆ 0 σˆ 0 ( Y β )( ) ( )( ) 0 X' Y β X' ' Y β X' Y β X' ) ) ( Y β X' )( Y β X' )' 0 F ( ) ) ' (y - y) F ( y - y ) ( - y ( y - y+ ˆ α - ˆ α - y+ ˆ α - ˆ α ) ) ( ˆ α y ( - ) - y+ ˆ α - ˆ α ) El estadístco (-)/ F sgue ua dstrbucó F-sedecor co (, -) grados de lbertad

15 Smplfcacó del Modelo El térmo depedete es 0: H 0 : α 0 0 F α ˆ 0 ( y - ( y+ - α ˆ ) - / α ˆ ) El estadístco (-)/ F sgue ua dstrbucó F-sedecor co (, -) grados de lbertad

16 Smplfcacó del Modelo Test α 0 0 Test α 0

17 Comprobacó Hpótess Báscas de los Resduos Estadístco de Durb-Watso.9084 (P0.3683) Autocorrelacó resdual e Lag Resduo estudetzado Gráfco de Resduos %_Ogeo predcho Este gráfco es muestra la heteroscedastcdad de los resduos. Su varabldad camba al aumetar los valores de la varable depedete.

18 Comprobacó Hpótess Báscas de los Resduos Gráfco de Probabldad Normal porcetaje RESIDUALS

19 Comprobacó Hpótess Báscas de los Resduos ests de Bodad de Ajuste para RESIDUALS Cotraste Ch-cuadrado Límte Límte Frecueca Frecueca Iferor Superor Observada Esperada Ch meor o gual E E ayor h-cuadrado.0003 co 3 g.l. P-Valor stadístco DMAS de Kolmogorov stadístco DMENOS de Kolmogorov stadístco DN global de Kolmogorov Valor apromado Se acepta ormaldad

20 Aálss del Coefcete de Correlacó El coefcete de correlacó mde la relacó leal estete etre dos varables. ρ cov(y,x) S Su valor varía etre - y. S ρ0, o este relacó leal. S las varables so ormales, además so depedetes. La depedeca etre las varables es completa cuado ρ± y S X

21 Aálss del Coefcete de Correlacó Cotrastes de hpótess sobre el coefcete de correlacó:. H 0 : ρ0 frete a H : ρ 0 Estadístco: t t - r r. H 0 : ρρ 0 0 frete a H : ρ ρ 0 + r r Estadístco: z l Normal E ( z) + ρ 0 ρ l + 0 ρ 0 ( ) var ( z) 3

22 Aálss del Coefcete de Correlacó Ej. orrelacoes %_HCarburos %_Ogeo _HCarburos ( 0) _Ogeo ( 0)

23 Valdacó del modelo Aálss de la Varaza Test de Falta de Ajuste Deteccó de Resduos Atípcos Determacó de Putos Ifluyetes

24 Valdacó del modelo- Aálss de la Varaza La hpótess ula es que el modelo o es váldo. La descomposcó de la varabldad es la sguete: ( ) ( ) ( ) + y y y y y y ˆ ˆ

25 Valdacó del modelo- Test de Falta de Ajuste Este test comprueba el ajuste de los datos al modelo de regresó leal. H 0 : La regresó es leal Requstos: -Normaldad -Idepedeca -Varaza costate. Observacoes reales duplcadas. Ej. %_HCarb 0 aparece veces.

26 Valor medo de las observacoes e Valdacó del modelo- Test de Falta de Ajuste l error resdual los separa e grupos: m error puro ( ) ( ) y + ( ) j yˆ yj y y yˆ error debdo a la falta de ajuste m j j j m

27 Valdacó del modelo- Deteccó de Resduos Atípcos Valor atípco es ua observacó etrema. No so represetatvos del resto de datos. Método de Stefasky (97) para detectarlos: e e

28 Valdacó del modelo- Deteccó de Resduos Atípcos Los resduos atípcos se puede deber a:. Medcó correcta. Aálss correcto Se elma 3. Regstro correcto de datos 4. Observacó etraordara factble Permaece. Puede cotrolar propedades clave del modelo

29 Valdacó del modelo- Deteccó de Resduos Atípcos 00 Gráfco del Modelo Ajustado %_Ogeo %_HCarburos

30 Valdacó del modelo - Putos Ifluyetes El puto fluyete (Outler) es aquél que tee flueca sobre los coefcetes de regresó y/o las propedades del modelo como R, y los errores estádar de los coefcetes de regresó... Pto. de balaceo Pto. fluyete

31 Valdacó del modelo - Putos Ifluyetes Balaceo o Leverage (Apalacameto) Mde la flueca de cada observacó e la determacó de los coefcetes de regresó. Se detecta a partr de: ŷ Xβˆ X(X' X) X' y Hy La dagoal de H es ua medda de la dstaca de la -ésma observacó al cetro del espaco X. Hay apalacameto s este valor es mayor que h /

32 Valdacó del modelo - Putos Ifluyetes DFFITS Este método estuda la flueca de la elmacó de la -ésma observacó sobre la predccó. ŷ () DFFITS ŷ ŷ () S h ()... es el valor ajustado de y s utlzar la -ésma observacó U puto se aalza s: DFFITS > h

33 Valdacó del modelo - Putos Ifluyetes DISTANCIA DE MAHALANOBIS Dstaca o euclídea que cosdera la correlacó etre varables. D (y) (y X)S - (y X)` D es la dstaca al cuadrado desde cada puto y al cojuto de varables X S represeta la matrz de covarazas de X. X es el vector que cotee los valores medos de las varables depedetes.

34 Trasformacó de ua varable aleatora Los modelos de regresó supoe:. Los errores tee meda 0, varaza costate y o está correlacoados.. Los errores tee dstrbucó ormal. 3. La forma del modelo es correcta. S o se cumple algua de estas suposcoes se puede TRANSFORMAR LOS DATOS. La trasformacó se realza de forma empírca.

35 Trasformacó de ua varable aleatora. Establzacó de la varaza. Relacó etre σ y E[y] σ ~ Costate σ ~ E[y] σ ~ E[y] [-E[y]] σ ~ E[y] σ ~ E[y] 3 σ ~ E[y] 4 Trasformacó y y y y / (Raíz cuadrada, datos de Posso) y /se(y / ),(proporcoes bomales) Y l(y) (logarítmca) Y y -/ (raíz cuadrdada recíproca) Y y - (recíproca)

36 Trasformacó de ua varable aleatora. Lealzacó del Modelo La o lealdad del modelo se detecta:.co el test de falta de ajuste.co el gráfco de dspersó 3.De forma empírca

37 Trasformacó de ua varable aleatora. Método Bo-Co. Se trasforma la varable y para corregr la o ormaldad y/o la varaza o costate. Es ua trasformacó de poteca y λ Se determa los parámetros de la recta α 0, α y λ por el método de máma verosmltud.

38 Trasformacó de ua varable aleatora. Método Bo-Co. Problema cuado λ0. Solucó realzado el sguete cambo: Se ajusta el modelo y (λ) βx +ε ( ) 0 λ ly, ly (/) l 0 λ, ly (/) l λ y y λ λ λ

39 Trasformacó de ua varable aleatora. Método Bo-Co.

40 Aplcacó del Modelo Predccó de uevas observacoes ŷ + αˆ αˆ Itervalos de cofaza: De la respuesta meda E(y) De uevas predccoes

41 Aplcacó del Modelo Itervalos de cofaza de la respuesta meda, E(y). Se fja u valor de terés 0, y se trata de ecotrar t. de cofaza de E(y/ 0 ). Estmador de E(y/ 0 ): Su varaza es: var(e(ˆy/ σ + σ 0 )) ( ) 0 S var(αˆ 0 + αˆ E (ˆy/ + 0 ) ) αˆ αˆ var(y + αˆ ( 0 ))

42 Aplcacó del Modelo Itervalos de cofaza de la respuesta meda, E(y), para u vel de cofaza -α es: E(y/ 0) µˆ y 0 ± t α/, res S + S res ( ) 0 S

43 Itervalos de Cofaza Gráfco del Modelo Ajustado 00 %_Ogeo %_HCarburos %_Ogeo *%_HCarburos

44 Aplcacó del Modelo Itervalos de cofaza de uevas predccoes S el valor de terés de la varable depedete es 0 etoces, es el valor estmado de y 0. ŷ + 0 αˆ 0 αˆ 0 var(y 0 - ŷ 0 ) σ + σ + σ ( ) 0 S

45 Aplcacó del Modelo Itervalos de cofaza de uevas predccoes Y por tato el tervalo de cofaza, para u vel de cofaza -α, es y 0 ŷ 0 ± t α/, S res + res S + S res ( ) 0 S

46 Regresó Múltple

47 El objetvo de la regresó múltple m es costrur u modelo probablístco que relacoe u varable depedete Y co dos o más m s varables matemátcas tcas depedetes,,... k,. La epresó de dcho modelo es la sguete: Y β + β + β + L + β + ε 0 k k Dode: β, es el coefcete que represeta el efecto sobre la varable depedete al aumetar e ua udad el valor de la varable depedete. ε,, represeta la perturbacó aleatora.

48 ε,, verfca las sguetes hpótess: Su meda es 0. Su varaza es costate, σ. Las perturbacoes so depedetes etre sí. s Sgue ua dstrbucó Normal.

49 Estmacó de los parámetros metros. Aplcado el método m de mímos m cuadrados, (úmero de observacoes es,) la fucó a mmzar es: ( ) M y ( β + β + β + L + β` k k Dervado respecto a β 0, se verfca, s se llama e y -^y, la sguete ecuacó: 0 ) e 0 Dervado respecto a β, se verfca: e j 0 j, Lk

50 El sstema de ecuacoes defdo por las El sstema de ecuacoes defdo por las epresoes aterores se puede escrbr epresoes aterores se puede escrbr de la sguete maera: de la sguete maera: k k y β β β β L 0 k k y ` β β β β L M ` 0 k k k k k k y β β β β L

51 Las ecuacoes aterores se puede Las ecuacoes aterores se puede epresar de forma matrcal: epresar de forma matrcal: k k k k k k k k k k y y y β β β M L M M M M L L L M M M M L L M L M M M M L L 0 De la epresó ateror se puede despejar el valor de los parámetros buscados: ( ) Y X X X β

52 S la matrz de covarazas es la sguete: S s s M s k yy y y s s s y M k L L M L s s s y M k k k k La epresó de cada parámetro β co de a k, es la sguete: β S S yy y

53 Dode: S y es el determate del mímo m complemetaro correspodete a los órdees de las varables y. E este caso, estos órdees será para la varable y e + para la varable. El térmo t depedete será: y β β 0

54 La varaza de la perturbacó aleatora, σ. se estma a partr de la varaza resdual, estmador mámom mo-verosíml e la hpótess de ormaldad. El úmero de grados de lbertad de los resduos es -k-,, por haber k+ restrccoes: s R k e

55 Descomposcó de la varabldad La varabldad de la respuesta puede descompoerse de la sguete maera: y + y y y y y que epresa la varacó total VT como suma de la varacó eplcada por el modelo VE y la resdual o o eplcada VNE. El cotraste de regresó comprobará que el modelo es váldo. v La hpótess ula será la más m seclla y es que el vector de parámetros de regresó sea ulo.

56 La tabla ADEVA es la sguete: Fuete de varacó VE VNE VT Suma de cuadrado s y y k S F e y y -k- S R y - S y y Grados de lbertad Varaza Cotrast e e S / S R

57 Correlacó e Regresó MúltpleM Coefcete de determacó o de correlacó múltplem Este coefcete mde la correlacó etre la varable depedete y el cojuto de las varables depedetes: R VE VT

58 Icoveetes: Al aumetar el úmero de varables que tervee e el modelo, su valor aumeta, auque el efecto de esta ueva varable o sea sgfcatvo. Es muy sesble a la eleccó de varable depedete. Dos modelos formalmete guales, puede teer dferete valor del coefcete de determacó.. Se utlza el coefcete de determacó corregdo, R Varaza resdual Varaza de y S R σ y S yy

59 Coefcete de correlacó parcal Dado u cojuto de varables,,,... k, el coefcete de correlacó parcal etre dos cualesquera de ellas, es ua medda de su relacó leal, cuado se elma de ambas el efecto debdo al resto de las varables. Por ejemplo s se quere calcular el coefcete de correlacó parcal etre y, se calculará prmero los hperplaos de regresó de respecto a 3 4,... k y de, respecto a 3 4,... k,, s llamamos e k y e k los resduos de los dos ajustes aterores, el coefcete de regresó parcal será: E[ e ] k e S.34.. k r. 3Lk v( e.34.. k ) v( e.34.. k ) S S

60 Supogamos que se está estudado solamete 3 varables, y 3.,, se puede relacoar los coefcetes de correlacó smple y parcal a través s de la sguete epresó: r. 3 r 33 r ( )( ) r r 3 Dode r j es el coefcete de correlacó smple etre las varables, j. r 3 r 3 3