ESTIMADORES DE VARIANZA EN REGRESIÓN NO PARAMÉTRICA BASADOS EN SUCESIÓN DE DIFERENCIAS

Transcripción

1 5 ESTIMADORES DE VARIANZA EN REGRESIÓN NO PARAMÉTRICA BASADOS EN SUCESIÓN DE DIFERENCIAS María C. Paz Sabogal Profesor Auxlar. Uversdad del Valle, Escuela de Igeería Idustral Estadístca, Cal. Luz A. Perera Hoos Profesor Auxlar. Uversdad del Valle, Escuela de Igeería Idustral Estadístca, Cal. Javer Olaa Ochoa Profesor Ttular. Uversdad del Valle, Escuela de Igeería Idustral Estadístca, Cal. Resume E este trabajo se pretede mostrar los tres prcpales estmadores de varaza que se ha propuesto e regresó o paramétrca cuado se tee ua observacó de la varable respuesta Y por cada puto de la varable depedete X, los cuales ha sdo ua herrameta fudametal para obteer u estmado del parámetro de la varaza, ellos so el estmador de Rce (98, el estmador de Gasser Sroka Jee Stemetz (986 el estmador de Hall Ka Tttetgto (99, todo esto co el objetvo de mostrar que tato e regresó paramétrca como e regresó o paramétrca es de mportaca además de la estmacó de la fucó de regresó, la estmacó de la varaza σ, co el propósto de estmar probar característcas de la fucó de regresó. Palabras clave: Regresó o paramétrca, Estmadores, Varaza. Abstract Ths paper ams to show the three ma estmators varace that have bee proposed oparametrc regresso whe ou have a commet o the respose varable Ad for ever pot o the depedet varable X, whch have bee a essetal tool to obta a estmate parameter varace, the are the estmator Rce (98, the estmator Gasser Sroka Jee Stemetz (986 ad the estmator Hall - Ka ad Tttetgto (99, all ths wth the am of showg that both Parametrc regresso as a oparametrc regresso s mportat addto to estmatg the regresso fucto, the estmate of varace, wth the purpose of estmatg ad test characterstcs of the role of regresso. Kewords: Noparametrc regresso, Estmators, Varace.

2 6. Itroduccó E regresó leal se requere ua estmacó de la varaza ( σ para probar hpótess formar estmados de tervalos perteecetes al modelo de regresó. Bajo la msma flosofía, e regresó o paramétrca també resulta de mportaca el cálculo de la estmacó de varaza, sedo este el úco parámetro a estmar e u modelo de regresó de este tpo. Por lo tato, a través de varos años ha surgdo tres prcpales estmadores de varaza e regresó o paramétrca, estmador de Rce (98, estmador de Gasser, Sroka Jee-Stemetz (986 estmador de Hall, Ka Tttergto (99, que ha sdo ua herrameta fudametal para la obtecó de ua estmacó del parámetro de la varaza.. Aálss de regresó E aálss de regresó, ua preguta clave es cuál será el modelo más adecuado para estudar el comportameto de la varable respuesta co respecto al cojuto de varables coocdas como varables explcatvas. E el cotexto paramétrco, la respuesta se busca detro de u cojuto de fucoes cua forma es coocda, pero de la cual se descooce alguas partes específcas llamadas parámetros (Olaa. E Eubak (999 se descrbe el modelo de regresó e la sguete forma geeral. Se supoe, que se desea producr formacó sobre Y a partr del coocmeto de X. Se dspoe de observacoes de la varable cotua Y para valores predetermados de p varables cotuas x, x, K, x p, las cuales se represeta como X. Sea x, ( x, x, K, x,, ( p K,, las observacoes de ( X, Y. Se asume que estas observacoes se relacoa a través del modelo muestral: Dode: m( x + ε, K ( E(ε var(ε σ <. Los m x so valores de ua fucó m e los putos ( x, x,, x K p. Y se llama comúmete la respuesta, X la covarable (o varable de predccó, o varable depedete, o varable explcatva. 3. Aálss de Regresó o Paramétrca El ombre de regresó o paramétrca, hace dea de que se trata de la cotraparte de lo que se cooce como regresó Paramétrca. Los objetvos del Aálss de Regresó No- Paramétrca so los msmos de su cotraparte paramétrca, vale decr, estmar probar las característcas de la fucó de regresó. E Eubak (999 al hacer troduccó a la regresó o paramétrca se mecoa prcpalmete que e este tpo de regresó los datos so utlzados para determar el espaco de la fucó a la cual perteece, sedo esta fucó ua curva de regresó descoocda. E regresó paramétrca, e cotraste a lo que ocurre e el modelo o paramétrco, el vestgador escoge ua posble famla de curvas m, de u cojuto global de curvas, co la famla de curvas elegdas desarrolla el proceso ferecal, la formacó que puede sumstrar los datos cocerete al modelo es restrgda bajo la forma del modelo paramétrco supuesto. Por lo tato, las téccas de regresó o paramétrca cofía más e el peso de la formacó de los datos acerca de m que su cotraparte paramétrca. Cabe precsar que e regresó o paramétrca la forma de la fucó de regresó por la cual se relacoa la varable explcatva (X respuesta (Y es descoocda, pero co ua característca partcular deomada suavdad, de ahí que el procedmeto utlzado para estmar la fucó de regresó m e regresó o paramétrca se deoma Suavzacó, los datos se deja hablar elegr ua fucó sobre la cual solo sabemos que es suave, de tal modo que, s se quere estmar m e x etoces se espera que las observacoes asocadas a los x más cercaos a x, cotega algua formacó de m e ese puto, por lo tato es posble

3 7 promedar de algua forma las respuestas mas cercaas al puto dode se desea obteer ua estmacó de m ( x (Eubak, 999. m es ua fucó perteecete a algú espaco de fucoes W. La seleccó de W depede de qué ta suave es posble asumr m ; usualmete W se asume como el cojuto de todas las fucoes m que so cotuas e u tervalo cerrado a, b o quzás como el cojuto de todas las [ ] fucoes m que tee k dervadas cotuas e [ a, b], para algú etero postvo k. Los límtes los fja el vestgador, pero se puede asumr, s pérdda de geeraldad a b (Olaa. El procedmeto de Suavzacó utlzado para la estmacó de la curva requere del uso de suavzadores, los cuales so ua herrameta útl para resumr el comportameto de ua respuesta Y como fucó de ua varable explcatva X.. Estmacó de la varaza e regresó o paramétrca A f de completar la descrpcó de u modelo de regresó o paramétrco m( + ε, x dode m x es ua fucó descoocda, x [,] (, x K x, los ε so varables aleatoras depedetes détcamete dstrbudas, co meda cero ( µ varaza costate ( σ, es ecesaro sumstrar ua estmacó del parámetro de la varaza. Durate las dos últmas décadas varos estmadores de σ ha sdo propuestos, todas estas clases de estmadores so aproxmacoes de formas cuadrátcas del vector de observacoes Y Y, Y, K, Y (Dette, Muk, Wager, ( 998. Bowma Azzal (997, preseta la estmacó de σ de la sguete forma: E u modelo leal estádar la suma de cuadrados de los resduales sumstra ua base para el cálculo de la varaza e u escearo o paramétrco, { mˆ ( x } SCR ( Usado la otacó matrcal, los valores ajustados mˆ so dados por mˆ S, dode los putos de evaluacó so los putos de dseño x. La matrz S es aáloga a la matrz hat, H X( X X X e u modelo leal estádar de la forma Xθ + ε. Los grados de lbertad para el error e u modelo leal puede ser expresado como tr( I H, s se realza ua defcó aáloga se obtee ua aproxmacó de los grados de lbertad e u escearo o paramétrco de la sguete forma: df error tr( I S de la matrz. La catdad:, dode tr deota la traza ˆ σ SCR / (3 df error es ua estmacó atural de σ. La aalogía co u modelo leal es complcada por la preseca del sesgo e u estmador mˆ, lo que tee u efecto de flacó e el tamaño de la suma de cuadrados de los resduales. Ua posble solucó es reducr el sesgo, empleado u pequeño parámetro de suavzacó para propóstos de estmarσ. Los estmadores que ha sdo propuestos para σ basados e las formas cuadrátcas del vector de observacoes Y Y, Y, K, Y sgue la forma geeral: ˆ D ( σ Y DY/ tr( D ( Y se ecuetra dvddos e dos clases (Teju Tog Yuedog Wag (5; Dette, Muk, Wager, 998:. E la prmera clase, los estmadores depede explíctamete del parámetro de suavzacó so aquellos estmadores basados e la suma de cuadrados de los

4 8 resduales resultates de algú ajuste o paramétrco de m por métodos de suavzacó tales como Sple o Kerel. E geeral, este es u ajuste leal de la forma Y ˆ AY, dode A es u matrz de suavzacó, que coduce a u estmador correspodete a la forma geeral que preseta la ecuacó ( co T D ( I A ( I A. Estos estmadores de prmera clase se cooce como estmadores basados e resduales, depede crítcamete de la catdad de suavzacó. Alguos métodos requere el coocmeto de catdades descoocdas como: m ( x dx o m ( x dx. E la seguda clase, los estmadores o depede explíctamete de la costate de suavzacó, usa dferecas para remover la tedeca e la fucó meda, ua dea orgada del aálss de seres de tempo. Esta clase de método o requere ua estmacó de la fucó meda so llamados estmadores basados e dferecas. Aquí D es ua matrz smétrca, defda postva que depede de los putos de dseño o de las observacoes. A prmera vsta estos estmadores parece ser depedetes de ua costate de suavzacó, pero se debe observar que el orde de las dferecas tee ua flueca, la cual es comparable co el parámetro de suavzacó de la prmera clase. El orde de u estmador basado e dferecas es el úmero de observacoes volucradas para calcular u resdual local. E la lteratura, cas todos los métodos basados e dferecas ha sdo desarrollados de forma uvarada e x, co excepcó de Kulasekera Gallagher ( quees extedero los métodos basados e dferecas al espaco multvarado x [, ] d. S embargo, los métodos de Kulasekera Gallagher ( requere de u orde artfcal de los putos de dseño e x [, ] d. Etre los estmadores de varaza más coocdos de la seguda clase que ha sdo propuestos, de forma uvarada e x, se ecuetra el estmador de Hall, Ka Tttergto (99, Gasser, Sroka Jee- Stemetz (986 Rce (98.. Estmador de Rce El estmador propuesto por Rce (98, es de prmer orde coocdo como u estmador smple de resdual local, está basado e las dferecas ordaras de la varable respuesta (Dette, Muk, Wager, 998. Específcamete, la forma del estmador es: ˆ R ( ( σ (5 Dode, por smple otacó, se asume que las x, ha sdo ordeadas observacoes ( por x, es decr x K x (Bowma Azzal, 997. Ua desvetaja de esta aproxmacó es que las dferecas resulta fluecadas por la fluctuacó de la fucó de regresó subacete a las observacoes por lo tato se producrá ua sobreestmacó de σ. Bowma Azzal (997 hace alusó al comportameto de este estmador cosderado que: E σ { m( x m( x } ( + De ahí que: E(σ ˆ R E ( ( E( ˆ σ R σ + { m( x m( x } ( ( σ E( ˆ σ R + { m( x m( x } ( ( E( ˆ σ R σ + sesgo

5 9 De tal maera que s el tamaño de muestra es mu grade, tede a fto (, el sesgo tede a cero (Bowma Azzal, Estmador de Gasser Sroka Jee Stemetz Gasser, Sroka Jee-Stemetz (986 propoe u estmador de varaza de segudo orde (Dette, Muk, Wager, 998, que trabaja el problema de la flueca de las fluctuacoes del estmador de Rce, usado ua terpolacó leal para la estmacó de la observacó - ésma, lo cual volucra la creacó de seudo resduales defdos como: x x x x ~ε ( x + x x + x Estos mde la dfereca etre los la líea que asoca sus dos vecos más cercaos (Bowma Azzal, 997, e otras palabras, mde la dfereca etre el valor x e el ajuste leal resultate de x, ( + + ( x, (Dette, Muk, Wager, 998. S a ε ~ es escrto e la forma b + +, co b, x x x + x + a x x + Etoces el estmador de la varaza es: Dode ˆ ~ GSJ c ε x x σ (7 c ( a + b + correspode a la expresó del coefcete verso de la varaza de los que: ε ~ (Bowma Azzal, 997, puesto var( ~ ε var( a + b + ~ var( ε a var( + b var( + + var( var( ~ ε a σ + b σ + σ ~ var( ε σ ( a + b + Por lo tato: var( ~ ε σ c. De gual forma es posble obteer la esperaza de los seudo-resduales como: ( ~ ( a + b + σ + O( E ε (Gasser, Sroka Jee-Stemetz, 986. δ Dode O( es la tasa de covergeca que hace que el resgo decaga a cero para los estmadores o paramétrcos, para algú δ > que depede de la suavdad de m (Eubak, 999. Para putos de dseños equdstates, reduce a: ˆ σ GSJ se ˆ σ GSJ + + (8 3( Gasser, Sroka Jee-Stemetz (986, hace mecó a los sguetes supuestos, los cuales so ecesaros para obteer resultados astótcos: Supuesto : No exste meddas múltples e algú puto de dseño, esto es a x < x < K < x b ; a, b s pérdda de geeraldad. Supuesto : Se requere que: max x x O( Supuesto 3: Los errores { ε } so depedetes e détcamete dstrbudos co E( ε, var( ε σ E ε <., ( Supuesto : La fucó m es cotua. S C deota ua matrz dagoal co C c +, A deota ua ( (

6 matrz trdagoal ( co elemetos A a +, A, +, A, + b + D A C A. ~ ε ~ ~ El vector de seudo resduales ( ε, K, ε ( ε ε, Kε está relacoados por ~ ε Aε + B, dode B represeta el sesgo, etoces ˆ σ ( C~ GSJ ε, lo que coduce a (Gasser, Sroka Jee-Stemetz 986: Dode: var ( ( σˆ σ ( GSJ tr ( D σ + ( γ 3 D + γ 3O + O 3 5 (9 ( ε, 3, γ E σ 3 3 E ( ε γ σ, E ( ε γ σ 3 δ O ( Es la tasa de covergeca que hace que el resgo decaga a cero para los estmadores o parametrcos, para algú δ > que depede de la suavdad de m (Eubak, 999. El prmer térmo restado γ se aula s la dstrbucó de los errores es smétrca. Para u dseño equdstate co errores ormalmete dstrbudos, la expresó ateror se reduce a: 7 σ + ( Estmador de Hall Ka Tttetgto Hall, Ka Tttergto e 99, troduce otro estmador basado e dferecas sucesvas { d } m, K, m, este estmador es ua geeralzacó de los dos aterormete mecoados, co: r k r k d ( k k d ( Dode d m, d m, m m so eteros postvos r m + m deota el orde del estmador de varaza: m m + ˆ σ D, r Y DY d ky ( k r r m + k m Note que s r se obtee el estmador de Rce (98, dode (, ( / d d, /. Ahora s r se logra el estmador de Gasser, Sroka Jee-Stemetz, dode: ( d, d, d (6 /, 3 /, 6 / para putos de dseño equdstates (Dette, Muk, Wager, 998. Hall, Ka Tttergto (99, e su artículo ttulado estmacó de la varaza e regresó o paramétrca basada e dferecas óptmas astótcas, expoe el cálculo de las sucesoes de dferecas que resulta óptmas astótcamete al utlzar este tpo de estmadores, puesto que por ejemplo para u estmador de segudo orde exste dferetes sucesoes que se podría utlzar e su cálculo cumple las codcoes de la ecuacó ( ecuacó (, tal es el caso de la sucesó de dferecas más comúmete usada ( d, d, d 6,, 6, auque como 3 mecoa estos autores resulta sustacalmete mejor utlzar ( d, d, d 5 +,, 5 para llevar a cabo la estmacó, las dferecas de prmer orde so úcas. Para los estmadores basados e sucesoes de dferecas óptmas la

7 varaza astótca el error cuadrátco medo so ambos guales a, dode: τ var τ ( ε + σ k σ κ + j d j + k j j d + j d j k d k (3 Dode κ deota la curtoss de ε σ, κ e caso de que los errores sea ormales κ > e caso de que la dstrbucó de los errores tega u comportameto cercao a la ormal. Como a se mecoó las sucesoes de dferecas de prmer orde so úcas, de ahí que el problema se cetre e la escogeca de las dferecas de u orde maor. Asumedo por smplcdad que m, m r. La seleccó óptma de la sucesó d, K,d r mplca r j d ( j d j+ k r ( k r. Además de ello la varaza míma astótca al utlzar u r -ésmo orde de sucesoes está dada por, dode: τ var ( ε + σ τ 5. Coclusoes r. Los estmadores basados e dferecas so atractvos desde el puto de vsta práctco, porque ellos frecuetemete tee pequeños sesgos para tamaños de muestra pequeños. E aplcacoes práctcas la eleccó del orde r ua apropada sucesó de las dferecas, es delcado, puesto que estas dos compoetes so aquellas que mmza el Error Cuadrátco Medo ( ECM Tabla. Sucesoes de dferecas óptmas para r. Cfras redodeadas a cuatro decmales. mmzar: ς + d d sujeta a las j j k k j codcoes de las ecuacoes ( (. La Tabla. lsta las sucesoes de orde r de dferecas óptmas para r. Estas sucesoes de dferecas óptmas so úcas e orde sgo (Hall, Ka Tttergto,99. Para el orde r -ésmo de las sucesoes de dferecas óptmas ς es equvalete a ( r e muestras ftas. Teju, Tog Yuedog Wag (5 al realzar repetdas smulacoes ecotraro que el estmador de Hall Ka Tttetgto (99 (99 se desempeña mejor cuado la fucó m es suave /o el tamaño de muestra es grade. Co respecto al estmador de Gasser Sroka Jee Stemetz (986 se ecotró que este se desempeña mejor cuado m es poco suave /o es pequeño.

8 6. Referecas bblográfcas. Bowma, A. W. ad Azzal, A. (997 Appled smoothg techques for data aalss: the kerel approach wth S-Plus llustratos. Oxford Uverst Press, Oxford.. Dette, H., Muk, A. ad Wager, T. (998 Estmatg the varace oparametrc regresso What s a reasoable choce? Joural of the roal statstcal socet. Seres B (Statstcal methodolog, Vol. 6, No., Eubak, R. L. (999 Noparametrc regresso ad sple smoothg. Marcel Dekker, New York, secod edto.. Gasser, T., Sroka, L., Jee-Stemetz, C. (Dec., 986 Resdual varace ad resdual patter olear regresso. Bometrka, Vol.73, No.3, Hall, P., Ka, W.J., Tttergto, D.M. (Sep., 99 Asmptotcall Optmal Dfferece- Based Estmato of Varace Noparametrc Regresso. Bometrka, Vol.77, No.3, Hall, P. ad Marro, J.S. (99 O varace estmato oparametrc regresso. Bometrka, 77, Kulasekera, K. ad Gallagher, C. ( Varace estmato oparametrc multple regresso, Comucatos Statstcs 5, Olaa, J. ( Suavzacó regresó o paramétrca. Uversdad del Valle. 8. Tog, T., Wag, Y. (5 Estmatg resdual varace oparametrc regresso usg least squares. Departmet of statstcs ad appled probablt, Uverst of Calfora, Sata Barbara.