CAPITULO 1 MODELOS LINEALES GENERALIZADOS

Transcripción

1 CAPITULO MODELOS LINEALES GENERALIZADOS E este capítulo estudaremos ua extesó de los modelos leales a ua famla más geeral, propuesta por Nelder y Wedderbur (97), deomada Modelos Leales Geeralzados (MLG) Esta famla ufca tato los modelos co varables respuesta umércas como categórcas, lo cual lleva a cosderar otras dstrbucoes tales como la bomal, posso, hpergeométrca, etc además de la ormal Dado que el modelo leal geeral es u bue puto de partda para el estudo de los modelos leales geeralzados, empezamos este capítulo co ua somera revsó de los prcpales aspectos del modelo leal geeral MODELO LINEAL GENERAL El modelo leal geeral surge por la ecesdad de expresar e forma cuattatva relacoes etre u cojuto de varables, e la que ua de ellas se deoma varable respuesta o varable depedete y las restates so llamadas covarables, varables explcatvas, o varables depedetes Sea Y ua varable aleatora cuya fucó de dstrbucó de probabldad perteece a ua famla de dstrbucoes de probabldades H, y es explcada por u cojuto de varables X,X,,X k, las cuales so fjadas ates de coocer Y La esperaza codcoal de Y es dada por E(Y/ X, X, X k ) = β + β X + +β k X k =µ () Luego, s se extrae ua muestra aleatora de tamaño {(y,x,,x k ) =,,,}, de ua poblacó e la cual la varable respuesta Y, y las varables depedetes X,X,,X k se relacoa lealmete, cada observacó de la muestra puede ser expresada como y = β + β x + +β k x k + ε =,, () E la ecuacó (), el térmo ε es ua perturbacó aleatora o observable deomada error aleatoro, la cual tee esperaza cero, varaza σ (costate); y dos errores cualesquera ε y ε, so correlacoados etre sí Utlzado otacó matrcal, podemos expresar () como Y = Xβ + ε (3)

2 Dode, Y =(Y, Y,,Y ) es u vector de varables aleatoras observables, deomado vector respuesta de orde ; X es la matrz de varables depedetes de orde x(k+) y β el vector de parámetros descoocdos de orde (k+) El vector de respuestas Y de la expresó (3) está formada por dos compoetes, ua sstemátca y otra aleatora La prmera compoete costtuda por la combacó leal Xβ, predctor leal, el cual es represetado como η = Xβ (4) La seguda compoete, formada por el vector aleatoro Y, co elemetos depedetes etre sí, caracterzada por ua dstrbucó h H co vector de esperazas µ y matrz de covaraza σ I Por otro lado, calculado la esperaza de Y e (3) se tee que E(Y) = Xβ= µ Ua característca dsttva del modelo leal geeral, es que la varable respuesta Y está medda e escala umérca, metras que las covarables puede ser umércas o categórcas y además so depedetes etre sí Covarables Numércas Cuado todas las covarables X, X,,X k so cotuas, el modelo () es deomado modelo de regresó leal múltple Los parámetros β, β,,β k, so deomados coefcetes de regresó y cada β j represeta el cambo esperado e la respuesta, Y, por cada udad de cambo e X j, cosderado a las demás varables regresoras costates Sempre que el recorrdo de las varables regresoras cluya el cero El coefcete β puede ser terpretado como la meda de la dstrbucó de la varable respuesta Dos o más covarables puede teer u efecto sobre la varable respuesta cuado teractúa; e este caso, y sempre que la teraccó sea terpretable, estas compoetes debe ser cosderadas e el modelo para lograr u mejor ajuste y ua terpretacó óptma de los resultados Covarables Cualtatvas o categórcas Cuado el predctor leal η está formado úcamete por varables cualtatvas, éstas so deomadas factores y los valores que toma correspode a los veles del factor Estos veles puede o teer u orde asocado a ellos, como e el caso del color de pelaje, la raza de u amal, etc, (es el caso de las covarables de tpo omal); també puede teer u orde que o sgfque magtud, como ua escala de preferecas (covarables

3 ordales); o teer asocada ua escala de medcó umérca, como por ejemplo las catdades de fertlzate utlzada e u expermeto agrícola Cuado las observacoes so clasfcadas por dos o más factores, hablamos de u aálss multfactoral y los tratametos so las combacoes etre los veles de los factores cosderados Por ejemplo, al cosderar u modelo co factores A y B, será ecesaro clur térmos de la forma α + β j, metras que s exste teraccoes se clurá térmos de la forma (αβ) j ; sedo la represetacó de u modelo de factores y jm = δ+α +β j +(αβ) j +ε jm =,,,k j=,,,b m=,, Dode δ es la meda geeral; α es el efecto del -ésmo vel del factor A; β j el efecto del j-ésmo vel del factor B; (αβ) j el efecto de la teraccó etre A y B; ε jm la compoete aleatora co característcas dadas e la ecuacó (); y jm es la respuesta del m-ésmo sujeto correspodete al -ésmo vel del factor A y el j-ésmo vel del factor B Para tres o más factores sólo ecestaremos ua extesó del modelo ateror Para que los modelos de rago completo pueda ser represetados de la forma (3), es ecesaro utlzar varables artfcales o cotrastes, co valores umércos que represete a las categorías orgales Para lustrar claramete esta stuacó cosderemos u expermeto co ua varable respuesta y u úco factor co k veles y repetcoes por cada vel, la dsposcó de los datos será etoces CUADRO Nº Expermeto co ua varable respuesta y u factor co k veles FACTOR Nveles OBSERVACIONES y y j y y y j y k y k y kj y k Dode yj es la j-ésma observacó correspodete al -ésmo vel del tratameto, co =,,k y j=,, El modelo será 3

4 4 y j = δ + α + ε j =,,k j=,, (5) La represetacó matrcal del modelo será Y=Xβ+ε La matrz X se defe de acuerdo a los objetvos del estudo, pues la terpretacó de los parámetros depederá de la maera como se defa esta matrz k j Y Y Y Y Y Y = k α α α µ + k j e e e e e e Para garatzar que X X sea vertble, las columas de la matrz X debe ser lealmete depedetes; para ello, s el factor A tee k veles, se defrá ua varable artfcal co k- veles El tpo de reparametrzacó que utllzaremos, es llamado reparametrzacó del puto cetral Así por ejemplo, s ua varable A tee k veles, lo prmero que hay que hacer es determar la categoría que será usada como refereca Supoedo que elegmos la últma categoría, tedríamos que la -ésma columa de la matrz X, cotee a e la -ésma fla, - e la últma fla y cero e las restates S α deota el parámetro que correspode al -ésmo vel del factor A, las k- columas produce estmadores de los parámetros depedetes α, α, α k- Por ejemplo s teemos ua varable A co categorías, la reparametrzacó del puto cetral será dada por s la observacó perteece al -ésmo vel del factor A X = - caso cotraro

5 Para ua varable co más de veles s la observacó perteece al -ésmo vel del factor A X = caso cotraro - vel de refereca Co esta reparametrzacó comparamos el efecto de cada ua de las categorías de las varables depedetes co el efecto de la categoría usada como refereca MODELOS LINEALES GENERALIZADOS Como se mecoó al car este capítulo, Nelder y Wedderbur estudaro los Modelos Leales Geeralzados extededo la teoría de modelos leales, corporado de esta maera la posbldad de modelar varables respuestas cotuas o categórcas co dstrbucoes del error o ecesaramete homocedástcos Los modelos log leales, logt, probt, logístco y de regresó leal so alguos modelos que forma parte de esta famla Ahora, veamos cada ua de las compoetes de los modelos leales geeralzados a) Compoete Aleatora Formada por el vector aleatoro observable Y= (Y,Y,,Y ) tal que sus elemetos so depedetes e détcamete dstrbudos co fucó de dstrbucó perteecete a la famla expoecal uparamétrca, h(y, θ) = exp [p(θ)y-q(θ)+g(y)] dode p(), q(), y g() so fucoes coocdas b) Compoete Sstemátca Al gual que e el modelo leal geeral está dada por el predctor leal η x = X β xk kx c) Fucó de Elace La fucó elace (g(µ)), relacoa el predctor leal η, co el valor esperado de la varable respuesta, E(Y/X)=µ, a través de la fucó Es decr g(µ) =Χβ g(µ) = η 5

6 Dode g(µ) es ua fucó coocda, moótoa y dferecable de η, así µ = g - (η ), =,, E el caso partcular del modelo leal, µ y η puede asumr cualquer valor e la recta real, y la fucó de elace es la detdad (η=µ); e cambo, para la dstrbucó de posso, dado que µ>, ua fucó de elace adecuado es la fucó logarítmca (η=l(µ)) Por otro lado, para la bomal, como exste la restrccó de que el domo de la fucó elace está e el tervalo (,), ua fucó adecuada es la llamada fucó logt η=l(µ/(-µ)) (véase el apédce A) Como acabamos de presetar, los MLG permte modelar varables respuestas cotuas y categórcas Al gual que e el caso cotuo, los modelos co respuesta categórca cosdera la posbldad de modelar más de ua varable respuesta; s embargo e el presete estudo os refermos sólo a modelos co ua varable respuesta, claro está, que la metodología presetada puede ser extedda para dos o más varables Modelos para varables categórcas Tabla de cotgeca Ua tabla de cotgeca se puede vsualzar como u arreglo rectagular resultate de la clasfcacó cruzada de dos o más varables categórcas, dode las flas está formadas por la combacó de las categorías de las covarables, las cuales dvde a la poblacó de objetos (udades de aálss) e grupos o subcojutos dsttos e depedetes etre sí que deomaremos subpoblacoes; e las columas está represetadas las categorías de la varable respuesta la cual es medda e cada subpoblacó CUADRO Nº Tabla de cotgeca para ua varable respuesta observada e I subpoblacoes Varable Respuesta Subpoblacoes j J Total j J + j J + I I Ij IJ I+ Total + +j +J Dode, + es el total de observacoes e la -ésma subpoblacó; +j es el total de observacoes e la j-ésma categoría de la varable respuesta Y; y j es el total de observacoes e la -ésma subpoblacó que perteece a la j-ésma categoría de la varable respuesta La clasfcacó de las udades de la poblacó e grupos dsttos os permte pesar e la proporcó de objetos que se ecuetra e cada uo de los grupos y presetar la tabla de cotgeca como u arreglo e el cual las celdas cotee proporcoes (probabldades) e lugar de coteos j (véase cuadro 6

7 3) CUADRO N 3 Dstrbucó de probabldades de ua varables respuesta e I subpoblacoes Varable Respuesta Subpoblacoes J J Total π π j π J π + I π π j π J π + I π I π Ij π IJ π I+ Total π + π +j π +J Dode π j es la probabldad de que u sujeto de la -ésma subpoblacó tega la j-ésma categoría de respuesta π + es la probabldad margal de la - ésma sub poblacó, dada por la suma de todas las categorías de la varable Y; π +j es la probabldad margal de la j-ésma categoría de la varable Y dada por la suma sobre el total de subpoblacoes Exste ua gama de dstrbucoes de probabldad dscretas tales como la multomal, posso, hpergeométrca, etc las cuales puede represetar adecuadamete la dstrbucó de probabldad de ua tabla de cotgeca La eleccó del modelo probablístco que se usará depede o solo del dseño muestral utlzado so també de los objetvos del aálss E este trabajo os refermos sólo a las dstrbucoes multomal y de posso E el tpo de tablas que acabamos de presetar os teresa estudar la flueca cojuta de las covarables sobre la respuesta; como éstas prmeras so fjadas a pror, la mportaca radca e estudar cómo camba la dstrbucó de la varable respuesta e cada subpoblacó (prcpo de homogeedad) Co este f formulamos modelos aálogos a los modelos leales, los que será tratados más exhaustvamete e el capítulo IV sguedo el efoque de Grzzmer, Starmer y Koch, partcularmete para las dstrbucoes multomal y de posso Modelo co varable respuesta tee dstrbucó Multomal La dstrbucó multomal cosdera el tamaño de muestra como fjo por lo cual los totales margales, +, estará codcoados a este valor puesto que o puede excederla E geeral, e este tpo de estudos, el total geeral, y los totales de cada subpoblacó so fjos El vector aleatoro =(,, j,, J ) tee dstrbucó multomal co parámetros + y π =(π,π j,,π J ), dode π j es la probabldad de que u dvduo seleccoado de la -ésma subpoblacó, presete la j-ésma categoría de la varable respuesta 7

8 La fucó de probabldad correspodete bajo esta dstrbucó es P( ) = P( J π, j,, J ) = + =,,I (6) j= j j j J Co + j= j = =, I ; π I J = j= = j, co π j (,) A cotuacó se preseta la tabla de dstrbucó de probabldades para esta dstrbucó (cuadro Nº 4) CUADRO N 4 Dstrbucó de probabldades para la dstrbucó multomal Categorías de Respuesta Subpoblacoes j J Total π π j π J π π j π J I π I π Ij π IJ Dode co E( ) = + π ~ Multomal ( +, π ) y var( )= + π (-π ) =,,I, Usado otacó matrcal ' [ π π π ] π = I (7) Dode, ' [ π π π ] π = j J (8) Luego el vector aleatora = (,,,, I ) (6), tee fucó de probabldad 8

9 dada por el producto de multomales p(, j,, I, IJ ) = I = + J π j= j j j (9) Como cada subpoblacó es depedete de las demás, la matrz de covarazas de, V() será ua matrz dagoal de la forma V V() = V $ V $ VI () Dode V = + π( π π π ππ J ) π π ( π π π π J ) $ π π J π J ( π J ) () Modelo co varable respuesta tee dstrbucó de Posso Esta dstrbucó fue dervada por Posso (837) a partr de la dstrbucó bomal, él ecotró qué cuado el tamaño de muestra es grade y la probabldad de ocurreca de u eveto es pequeña, el valor esperado, µ=π tede a ua costate La dstrbucó de posso está caracterzada por u solo parámetro µ=π, dode µ es ua esperaza y puede terpretarse como el úmero esperado de ocurrecas e u tervalo de tempo, área o espaco especfcado; π puede defrse como el úmero esperado de ocurrecas del eveto por udad de tempo, área o espaco y es llamado tasa de ocurreca Para dferecarla de la dstrbucó multomal, e adelate deotaremos la tasa de ocurreca como λ e lugar de π A dfereca de la dstrbucó multomal, se asume ua dstrbucó de 9

10 posso cuado el tamaño de la muestra,, es aleatoro; lo cual lleva a cosderar que para las I subpoblacoes, los coteos de cada celda (, =,,,I) so varables aleatoras depedetes co dstrbucó de posso Luego, por la propedad reproductva, la fucó de dstrbucó cojuta para el vector =(,,,, I ), es el producto de dstrbucoes de posso co esperaza gual a I I I ( =,,I () = = E() = E ) = µ = λ = Este modelo es usado e coteos de evetos que ocurre depedete y aleatoramete e el tempo co ua tasa de ocurreca costate, como por ejemplo, el úmero de accdetes de trásto e u perodo de tempo determado, la cdeca de ua efermedad, etc Etoces el vector aleatoro = (,,, I ) tee dstrbucó producto de posso co vector de parámetros µ = (µ,µ,,µ I ) y fucó de probabldad I exp( µ ) µ p( ) = = (3) Co µ [, > =,,,I El vector de esperazas y la matrz de covaraza de so dados por µ E () = E = µ = µ I µ I (4)

11 V()= D µ µ = µ $ µ $ µ I (5) Estmacó de Modelos Leales Geeralzados Los dos métodos cláscos para estmar los parámetros descoocdos de u modelo leal geeral, so de máxma verosmltud (MV) y el método de mímos cuadrados geeralzados (MCG); sedo el método de mímos cuadrados poderados (MCP) u caso partcular de este últmo A cotuacó, recordaremos los aspectos más mportates de ambos métodos de estmacó, luego estudaremos las codcoes bajo las cuales ambos métodos so equvaletes e dstrbucoes que so membros de la famla expoecal E ua seguda parte, estudaremos la equvaleca etre los estmadores MV y de MCG para dstrbucoes que so membros de la famla expoecal uparamétrca Estos resultados por lo tato será váldos e el cotexto de los modelos leales geeralzados Estmacó por el método de Mímos Cuadrados Geeralzados Bajo las suposcoes establecdas para los errores al formular el modelo (3), los parámetros descoocdos puede ser estmados por el método de mímos cuadrados ordaros Estos parámetros se obtee mmzado la suma de cuadrados de los errores, S(β) (la suma de cuadrados de las desvacoes de los valores observados y los valores esperados), es decr se trata de, M p β R S(β) = M p β R ( Υ Χβ) (Υ Χβ) (6) Dervado e gualado a cero S(β) obteemos las ecuacoes ormales X Xb = X Y (7) Resolvedo el sstema de ecuacoes (7) se tee que b=(χ Χ) - Χ Υ (8)

12 Sempre que (Χ Χ) - exsta El teorema de Gauss Markov garatza que (9) es el mejor estmador leal sesgado del vector de parámetros de u modelo leal geeral Por otro lado, cuado la suposcó de varaza costate o se verfca, es decr V(ε)=σ V; dode V es ua matrz o sgular y defda postva; el método de mímos cuadrados ordaros o fucoa, por lo que se debe cosderar ua reparametrzacó del modelo para que se cumpla las suposcoes establecdas al formular el modelo () (véase seccó A del apédce A) Para estmar el vector de parámetros será ecesaro etoces, M p β R S(β) =( Υ Χβ) V - (Υ Χβ) (9) La fucó objetvo S(β) e (9) es ua fucó cotua y dervable, por lo que el mímo se obtee S( β) β j β = b ( ) j = j=,,,k () = V y [ y x b] x = El sstema de ecuacoes ormales es, (Χ V - Χ)b = Χ V - Υ Falmete, el estmador de mímos cuadrados geeralzados de β será b = (X V - X) - X V - Y () Este estmador es sesgado, co matrz de covaraza dado por Cov(b) = σ (Χ V - Χ) - U caso partcular del método de mímos cuadrados geeralzados se da cuado los errores so correlacoados y heterocedástcos, es decr la matrz V

13 tee la forma V = v v () El vector de parámetros estmados se represeta como Dode W= V -, es dado por b = (Χ W Χ) - Χ W Υ (3) W = v v De esta maera, el estmador de mímos cuadrados poderados, asga mayor peso a los elemetos que tee ua varaza más pequeña Estmacó por el método de máxma Verosmltud S la fucó de dstrbucó de Y perteece a ua famla de dstrbucoes H coocda, u método alteratvo para estmar el vector de parámetros descoocdos β es el método de máxma verosmltud Dado u vector de observacoes y =(y, y ), la fucó de verosmltud cuatfca la posbldad (verosmltud) de que u vector β R p haya geerado el vector de respuestas observado La fucó de verosmltud está dada por la fucó de desdad cojuta de las varables aleatoras depedetes Y, Y reducédose la expresó a L(β) = h(y, y ) = h(y,β)h(y,β) h(y k,β) = = h( ; β ) y (4) El estmador de máxma verosmltud (EMV) de β es el vector b que p maxmza L(β) e el espaco paramétrco Ω= {( β, σ ) β R, σ > } ; esto es L(b) L(β) β Ω 3

14 Para obteer el estmador máxmo verosíml ecestamos resolver el p problema de maxmzar L( β ) para β R Dado que la fucó logartmo es moótoa, aplcado logartmo a la expresó (4) se tee l(β) = logl(β ) = = logh( y ; β ) (5) E cosecueca, s la fucó l(β) es cotua y dervable, maxmzar L(β ) o l(β ) so procesos equvaletes Para lustrar, obtedremos el estmador de máxma verosmltud para el caso del modelo leal geeral, bajo la suposcó que los errores se dstrbuye ormalmete co vector de medas cero y matrz de covaraza V La fucó de verosmltud será L= (π) -/ V -/ exp (Υ Χβ) V - (Υ Χβ) Y su fucó soporte es l( β ) = log π log V (Y Xβ)'V (Y Xβ) l(β ) es ua fucó cotua y dervable, por lo tato, dervado e gualado a cero la expresó ateror se obtee, Χ V - Χ b = Χ V - Υ La solucó de este sstema de ecuacoes os coduce al estmador MV de β b= (Χ V - Χ) - Χ V - Υ (6) De (6) y (9) podemos coclur que, bajo la suposcó de ormaldad los métodos de mímos cuadrados y de máxma verosmltud produce los msmos estmadores E la sguete seccó, presetamos los teoremas que demuestra la equvaleca etre el método de mímos cuadrados geeralzados y máxma verosmltud para aquellas fucoes de dstrbucó que perteece a la famla expoecal 4

15 3 Equvaleca de los estmadores de Mímos Cuadrados Poderados y de Máxma Verosmltud e la famla expoecal E la seccó ateror se verfcó que cuado los errores se dstrbuye ormalmete, los estmadores de MV y MCP so equvaletes Estudos de gra mportaca para uestro trabajo so los realzados por Nelder y Wedderbur (97), quees demostraro que la equvaleca etre los estmadores ates mecoados puede ser exteddos para certos modelos leales geeralzados cuado la fucó de dstrbucó de la varable respuesta perteece a la famla expoecal Posterormete, Bradley (973) demuestra que el estmador de mímos cuadrados poderados e u modelo de regresó leal múltple es equvalete al estmador de máxma verosmltud cuado la varable depedete tee ua fucó de dstrbucó perteecete a la famla expoecal Supoedo que la varable respuesta Y, defda e la seccó, está caracterzada por ua fucó de desdad la cual perteece a la famla expoecal, expresada como, { µ )y q( µ ) g(y) } h (Y, µ ) = exp p( + Dode p(µ) y q(µ) so fucoes al meos dos veces dferecables La esperaza y varaza del vector Y estará dado por E (Y) q ( µ ) = = µ p ( µ ) (7) [ p ( ] V (Y) = µ ) (8) Teorema Sea {Y,Y,Y } ua muestra aleatora de tamaño proveete de ua varable aleatora cuya dstrbucó de probabldad perteece a la famla expoecal co E(Y /X ) = X β Etoces el EMV de β es détco al de MCP y por lo tato satsface () Demostracó El logartmo de la fucó de verosmltud l(β) es l(β) = log L(β) = Σ{ p[x β]y - q[x β] + g(y)} 5

16 Resolvedo el sstema de ecuacoes log L( β) β j β j = b j = teemos que p (x β )( xβ β j )y q (x β)( xβ β j ) = j=,,k (9) = = Como x β β = x j j Teemos que [ p (x β )y q (x β) ] x j = = q (x β) p (x β ) y x j = = p (x β) j=,,,k j=,,k De (7) y (8) teemos logl( β) β j = V(y ) = [ y x β) ] x j j=,,k (3) Luego (3) es gual a () Etoces la prueba es completada Charles, Frome y Yu (976) extedero los resultados presetados por Bradley para fucoes elace o ecesaramete leales, es decr cuado E(Y / X) = f(x, β) Dode f(x, β ) es ua fucó o ecesaramete leal Para más detalle ver Frome Yu (976) 6