1 + e z. 1 + e. 1 + e = 1 0 2

Transcripción

1 Tema 7. Regresón Logístca Pedro Larrañaga, Iñak Inza, Abdelmalk Moujahd Departamento de Cencas de la Computacón e Intelgenca Artfcal Unversdad del País Vasco Euskal Herrko Unbertstatea 7. Introduccón En este tema vamos a ntroducr las deas fundamentales subyacentes a un paradgma denomnado regresón logístca. La regresón logístca se ha convertdo en un paradgma muy usado en Cencas de la Salud para construr modelos predctores. La razón fundamental de esta popularzacón es debdo al hecho de que los parámetros en los que se basa tenen una nterpretacón en térmnos de resgo. La regresón logístca se basa en la denomnada funcón logístca: fz + e z la cual verfca que: 0 < fz < y puede ser nterpreta en térmnos de probabldad. Por otra parte la funcón logístca verfca las sguentes propedades: lím z lím z + f0 + e 0 z + e z + e 0 2 Este tema se ha estructurada de la manera sguente: En la Seccón 7.2 se ntroduce el modelo logístco, as como dversos conceptos asocados al msmo, tales como rsk rato, odds rato, formulacón logt y rsk odds rato. La Seccíón 7.3 muestra como estmar los parámetros de los que depende el modelo a partr de sus estmacones máxmo verosímles. En las Seccones 7.3 y 7.4 se ntroducen respectvamente el test de la razón de verosmltud y el test de Wald ambas herramentas útles para el proceso de modelzacón, el cual es descrto en la Seccón El Modelo Logístco S denotamos por C a la varable a predecr, y por X,..., X n a las n varables predctoras, el paradgma de regresón logístca se expresa de la manera sguente: P C x P C X x,..., X n x n + e β x

2 donde x representa un patrón a clasfcar, y β 0, β,..., β n son los parámetros, que deben ser estmados a partr de los datos, a fjar para tener determnado un modelo concreto de regresón logístca. S consderamos que la varable a predecr C es bnara, podemos calcular P C 0 x de la sguente manera: P C 0 x P C x + e β x e + e β x β x Por ejemplo usando los datos proporconados por Klenbaum 994 donde C representa la varable aletora Enfermedad Coronara con posbles valores s, 0 no, X Nvel de Colesterol alto, 0 bajo, X 2 Edad Contnua, y X 3 el resultado del Electrocardograma anormal, 0 normal, supongamos que obtenemos el modelo de regresón logístca -obtendo a partr de N 609 casos sguente: β 0 3,9 β 0,652 β 2 0,029 β 3 0,342 S quseramos comparar el resgo para dos patrones: x, 40, 0 y x 0, 40, 0 podríamos comenzar calculando la probabldad de que C para cada uno de ellos: P C x P C X, X 2 40, X 3 0 0,09 + e 3,9 + 0, , ,3420 P C x P C X 0, X 2 40, X 3 0 0,060 + e 3,9 + 0, , ,3420 para posterormente utlzar el denomnado rsk rato RR de X frente a X 0 defndo de la sguente manera: RRx, x P C x P C x P C X, X 2 40, X 3 0 P C X 0, X 2 40, X 3 0 0,09 0,060,82 Es decr, para una persona con 40 años y electrocardograma normal, el resgo se multplca cas por dos al pasar de un nvel de Colesterol bajo0 a uno alto. Otro concepto de nterés es el de odds rato OR de un determnado patrón x el cual se denota por ORx y se defne como el cocente entre la probabldad de que el patrón pertenezca a la clase entre la probabldad de que el patrón pertenezca a la clase 0. Es decr: ORx P C x P C x 2

3 Para trabajar con ORx de manera ágl, es convenente expresar el modelo de regresón logístca en la manera logt. Para ello se efectúa una transformacón del modelo, de la manera sguente: [ ] P C x logt P C x ln ORx ln P C x Susttuyendo en la fórmula anteror las expresones correspondentes al modelo logístco obtenemos: logt P C x ln ln e [ ] P C x P C x β x +e e +e β x β x β x β x Tal y como se ha comentado anterormente, el odds rato OR de un ndvduo con patrón x se defne como el cocente entre la probabldad de que C dado dcho patrón x y la probabldad de que C 0 dado x. Así un odds rato de 3 para un patrón x se nterpreta dcendo que para dcho patrón la probabldad de que se dé C es una tercera parte de la probabldad de que C 0. P C x Además se tene que ln ORx ln P C x β x y por tanto s x 0, 0,..., 0 entonces ln OR0 β 0. Sguendo con el ejemplo anteror relatvo a la enfermedad coronara, s calculásemos el logt para x, 40, 0 y para x 0, 40, 0 obtenemos: Así como: y restando ambos logt se obtene: logt P C x β + 40 β β 3 logt P C x 0 β + 40 β β 3 logt P C x logt P C x β Veamos cómo expresar de manera genérca la constatacón anteror. Teorema : En un modelo de regresón logístca, el coefcente β,..., n representa el cambo en el logt resultante al aumentar una undad en la -ésma varable X,..., n. Demostracón: Sean x x,..., x,..., x n y x x,..., x,..., x n dos patrones 3

4 verfcando x j x j para todo j y x x +. Calculando el cambo en el logt obtenemos: logt x logt x β x β x β x β x β x + x β Otro concepto que resulta de nterés es el de rsk odds rato ROR de x frente a x, el cual mde el resgo del odds rato de x frente al odds rato de x ORx, es decr: β x RORx, x ORx ORx e β x x e β x e Obvamente RORx, x se puede expresar de manera alternatva como: n RORx, x e β x x e β x x... e βnx nx n 7.3 Estmacón Máxmo Verosíml de los Parámetros La estmacón de los parámetros β 0, β,..., β n de un modelo de regresón logístca se efectúa por medo del método de estmacón por máxma verosmltud. Según dcho método se obtenen los estmadores máxmo verosímles como funcones de la muestra que hacen que se maxmce la funcón de verosmltud asocada a la nuestra. Denotando por L x, c,..., x N, c N, β 0, β,..., β n a la funcón de verosmltud asocada a una muestra de tamaño N, para un modelo de regresón logístca con parámetros β 0, β,..., β n, con una varable clase C dcotómca, se tene que: L x, c,..., x N, c N, β 0, β,..., β n N P C x j c j P C x j c j Por otra parte, tenendo en cuenta que lnz es una funcón crecente estrctamente, y por tanto el valor de los parámetros β 0, β,..., β n maxmzando L x, c,..., x N, c N, β 0, β,..., β n concde con el valor de los parámetros que maxmza lnl x, c,..., x N, c N, β 0, β,..., β n Desarrollando el logartmo natural de la funcón de verosmltud obtenemos: lnl x, c,..., x N, c N, β 0, β,..., β n c j lnp C x j + c j ln P C x j 4

5 c [ j lnp C x j ln P C x j] + ln P C x j c j ln P C x j N P C x j + ln P C x j Tenendo en cuenta que y que P C x j e Obtenemos ln P C x j P C x j + e β x j β x j β x j + e β x j lnl x, c,..., x N, c N, β 0, β,..., β n β x c β j j 0 + β x j ln + e Los estmadores máxmo verosímles β 0, β,..., β n para los parámetros β 0, β,..., β n se van a obtener al resolver el sguente sstema de n+ ecuacones y n+ ncógntas: β x j lnl β 0 c j e 0 β x j + e β x j lnl β c j x j x j e 0 β x j + e.. β x j lnl β n c j x j n x j e n 0 β x j + e 5

6 En el anteror sstema de n+ ecuacones y n+ ncógntas no es posble obtener una fórmula cerrada para los estmadores de los parámetros β 0, β,..., β n, de ahí que lo habtual sea utlzar técncas teratvas para llevar a cabo dchas estmacones. Al utlzar el método de Newton-Raphson para llevar a cabo dchas teracones, se obtene la sguente fórmula de actualzacón de los parámetros: donde β β,..., β n β nuevo β vejo + X t WX X t c p X matrz cuyas flas son x j, j,..., N. Es decr, X MN, n W matrz dagonal con elementos p j p j, j,..., N. W MN, N. p p p 2 p W p N p N p vector cuya componente j-ésma ndca la probabldad estmada en esa teracón. j Es decr, p MN,, con p j e x βvejo j x βvejo + e c vector de componentes c j, j,..., N. Por tanto c MN,. Los crteros de convergenca del método teratvo utlzado para estmar los parámetros pueden ser varos, pero en todos ellos la dea subyacente es que ben β nuevo vejo β βnuevo βvejo o lnl lnl o p nuevo p vejo. 7.4 Test de la Razón de Verosmltud El test de la razón de verosmltud se basa en comparar el producto entre 2 y el logartmo neperano de un cocente entre verosmltudes con el percentl correspondente de una dstrbucón ch-cuadrado. Dcho test de la razón de verosmltud tene como objetvo el comparar dos modelos de regresón logístca, el denomnado modelo completo full model frente al que se conoce como modelo reducdo reduced model. Este segundo modelo puede verse como un submodelo del modelo completo. La hpótess nula testada en el test de la razón de verosmltud establece que los parámetros correspondentes a las varables que forman parte del modelo completo, pero no del modelo reducdo, valen cero. Para ver la manera en la que funcona el test de la razón de verosmltud vamos a consderar los sguentes tres modelos de regresón logístca expresados en su formulacón logt: Modelo : logt P C x α + β x + β 2 x 2 Modelo 2: logt P 2 C x α + β x + β 2 x 2 + β 3 x 3 Modelo 3: logt P 3 C x α + β x + β 2 x 2 + β 3 x 3 + β 4 x x 3 + β 5 x 2 x 3 Tal y como puede verse, el Modelo 2 es una extensón del Modelo, de gual manera 6

7 que el Modelo 3 consttuye una extensón del Modelo 2. En caso de querer comparar el Modelo 2 frente al Modelo, este últmo jugará el papel de modelo reducdo, mentras que el Modelo 2 será el modelo completo. De manera análoga, s qusésemos comparar el Modelo 3 frente al Modelo 2, dcho Modelo 2 sería el modelo reducdo, mentras que el Modelo 3 se nterpretará como modelo completo. Vamos a denotar por L, y L 3 los valores de máxma verosmltud obtendos respectvamente por el Modelo, Modelo 2 y Modelo 3 en relacón con un conjunto de N casos prevamente determnado. Debdo a que cuanto más parámetros tene un modelo mejor se va ajustando a los datos, y esta es la stuacón exstente con los tres modelos anterores debdo a sus característcas jerárqucas, se tene que: L L 3 Pero por otra parte, al ser el logartmo una funcón crecente, se obtene que: y por tanto ln L ln ln L 3 2ln L 3 2ln 2ln L sendo esta la relacón exstente entre los denomnados log lkehood statstcs, a partr de los cuales se va a construr el test de la razón de verosmltud. El test de la razón de verosmltud LR tene en cuenta la resta entre dos log lkehood statstcs, o lo que es lo msmo, el logartmo neperano del cocente entre dos verosmltudes. Sguendo con el ejemplo ntroducdo anterormente y tratando de comparar el Modelo 2 frente al Modelo, el test de la razón de verosmltud plantea como hpótess nula el que β 3 0, es decr, que el parámetro de la componente que forma parte del Modelo 2 pero no del Modelo es cero. Por tanto se tene: H 0 : β 3 0 H : β 3 0 La manera en la que funcona el test de razón de verosmltud es la sguente: S la varable X 3 efectúa una gran contrbucón a la modelzacón y hace que el Modelo 2 se ajuste mucho mejor a los datos que el Modelo, se tendrá que será mucho mayor que L, y por tanto L 0. Tomando logartmos neperanos, ln L, y de ahí que 2ln L +. Por tanto cuanto mayor sea el valor de LR 2ln L más en contra estaremos de la hpótess nula H 0 : β 3 0. Por otra parte, s la contrbucón de X 3 es escasa, se tendría que L y por tanto ln L 0 y fnalmente LR 2ln L 0. L Se demuestra teórcamente que LR 2ln c sgue bajo la hpótess nula H cl 0 una 2 dstrbucón de probabldad χ 2 r cuando N, número de casos en la base de datos, 7

8 es sufcentemente grande. El número de grados de lbertad de la dstrbucón chcuadrado, r, es gual al número de parámetros que en el modelo completo deben gualarse a cero para que dcho modelo completo concda con el modelo reducdo. Nótese que LR verfca 0 LR < El test de Wald El test de Wald consttuye otra manera de llevar a cabo test de hpótess acerca de parámetros sn necesdad de usar el test de la razón de verosmltud. Sn embargo el test de Wald tan sólo puede ser usado para testar un únco parámetro, como por ejemplo ocurre al testar el Modelo 2 frente al Modelo. S tratásemos de testar el Modelo 3 frente al Modelo 2, el test de Wald no sería de aplcacón. Ŝ βj Para llevar a cabo el test de Wald hay que tener en cuenta el denomnado estadístco de Wald para la varable en cuestón, en este caso denotada por X j. Para dcha β j j-ésma varable dcho estadístco de Wald es, sendo β j y Ŝ Ŝβ j las estmacones βj máxmo verosímles de β j y de su correspondente desvacón estándard. Se verfca que β 2 j βj N 0, o lo que es equvalente, χ 2. Esta dstrbucón del estadístco de Wald srve para aceptar o rechazar la hpótess nula establecda sobre el j-ésmo parámetro, H 0 : β j Modelzacón H A : β j 0 Tanto el test de la razón de verosmltud como el test de Wald son nstrumentos a utlzar para llevar a cabo el proceso de construr un modelo de regresón logístca a partr de una base de datos. Cuando la enumeracón completa de todos los modelos posbles resulta computaconalmente costosa, se utlzan estrategas de modelzacón destnadas a encontrar el mejor subconjunto de varables predctoras. Las estrategas más extenddas son secuencales: a Seleccón haca adelante, en la cual en cada etapa se añade la mejor varable predctora aún no selecconada. b Elmnacón haca atrás, en la cual partendo del conjunto completo de varables predctoras, se va elmnando en cada etapa la peor varable predctora hasta que las varables que quedan en el modelo son todas ellas pertnentes. c Modelzacón paso a paso, en la cual se combnan las dos estrategas anterores. Nótese que mentras que en la estratega de seleccón haca adelante las varables predctoras que son ncludas en el modelo no pueden ser posterormente elmnadas del msmo y que en la elmnacón haca atrás una varable predctora que ha sdo elmnada del modelo no puede más tarde ser ncluda en el msmo, en la modelzacón paso a paso las varables predctoras ncludas en el modelo en una determnada etapa pueden ser excludas del msmo, al gual que una varable excluda del modelo puede posterormente ser ncluda en el msmo. Ŝ βj 8

9 Referencas. A. Albert, J.A. Anderson 984. On the Exstence of Maxmun Lkelhood Estmates n Logstc Models. Bometrka, 7, R. Chrstensen 997. Log-lnear Models and Logstc Regresson, Sprnger 3. D.W. Hosmer, S. Lemeshov 989 Appled Logstc Regresson, Wley 4. D.G. Klenbaum 994 Logstc Regresson, Sprnger 5. S. Menard Coeffcents of Determnaton for Multple Logstc Regresson Analyss. The Amercan Statstcan, 5,,