1 Introducción. 2 Modelo. Hipótesis del modelo MODELO DE REGRESIÓN LOGÍSTICA

Transcripción

1 MODELO DE REGRESIÓN LOGÍSTICA Introducción A grandes rasgos, el objetivo de la regresión logística se puede describir de la siguiente forma: Supongamos que los individuos de una población pueden clasificarse en dos grandes grupos (grupo A y grupo B), pero su clasificación no es sencilla, bien porque implique un estudio costoso, bien porque se refiera al futuro, o por cualquier otro motivo. Sin embargo, el conocimiento de los valores de algunas variables de esos individuos puede resultar de mucha ayuda para su clasificación. Ejemplos Los individuos de cierta especie de aves pueden pertenecer a dos subespecies. A simple vista, no es fácil determinar a cuál de ellas pertenece un ejemplar determinado, pero el conocimiento de su peso y de su envergadura pueden ayudar a una correcta clasificación. En este caso, podemos llamar A y B a las dos subespecies. La supervivencia de los árboles tras el paso de una tormenta de gran intensidad se piensa que depende, sobre todo, de su diámetro y de una medida de la severidad local de la tormenta. En este caso, podemos decir que un árbol estaría en el grupo A si no sobrevive, y en el grupo B cuando sobrevive. 2 Modelo. Hipótesis del modelo Consideramos, por tanto que los individuos de una población pueden pertenecer a dos grupos que llamaremos A y B. Los elementos que van a intervenir en un modelo de regresión logística son los siguientes: Una variable respuesta (o dependiente), Y, que será una variable dicotómica, que tomará el valor (cuando el individuo pertenece al grupo A) y el valor 0 (cuando el individuo pertenece al grupo B). Formalmente, será una variable aleatoria de tipo discreto con distribución de Bernoulli. Varias posibles variables explicativas (o regresoras o independientes), X,..., X k, que serán variables numéricas (o cuantitativas). Finalmente, necesitamos datos. Supondremos que disponemos de n conjuntos de datos: (y i, x i,..., x ki ) para i =,..., n Por supuesto, sigue siendo absolutamente necesario que los datos vayan unidos en el sentido de que (y i, x i,..., x ki ) representan los valores de Y, X,..., X k en el i-ésimo individuo o unidad muestral. El objetivo del modelo de regresión logística es expresar la probabilidad de pertenecer al grupo A en función de los valores de las variables explicativas o regresoras. En principio, ese modelo podría ser algo del siguiente estilo: P r(a) = P r(y i = ) = β 0 + β x i β j x ji β k x ki para i =,..., n Pero este modelo tiene el inconveniente obvio de que el segundo miembro raramente tendrá un valor entre 0 y. Por este y otros motivos, se va a recurrir a una

2 versión sencilla de la función logística (que se estudió en el curso de Matemáticas): f(x) = + e x Esta función tiene la ventaja de que siempre toma valores entre 0 y, siendo por tanto una función muy adecuada para modelizar probabilidades. En resumen, el modelo de regresión logística es de la siguiente forma: P r(a) = P r(y i = ) = + e β 0 β x i... β j x ji... β k x ki para i =,..., n Es decir, el modelo de regresión logística estipula que la probabilidad de que un individuo pertenezca al grupo A (o en términos técnicos, la probabilidad de que la variable Y tome el valor ) depende de los valores concretos que tengan las variables X,..., X k en ese individuo, a través de la función anterior. En resumen, las hipótesis iniciales del modelo de regresión logística son las siguientes: () Las observaciones Y,..., Y n son independientes. (2) Cada Y i sigue una distribución de Bernoulli. (3) La probabilidad de que Y i sea igual a (probabilidad de que el individuo pertenezca al grupo A) depende de los valores de las variables X,..., X k a traves del siguiente modelo: P r(a) = P r(y i = ) = + e β 0 β x i... β j x ji... β k x ki para i =,..., n Como en todos los modelos de regresión, necesitaremos estimar los parámetros del modelo, β 0,...β j,..., β k, mediante estimadores puntuales, mediante intervalos de confianza, y también estaremos interesados en algún contraste de hipótesis sobre esos parámetros. 3 Significado de los parámetros Una vez que los valores de los parámetros hayan sido estimados, el modelo de regresión logística proporciona (aproximadamente) la probabilidad de que un individuo concreto pertenezca al grupo A, cuando los valores de las variables regresoras para ese individuo son x,..., x k, mediante la fórmula: P r(a) = P r(y = ) = + e β 0 β x... β j x j... β k x k Es muy conveniente saber cuál es el significado intuitivo de los parámetros β,..., β j,..., β k. En el modelo de regresión lineal múltiple, el significado intuitivo de β j era muy sencillo, ya que β j medía la variación media que experimentaba la variable respuesta cuando X j aumentaba una unidad. En el modelo de regresión logístico, la interpretación se complica un poco. Esta interpretación se explica en los siguientes pasos: 2

3 () En primer lugar, calculamos el siguiente cociente o razón de probabilidades, que se representará con la letra O (del inglés odds): O(x,..., x j,..., x k ) = P r(a) P r(b) +e β 0 β x... β j x j... β k x k P r(y = ) = P r(y = 0) = = e β 0+β x +...+β j x j +...+β k x k +e β 0 β x... β j x j... β k x k (2) Si aumentamos la variable X j una unidad, manteniendo las demás en los valores que tenían antes, el cociente de probabilidades sería de la forma: O(x,..., x j +,..., x k ) = e β 0+β x +...+β j (x j +)+...+β k x k (3) Si dividimos los dos cocientes, tenemos: O(x,..., x j +,..., x k ) O(x,..., x j,..., x k ) Escrito de otra forma: = eβ 0+β x +...+β j (x j +)+...+β k x k e β 0+β x +...+β j x j +...+β k x k = e β j O(x,..., x j +,..., x k ) = e β j O(x,..., x j,..., x k ) En consecuencia: El cociente de probabilidades se multiplicará por e β j cuando aumentamos una unidad el valor de X j (manteniendo constantes todas las demás). Por ejemplo, si e β j = 2, el cociente de probabilidades se multiplicaría por 2. 4 Estimadores puntuales Mediante la aplicación del método de máxima verosimilitud, se obtendrían los estimadores puntuales de los parámetros: ˆβ 0, ˆβ,..., ˆβ k Estas estimaciones son ofrecidas por los programas de análisis estadístico. En particular, el SPSS ofrece estas estimaciones en la tabla de Variables en la ecuación que se obtiene mediante: Analizar Regresión Logística binaria En esa misma tabla, aparecen también las estimaciones de e β j, cuyo significado se ha explicado en la sección anterior. 5 Intervalos de confianza Mediante la aplicación del método de la cantidad pivotal, se obtendrían los intervalos de confianza, al nivel α, para estimar β 0, β,..., β k : IC α (β j ) = ( ˆβj ± z α/2 (error típico de ˆβ j ) ) para j = 0,,..., n 3

4 Los errores típicos de ˆβ j aparecerán en la tabla de Variables en la ecuación de SPSS. También es posible obtener intervalos de confianza para e β j mediante el SPSS, activando la opción correspondiente dentro del botón Opciones.... Dichos intervalos aparecerán en la tabla de Variables en la ecuación. 6 Contrastes de hipótesis En esta sección, vamos a considerar los contrastes de hipótesis necesarios para estudiar si las variables regresoras que se introdujeron en el modelo son realmente necesarias o explicativas. El tipo de pregunta que nos planteamos es de la siguiente forma: Disponemos de suficiente evidencia muestral para afirmar que X j tiene un papel relevante en el modelo o, dicho de otra forma, una influencia significativa sobre la probabilidad de clasificación en el grupo A? Dado que la posible influencia de X j desaparecería si su coeficiente β j se anulase, esto nos lleva a elegir entre las posibilidades β j = 0 y β j 0 y, por tanto, al siguiente contraste de hipótesis: H 0 : β j = 0 (X j no influye) H : β j 0 (X j sí influye) Elegiremos un nivel de significación α para tomar una decisión al final del estudio. Esta decisión la podemos tomar utilizando el intervalo de confianza IC α (β j ): Si el valor cero está contenido en IC α (β j ), aceptamos H 0, y la conclusión es que no hay evidencia estadística para afirmar que X j tiene una influencia significactiva sobre la probabilidad de clasificación. Por el contrario, si el valor cero no está contenido en IC α (β j ), rechazamos H 0, y la conclusión en este caso es que disponemos de suficiente evidencia estadística para afirmar que X j tiene una influencia significactiva sobre la probabilidad de clasificación. De manera equivalente, se puede utilizar la siguiente región de rechazo de H 0 : { R = ˆβ } j error típico de ˆβ > z α/2 j También se puede utilizar el p-valor que proporciona la tabla de Variables en la ecuación del SPSS. 7 Evaluación del modelo La evaluación global del modelo se puede efectuar mediante los coeficientes de determinación R 2 de Cox y Snell, y el de Nagelkerke. Los valores de estos coeficientes de determinación se pueden ver en la tabla de Resumen del modelo del SPSS. Ambos coeficiente toman valores entre 0 y, y su interpretación es similar a la interpretación del coeficiente de determinación del modelo de regresión lineal, es decir, cuánto más cercanos están a, mejor es el modelo. 4

5 8 Estimación de las probabilidades Una vez que hemos obtenido las estimaciones puntuales de los parámetros, ˆβ0, ˆβ,..., ˆβ k, es muy sencillo estimar la probabilidad de que un individuo pertenezca al grupo A, cuando los valores de las variables regresoras para ese individuo son X = x,..., X k = x k. Para hacer esto, es suficiente con sustituir las estimaciones de los parámetros en el modelo de regresión logística: P r(a) = P r(y = ) = + e ˆβ 0 ˆβ x... ˆβ k x k En particular, si al utilizar el SPSS, activamos la opción Probabilidades dentro del botón Guardar..., el programa calcula las probabilidades estimadas para cada uno de los individuos que intervienen en la muestra, y las guarda en una nueva columna del Editor de Datos. 9 Clasificación de los individuos Utilizando el modelo de regresión logística, es posible dar una regla sencilla que sirva para clasificar los distintos individuos en el grupo A o en el grupo B? La respuesta es afirmativa y se obtiene mediante un sencillo razonamiento: Clasificaremos a un individuo en el grupo A (es decir, Y =) cuando: P r(a) = P r(y = ) = + e ˆβ 0 ˆβ x... ˆβ k x k > 2 2 > + e ˆβ 0 ˆβ x... ˆβ k x k e ˆβ 0 ˆβ x... ˆβ k x k < ˆβ 0 ˆβ x... ˆβ k x k < 0 ˆβ0 + ˆβ x ˆβ k x k > 0 En resumen, la regla para saber si un individuo debe ser clasificado en el grupo A o en el grupo B, cuando los valores de las variables regresoras para ese individuo son X = x,..., X k = x k, es muy sencilla de describir: Si ˆβ 0 + ˆβ x ˆβ k x k > 0, lo clasificamos en el grupo A (es decir, Y = ) Si ˆβ 0 + ˆβ x ˆβ k x k < 0, lo clasificamos en el grupo B (es decir, Y = 0) Si estamos utilizando el SPSS, y activamos la opción Grupo de pertenencia dentro del botón Guardar..., el programa asigna cada dato a un grupo (A o B) utilizando la regla anterior, y nos muestra esta clasificación (Y = ó Y = 0) en una nueva columna del Editor de Datos. En el caso particular de que estemos trabajando con dos variables regresoras, X y X 2, la regla de clasificación proporciona una recta en el diagrama de dispersión de X 2 sobre X que separa las dos regiones. 5