REGRESION simple. Correlación Lineal:

Transcripción

1 REGRESION simple Correlación Lineal: Dadas dos variable numéricas continuas X e Y, decimos que están correlacionadas si entre ambas variables hay cierta relación, de modo que puede predecirse (aproximadamente) el valor de una de ellas conocido el valor de la otra; en este sentido, decimos que la correlación es positiva si al aumentar una de las variables aumenta también la otra, y negativa en caso contrario. Si queremos predecir el valor de Y a partir de X, decimos que X es el regresor, e Y la variable explicada. Si X e Y no están relacionadas en modo alguno, decimos que son incorreladas. Si X e Y están correlacionadas, tiene sentido buscar la fórmula que permita aproximar una de ellas, digamos Y, conocida la otra. Según el tipo de fórmula que mejor se adapte a los datos, hablamos de correlación lineal (Y = a+bx), correlación cuadrática (Y = a + bx + cx 2 ), exponencial (Y = ab X ), etc. En nuestro caso, nos centraremos en la correlación lineal. Medida de la Correlación Lineal: Para evaluar la fuerza de la correlación lineal entre dos variables X e Y, es decir, la idoneidad de una aproximacón Y = a + bx, lo primero que haremos será reunir datos del tipo (x 1, y 1 ), (x 2, y 2 ),..., (x n, y n ); es decir, mediremos los valores de X e Y sobre n individuos de una cierta población; a un conjunto de datos de este tipo se le llama una distribución bidimensional. A partir de estos datos, calcularemos los siguientes parámetros, que permiten evaluar distintos aspectos de la correlación lineal. (1) Nube de Puntos: Es la representación gráfica de los datos (x i, y i ). La forma de la región que configuran permite evaluar si hay o no correlación entre las variables: si la nube de puntos se aproxima a una curva con forma geométrica definida, hay correlación entre ambas; si la nube de puntos no se aproxima a ninguna curva en particular (es decir, es más bien informe), entonces son incorreladas. En el primer caso, la curva a la que se aproxime la nube de puntos sugerirá el modelo a utilizar: lineal (Y = a + bx) si es una recta, cuadrática (Y = a+bx +cx 2 ) si es una parábola, etc. En el caso de la correlación lineal, la nube de puntos debe ser alargada, y próxima a una recta intermedia. (2) Covarianza: Es un parámetro que depende tanto de la fuerza de la correlación lineal, como de la dispersión y el tamaño de las x i, por un lado, y 1

2 las y j, por otro. Cuanto más próxima esté a 0, más débil será la correlación lineal entre las variables. Se calcula como: s xy = i=1,...,n(x i x)(y i ȳ) n = i=1,...,n x i y i xȳ n Si la correlación es positiva, entonces s xy > 0; si es negativa, s xy < 0. (3) Coeficiente de correlación lineal de Pearson: ρ = s xy s x s y Se cumple que: Depende sólo de la fuerza de la correlación lineal. 1 ρ 1 Si ρ > 0, la correlación es positiva; si ρ < 0, negativa. La correlación es tanto más fuerte cuanto más próximo esté ρ a 1 o 1. (4) Coeficiente de correlación lineal de Spearman (o por Rangos): Es más robusto que ρ (es decir, menos sensible a datos atípicos). Si representamos por R x, R y los rangos de los x i, y j, respectivamente, entonces r s = s R x,r y s Rx s Ry Sus propiedades son completamente análogas a las de ρ. Modelo de Correlación Lineal: Con más precisión, decimos que la relación entre dos variables X e Y puede ser descrita a partir de un modelo lineal, cuando puede afirmarse que Y = a + bx + ɛ donde ɛ recibe el nombre de residuo, de modo que se cumple: (i) La relación entre Y y X es lineal (es decir, la fórmula Y = a + bx aproxima bien el valor de Y, conocido X) (ii) La media de los residuos es 0. (iii) Los residuos son normales. (iv) La varianza de Y no depende del valor de X (homocedasticidad). (v) Los residuos son aleatorios. En resumen, ɛ = N(0, σ), donde σ recibe el nombre de error experimental, y permite evaluar hasta qué punto pueden desviarse las predicciones, de los valores reales. 2

3 Los valores a, b se estiman como: b = s xy s 2 x a = ȳ b x donde x, ȳ son las medias de los x i, y j, respectivamente, y s 2 x es la varianza de los x i. El parámetro a se llama ordenada, y b pendiente. En general, dado un cierto valor x i, representaremos por ŷ i el valor esperado de la variable Y, correspondiente al valor x i de la variable X, conforme al modelo anterior; es decir, ŷ i = a + bx i Se tiene que ɛ i = y i ŷ i (el valor real menos el predicho ). Variabilidad y Correlación Lineal: Puede realizarse una descomposición de la variabilidad de la variable Y similar a la del ANOVA simple, a partir del modelo anterior. Concretamente, si ȳ representa la media de la variable Y, entonces: (yi ȳ) 2 = (y i ŷ i ) 2 + (ŷ i ȳ) 2 } {{ } } {{ } } {{ } SCT SCR SCE Se llama coeficiente de determinación o R 2, a R 2 = SCE SCT 100 Este coeficiente debe entenderse como el porcentaje de variabilidad de los datos que está siendo explicado por el modelo (de hecho, si el modelo es bueno ŷ i, y i serán muy similares, luego SCR será próxima a cero. Si R 2 es suficientemente grande, entonces entenderemos que el modelo Y = a+bx está explicando bien la variabilidad encontrada, y por tanto que se ajusta bien a los datos. En particular, cuanto más próximo a 100 sea R 2, más fuerte será la correlación lineal. Además, aplicando técnicas similares a las del ANOVA, podemos producir un p-valor para la hipótesis H 0 : no hay correlación lineal, frente a la alternativa H 1 : hay correlación lineal. Finalmente, R 2 es exactamente igual al cuadrado del coeficiente de correlación lineal de Pearson, multiplicado por 100; de ahí el hecho de que el coeficiente de correlación de Pearson mida la fuerza de la correlación. Tests de Hipótesis para contrastar la existencia de correlación lineal: Si b es la pendiente del modelo de regresión, aceptar H 0 : b = 0, H 1 : b 0 equivale a admitir que no hay correlación lineal. En ese caso, las variables pueden ser incorreladas, o puede existir entre ellas una correlación de otro tipo. 3

4 Si ρ es el coeficiente de correlación de Pearson, aceptar H 0 : ρ = 0, H 1 : ρ 0 equivale a admitir que no hay correlación lineal. Idem para el coeficiente de correlación de Spearman, r s. 4

5 REGRESION múltiple En este caso hay una variable explicada Y, y varios regresores X 1,..., X n, de modo que el modelo que se intenta ajustar es Y = a 1 X a n X n Con mayor exactitud, Y = a 1 X a n X n + ɛ, donde ɛ recibe, como en el caso de la regresión simple, el nombre de residuo; las propiedades que esta variable debe cumplir son las mismas que en el caso anterior. Además, se exige también que las variables X 1,..., X n no estén linealmente correlacionadas (ya que, de otro modo, el modelo tendría más variables de las necesarias). Cuando dos de las variables X i, X j están linealmente correlacionadas, se dice que existe multicolinealidad. Para comprobar si el modelo de regresión múltiple se ajusta bien a un cierto conjunto de observaciones, examinaremos si el coeficiente de determinación, o R 2, es próximo a 100. Esto se traduce también en un cierto p-valor que permite contrastar la hipótesis H 0 : no hay correlación lineal, H 1 : hay correlación lineal. 5