1. Conceptos de Regresión y Correlación. 2. Variables aleatorias bidimensionales. 3. Ajuste de una recta a una nube de puntos

Transcripción

1 TEMA 10 (curso anterior): REGRESIÓN Y CORRELACIÓN 1 Conceptos de Regresión y Correlación 2 Variables aleatorias bidimensionales 3 Ajuste de una recta a una nube de puntos 4 El modelo de la correlación 5 El modelo lineal de regresión 1 Conceptos de Regresión y Correlación El objetivo es presentar las técnicas estadísticas que permiten analizar la relación entre dos variables cuantitativas Dos técnicas estadísticas: Regresión y correlación La regresión tiene por objetivo estimar el valor de una variable dependiente Y (respuesta) relacionada con una o más variables independientes X (predictores) Esta técnica expresa la relación entre las variables X e Y mediante una función matemática La correlación indica la posible asociación entre las dos variables Es un modelo simétrico, puesto que el investigador no se plantea cuál es la variable dependiente y la variable independiente, tan sólo desea estudiar la posible asociación entre ambas variables Nota: Las técnicas de la regresión y correlación están basadas en modelos estadísticos diferentes El modelo de la regresión lineal tiene por objetivo estimar la recta: y = αx + β, donde x representan los valores posibles de la variable independiente X, e y, los de la variable independiente Y La pendiente de la recta α permite comprobar la hipótesis de ausencia de relación lineal entre las dos variables (α = 0) En este modelo las variables juegan un papel asimétrico El modelo de regresión supone que la variable Y se distribuye según una ley normal, pero no hace hipótesis sobre la variable independiente El modelo de correlación permite comprobar la hipótesis de ausencia de relación lineal entre las variables X e Y En este caso, el coeficiente de correlación será 0 (ρ = 0) Este modelo, también estima el coeficiente ρ, como un indicador del grado de asociación lineal entre ambas variables En este modelo se exige que, tanto la variable X, como la variable Y, sean variables aleatorias normales 1

2 2 Variables aleatorias bidimensionales Consideramos fenómenos tales que cada observación nos proporciona un par de medidas: el peso y el litros de leche en una vaca, la edad y la altura en recién nacidos, la edad y el número de huevos en una gallina Una variable aleatoria bidimensional es un par de dos variables aleatorias (X, Y ) Una distribución bivariada es una distribución de probabilidad conjunta de dos variables aleatorias X e Y Además de la distribución de la variable aleatoria bidimensional, podemos considerar las distribuciones aisladas de cada variable aleatoria (proyecciones) Estas se denominan distribuciones marginales Estadística descriptiva para variables aleatorias bidimensionales Y \X x 1 x 2 x m totales y 1 n 11 n 21 n m1 n 1 y 2 n 12 n 22 n m2 n 2 y l n 1l n 2l n ml n l totales n 1 n 2 n m N n ij = frecuencia absoluta del par (i, j) n i = frecuencia absoluta del valor x i n j = frecuencia absoluta del valor y j N = observaciones totales medias: varianzas: covarianza: S 2 x = 1 N 1 x = 1 N m m x i n i, ȳ = 1 N l j=1 (x i x) 2 n i, S 2 y = 1 N 1 S xy = 1 N 1 m j=1 y j n j l (y j ȳ) 2 n j j=1 l (x i x)(y j ȳ)n ij Variables aleatorias bidimensionales Consideramos el par (X, Y ) con X e Y variables aleatorias La distribución de probabilidad de la variable bidimensional es: Cuando la variable bidimensional es discreta, calculamos la función de masa conjunta: p(x = x, Y = y) = p(x, y) función de masa conjunta Siempre se verifica, p(x, y) 0, todos (x,y) p(x, y) = 1 2

3 Cuando la variable bidimensional es continua, calculamos la integral de la función de densidad de probabilidad conjunta: p(a X b, c Y d) = Siempre se verifica, f(x, y) 0, d b f(x, y)dxdy densidad conjunta, c a f(x, y)dxdy = 1 Si las medias de las distribuciones son entonces, se define la covarianza como: E(X) = µ x, E(Y ) = µ y, V (X) = σ 2 x, E(Y ) = σ 2 y, cov(x, Y ) = E((X µ x )(Y µ y )) = E(XY ) E(X)E(Y ) La covarianza es una medida de dispersión, nos da la variabilidad conjunta de las variables X e Y Asociado a este valor, se define el coeficiente de correlación de las variables X e Y como: ρ(x, Y ) = cov(x, Y ) σ x σ y, y nos proporciona un valor que refleja el grado de asociación lineal entre las variables X e Y Se demuestra que el coeficiente ρ está comprendido entre 1 y 1 ( 1 ρ 1), de modo que el valor ρ = 0 indica ausencia de cualquier asociación lineal, mientras que los valores ρ = 1 y ρ = 1 indican relación lineal perfecta positiva o negativa respectivamente 3 Ajuste de una recta a una nube de puntos Supongamos una muestra con n individuos y para cada individuo tomamos el valor de la variables aleatorias X e Y Tenemos por tanto una muestra de n pares de valores distintos: (x 1, y 1 ),, (x n, y n ) Si representamos los n puntos (x, y) de la muestra, en unas coordenadas cartesianas X e Y tenemos la nube de puntos, que nos proporciona la primera idea de relación entre ambas variables: Relación lineal y = ax + b Relación cuadrática y = ax 2 + bx + c Sin relación independencia 3

4 Una forma de estudiar la relación entre las variables X e Y es ajustar una recta a la nube de puntos y examinar la inclinación de esta recta: Una recta horizontal indicaría que las variables no están relacionadas Independencia entre ambas variables Una recta inclinada indicaría una asociación lineal entre las variables, positiva o negativa según la pendiente sea positiva o negativa La recta anterior, que ajusta la nube de puntos, se denomina recta de regresión Podemos obtener la recta de regresión de la variable Y sobre X (predice los valores de Y a partir de X), así como la recta de regresión de la variable X sobre Y (predice los valores de X a partir de Y ) El punto de cortes de ambas rectas es el centro de gravedad de la nube de puntos, es decir, el punto (x, y) Para hallar la recta de regresión que ajusta una nube de puntos, debemos establecer en primer lugar un criterio de ajuste, y posteriormente, calcularla según dicho criterio Supongamos que trazamos la recta y = ax + b para describir una nube de puntos de un conjunto de datos Si para un sujeto i utilizamos el valor x i para predecir el valor, debido a la variabilidad de los datos encontraremos una diferencia pequeña e i, denominada residual, que representa el error de predicción: e i = valor real de valor estimado de = ŷ i = (ax i + b) Y e i y = ax+b recta de regresión b α tan α = a x i X El criterio de ajuste establecido, en cualquier caso, debe minimizar la suma de residuales e i Posibilidades: - Minimizar la suma de los valores absolutos de los residuales ajuste munsatisfactorio - Minimizar la suma de los cuadrados de los residuales mejor ajuste y además fácil solución matemática Esta será la solución! mín e 2 i = mín ( ŷ i ) 2 = mín ( (ax i + b)) 2 Los valores de a y b que minimizan esta función: a b ( (ax i + b)) 2 = ( (ax i + b)) 2 = 2x i ( (ax i + b)) = 0 4 2( (ax i + b)) = 0

5 reorganizando el sistema anterior obtenemos: = nb + a x i x i = b x i + a que son las ecuaciones normales de un problema de mínimos cuadrados Recordando las definiciones de la estadística descriptiva para dos variables, y considerando que tenemos n pareja de valores distintos ( x = 1 x i, ȳ = 1,), despejando de las ecuaciones normales n n obtenemos: a = n (x i x)( ȳ) n (x i x) 2 x 2 i = S xy Sx 2, b = ȳ a x, por lo que las rectas que ajustan la nube de puntos son: Recta de Y sobre X: y ȳ = S xy Sx 2 (x x) Recta de X sobre Y : x x = S xy (y ȳ) S 2 y Ejercicio: Comprobar que el centro de gravedad ( x, ȳ) pertenece a ambas rectas Los coeficientes de ambas rectas, S xy /Sx 2 y S xy /Sy 2 reciben el nombre de coeficientes de regresión Ejemplo: Ajustar una recta de regresión al siguiente conjunto de datos: (05, 1), (12, 3), (3, 25), (6, 5), (8, 4) x = S 2 x = (05 374)2 + + (8 374) 2 4 S xy = = 374, ȳ = = 31, = 102, S 2 y = (1 31)2 + + (4 31) 2 4 (05 374)(1 31) + + (8 374)(4 31) 4 = 39 = 23 a = S xy S 2 x Recta de regresión de Y sobre X: y = 0382x Utilizando las ecuaciones normales: = 39 = 0382, b = ȳ a x = x y x 2 y 2 xy = nb + a x i x i = b x i + a x 2 i 5

6 { 155 = 5b + 187a 736 = 187b a y, nuevamente obtenemos la recta de Y sobre X: a = 0382, b = 1666, y = 0382x , 0382 = coeficiente de regresión 4 El modelo de la correlación La covarianza muestral S xy es el índice básico en el modelo Es una medida estadística que refleja el grado de asociación lineal entre dos variables cuantitativas Si la varianza es una medida de la dispersión de una variable, la covarianza es una medida de la variabilidad conjunta de dos variables La covarianza se define como el promedio de los productos de las desviaciones de las dos variables: supongamos una muestra de n datos (x i, ), entonces: De esta definición, observamos: n S xy = (x i x)( ȳ) n 1 Tomará valores positivos si la asociación lineal es creciente y negativos si es decreciente Las unidades de medida son el producto de las unidades de cada una de las variables Para obtener una medida independiente de las unidades, dividimos por las desviaciones S x, S y : resulta el coeficiente de correlación de Pearson r xy : r xy = S xy S x S y, 1 r xy 1 r xy = 1 asociación lineal perfecta positiva r xy = 1 asociación lineal perfecta negativa r xy = 0 ausencia de asociación lineal Nota: Un valor nulo de r xy no indica ausencia de relación, sino ausencia de asociación lineal entre las variables orientación < 02 correlación muy baja correlación baja correlación moderada correlación alta > 09 correlación muy alta Nota: Hemos visto el modelo desde un punto de vista descriptivo Se completa en cuanto podamos hacer inferencia, y por tanto, establecer una prueba de hipótesis basada en el coeficiente de correlación 5 El modelo lineal de regresión El objetivo de esta sección es comprender el modelo de la regresión lineal, que consiste en hallar la ecuación de la recta que mejor se ajuste a unos datos Los pasos, nuevamente son: 6

7 primeramente la consideración de la regresión como una técnica descriptiva, que consiste en utilizar el procedimiento de mínimos cuadrados para hallar la ecuación de la recta que mejor se ajuste a los datos, y, seguidamente se presenta la regresión desde una óptica inferencial, es decir, a partir de una muestra al azar de una población se evalúa si en dicha población las variables están relacionadas linealmente, y, en caso afirmativo, se estiman los parámetros de la recta de regresión Nos centraremos en el análisis descriptivo La clave para su compresión está en la descomposición de la variación total Descomposición de la variación total Recta de regresión: y = ax + b Y e i residual regresión total y = ax+b X La desviación total respecto de la media de un sujeto i cualquiera es: ȳ ȳ = ȳ + ŷ i ŷ i = (ŷ i ȳ) + ( ŷ i ) Esta desviación se puede descomponer en dos partes: Una explicada por la regresión: ŷ i ȳ desviación explicada (regresión) Una no explicada, que refleja la variabilidad residual del sujeto: ŷ i desviación no explicada (residual) Si elevamos al cuadrado y sumamos en i = 1,, n: ( ȳ) 2 = (ŷ i ȳ) 2 + ( ŷ i ) 2 + 2(ŷ i ȳ)( ŷ i ) ( ȳ) 2 = (ŷ i ȳ) 2 + ( ŷ i ) 2 + 2(ŷ i ȳ)( ŷ i ) Nota: se demuestra que 2(ŷ i ȳ)( ŷ i ) = 0 ( ȳ) 2 = (ŷ i ȳ) 2 + ( ŷ i ) 2 variación total=variación explicada+ variación no explicada Observamos que: El ajuste perfecto se presenta cuando la recta de regresión explica completamente la variación total, luego la variación total es la variación explicada y la variación no explicada es nula 7

8 El ajuste nulo se presenta cuando la recta de regresión no explica nada de la variación total, luego la variación total es la variación no explicada y la variación explicada es nula En este caso la recta de regresión es horizontal Así, una medida del ajuste del modelo a los datos se obtiene a partir de la razón entre la variación explicada y la total Es el coeficiente de determinación r 2 r 2 = variación explicada variación total Nota: El coeficiente de determinación oscila entre 0 (ajuste nulo) y 1 (ajuste perfecto) Nota: Matemáticamente, obtenemos que el coeficiente de determinación es el cuadrado del coeficiente de correlación Nota: El coeficiente de determinación nos da el porcentaje de variación explicada: diremos que 100r 2 % de la variación de la variable Y es explicada por su relación con la variable X Ejemplo: En el ejemplo, calculamos el coeficiente de correlación y el coeficiente de determinación: r xy = S xy 39 = = 0805 S x S y por lo que estamos ante un problema de correlación alta El coeficiente de determinación es: r 2 = = 0648, por lo que diremos que el 65 % de la variación de la variable Y es explicada por su relación con la variable X (esto tendrá algún significado en cuanto sepamos qué representan ambas variables) Nota: para concluir, observamos que el problema se plantea en dos fases: en primer lugar analizaremos la correlación para establecer si existe alguna correlación lineal entre las variables; en segundo lugar, si la correlación es más que moderada, buscaremos la recta que mejor ajuste a dichos datos 8