Distribución bidimensional. Marginales. Correlación lineal. Rectas de regresión.

Transcripción

1 REGRESIÓN LINEAL. Distribución bidimensional. Marginales. Correlación lineal. Rectas de regresión. Dada una población, hasta ahora hemos estudiado cómo a partir de una muestra extraída de ella podemos obtener conclusiones sobre una variable X que representa una característica de la población. Así, por ejemplo, podemos calcular en ciertos casos la media, la varianza, intervalos de confianza, etc. También hemos estudiado la misma característica en dos poblaciones, y hemos calculado por ejemplo intervalos de confianza para la diferencia de medias. En este tema consideraremos dos variables X e Y para una misma población, y estudiaremos si existe relación entre X e Y. Ejemplo 0.1. Dado un grupo de pacientes con cierta patología, nos interesa conocer si existe alguna relación entre las variables X: tensión arterial, Y : mg de medicamento que toman debido a la patología que padecen. Así pues, trataremos situaciones en las que se realizará la observación simultánea de dos caracteres en cada individuo de la población, obteniéndose pares de resultados. Los valores de las modalidades que pueden adoptar estos caracteres forman un conjunto de pares (X, Y ): variable estadística bidimensional. 1

2 1. Ordenación de datos en tablas de doble entrada Consideramos una población de N individuos, y sobre cada uno de ellos estudiamos dos caracteres mediante las variables X e Y. Representamos mediante: x 1, x 2,..., x i,..., x k las k modalidades que presenta la variable X, y mediante: las p modalidades de Y. y 1, y 2,..., y j,..., y p Y y 1 y 2... y j... y p X x 1 n 11 n n 1j... n 1p n 1 x 2 n 21 n n 2j... n 2p n x i n i1 n i2... n ij... n ip n i x k n k1 n k2... n kj... n kp n k n 1 n 2... n j... n p n Frecuencia absoluta n ij : número de individuos que presentan las dos modalidades x i e y j, donde i {1, 2,..., k}, j {1, 2,..., p}. Frecuencia relativa f ij : f ij = n ij N Frecuencia absoluta marginal de x i : es el número de individuos que presentan la modalidad x i, y se representa como n i : n i = n i1 + n i n ip = p j=1 n ij Frecuencia absoluta marginal de y j : es el número de individuos que presentan la modalidad y j, y se representa como n j : 2

3 n j = n 1j + n 2j n kj = Distribuciones marginales de X e Y : distribuciones de frecuencias n i, para i = 1,..., k, y n j para j = 1,..., p respectivamente. El número total N de elementos de la población (o de la muestra) se obtiene como: k i=1 n ij N = n = k n i = i=1 p n j = j=1 k p i=1 j=1 n ij Frecuencias relativas marginales.- Vienen dadas por: f i = n i N f j = n j N 2. Distribuciones condicionadas Distribución de la variable Y condicionada a X = x i Cuando queremos conocer la distribución de la variable Y para algún valor concreto de la variable X, por ejemplo X = x i, obtenemos una distribución denominada distribución de la variable Y condicionada a X = x i, y se suele denotar Y X=xi La distribución de frecuencias absolutas de esta nueva variable es exactamente la fila i de la tabla, y la distribución de frecuencias relativas condicionadas es: f(y j X=xi ) = n ij n i, j = 1,..., p 3

4 Distribución de la variable X condicionada a Y = y i De manera análoga, cuando queremos conocer la distribución de la variable X para algún valor concreto de la variable Y, por ejemplo Y = y i, obtenemos una distribución denominada distribución de la variable X condicionada a Y = y i, y se suele denotar X Y =yi La distribución de frecuencias absolutas de esta variable viene dada por la columna j de la tabla, y la distribución de frecuencias relativas condicionadas es: f(x i Y =yj ) = n ij n j, i = 1,..., k 3. Dependencia e independencia Y : Podemos distinguir dos tipos de dependencia entre las variables X e Dependencia funcional: existe una expresión matemática que relaciona ambas variables. Dependencia aleatoria: no existe una expresión matemática que las relacione. Existen variables entre las que no hay ningún tipo de dependencia. Independencia: las variables X e Y son independientes si la distribución marginal de una de ellas es la misma que la condicionada por cualquier valor de la otra. 4

5 4. Covarianza Dada una población de N individuos, la observación de dos variables X e Y sobre cada uno de estos individuos da lugar a N pares de observaciones (x, y). Consideramos la nube de puntos formada por los N puntos del plano (x, y). Trasladamos los ejes XY al centro de gravedad de esta nube de puntos, (x, y). La nube de puntos queda dividida en cuatro cuadrantes: Figura 1: S XY 0. La covarianza S XY se define como: S XY = 1 N N (x i x)(y i y) i=1 Veamos cuál es la interpretación geométrica de la covarianza: Los puntos que se encuentran en el primer y tercer cuadrante contribuyen positivamente al valor de S XY. Así, si hay mayoría de puntos en estos cuadrantes, como ocurre en la Figura 1, ocurre que S XY 0, que puede interpretarse como que la variable Y tiende a aumentar cuando lo hace X Los puntos que se encuentran en el segundo y cuarto cuadrante contribuyen negativamente al valor de S XY. Por tanto, si la mayoría 5

6 de puntos están repartidos en estos cuadrantes, como ocurre en la Figura 2, S XY 0, es decir, las observaciones Y tienden a disminuir cuando las de X aumentan. Si los puntos se reparten aproximadamente igual alrededor de (x, y), entonces se tendrá S XY = 0, como ocurre en la Figura 3. Figura 2: S XY 0. Figura 3: S XY 0. En la figura de la izquierda, las dos variables son independientes, mientras que en la de la derecha hay dependencia entre las dos variables pero la covarianza es nula. 6

7 5. Coeficiente de correlación lineal de Pearson Con la covarianza medimos cómo crecen o decrecen las dos variables de manera conjunta, pero depende de las unidades de medida de cada variable. Para tener una medida de la relación entre las dos variables X e Y que no dependa de ninguna unidad se define el coeficiente de correlación lineal de Pearson r, que es adimensional: r = S XY σ X σ Y donde σ X y σ Y son las desviaciones típicas marginales: σ X = k i=1 (x i x) 2 n i, σ Y = N p El coeficiente r tiene las siguientes propiedades: Sólo toma valores comprendidos entre -1 y 1. j=1 (y i y) 2 n j N Cuando r está próximo a 1 (es decir, r está próximo a 1 o a -1), existe una relación lineal muy fuerte entre las variables. Cuando r 0, podremos afirmar que no existe relación lineal entre X e Y. En este caso se dice que las variables X e Y son incorreladas. 6. Regresión El problema de regresión consiste en intentar ajustar una función conocida a la nube de puntos de la variable (X, Y ) con el fin de poder predecir una de las variables a partir de la otra. Para elegir la mejor función que cumple esto utilizamos el método de los mínimos cuadrados. La función que pretendemos obtener será una línea que llamaremos línea de regresión, que puede ser una recta, una parábola, una hipérbola, etc. Dependiendo de la forma que adopte la nube de puntos utilizaremos una función u otra. De ahora en adelante consideraremos regresión 7

8 lineal, una recta será la función que mejor se adapta a la nube de puntos. Cuando la nube de puntos se encuentre exactamente sobre una recta (ver Figura 4a) tendremos que la relación entre las variables X e Y será: Y = a + bx Sin embargo, si los puntos están próximos a una recta, pero no todos pertenecen a ella (ver Figura 4b), tendremos: Y = a + bx ± error Figura 4: Regresión lineal. El término que hemos denominado error debe ser tan pequeño como sea posible. El objetivo será buscar la recta que lo minimice. Vamos a considerar en cada par (X, Y ) que al valor observado x i le corresponde un valor observado y i y otro teórico yi que sería el que le correspondería en la recta como función, es decir: y i = a + bx i A la distancia entre los valores teórico y experimental la llamaremos d ij (ver Figura 5): d ij = y i y i El método de los mínimos cuadrados para obtener los parámetros a y b que definen la recta de regresión consiste en tomar estar distancias d ij al 8

9 Figura 5: Regresión lineal. cuadrado (para que no se contrarresten los signos positivos y negativos) y hacer que su suma sea mínima. Los valores a y b que hacen que la suma de los errores al cuadrado sea mínima son: a = y bx La recta b = S XY σ 2 X y = a + bx se denomina recta de regresión de Y sobre X. La cantidad b (pendiente de la recta de regresión) se denomina coeficiente de regresión de Y sobre X. El modelo lineal de regresión dará mejores predicciones cuando r sea próximo a 1 o a -1 (ver Figura 6). 9

10 Figura 6: La regresión lineal da mejores predicciones cuando r está cercano a 1 ó a