Método de cuadrados mínimos

Transcripción

1 REGRESIÓN LINEAL Gran parte del pronóstico estadístico del tiempo está basado en el procedimiento conocido como regresión lineal. Regresión lineal simple (RLS) Describe la relación lineal entre dos variables, x (variable independiente o predictor) y y (variable dependiente o predictando). La RLS busca resumir la relación entre dos variables, mostrada gráficamente en su diagrama de dispersión, mediante una línea recta. Esta línea produce el error más pequeño para las predicciones de y dadas las observaciones de x. El criterio más usual para determinar el error en las predicciones es la minimización de la suma (o equivalentemente del promedio) de los errores cuadráticos.

2 Método de cuadrados mínimos Dado un conjunto de parejas (x,y) el problema es encontrar la línea recta particular ŷ = a + bx (1) que minimice las distancias o desviaciones verticales (errores o residuales) entre dicha recta y los puntos correspondientes a los datos. (a y b se conocen como parámetros de la regresión). Los errores o residuales (v.a. cuya media es 0), se definen como: e i = y i ŷ(x i ) (2) Combinando (1) y (2) se obtiene la ecuación de regresión: y i = ŷ i + e i = a + bx i + e i (3) El objeto es minimizar la suma de los errores cuadráticos: SSE = (e i ) 2 = (y i ŷ i ) 2 = (y i [a + bx i ]) 2

3 SSE representa la variabilidad observada que no es explicada o determinada por el modelo de regresión lineal. El procedimiento para encontrar los coeficientes a y b es derivar SSE con respecto a cada uno de los parámetros, igualar a 0 y resolver. Las ecuaciones resultantes se conocen como ecuaciones normales.

4 De la derivada con respecto al primer coeficiente (a) se obtiene: a = y bx lo cual significa que: (1) la línea de regresión siempre pasa por el punto localizado por los promedios de x y y; y (2) la línea de regresión divide la dispersión de los puntos observados de modo que los residuos positivos siempre se cancelan con los residuos negativos.

5 Distribución de los residuales Convencionalmente se asume que los residuales ei = y i ŷ(x i ) son v. a. independientes con media 0 y varianza constante. Con frecuencia, se asume adicionalmente que los residuales siguen una distribución Gaussiana. El procedimiento de cuadrados mínimos garantiza que ei = 0 y en consecuencia ē = 0. Una cuestión central para realizar inferencias estadísticas es estimar la varianza de los residuales (dispersión respecto a su valor medio): donde se ha dividido entre n 2 porque se han estimado los dos parámetros a y b.

6 En lugar de usar la expresión anterior para calcular la varianza, es común utilizar la siguiente relación: SST = SSR + SSE en donde es la suma de cuadrados total o suma de las desviaciones cuadráticas de los valores de y alrededor de su media, que es proporcional a la varianza de los datos observados. Esta variación se divide en la porción representada por la regresión o suma de cuadrados de la regresión: y la porción asociada a la variación de los residuales que es la suma de los errores cuadráticos.

7 Por lo tanto, la varianza de los residuales se puede expresar de la siguiente manera: SST = Suma de cuadrados total (mide la variabilidad total del predictando y) SSR = Suma de cuadrados de la regresión. Indica que una línea de regresión que difiere poco de la media muestral de y tendrá una pendiente pequeña y producirá un SSR muy pequeño y viceversa. SSE = Suma de cuadrados de los residuales o errores

8 Análisis de Varianza (ANOVA) Tabla genérica del Análisis de Varianza para la regresión lineal simple: Fuente de variación Grados de libertad Sumas de cuadrados Cuadrados medios (varianza) Estadístico de prueba SST/(n 1) Medidas de la bondad de ajuste o fuerza de la regresión: 1. MSE. La medida de la magnitud absoluta de la bondad de ajuste es el error estándar de la estimación: s e = (MSE) ½ (grado de dispersión de los residuales alrededor de la línea de regresión ajustada). 2. Coeficiente de determinación R 2 = SSR/SST = 1 SSE/SST, que puede interpretarse como la proporción de la variación de y que está descrita por la regresión. 3. F = MSR/MSE

9 Suponiendo que los errores son independientes y siguen la misma distribución Gaussiana, y bajo la H 0 de que no existe una relación lineal entre x y y, F puede considerarse como el EP y sigue una distribución F con 1 y n 2 grados de libertad. La prueba F se utiliza para comparar las varianzas de dos muestras: s 1 2 y s 22. La razón entre las varianzas, s 12 /s 2 2 sigue una distribución F con ν 1 = n 1 1 y ν 2 = n 2 1 grados de libertad, bajo la hipótesis nula de que las varianzas son iguales. En nuestro caso, F = MSR/MSE, y nos interesa saber si MSR es significativamente mayor que MSE, por lo tanto nuestra hipótesis alternativa sería MSR > MSE y la prueba sería unilateral.