REGRESIÓN. Pues bien, el análisis de la dependencia estadística admite dos planteamientos ( aunque íntimamente relacionados) :

Transcripción

1 REGRESIÓN INTRODUCCIÓN REGRESIÓN DE LA MEDIA REGRESIÓN MÍNIMO-CUADRÁTICA REGRESIÓN LINEAL RECTA DE REGRESIÓN Y/X RECTA DE REGRESIÓN X/Y COEFICIENTES DE REGRESIÓN RESIDUOS BONDAD DEL AJUSTE VARIANZA RESIDUAL VARIANZA DE LA REGRESIÓN COEFICIENTE DE DETERMINACIÓN REGRESIÓN MÍNIMO CUADRÁTICA NO-LINEAL REGRESIÓN POTENCIAL REGRESIÓN PARABÓLICA REGRESIÓN EXPONENCIAL INTRODUCCIÓN En e marco de anáisis estadístico mutidimensiona interesa, en gran medida, descubrir a interdependencia o a reación existente entre dos o más de as características anaizadas. La dependencia entre dos ( o más ) variabes puede ser ta que se base en una reación funciona (matemática ) exacta, como a existente entre a veocidad y a distancia recorrida por un móvi; o puede ser estadística. La dependencia estadística es un tipo de reación entre variabes ta que conocidos os vaores de a ( as) variabe (variabes ) independiente(s) no puede determinarse con exactitud e vaor de a variabe dependiente, aunque si se puede egar a determinar un cierto comportamiento (goba) de a misma. (Ej. : a reación existente entre e peso y a estatura de os individuos de una pobación es una reación estadística). Pues bien, e anáisis de a dependencia estadística admite dos panteamientos ( aunque íntimamente reacionados) : E estudio de grado de dependencia existente entre as variabes que queda recogido en a teoría de a correación. La determinación de a estructura de dependencia que mejor exprese a reación, o que es anaizado a través de a regresión. Una vez determinada a estructura de esta dependencia a finaidad útima de a regresión es egar a poder asignar e vaor que toma a variabe Y en un individuo de que conocemos que toma un determinado vaor para a variabe X (para as variabesx,x,..., Xn ). J.ejarza & I.Lejarza

2 En e caso bidimensiona, dadas dos variabes X e Y con una distribución conjunta de frecuencias ( xi, yj,nij ), amaremos regresión de Y sobre X ( Y/X) a una función que expique a variabe Y para cada vaor de X, y amaremos regresión de X sobre Y (X/Y) a una función que nos expique a variabe X para cada vaor de Y.(Hay que amar a atención, como se verá más adeante, que estas dos funciones, en genera, no tienen por qué coincidir). REGRESIÓN DE LA MEDIA. La primera aproximación a a determinación de a estructura de dependencia entre una variabe Y y otra u otras variabes X (X,X,..., Xn) es a amada regresión de a media (regresión I) (regresión en sentido estricto). Consideremos e caso bidimensiona: Regresión Y/X (en sentido estricto) (de a media). Consistirá en tomar como función que expica a variabe Y a partir de a X a una función que para cada vaor de X, xi, e haga corresponder (como vaor de Y ) e vaor de a media de a distribución de Y condicionada a xi.la función de regresión quedaría expicitada por e conjunto de puntos: ( x i,y/x i ). Regresión X/Y (en sentido estricto) (de a media). Consistirá en tomar como función que expica a variabe X a partir de a Y a una función que para cada vaor de Y, y j, e haga corresponder (como vaor de X ) e vaor J.ejarza & I.Lejarza

3 de a media de a distribución de X condicionada a Yj.La función de regresión quedaría expicitada por e conjunto de puntos: ( x/y j,y j ). REGRESIÓN MÍNIMO-CUADRÁTICA Consiste en expicar una de as variabes en función de a otra a través de un determinado tipo de función (inea, parabóica, exponencia, etc.), de forma que a función de regresión se obtiene ajustando as observaciones a a función eegida, mediante e método de Mínimos-Cuadrados (M.C.O.). Eegido e tipo de función ƒ ( ) a función de regresión concreta se obtendrá minimizando a expresión: (y j - ƒ (x i ) ). nij en e caso de a regresión de Y/X i= j= (x i - ƒ (y j ) ). nij en e caso de a regresión de X/Y i= j= Puede probarse que es equivaente ajustar por mínimos cuadrados a totaidad de as observaciones (toda a nube de puntos) que reaizar e ajuste de os puntos obtenidos por a regresión de a media; de forma que a regresión mínimo-cuadrática viene ser, en cierto modo, a consecución de una expresión anaítica operativa para a regresión en sentido estricto. 3 J.ejarza & I.Lejarza

4 REGRESIÓN LINEAL A pesar de a senciez de as funciones ineaes tiene una importancia fundamenta. La regresión será inea cuando a función de ajuste seeccionada sea una función inea, una recta, se haba también de recta de regresión. Recta de regresión de Y/X (M.C.O) Pretendemos obtener como función de regresión que nos expique a variabe Y en función de os vaores de X una función inea, con e criterio de que minimice os cuadrados de as diferencias entre os vaores reae s y os teóricos (según a regresión). i= j= La función de regresión a obtener es y* = a + b X con a pretensión de que (yj - (a+b x i ) ).n ij sea mínima. i= j= Habrá que encontrar os vaores de os parámetros a y b que minimizan esa expresión. Es decir que anuan simutáneamente as derivadas parciaes de a función: ψ (a,b)= (yj - (a+b x i ) ).n ij : (Sistema de ecuaciones normaes) i= j= ψ a = 0 e = 0 (y j -a-b x i ). n ij (-)= 0 i= j= ψ b = 0 [ yj -a-b x i ). n ij ].[- i= j= x i n ij ] = 0 i= j= yj n ij =a n i= j= i= j= ij +b x i= j= y j x i n ij = a x i= j= i= j= i n ij +b i= j= i n ij x i n ij (*) restando a segunda ecuación por a primera mutipicada por -x, quedará: 4 J.ejarza & I.Lejarza

5 S xy =b S x (*) de forma que de (*) y de (*) se concuye que os vaores de a y b que minimizan os cuadrados de os residuos y que, por tanto son os parámetros de ajuste mínimocuadrático serán: La ecuación de a recta de regresión Y/X quedará, por o tanto como: De (*), o de a propia ecuación de a recta se deduce que a recta de regresión de Y/X pasa por e centro de gravedad de a distribución. Otra expresión aternativa de a recta de regresión de regresión Y/X es: Recta de regresión de X /Y (M.C.O) Pretendemos obtener, ahora a regresión inea que nos expique a variabe X en función de os vaores de Y.E procedimiento de obtención será, en todo anáogo, a anterior, pero ahora a función de regresión a obtener será: x* = a' + b' Y con a pretensión de que: (xi - (a'+b' y j ) ).n ij sea mínima. i= j= Habrá que encontrar os vaores de os parámetros a' y b' que minimizan esa expresión.es decir que anuan simutáneamente as derivadas parciaes de a función: ψ (a', b' )= (xi - (a'+b' y j ) ).n ij : (Sistema de ecuaciones normaes) i= j= 5 J.ejarza & I.Lejarza

6 ψ a = 0 ψ b = 0 (x i -a'-b' y j ). n ij (-)= 0 i= j= [ x i -a'-b' y j ). n ij ].[- i= j= y j n ij ] = 0 i= j= x i n ij =a' nij +b' y i= j= y j x i n ij = a i= j= i= j= i= j= i= j= x i n ij +b i= j= j n ij x i n ij (*') quedará: restando a segunda ecuación por a primera mutipicada por -y, S xy =b' S y (*') de forma que de (*') y de (*') se concuye que os vaores de a' y b'que minimizan os cuadrados de os residuos y que, por tanto son os parámetros de ajuste mínimocuadrático serán: como: La ecuación de a recta de regresión Y/X quedará, por o tanto De (*), o de a propia ecuación de a recta se deduce que a recta de regresión de Y/X pasa por e centro de gravedad de a distribución. 6 J.ejarza & I.Lejarza

7 Otra expresión aternativa de a recta de regresión de regresión Y/X es: Coeficientes de regresión Se ama coeficiente de regresión a a pendiente de a recta de regresión: en a regresión Y/X : b = S xy / S x en a regresión X/Y b' = S xy / S y E signo de ambos coincidirá con e de a covarianza, indicándonos a tendencia (directa o inversa a a covariación).es interesante hacer notar que b.b'= r Nota. Reaizada a regresión (por ejempo a Y/X, aunque ocurre igua con a X/Y), podemos considerar e resutado obtenido Y* como una variabe (que se obtiene en función de os vaores de X) (variabe regresión) de manera que: Y* es ta que y* i = a + b x i Puede iguamente considerarse otra variabe e (amada residuo) que resuta ser, precisamente a diferencia entre e vaor rea de a variabe regresando (Y) y e vaor teórico de a regresión (Y*): e i =y i -y* i De e resutado de a recta de regresión es obvio que a media de a variabe regresión coincide con a media de a variabe regresando: Y de este resutado se deduce que a media de os residuos o errores es cero e = 0. Además es sencio probar que as variabes regresión y residuo están incorreacionadas y por tanto: y * =. y 7 J.ejarza & I.Lejarza

8 BONDAD DEL AJUSTE (Varianza residua, varianza de a regresión y coeficiente de determinación) Por bondad de ajuste hay que entender e grado de acopamiento que existe entre os datos originaes y os vaores teóricos que se obtienen de a regresión. Obviamente cuanto mejor sea e ajuste, más úti será a regresión a a pretensión de obtener os vaores de a variabe regresando a partir de a información sobre a variabe regresora Obtener indicadores de esta bondad de ajuste es fundamenta a a hora de optar por una regresión de un determinado tipo u otro. Puesto que a media de os residuos se anua, e primer indicador de a bondad de ajuste (no puede ser e error medio) será e error cuadrático medio, o varianza de residuo, o varianza residua : Considerando a regresión Y/X: Que será una cantidad mayor o igua que cero.de forma que cuanto más baja sea mejor será e grado de ajuste. Si a varianza residua vae cero e ajuste será perfecto (ya que no existirá ningún error ). De hecho de que y i =y* i +e i,y de que as variabes y* ý e están incorreacionadas se tiene que: Donde S y* es a amada varianza de a regresión y supone a varianza de a variabe regresión: Iguadad fundamenta anterior de a que se deduce que a varianza tota de a variabe y puede descomponerse en dos partes una parte expicada por a regresión( a varianza de a regresión) y otra parte no expicada (a varianza residua). Considerando que a varianza nos mide a dispersión de os datos este hecho hay que entendero como que a dispersión tota inicia queda, en parte expicada por a regresión y en parte no.cuanto mayor sea a proporción de varianza expicada (y menor a no expicada) tanto mejor será e ajuste y tanto más úti a regresión. 8 J.ejarza & I.Lejarza

9 A a proporción de varianza expicada por a regresión se e ama coeficiente de determinación ( en nuestro caso inea): R S = S y* R S = S que evidentemente estará siempre comprendido entre 0 y y, en consecuencia, da cuenta de tanto por uno expicado por a regresión. Una consecuencia importante en a práctica es que a varianza residua será obviamente: y* Es sencio probar que en e caso inea que nos ocupa e coeficiente de determinación coincide con e cuadrado de coeficiente de correación: R = r Con o cua a varianza residua y a varianza debida a a regresión pueden cacuarse a partir de coeficiente de correación: REGRESIÓN MÍNIMO CUADRÁTICA NO-LINEAL La regresión mínimo-cuadrática puede pantearse de forma que a función de ajuste se busca no sea una función inea. E panteamiento genera sería simiar, aunque obviamente habría que minimizar e cuadrado de os residuos entre os datos originaes y os vaor teóricos obtenibes a través de a función no-inea considerada. Regresión parabóica.desarroaremos someramente a regresión Y/X y debe quedar caro que a regresión X/Y resutaría anáoga. Supongamos para simpificar que os datos no están agrupados por frecuencias. En ta caso, obtener a función parabóica y* = a 0 +a x+a x se evará a cabo determinado os vaores de os tres parámetros a 0,a,a que minimicen : ψ (a 0,a,a )=Σ (yi- (a 0 +a x+a x )) Iguaando a cero as tres derivadas parciaes se obtendrá as ecuaciones normaes, que convenientemente manipuadas acaban siendo: 9 J.ejarza & I.Lejarza

10 y j =N a 0 + a j= y j x i = a 0 i= j= y j x i = a 0 i= j= x i + a x i i= i= x i + a i= 3 x i + a x i i= i= x i + a x i a x i i= i= i= Sistema de ecuaciones de que se pueden despejar os vaores de os coeficientes de regresión. Regresión exponencia Será aquea en a que a función de ajuste será una función exponencia de tipo y = a.b x La regresión exponencia aunque no es inea es ineaizabe tomando ogaritmos ya que haciendo e cambio de variabe v = og y tendremos que a función anterior nos generaría: v = og y = og( a.bx) = og a + x og b a soución de nuestro probema vendría de resover a regresión inea entre v ý x, y una vez obtenida supuesta ésta: v* = A + B x ; obviamente a soución fina será: a = antiog A y b = antiog B. Regresión potencia. Será aquea en a que a función de ajuste sea una función potencia de tipo: y = a. x b también en este caso se resueve ineaizando a función tomando ogaritmos ya que: og y = og a + b og x Considerando as nuevas variabes v = og y u= og x resoveríamos a regresión inea entre eas de forma que si e resutado fuera: v*= A +B u La soución fina quedaría como a= antiog A y b= B 0 J.ejarza & I.Lejarza