Probabilidad y Estadística - Clase 3

Transcripción

1 Probabilidad y Estadística - Clase 3

2 Relación entre dos variables Karl Pearson ( ). Matemático británico. Mejoró los trabajos de Francis Galton. Se propuso estudiar la relación entre la estatura de los hijos y sus padres. Inventó el coeficiente de correlación entre dos variables. Se llevaba muy mal con Ronald Fisher.

3 El estudio de Pearson Pearson observó la estatura de 1078 pares de padres e hijos.

4 De tal palo, tal astilla? Padre (X) Hijo (Y) Densidad Densidad Altura del padre (cm) Altura del hijo (cm) No podemos ver la relación entre X e Y.

5 Diagrama de dispersión Altura del Hijo (cm) Altura del Padre (cm) Los valores de X son {x 1,..., x n }. Los valores de Y son {y 1,..., y n }. Ponemos un punto por cada par p i = (x i, y i ).

6 Diagrama de dispersión Altura del Hijo (cm) Altura del Padre (cm) El promedio de los padres es x = cm. El promedio de los hijos es y = cm. El punto p = (x, y) es el promedio de (X, Y ).

7 Diagrama de dispersión Altura del Hijo (cm) Altura del Padre (cm) Consideremos la recta que pasa por p de pendiente 1. Los pares (x i, y i ) cerca de la recta cumplen que y i x i + cte.

8 Diagrama de dispersión Altura del Hijo (cm) Altura del Padre (cm) La franja de puntos con x i [179, 181] tiene mucha variabilidad. Hay puntos muy alejados de la recta y = x + (y x).

9 Un grueso bosquejo y y Asociación Fuerte x Asociación débil x Si hay asociación fuerte entre X e Y, saber una ayuda a predecir la otra. Si hay asociación débil, información sobre una variable no ayuda mucho a adivinar la otra.

10 Distribución conjunta z Histograma conjunto Altura del padre Altura del hijo Altura del Hijo (cm) Altura del Padre (cm) Los histogramas de X e Y por separado, permiten visualizar las distribuciones marginales de las variables. Por sí solos no alcanzan para entender la relación entre X e Y. El diagrama de dispersión representa la distribución conjunta del par (X, Y ). También se puede hacer un histograma conjunto.

11 Cuidado con la regla del producto Sea C = I J un rectángulo en el plano xy. La frecuencia relativa de pares p i = (x i, y i ) que caen en C es Fr(C) = 1 n #{i : p i C }. La frecuencia relativa de cada intervalo es Fr(I ) = 1 n #{i : x i I } y Fr(J) = 1 n #{i : y i J}. Pregunta: Es Fr(C) = Fr(I ) Fr(J)? En general no! Veamos los datos de Pearson: tomemos I = J = [160, 170], entonces Fr(C) = 0.13, Fr(I ) = 0.35, Fr(J) = 0.23, Fr(I ) Fr(J) = Dist. conjunta de (X, Y ) (Marginal de X ) (Marginal de Y ).

12 Cómo resumir un diagrama de dispersión? El 96% de las x i s caen en el intervalo [x ± 2s X ]. El 95% de las y i s caen en el intervalo [y ± 2s Y ]. Altura del Hijo (cm) Altura del Padre (cm)

13 Cómo resumir un diagrama de dispersión? La mayoría de las x i s caen en el intervalo [x ± 2s X ]. La mayoría de las y i s caen en el intervalo [y ± 2s Y ]. y y 2s Y 2s Y x x 2s X 2s X Hasta ahora, el resumen es x, s X, y, s Y.

14 Pero falta algo... Solamente las medias y las desviaciones típicas no alcanzan: y y 2s Y 2s Y x x 2s X 2s X Falta un número que nos diga cuán fuerte es la asociación entre X e Y.

15 El coeficiente de correlación El coeficiente de correlación r mide la fuerza de la asociación (lineal) entre dos variables X e Y. En palabras: mide cuán agrupados en una linea recta están los puntos en el diagrama de dispersión. La relación entre dos variables queda resumida por: la media y la desviación típica de X, la media y la desviación típica de Y, el coeficiente de correlación r. Cómo definir r?

16 El coeficiente de correlación Coef. Corr. r=0.0 Coef. Corr. r=0.5 Coef. Corr. r=0.9 y y y x Coef. Corr. r= x Coef. Corr. r= x y y x x

17 El coeficiente de correlación Buscamos un número r [ 1, 1] que verifique: Si r > 0 un aumento en X implica un aumento en Y. Si r = 1 Y = ax + b, con a > 0, b R. Si X e Y no tienen relación lineal aparente r = 0 Si r < 0 un aumento en X implica una disminución en Y. Si r = 1 Y = ax + b, con a < 0, b R. Si dos variables están en relación lineal Y = ax + b, las medias verifican y = ax + b b = y ax. Luego, las variables centradas verifican Y y = a(x x). Basta trabajar con las variables centradas.

18 Los datos como vectores Supongamos que las variables son centradas, i.e. x = y = 0. Podemos pensar que las observaciones son vectores de R n X = (x 1,..., x n ) e Y = (y 1,..., y n ). Recordar que: La longitud de un vector v = (v 1,..., v n ) es n v = i=1 v 2 i. El ángulo entre dos vectores v = (v 1,..., v n ) y w = (w 1,..., w n ) es cos θ = v, w v w = 1 v w n v i w i. i=1

19 Los datos como vectores cos Si definimos el coeficiente de correlación como r = cos (X, Y ) se verifica r [ 1, 1]; si r = 1, existe a > 0 tal que Y = ax ; si r = 1, existe a < 0 tal que Y = ax ; si r = 0 entonces X e Y son ortogonales; X La fórmula queda <(X,Y) Y ni=1 x i y i r = n i=1 x i 2 n i=1 y i 2

20 El signo de r y r>0 r<0 y x x signo(r) = signo n i=1 x i y i

21 La fórmula general de r Supongamos ahora que X e Y no son necesariamente centradas. La covarianza entre X e Y se define como cov(x, Y ) = 1 n 1 n (x i x) (y i y). i=1 El coeficiente de correlación entre X e Y se define como r = cov(x, Y ) s X s Y.

22 Normalizar una variable Observar que podemos escribir la correlación r como r = 1 n 1 n ( ) ( ) xi x yi y i=1 s X s Y Sea X una variable cuyos valores son {x 1,..., x n }, normalizarla significa: Centrarla: le restamos la media a cada observación x i x. Reducirla: dividimos las observaciones centradas por el desvío z i = x i x s X. La variable normalizada Z tendrá media cero y desvío 1. La unidad de la variable normalizada Z se llama unidad típica.

23 La recta de desvíos La nube de puntos en un diagrama de dispersión tiende a inclinarse en la dirección de la recta de desvíos. La recta de desvíos es aquella que pasa por los promedios y tiene pendiente ±s Y /s X. Miede la relación de variabilidad entre X e Y. El signo de la pendiente depende del signo de la correlación r. La ecuación de la recta es entonces y y = ( signo(r) s Y s X ) (x x). Fijados los desvíos, la correlación r mide si la nube es fina o gruesa.

24 La recta de desvíos y y r~1 r~0 2s Y 2s Y x x 2s X 2s X Diferentes correlaciones pero igual recta de desvíos.

25 Fijados los desvíos Coef. Corr. r=0.23 Coef. Corr. r=0.9 y y x x Aquí tanto X como Y tienen media 3 y desvíos 1 y 0.5 resp. La recta de desvíos pasa por (3, 3) y tiene pendiente 0.5.

26 Trampas visuales Coef. Corr. r=0.7 Coef. Corr. r=0.7 y y x x Aquí tanto X como Y tienen media 3. Pero tienen desvío 1 en el primer caso y 0.5 en el segundo. La recta de desvíos pasa por (3, 3) y tiene pendiente 1.

27 Casos excepcionales Outliers r=0.08 No lineal r=-0.2 y y x x La correlación r es sensible a datos atípicos. La correlación r mide asociación lineal, no asociación en general.

28 Correlación no es causalidad Age of Miss America correlates with Murders by steam, hot vapours and hot objects yrs 8 murders Age of Miss America yrs 22.5 yrs yrs 20 yrs 6 murders 4 murders Murders by steam yrs murders Murders by steam Age of Miss America Math doctorates awarded correlates with Uranium stored at US nuclear power plants tylervigen.com degrees 100 million pounds Math doctorates 1600 degrees 1200 degrees 80 million pounds 60 million pounds Uranium US power plants 800 degrees million pounds Uranium US power plants Math doctorates tylervigen.com

29 Correlación no es causalidad Coef. Corr. r=0.95 Coef. Corr. r=0.87 Doctorados en Matematica Asesinatos Uranio almacenado (millones libras) Edad Miss America

30 Regresión El método de regresión consiste en estimar el valor promedio de Y correspondiente a un determinado valor de X. En el curso nos limitaremos a la regresión lineal. Datos del Maternal and Child Health Centres Se realizó en 1993 en Hong Kong. Es un estudio de adolescentes de 18 años. Se midieron: X = Altura en cm. Y = Peso en kg.

31 Estadística Descriptiva Diagrama de dispersión de (X, Y ) Peso (kg) 70 MCHC 1993 Hong Kong Altura (cm)

32 Resumen numérico del diagrama x (cm) s X (cm) y (kg) s Y (kg) r El problema Es claro que los altos pesan en general más que los bajos. Queremos cuantificar el incremento en peso debido a un incremento en altura. Dificultad Gran variabilidad de peso entre individuos que miden aproximadamente lo mismo.

33 Mucha variabilidad Peso de individuos con estatura entre 174 y 176 cm. Densidad Peso (kg)

34 Pero al tomar promedios... Grafico de promedios Peso promedio (kg) Altura (cm)

35 Cómo son los incrementos? X 2cm Y X 2cm Y El incremento promedio es 0.97 kg. Y si medimos en unidades típicas? 1 unidad típica de X 1 desvío s X = 4.8 cm. 1 unidad típica de Y 1 desvío s Y = 5.3 kg. Los incrementos quedan: X = 0.42 u.t. y Promedio ( Y ) = 0.18 u.t. ( ) Y en u.t. Promedio = 0.44 r X en u.t.

36 La recta de regresión La recta de regresión aproxima al gráfico de promedios. Es la recta que Pasa por el punto de los promedios p = (x, y). Tiene Pendiente = r s Y sx. La ecuación es y y = r s Y s X (x x) y Estimación por regresión El punto de los promedios r x s Y s X x

37 La recta de regresión Recta de regresion Peso promedio (kg) Altura (cm)

38 La regresión como método de predicción Supongamos que se toma un individuo al azar entre los 25 mil. En cuánto estimarías su peso? Sin otra informacón, lo mejor que podemos decir por ahora es el promedio general de la población y = 57.6 kg. Y si se nos dice que su altura es cm? Podemos usar la recta de regresión: Peso = r s Y s X (163.5 x) + y = 52.5 kg. Más adelante en el curso veremos como hacer mejores predicciones.

39 Regresión a la media Volvamos a los datos de las alturas de Pearson: Altura del hijo (cm) Altura del padre (cm)

40 Regresión a la media Notar lo que ocurre al dividir por franjas: Altura del hijo (cm) Altura del padre (cm)

41 Regresión a la media Lo mismo pasa con la recta de regresión: Altura del hijo (cm) Altura del padre (cm)

42 Regresión a la media El resumen numérico del diagrama de dispersión es x (cm) s X (cm) y (cm) s Y (cm) r La recta de regresión tiene ecuación dada por y y = 0.51 (x x). Supongamos que un padre tiene altura x. Si x > x, entonces y > y pero y y < x x. Si x < x, entonces y < y pero y y < x x. Este efecto se conoce como regresión a la media.

43 El Error Cuadrático Medio en regresión Sean X e Y dos variables cuyos valores son {x 1,..., x n } y {y 1,..., y n }. El error de predicción para el i-ésimo individuo es ɛ i = y i reg(x i ) en donde reg(x i ) es el valor predicho por la recta de regresión: reg(x) = r s X s Y (x x) + y. El error cuadrático medio de predicción es por definición ECM = 1 n 1 n ɛ 2 i. i=1

44 El Error Cuadrático Medio en regresión y Error Valor real Predicción El ECM dice cuán lejos en promedio están los pares p i = (x i, y i ) de la recta de regresión. x

45 El Error Cuadrático Medio en regresión y y 68% Recta de regresión Un ECM Un ECM 95% Recta de regresión Dos ECM Dos ECM x x Es una regla heurística para interpretar el ECM.

46 El ECM y el coeficiente de correlación El ECM de predicción en la regresión se puede calcular mediante ECM = 1 r 2 s Y. La prueba es una cuenta: ECM 2 = 1 n 1 n i=1 ɛ 2 i = 1 n 1 n i=1 = s 2 Y 2rs Y cov(x, Y ) + r 2 s 2 Y = s 2 Y 2r 2 s Y + r 2 s 2 Y = (1 r 2 )s 2 Y. ( y i y r s ) 2 Y (x i x) s X Notar que en unidades típicas (ECM) u.t. = 1 r 2.

47 La variación explicada Cuando existe una relación lineal, parte de la variación de Y se explica por el hecho de que cuando X cambia, arrastra consigo a Y. Problema: Cuánto influye esto en la variación total de Y? Observar que la media de las predicciones coincide con la de Y : 1 n n reg(x i ) = 1 n i=1 n i=1 r s Y s X (x i x) + y = y. La variación explicada por la regresión es por definición s 2 reg = 1 n 1 reg(xi ) y 2. i=1

48 El coeficiente de determinacón El coeficiente de determinación R 2 mide la fracción de la variación total de Y que es explicada por la regresión. Se define como R 2 = 1 s2 reg. s 2 Y Interpretación de R 2 Si R 2 1, casi no hay variación debida a la regresión. Si R 2 0, casi toda la variación es debida a la regresión.

49 Descomposición de la variación total de Y La variación total de Y se descompone como s 2 Y = ECM2 + s 2 reg. La prueba es una cuenta: primero observar que De aquí resulta s 2 Y = 1 n 1 n yi reg(x i ) reg(x i ) y = 0 i=1 n yi reg(x i ) + reg(x i ) y 2 i=1 = ECM n 1 n yi reg(x i ) reg(x i ) y + sreg 2 = ECM 2 + sreg. 2 i=1

50 Descomposición de la variación total de Y La fórmula anterior se interpreta así: s 2 Y }{{} Variación total de Y = ECM } {{ } 2 + sreg 2 }{{} Variación residual Variación de regresión Coeficiente de determinación y r 2 De la relación entre r y ECM deducimos la igualdad R 2 = 1 r 2. Resulta entonces que r 2 = s2 reg s 2 Y = variación de regresión de Y con X variación total de Y.

51 El gráfico de residuos Los errores de predicción ɛ i se llaman también residuos. El gráfico de residuos se construye como el diagrama de dispersión, salvo que se dibujan los puntos r i = (x i, ɛ i ) donde ɛ i es el error de predicción del i-ésimo individuo. El gráfico de residuos es un método visual para evaluar si es correcto ajustar la relación entre dos variables mediante un modelo lineal.

52 Residuos en el ejemplo del estudio de Pearson Grafico de residuos Residuos (cm) Altura del padre (cm) Si los puntos se distribuyen al azar arriba y abajo de la recta horizontal, quiere decir que el modelo lineal es una buena opción.

53 Residuos que se curvan Diagrama de dispersion Grafico de residuos y Residuos x x Si los residuos presentan un patron marcado, es un indicio de que el modelo lineal no es una buena opción.

54 Regresión y mínimos cuadrados Sean X e Y variables con valores {x 1,..., x n } y {y 1,..., y n }. Busquemos la recta que mejor aproxima los puntos p i = (x i, y i ) en el diagrama de dispersión usando el método de mínimos cuadrados. Entre todas las rectas y = ax + b queremos aquella que minimiza el ECM(a, b) 2 = 1 n 1 Derivamos e igualamos a cero n (y i ax i b) 2. i=1 ECM 2 a ECM 2 b = 2 n 1 = 2 n 1 n (y i ax i b) x i = 0 i=1 n (y i ax i b) = 0 i=1

55 Regresión y mínimos cuadrados Haciendo cuentas, llegamos a a = 1 ni=1 n x i y i x y ni=1 xi 2 x 2 1 n b = y ax. Y haciendo un poco más de cuentas a = r s Y s X. La recta de regresión es la recta que mejor aproxima los puntos del diagrama de dispersión por el método de mínimos cuadrados.

56 Resumiendo...