Tema Correlación. Correlación. Introducción

Transcripción

1 3-1 Introducción Tema 3 Correlación Coeficiente de correlación lineal de Pearson Coeficiente de correlación poblacional Contraste paramétrico clásico Transformación de Fisher Correlación bayesiana Test no paramétrico: Spearman Test no paramétrico: Kendall Test de permutaciones Correlaciones parciales Conclusiones Ejemplo: ley de Hubble

2 3-2 Introducción Para qué queremos buscar correlaciones? Para comprobar que nuestras medidas, o las de otros, son razonables. Para contrastar una hipótesis. Para intentar descubrir algo nuevo (salir a pescar). Primera lección: Hacer siempre el diagrama de dispersión. Si no vemos nada, no seguir.

3 3-3 Ejemplo: ley de Hubble D (Mpc) V (km/s)

4 3-4 Ejemplo: ley de Hubble 2 10 Procedimiento no paramétrico para ver rápidamente correlaciones: dividir el diagrama por las medianas y contar el número de puntos en cada uno de los cuatro cuadrantes D (Mpc) V (km/s)

5 3-5 Introducción Los peligros de salir a pescar: La correlación podría deberse a efectos de selección. Ejemplo: Luminosidades radio de radiofuentes 3CR en función del módulo de distancias (Sandage 1972) La curva representa el límite de detección Si la función de luminosidad decrece para objetos brillantes, no esperamos encontrar objetos cercanos brillantes.

6 3-6 Introducción Los peligros de salir a pescar: La correlación podría deberse a efectos de selección. Cuidado con los outliers (regla del pulgar) r = 0.88 r = 0.26 r = 0.41 r = 0.08 r = 0.68 r = 0.94

7 3-7 Introducción Los peligros de salir a pescar: La correlación podría deberse a efectos de selección. Cuidado con los outliers (regla del pulgar) Cuidado con mezclar grupos de medidas no homogéneas r = 0.90 r = 0.04 r = -0.20

8 3-8 Introducción Los peligros de salir a pescar: La correlación podría deberse a efectos de selección. Cuidado con los outliers (regla del pulgar). Cuidado con mezclar grupos de medidas no homogéneas. Podría existir una correlación no lineal. r = -0.32

9 3-9 Introducción Los peligros de salir a pescar: La correlación podría deberse a efectos de selección. Cuidado con los outliers (regla del pulgar). Cuidado con mezclar grupos de medidas no homogéneas. Podría existir una correlación no lineal. Una correlación no implica una relación causal (terceras variables).

10 3-10 Coeficiente de correlación n lineal de Pearson La covarianza es una medida de la dependencia (o correlación) entre dos variables Coeficiente de correlación productomomento de Pearson Cálculo: Relación con el coeficiente de regresión (pendiente de la recta): Relación con la varianza residual 1 r 1 Coeficiente de determinación r 2 : tanto por ciento de la variación total de los datos que explica la recta de regresión

11 3-11 Coeficiente de correlación n poblacional Se supone que X e Y son variables aleatorias normales: La función de densidad conjunta de X e Y sigue una distribución normal bivariada: ρ : coeficiente de correlación poblacional X e Y son independientes Para estimar ρ se usa el coeficiente de correlación muestral r Pero sólo es válido si tanto X como Y son variables normales Si X e Y no están correlacionados Tienen distribuciones con colas que caen rápido N es grande (>500)

12 3-12 Contraste paramétrico clásico Se usa r para estimar ρ (test de Fisher) La desviación típica de r es: Bajo la hipótesis nula: sigue una distribución t de Student con N - 2 grados de libertad H 0 se acepta si: O se determina el nivel de significación p para poder rechazar H 0 (probabilidad de que, si no hay correlación, se obtenga un valor de r igual o mayor al observado) Para poder aplicar este método: Datos en una escala continua La relación entre X e Y ha de ser lineal Ambas variables siguen distribuciones normales

13 3-13 Para muestras grandes (N 25) Transformación n de Fisher es aprox. normal con: ½ H0 : ρ = ρ Hipótesis : 0 H 1 : ρ 6= ρ 0 Contraste para un valor determinado de ρ H 0 se acepta si: ½ H0 : ρ Hipótesis : 1 = ρ 2 H 1 : ρ 1 6= ρ 2 Comparación de dos correlaciones H 0 se acepta si:

14 3-14 Ejemplo: ley de Hubble V V Scatterplot: D vs. vs. V V = 44, ,52 ** D Correlation: r r =, ,2 0,0 0,0 0,2 0,2 0,4 0,4 0,6 0,6 0,8 0,8 1,0 1,0 1,2 1,2 1,4 1,4 1,6 1,6 1,8 1,8 2,0 2,0 2,2 2,2 D 95% confidence Histogram: Histogram: D D K-S K-S d=,13052, d=,13052, p> p>.20;.20; Lilliefors Lilliefors p> p> Expected Expected Normal Normal 8 8 Histogram: Histogram: V V K-S K-S d=,12192, d=,12192, p> p>.20;.20; Lilliefors Lilliefors p> p> Expected Expected Normal Normal No. No. of of obs. obs No. No. of of obs. obs ,5-0,5 0,0 0,0 0,5 0,5 1,0 1,0 1,5 1,5 2,0 2,0 2,5 2,5 X X <= <= Category Category Boundary Boundary X X <= <= Category Category Boundary Boundary

15 Ejemplo: ley de Hubble 3-15 No. No. of of obs. obs simulaciones Histogram: PAR_1 PAR_1 Expected Normal Normal Una buena estimación de la incertidumbre en r puede hacerse mediante BOOTSTRAP: se extraen con reemplazamiento muchas muestras aleatorias de tamaño N (se usa la muestra observada como población) ,44 0,44 0,48 0,48 0,52 0,52 0,56 0,56 0,60 0,60 0,64 0,64 0,68 0,68 0,72 0,72 0,76 0,76 0,80 0,80 0,84 0,84 0,88 0,88 0,92 0,92 0,96 0,96 0,46 0,46 0,50 0,50 0,54 0,54 0,58 0,58 0,62 0,62 0,66 0,66 0,70 0,70 0,74 0,74 0,78 0,78 0,82 0,82 0,86 0,86 0,90 0,90 0,94 0,94 0,98 0,98 X < Category Boundary Para calcular el nivel de significación habría que hacer simulaciones hasta obtener un valor de r = 0 (p=1/n simul ) 10 6 simulaciones Histograma de los valores de t en las 10 6 simulaciones

16 3-16 Correlación bayesiana Cálculo de la distribución de probabilidad del coeficiente de correlación poblacional ρ a partir de la verosimilitud de los datos. Hay que marginalizar para todos los parámetros no relevantes Suponiendo una distribución normal bivariada y un prior uniforme para ρ: Distribución de Jeffreys A partir de la distribución de probabilidad se puede calcular ej: P(ρ > ρ 0 ), P(ρ 1 > ρ 2 ), etc. Ejemplo: 50 datos generados de una distribución t con 3 grados de libertad (colas extendidas) y ρ = 0.5 ρ max =0.19 Excluyendo puntos con desviaciones mayores de 4σ ρ max =0.44 Método robusto pero dependiente de la distribución de probabilidad supuesta

17 10 3 simulaciones Ejemplo: ley de Hubble Método bayesiano (test de Jeffrey) 3-17 La probabilidad de que ρ tenga un valor de 0 (no haya correlación) es muy pequeña. Pero se ha supuesto una distribución normal

18 3-18 Test no paramétrico trico: Spearman Se ordenan de menor a mayor por separado los valores X i e Y i de los datos y se sustituye cada uno por su número de orden (rango): x i, y i representan los rangos en X e Y para el par i Coeficiente de correlación de rangos de Spearman (se sustituye la distribución de probabilidad desconocida por una distribución uniforme entre 1 y N) Interpretación similar al coeficiente de Pearson H 0 se acepta si: En caso de empates, se asigna a todos los puntos empatados el valor de medio de los rangos que tendrían sin empates. Fórmula más exacta para el caso de una alta fracción de empates: f k, g m : nº de empates por grupo

19 3-19 Para muestras grandes (N > 30): Test no paramétrico trico: Spearman El estadístico: sigue una distribución t de Student con N-2 grados de libertad r s tiende a una En comparación con el test paramétrico clásico de Fisher: VENTAJAS No se asume una relación lineal entre las variables. No se asume una distribución normal bivariada. Es válido para muestras en las que no se pueden hacer medidas pero sí asignar rangos. Es más robusto INCONVENIENTES Pérdida de información La eficiencia es del 91% (para distribuciones normales, en el test de Fisher basta con un tamaño muestral un 91% menor para rechazar la hipótesis nula con el mismo nivel de significación)

20 3-20 Test no paramétrico trico: Spearman Tabla con valores críticos

21 3-21 Ejemplo: ley de Hubble 20,23 23,24 2,6 1,2 16,21 17,19 8.5,14 15,17 18,16 7, , ,13 11,10 10,9 13.5,8 3,5 4,4 13.5,7 6,3 5,1 19,18 23,22 21,20 23,15 Resultado de 10 6 simulaciones con BOOTSTRAP para r s Permite obtener una incertidumbre sobre el estadístico. El resultado es muy seguro pues para ninguna simulación se obtiene r s 0 (P < 10-6 ) Método muy robusto

22 3-22 Test no paramétrico trico: Kendall Método aún más paramétrico que el de Spearman. En vez de comparar los rangos, sólo se calcula si una coordenada es mayor que la otra. N datos (x i,y i ) pares diferentes de puntos Par concordante (N C ) Par discordante (N D ) En el caso de empates: T X (nº de empates en la x ) Coeficiente de correlación tau de Kendall T Y (nº de empates en la y ) H 0 se acepta si: τ tiende rápidamente a una distribución normal con: (N > 10) Más lento de calcular que el coeficiente de Spearman (excepto para datos agrupados en intervalos) Interpretación: el coeficiente de Spearman es similar al de Fisher (fracción de la variación de los datos explicada por la correlación), mientras que el de Kendall indica la diferencia de la probabilidad de que las dos variables estén en el mismo orden menos la probabilidad de que estén en un orden diferente.

23 3-23 Test no paramétrico trico: Kendall Tabla con valores críticos

24 3-24 Ejemplo: ley de Hubble Kendall Tau

25 3-25 Test de permutaciones Otro método no paramétrico: Se extraen muestras de la muestra observada, del mismo tamaño, permutando aleatoriamente las asignaciones de las Ys a las Xs (sin reemplazamientos), y se calcula para cada muestra el valor del estadístico de prueba (ej. r, r s, τ, etc.). La distribución obtenida representa la distribución del estadístico en el caso de no correlación. Se compara el valor observado con dicha distribución. Ejemplo: 20 datos no correlacionados Funciones de distribución para 1000 permutaciones (de las 20! posibles)

26 3-26 Correlación n parcial SI se sabe que una tercera (cuarta, etc.) variable (conocida) está afectando la correlación se puede eliminar su efecto. Para una muestra de N datos con 3 variables: Para una muestra de N datos con 4 variables: Método paramétrico Coeficiente de correlación parcial de primer orden (coeficiente de correlación entre x 1 y x 2, manteniendo x 3 y x 4 constantes) Coeficiente de correlación parcial de segundo orden Con desviaciones típicas: Se aplica el test t de Student

27 3-27 Conclusiones Los métodos no paramétricos solucionan el problema de la distribución de probabilidad desconocida pero comparten las dificultades de los métodos no bayesianos (se basan en la comparación con la distribución bajo la hipótesis nula basada en observaciones hipotéticas) El método bayesiano es más directo pero no soluciona el problema del desconocimiento de la distribución de probabilidad. El método bayesiano proporciona resultados muy parecidos a usar el método de Fisher con simulaciones (bootstrap). El análisis de correlación no indica cuál es la variable dependiente (fundamental para hacer un análisis de regresión). Tampoco implica una relación causaefecto. El coeficiente de correlación por sí sólo no proporciona toda la información. Ejemplo: cuarteto de Ascombe (mismo coeficiente de correlación y línea de regresión)

28 3-28 Práctica Posible correlación entre la abundancia relativa de C,N y la luminosidad (o masa) del cúmulo de galaxias (Carretero et al., 2004, Ap.J. 609, L45) Cúmulo A279 A1238 Virgo A257 A2050 Coma A655 A1650 L X (10 44 erg/s) [CN/Fe]