Análisis Estadístico de Datos Climáticos

Transcripción

1 Análisis Estadístico de Datos Climáticos Revisión de probabilidad y aplicaciones Análisis exploratorio de datos univariados M. Bidegain A. Díaz Facultad de Ciencias Facultad de Ingeniería 211

2 Revisión de conceptos sobre probabilidad Utilizamos las probabilidades para cuantificar la incertidumbre Eventos o sucesos, espacio muestral Ω, partición de Ω A Ω Diagramas de Venn B C

3 Axiomas de probabilidad 1) P(A) si A єω 2) P(Ω) = 1 3) Si A 1, A 2,.A n son disjuntos dos a dos, P(A 1 U A 2 U..U A n ) = P(A 1 ) + P(A 2 ) + + P(A n )

4 Interpretaciones de la probabilidad Interpretación frecuencista Frecuencia: Casos favorables / Casos posibles Ley de los grandes números (Ley débil ) Establece que la razón del número de ocurrencias de un evento (E) respecto al número de oportunidades de ocurrir converge a la probabilidad de Pr(E) cuando el número de oportunidades se incrementa (a es el numero de ocurrencias, n es el número de oportunidades). Es el fundamento para estimar probabilidades a partir de las frecuencias. Interpretación bayesiana (subjetiva)

5 P(A) 1 Algunas propiedades: Si A B P(A) P(B) P(A c ) = 1 P(A) c significa complemento P(A U B) = P(A) + P(B) P(A B) U significa unión significa intersección

6 Probabilidad condicional Es un concepto especialmente importante porque en el clima hay muchas variables interaccionando. Es la probabilidad de que ocurra un suceso A, dada la ocurrencia de otro suceso B, de probabilidad no nula. Def: P(A B) = P (A B) / P(B) con P(B) Ω A B

7 Ejemplos 1) P(llueva mañana hoy llovió) 2) P(TSM promedio en el Pacífico ecuatorial sea > 27,5 ºC mañana hoy es > 28 ºC) 3) P(ocurra un evento meteorológico fue pronosticado) 4) P(en Uruguay llueva por encima de lo normal en noviembre en setiembre la TSM en el Pacífico ecuatorial está 1ºC por encima del promedio)

8 No confundir relaciones estadísticas con relaciones causa-efecto!!

9 DATOS ESTACIÓN METEOROLÓGICA CARRASCO Humedad Relativa y Precipitación Diciembre 1997 DIA HR (%) PP (mm) DIA HR (%) PP (mm)

10 Estimar: a) P( PP > 1 mm.) b) P( PP > 1 mm. mañana PP > 1 mm. hoy) c) P(HR > 75%) d) P( PP > 1 mm. HR > 75 %) e) P( PP > 1 mm. HR <= 75 %)

11 Independencia Concepto: Dos sucesos E 1 y E 2 son independientes si la ocurrencia de uno no afecta la ocurrencia del otro. Independencia P(E 1 E 2 ) = P(E 1 ).P(E 2 ) o P(E 1 E 2 )=P(E 1 ), o P(E 2 E 1 )=P(E 2 ) Ej: 1) fenómenos naturales 2) pronósticos

12 Aplicación: Persistencia (o memoria ) Es la existencia de dependencia estadística positiva entre valores sucesivos de una misma variable. La persistencia se da en diferentes escalas, dependiendo del fenómeno que se trate. Ejemplo: TSM y presión atmosférica. Está asociada a la probabilidad condicional, y tiene consecuencias estadísticas.

13 Ley de probabilidad total Si los eventos E i forman una partición de Ω: Ω A E i intersección de A con E i A

14 Teorema de Bayes Combina la ley multiplicativa con la ley de probabilidad total. Sirve para invertir probabilidades condicionales. Esto es si conocemos Pr(E1/E2) el teorema de Bayes puede se usado para estimar Pr (E2/E1). Combinamos entonces información previa con información nueva. Ω A

15 Ejercicio: Estimar P(HR>75 % PP> 1 mm), usando Bayes y los resultados anteriores. Verificar por cálculo directo.

16 Datos univariados Análisis exploratorio de datos

17 Datos climáticos Observaciones (datos medidos; datos interpolados) Salidas de modelos numéricos: Simulaciones o pronósticos (posibilidad de variar condiciones iniciales o de borde)

18 Análisis exploratorio de datos univariados Robustez y resistencia Cuantiles (percentiles) Medidas numéricas de resumen Técnicas gráficas de resumen

19 Robustez y resistencia Es deseable que un método de análisis de datos sea poco sensible a suposiciones sobre la naturaleza de los datos. P. ej., que los resultados no dependan esencialmente de que los datos sigan una distribución normal o gaussiana. Un método es robusto cuando sus resultados no dependen esencialmente de cuál sea la distribución de los datos. Un método es resistente si no es influido considerablemente por unos pocos datos atípicos ( outliers )

20 Ejemplo: dados los conjuntos { } y { } Distintas medidas de tendencia central : En ambos casos, el valor central es 15, pero los promedios son 15 y 23 respectivamente.

21 Estadísticos de orden de una muestra aleatoria Sea { x 1, x 2,..., x n } una muestra aleatoria de datos Se ordenan en forma ascendente: { x (1), x (2),..., x (n) } son los estadísticos de orden ( cumpliéndose que x (1) x (2) x (n) ) Ej: { } { }

22 Cuantiles de una muestra aleatoria (percentiles) Ej.: 1) Sea la muestra aleatoria { } Cómo podemos estimar un valor central que, en sentido amplio, deje probabilidad ½ a ambos lados? { } Parece natural tomar un valor que deje la misma cantidad de datos a cada lado, en este caso el 2: { }. Se dice que la mediana de la muestra es 2. q.5 = 2 percentil 5

23 Cuantiles Ej. 2) Sea ahora la muestra { } Cuál será la mediana? { } Convencionalmente, se suele tomar el promedio entre los dos valores centrales, o sea (1 + 4) /2 = 2.5. Pero, si no se tiene más información, podría elegirse cualquier valor en ese intervalo (1,4)

24 Generalizando, sea p tal que < p < 1. Los p-quantiles (q p ) ( o percentiles) son valores que dejan,en cierto sentido, probabilidad p a su izquierda, y probabilidad 1-p a su derecha. p q p 1- p P(X q p ) = p P(X q p ) = 1 - p

25 Estimación de los cuantiles En general, los percentiles no son únicos y por lo tanto, no hay una única forma de estimarlos. Una forma posible para una muestra aleatoria de tamaño n es: 1)tomar los estadísticos de orden como los cuantiles (.5/n), (1.5/n),..., ([n-.5]/n) respectivamente 2) para los cuantiles con probabilidades entre (.5/n) y ([n-.5]/n), se interpola linealmente. 3) los valores mínimo o máximo de la muestra se asignan a los cuantiles para probabilidades fuera de ese rango.

26 Principales medidas numéricas de resumen de un conjunto de datos 1) Localización: ej. valor de tendencia central del conjunto 2) Dispersión: alrededor del valor central 3) Simetría: cómo están distribuidos los datos respecto del valor central 4)

27 Localización x _ Media i= 1 x = N Mediana q.5 N i Valores de tendencia central Ambas están comprendidas entre el mínimo y el máximo de la muestra. La mediana divide el conjunto de datos en dos subconjuntos ordenados con igual cantidad de datos. Importante: la mediana permite trabajar con estimaciones de probabilidades

28 Localización Ejemplo: (con muy pocos datos!!) x _ = 8 _ x = (outlier)?? La media no es robusta ni resistente 146 Se puede estimar que P (X 9) ~.5 ~ P(X 9)

29 Los cuantiles más usados Mediana q.5 Cuartiles, q.25, q.75 Terciles, q.33, q.66 Quintiles, deciles, q.5 q.95 Localización q q q T r i m e d T r i m e d T r i m e d T r i m e d + + =

30 Robustez vs. Eficiencia Por qué se usa más la media que la mediana? Porque en el caso ( muy frecuente ) de una distribución gaussiana es un estimador más eficiente que la mediana: es decir que tiene menos dispersión alrededor del valor a estimar, o de otra forma, con menos valores (una muestra más pequeña) se obtiene la misma dispersión. Además, la media es más fácil de tratar matemáticamente, y es única para una muestra dada.

31 Matlab Variable media cuantil percentil mediana Comando mean quantile prctile median

32 Dispersión Intervalo intercuartil (Robusto y resistente) IQR = q.75 - q.25 No usa el 25% superior e inferior de los datos

33 Dispersión Desviación estándar muestral (Ni robusta ni resistente) s N 1 = (x N 1 i= 1 i _ x) 2 σ (σ 2 = varianza de la población) Desviación absoluta de la mediana MAD = median { x i q.5 }

34 Simetría Coeficiente de asimetría de la muestra Indice de Yule-Kendall Ambos son adimensionados γ > γ <

35 Técnicas gráficas de resumen Boxplots Histogramas Distribuciones de frecuencia acumulada

36 Boxplots ( barritas )

37 Boxplots ( barritas ) Min = 3.2 q.5 = Max = q.25 = q.75 =

38 Temperatura diaria máxima en Melbourne Se destacan valores extremos inusuales

39 Histogramas Además de la localización, la dispersión, y la simetría, también muestran si los datos son multimodales

40 Histogramas Precipitación Rivera agosto Precipitación Rivera agosto mediana=78.5 mm No. de ocurrencias 15 1 media = 97.9 mm

41 Histogramas Precipitación Rivera abril mediana=11.5 mm media = mm

42 Histogramas

43 Distribuciones empíricas de frecuencia acumulada Interesa P (X x), probabilidad de no excedencia P. ej. se puede estimar así: P(X x (i) )= (i - ½) / n Mediana ~ 11.5 mm 11.5 mm P(X 11.5) ~.5

44 Distribuciones empíricas de frecuencia acumulada

45 Matlab Variable Desviación estándar, varianza Intervalo intercuartil Desv. abs. de la mediana histograma Distr. de frecuencia acumulada Comando std var iqr mad hist ecdf