Estadística Avanzada y Análisis de Datos

Transcripción

1 1-1 Estadística Avanzada y Análisis de Datos Javier Gorgas y Nicolás Cardiel Curso Máster Interuniversitario de Astrofísica

2 1-2 Introducción En ciencia tenemos que tomar decisiones ( son los datos compatibles con la teoría? cuáles son los parámetros que mejor ajustan? son las dos muestras similares? qué ha fallado, cómo podemos mejorar el experimento?) Para cada medida o parámetro derivado necesitamos una estimación del error que nos diga, en términos de probabilidades, la confianza que tenemos en su valor. La estadística es la herramienta, en la mayoría de los casos, inevitable para tomar las decisiones (el método científico). If your experiment needs statistics, you ought to have done a better experiment (E. Rutherford) En particular, en astrofísica: Nuestras medidas están sujetas a (grandes) errores de medida. Tenemos la manía de observar al límite de las capacidades instrumentales. El método clásico de repetir los experimentos no es aplicable. No podemos diseñar los experimentos (las muestras pueden ser muy pequeñas)

3 1-3 Introducción (II) No podemos evitar la estadística: Cómo asignamos errores a nuestros datos? (o los de otros) Cómo podemos extraer la información máxima de los datos? ( o los tiramos?) Cómo comparamos muestras? (de diferentes objetos o de diferentes autores) Cómo hacer correlación, contrastar hipótesis, ajustar modelos? Qué hacer con las muestras incompletas? ( límites superiores?) NECESITAMOS DECIDIR Nuestros colegas usan estadística. Tenemos que entender lo qué hacen y cómo lo hacen. Curso con un enfoque práctico (recetas) Métodos paramétricos clásicos Métodos no paramétricos Estadística bayesiana

4 Estadística clásica Programa 2. Introducción a la estadística bayesiana 3. Cálculo de errores 4. Regresión lineal 5. Correlación 6. Regresión múltiple 7. Contrastes de hipótesis para una muestra 8. Contrastes de hipótesis para varias muestras 9. Análisis de componentes principales 10. Estimación de parámetros 11. Detección de la señal Surveys 12. Análisis de datos astrofísicos

5 1-5 Introducción Tema 1 Estadística clásica Estadística descriptiva Distribuciones de probabilidad Distribuciones discretas de probabilidad Distribución normal Estimación de parámetros poblacionales Distribuciones muestrales de los estadísticos Estimación por intervalos de confianza Contrastes de hipótesis Métodos no paramétricos

6 Estadística descriptiva 1-6 centralización Media aritmética Mediana M e : Valor central (con los datos ordenados de mayor a menor) Media geométrica Media armónica Moda M o: Valor con mayor frecuencia Media cuadrática dispersión Desviación media Varianza Desviación típica Coeficientes de variación asimetría curtosis Momento de orden r respecto a c

7 Distribuciones de probabilidad 1-7 Función de probabilidad para una variable discreta: Función de distribución: Función de densidad para una variable continua: Función de distribución: media (esperanza matemática) varianza covarianza

8 Distribuciones discretas de probabilidad 1-8 Distribución Binomial Probabilidad de obtener x éxitos en n ensayos (p = probabilidad de éxito en un ensayo) donde Media: Desviación típica: Distribución de Poisson Probabilidad de que se den x sucesos (λ = número medio de sucesos) donde Media: Desviación típica:

9 Distribución normal 1-9 Media: µ Desviación típica: σ Normal tipificada: Teorema del límite central: Si X 1, X 2,, X n son variables aleatorias independientes con medias µ i, desviaciones típicas σ i y distribuciones de probabilidad cualesquiera, y definimos la variables Y = X 1 + X X n, entonces la variable: cuando Ej. la distribución binomial tiende a la distribución normal: Ej. la distribución de Poisson tiende a la distribución normal:

10 Estimación de parámetros poblacionales La estimación se hace a partir de estadísticos (variables aleatorias definidas sobre los valores de la muestra) con funciones de probabilidad conocidas Estimación puntual Estimación por intervalos de confianza 1-10 Método de máxima verosimilitud: Método objetivo para encontrar buenos estimadores puntuales: Función de máxima verosimilitud: probabilidad de obtener la muestra observada dado un valor del parámetro poblacional: El estimador de máxima verosimilitud es el valor de α que hace máximo L Ejemplo: para una distribución normal:

11 Distribuciones muestrales de los estadísticos 1-11 Distribución muestral de la media: Si es la media de una muestra aleatoria de tamaño n que se toma de una población con distribución cualquiera, media µ y varianza σ 2, entonces la variable tipificada: tiende a una normal N(0,1) cuando n tiende a infinito Dsitribución muestral de la diferencia de medias: Si y son las medias muestrales de dos distribuciones (µ 1, σ 1 ) y (µ 2, σ 2 ) entonces: tiende a una normal N(0,1) cuando n 1 y n 2 tienden a infinito Distribución muestral de la varianza: El estadístico t: Distribución muestral de la razón de varianzas: sigue una distribución con n-1 grados de libertad sigue una distribución t de Student con n-1 grados de libertad sigue una distribución F de Fisher con n 1-1 y n 2-1 grados de libertad

12 Estimación por intervalos de confianza 1-12 Ejemplo: media de una población normal nivel de confianza Si la desviación típica es desconocida: Muestras grandes (n > 30) Muestras pequeñas (significado del intervalo de confianza)

13 Intervalos de confianza 1-13

14 Intervalos de confianza 1-14

15 Contrastes de hipótesis 1-15 Formulación de las hipótesis: Hipótesis nula (H 0 ) vs Hipótesis alternativa (H 1 ) Aceptación de la hipótesis nula los datos no están en contra Rechazo de la hipótesis nula los datos indican que es improbable que sea cierta Se utiliza un estadístico de prueba con distribución conocida en el caso de que H_0 sea cierta Ejemplo: media de una población normal α: nivel de significación Contraste bilateral Contrastes unilaterales región crítica región crítica región crítica región de aceptación región de aceptación región de aceptación

16 Contrastes de hipótesis 1-16

17 Contrastes de hipótesis 1-17

18 Contrastes de hipótesis 1-18

19 Métodos no paramétricos 1-19 Métodos parámetricos: muestras aleatorias extraídas de poblaciones con distribución de probabilidad conocida (normal). El problema es determinar los parámetros de la población (ej. µ, σ) Métodos de distribución libre o NO paramétricos: no se supone ninguna distribución de probabilidad. Muchas veces se basan en ordenar los datos en una escala asignando rangos (análisis de rangos). VENTAJAS En general no se conoce la distribución de probabilidad (el teorema del límite central puede no aplicarse). Menos suposiciones sobre los datos. Válidos para muestras muy pequeñas. Sirven para datos no numéricos (variables cualitativas y de rango). Respuestas rápidas con menos cálculos. La conversión a rangos elimina incertidumbres con la escala. A veces no existe la población (no hay parámetros que estimar). DESVENTAJAS No usan toda la información disponible. Al no haber parámetros, es difícil hacer estimaciones cuantitativas. Son algo menos eficientes: (para rechazar la hipótesis nula con el mismo nivel de confianza se necesitan muestras mayores) Eficiencia relativa asintótica: para tomar la decisión con el mismo α (típicamente: ARE entre 0.6 y 0.95) (Ante la duda es más seguro usar métodos no paramétricos)