00 Introducción a la estadística y teoría de probabilidades

Transcripción

1 00 Introducción a la estadística y teoría de probabilidades Diego Andrés Alvarez Marín Profesor Asistente Universidad Nacional de Colombia Sede Manizales 1

2 Contenido Qué es la estadística? Qué es la teoría de probabilidades? Qué es la estadística descriptiva? Qué es la estadística inferencial 2

3 Estadística Es la rama matemática relacionada con la colección, el análisis, la interpretación (o explicación) y la representación de datos.

4 Teoría de probabilidades vs Estadística La teoría de probabilidades es la rama de la matemática relacionada con el análisis de fenómenos aleatorios; esta se desarrolló como un modelo abstracto y sus conclusiones y deducciones están basados en axiomas. La estadística se basa en la aplicación de la teoría de probabilidad a problemas reales y sus conclusiones son inferencias basadas en observaciones.

5 Ramas de la estadística La estadística se divide en dos ramas: Estadística descriptiva Estadística inferencial

6 Estadística descriptiva La estadística descriptiva se dedica a los métodos de recolección, descripción, visualización y resumen de datos originados a partir de los fenómenos en estudio. Los datos pueden ser resumidos en forma numérica y/o gráfica. 6

7 Estadística inferencial Esta comprende los métodos y procedimientos para deducir propiedades (hacer inferencias) de una población, a partir de una pequeña parte de la misma (muestra). Se usa para modelar patrones en los datos y extraer inferencias acerca de la población bajo estudio. Estas inferencias pueden tomar la forma de respuestas a preguntas si/no (prueba de hipótesis), estimaciones de características numéricas (estimación), pronósticos de futuras observaciones, descripciones de asociación (correlación) o modelamiento de relaciones entre variables (análisis de regresión). 7

8 Estadística descriptiva vs. Estadística inferencial La diferencia entre la estadística descriptiva y la estadística inferencial es que la primera intenta resumir los datos de forma cuantitativa mientras que la segunda se usa para sustentar afirmaciones sobre la población que está representada por los datos recopilados. 8

9 01 Estadística descriptiva Diego Andrés Alvarez Marín Profesor Asistente Universidad Nacional de Colombia Sede Manizales 9

10 Contenido Definiciones básicas Medidas de tendencia no central Medidas de tendencia central Medidas de dispersión Momentos Representación gráfica de la información Histogramas 10

11 Definiciones Se quiere estudiar una población. Sin embargo por razones prácticas se analiza una muestra de la población. Los datos se coleccionan mediante un muestreo o experimento. Las observaciones de la muestra aleatoria se usan para calcular ciertas características de la muestra llamadas estadísticas.

12 Población: es el conjunto de elementos de referencia sobre el que se realizan todas las observaciones. La población es la colección de toda la información que caracteriza un fenómeno. Muestra estadística (o aleatoria): es un subconjunto representativo de individuos de la población Muestreo: es la técnica por la cual se selecciona una muestra a partir de una población Una estadística es el resultado de aplicar una función a un conjunto de datos.

13 Información básica de un conjunto de datos Mínimo y máximo Percentil Tendencia central Dispersión Momentos

14 Mínimo y máximo (con MATLAB)

15 Mínimo y máximo (con MS EXCEL)

16 Medidas de posición no central Un percentil es el valor de una variable bajo el cual un cierto porcentaje de las observaciones caen. De este modo el percentil 20 es el valor bajo el cual el 20% de las observaciones pueden ser encontradas. Algunos tipos de percentiles importantes son: Los cuartiles: percentil 25, 50 (mediana) y 75 Los quintiles: percentil 20, 40, 60 y 80 Los deciles: percentiles 10, 20,..., 90

17 Definiciones de percentil

18 Ejemplo usando la definición 1 Calcule el percentil 70 de los datos 1200, 11, 23, 27, 25, 29 Primero que todo se deben organizar los datos en orden ascendente 11, 23, 25, 27, 29, 1200 Por lo tanto el percentil 70 es 29

19 Percentiles con MATLAB Observe que MS EXCEL y MATLAB calculan los percentiles con diferentes algoritmos

20 Percentiles con MS EXCEL Observe que MS EXCEL y MATLAB calculan los percentiles con diferentes algoritmos

21 Medidas de tendencia central Las medidas de tendencia central miden la localización del centro de los datos Media aritmética (o promedio) Mediana Moda Media geométrica Media armónica Media acotada (o media truncada) 21

22 Media aritmética (o promedio) 22

23 Mediana 23

24 Mediana 24

25 Mediana 25

26 Media geométrica 26

27 Media geométrica La media geométrica es relevante cuando varias cantidades son multiplicadas para producir un total, o cuando los números son de naturaleza exponencial, como por ejemplo el crecimiento de la población mundial o las tasas de interés de una inversión financiera. La media geométrica es menos sensible que la media aritmética a los valores extremos. 27

28 Ejemplo 28

29 Propiedades de la media geométrica 29

30 Media armónica 30

31 Ejemplo 31

32 Ejemplo 32

33 Media armónica 33

34 Moda 34

35 Media acotada (o media truncada) 35

36 Medidas de tendencia central en MS EXCEL Observe que MATLAB y MS EXCEL utilizan diferentes algoritmos para calcular la moda 36

37 MEDIA.ACOTADA(datos;porcentaje) Calcula la media de un conjunto de datos después de eliminar el porcentaje de los extremos inferior y superior de los puntos de datos. Puede utilizar esta función cuando desee excluir del análisis los valores extremos. porcentaje es el número fraccionario de puntos de datos que se excluyen del cálculo. Por ejemplo, si porcentaje = 0,2, se eliminarán cuatro puntos de un conjunto de datos de 20 puntos (20 x 0,2), dos de la parte superior y dos de la parte inferior. 37

38 Medidas de tendencia central en MATLAB Observe que MATLAB y MS EXCEL utilizan diferentes algoritmos para calcular la moda 38

39 Otras medidas de tendencia central Media generalizada Media ponderada Punto medio Root mean square (RMS) 39

40 Notas varias La media armónica es siempre inferior a la media geométrica, que a su vez es siempre inferior a la media aritmética. Ver: etic_and_geometric_means 40

41 Medidas de dispersión La dispersión de los datos se puede atribuir a pequeñas diferencias de construcción, a mano de obra deficiente, errores humanos, variabilidad inherente al material, así como a errores en las observaciones y en las mediadas. Las medida de dispersión miden la variabilidad de un conjunto de datos. Una medida de dispersión es un número real no negativo, que es cero si todos los dátos son idénticos, y se incrementa a medida que las observaciones son más diversas. 41

42 Medidas de dispersión Varianza Desviación estándar Desviación media Desviación mediana Rango (o recorrido) Rango (o recorrido) intercuartil Rango (o recorrido) interdecil 42

43 Varianza y desviación estándar muestral Use siempre estas fórmulas para calcular la varianza y la desviación estándar, a menos que se indique lo contrario. Ver:

44 Varianza y desviación estándar poblacional 44

45 Corrección de Bessel Aunque intuitivamente la fórmula de la desviación estándar (varianza) poblacional es la que se debe usar (denominador n), SIEMPRE que se quieren hacer inferencias acerca de una población, se debe utilizar la desviación estándar (varianza) muestral (denominador n-1). Las razones de esto se entenderán en el Capítulo ***. 45

46 Recorrido o rango 46

47 Recorrido interdecil e intercuartil 47

48 Desviación media (mean absolute deviation - MAD) Desviación mediana (median absolute deviation) 48

49 Coeficiente de variación (coefficient of variation - C.O.V.) No confundir con la covarianza! 49

50 Nota final A pesar que la media aritmética y la desviación estándar han sido empleadas de manera extensa como medidas de tendencia central y dispersión respectivamente, estas no son siempre las medidas más deseables. Su uso es popular por su varias propiedades teóricas que las hacen muy manipulables desde el punto de vista matemático. 50

51 Otras medidas de dispersión Momento central de cualquier orden Diferencia media Desviación estándar geométrica 51

52 Medidas de dispersión en MS EXCEL 52

53 Haga Alt+F11 para ingresar el código Insertar Módulo Copy+Paste código Grabar como.xlsm Como la función para calcular la desviación mediana no existe en MS EXCEL 2007, debemos crear la función usando Visual Basic for Applications (VBA) 53

54 Medidas de dispersión en MATLAB 54

55 Valor atípico (outlier) Un valor atípico es una observación que es numéricamente distante del resto de los datos. Las estadísticas derivadas de los conjuntos de datos que incluyen valores atípicos serán frecuentemente engañosas. Por ejemplo, en el cálculo de la temperatura media de 10 objetos en una habitación, si la mayoría tienen entre 20 y 25ºC, pero hay un horno a 350 C, la mediana de los datos puede ser 23, pero la temperatura media será 55. En este caso, la mediana refleja mejor la temperatura de la muestra al azar de un objeto que la media. 55

56 Valor atípico (outlier) Los valores atípicos pueden ser indicativos de datos que pertenecen a una población diferente del resto de la muestra establecida. No existe una definición matemática de lo que constituye un valor atípico; este es un ejercicio subjetivo. 56

57 Sensibilidad de las medidas de tendencia central a valores atípicos 57

58 Sensibilidad de las medidas de dispersión a los valores atípicos 58

59 Momentos Coeficiente de asimetría Ver: Curtosis Ver: 59

60 Curtosis y coeficiente de asimetría en MS EXCEL

61 Curtosis y coeficiente de asimetría en MATLAB MATLAB y MS EXCEL utilizan diferentes algoritmos para calcular estos parámetros

62 Histogramas Un histograma es una representación gráfica de una variable en forma de barras, donde la superficie de cada barra es proporcional a la frecuencia de los valores representados. En el eje vertical se representan las frecuencias, y en el eje horizontal los valores de las variables.

63 Datos Suponga que los siguientes números representan el consumo en m3 de agua por día de una población (observe que están ordenados ascendentemente). Elabore el histograma de dichos datos

64 1. Determine el rango de los datos Rango es igual al dato mayor menos el dato menor. Rango = =

65 2. Obtener el número de clases Una clase (bin) es... Supongamos por el momento que Entonces Formaremos por lo tanto 7 clases/intervalos

66 3. Establecer la longitud de las clases/intervalos (bins) Establecer la longitud de clase: es igual al rango dividido entre el número de clases Lóngitud de la clase = 3237/7 = 462.4

67 4. Construir los intervalos de las clases Los intervalos resultan de dividir el rango de los datos en relación al resultado del paso 3 en intervalos iguales.

68 4. Graficar el histograma de conteo

69 4. Graficar el histograma de conteo Consultar la ayuda de la función FRECUENCIA de MS EXCEL para entender su uso

70 Tenga en cuenta... La normalización del histograma La frecuencia relativa refleja la proporción de la observaciones contenidas en una clase Cuando los intervalos de clase son idénticos, el área de los rectángulos representa las frecuencias. Sin embargo, cuando la longitud de los intervalos es diferente, las áreas no representan la frecuencia. Por lo tanto se debe ajustar la altura de los rectángulos para que sus áreas sean proporcionales a la frecuencia.

71 5. Graficar el histograma de frecuencias relativas El eje Y tiene unidades de frecuencia por m3/día

72 Histograma de frecuencia de clase con MATLAB

73 Histograma de frecuencia de clase con MATLAB El eje Y tiene unidades de frecuencia por m3/día

74 Histogramas con MS EXCEL MS EXCEL 2003: MS EXCEL 2007: or just GOOGLE IT!

75 6. Graficar la distribución de frecuencia relativa acumulada Se obtiene graficando en el eje vertical la frecuencia relativa acumulada de una clase contra el límite inferior de la siguiente clase sobre el eje horizontal y uniendo todos los puntos consecutivos.

76 El eje Y tiene unidades de frecuencia únicamente Percentil 80

77 Número de clases No existe una forma única de escoger el número de intervalos. Esto por lo tanto se deja a criterio del analista. Sin embargo, existen algunas recomendaciones (las cuales generalmente hacen suposiciones sobre la forma de los datos): El número de clases depende del número total de observaciones

78 Número de intervalos (k) k número de intervalos (clases) h ancho del intervalo Mi recomendación:

79 Fórmula de Sturges (1926): su rendimiento es pobre si n<30 Fórmula de Scott (1979): s es la desviación estándar muestral Fórmula de Freedman-Diaconis (1981): IQR es el rango intercuartil

80 Método de Shimazaki y Shinomoto (2007)

81 Fuente:

82

83

84 Referencias bibliográficas Sturges, H. A. (1926). The choice of a class interval. J. American Statistical Association: Scott, D. W. (1979). On optimal and data-based histograms. Biometrika. 66 (3): Freedman, D. and Diaconis, P. (1981). On the histogram as a density estimator: L2 theory. Zeitschrift für Wahrscheinlichkeitstheorie und verwandte Gebiete. 57 (4): Shimazaki H. and Shinomoto S. (2007), A method for selecting the bin size of a time histogram Neural Computation. 19(6),

85 Ejemplo con clases de tamaños diferentes Considere el siguiente ejemplo del Censo de USA en el año 2000: Journey to work and place of work

86 U.S. Census Bureau tiempo de viaje al trabajo. El censo encontró que 124 millones de personas trabajan fuera de su casas. Fuente:

87 Datos por cantidad Intervalo (minutos) [0,5) [5,10) [10,15) [15,20) [20,25) [25,30) [30,35) [35,40) [40,45) [45,60) Ancho (minutos) Cantidad Cantidad (miles)/ (miles) Ancho (minutos)

88 . Histograma del tiempo de viaje (censo USA, 2000) El área bajo la curva es igual al número de casos = 124 millones. Este diagrama usa cantidad/ancho de la tabla.

89 Datos por proporción Intervalo (minutos) [0,5) [5,10) [10,15) [15,20) [20,25) [25,30) [30,35) [35,40) [40,45) [45,60) Ancho (minutos) Cantidad Cantidad/Total/A (miles) ncho (minutos)

90 . Histograma de frecuencia relativa del tiempo de viaje (censo USA, 2000) El área bajo la curva es igual a 1 Este diagrama usa cantidad/total/ancho de la tabla.

91 Generalización del histograma Kernel smoothing methods (tambien llamado ventanas de Parzen (Parzen windows). El comando de MATLAB asociado es ksdensity. Ver:

92 Generalización de histograma Existen otro métodos basados en la utilización de polinomios ortogonales de Legendre. Ver por ejemplo: X.B. Li y F.Q. Gong (2009). A method for fitting probability distributions to engineering properties of rock masses using Legendre orthogonal polynomials. Structural Safety. Volume 31, Issue 4, July 2009, Pages Applying the Gram-Schmidt process to the functions 1, x, x^2,... on the interval [-1,1] with the usual L^2 inner product gives the Legendre polynomials

93 Otras funciones de MS EXCEL

94 Otras funciones de MATLAB

95 Otras formas gráficas de representar los datos