Estadística Descriptiva.

Transcripción

1 Grado en Biología. Universidad de Alcalá. Curso

2 Introducción. En este tema, para empezar, vamos a centrarnos en el caso de variables cuantitativas. Dentro de ese caso y para seguir extrayendo la información que contiene una muestra, nuestros siguientes pasos van a ser: 1 Aprender a elegir un valor central de la muestra. Es decir, un valor que tiene que ser un buen representante del conjunto de datos que estamos usando. 2 Medir la calidad del valor central. Es decir, como de representativo es el representante que hemos elegido. Para eso necesitaremos la noción de dispersión de los valores de la muestra. Además aprenderemos a situar cada valor en relación con los restantes valores de la muestra, definiendo las medidas de posición. Esas medidas nos permiten profundizar en la idea de forma de la distribución y definir nociones como la de valores atípicos.

3 La media aritmética El primer candidato a valor central es bien conocido. Si tenemos una muestra de n valores de una variable cuantitativa (discreta o continua), la media aritmética es: x = x1 + + xn n Ejemplo: dados estos valores (hay n = 40) 16, 12, 12, 11, 14, 14, 7, 12, 12, 10, 13, 5, 7, 12, 12, 11, 11, 13, 16, 14, 13, 11, 16, 14, 10, 16, 13, 11, 8, 10, 15, 7, 11, 10, 15, 13, 9, 9, 10, 12 Su media se calcula así: = 467 Y por tanto: x = Cómo de representativo es este número? En el fichero de datos BreastCancer2.csv cuál es la media de la variable Cell.size? Está claro que necesitamos el ordenador para responder a preguntas como esa. = n i=1 n x i.

4 Media aritmética partiendo de la tabla de frecuencias absolutas Variable cuantitativa discreta. En algunos casos el punto de partida de nuestro trabajo no será la muestra original, sino su tabla de frecuencias. Si tenemos la tabla de frecuencias absolutas de una variable cuantitativa discreta: Valor x 1 x 2 x k Frecuencia f 1 f 2 f k entonces la media aritmética se calcula así: x = x1 f1 + x2 f2 + + x k f k f 1 + f f k = k x i f i i=1 = k f i i=1 k x i f i i=1. n

5 Ejemplo de media a partir de tabla de frecuencias. En el capítulo anterior hemos visto que la tabla de frecuencias absolutas de la variable edad en el fichero cap01-datosalumnos-calc.csv es: Valor x i : x 1 = 17 x 2 = 18 x 3 = 19 x 4 = 20 Frecuencia f i : f 1 = 17 f 2 = 37 f 3 = 23 f 4 = 23 Así que la media, calculada a partir de esta tabla es: x = x1 f1 + + x k f k = = 1852 f f k = Calcula esta misma media a partir de los datos de la muestra (con repeticiones, sin usar la tabla de frecuencias). Importante: Piensa cómo se calcula la media aritmética a partir de una tabla de frecuencias relativas.

6 Limitaciones de la media aritmética. La media aritmética no tiene sentido en el caso de factores (variables cualitativas). Si tenemos la tabla de frecuencias de una variable cuantitativa continua agrupada en clases (intervalos), a veces se calcula la media reemplazando cada intervalo por su punto medio (la marca de clase). Pero debes recordar que la tabla de frecuencias en este caso implica una pérdida de información y que la calidad de la media se resentirá. Lo mejor es siempre calcular la media a partir de los datos sin agrupar, si es posible. Ver el Ejemplo 2.1.4, pág. 24 del libro. Pero la principal limitación de la media aritmética es su dependencia de valores atípicos (inusualmente grandes o pequeños).

7 El problema de los valores atípicos en la media aritmética. Ejemplo: en una empresa hay 9 personas que cobran 1000e mensuales y una persona que cobra 10000e mensuales. La media aritmética de los sueldos en esa empresa es: = 1900 euros al mes. Crees que este valor es representativo? En particular, si eliges un empleado al azar, su sueldo se parecerá a esta media aritmética? Pronto veremos una definición precisa de lo que entendemos por valores atípicos (outliers), pero necesitamos más vocabulario.

8 Mediana La mediana es otro valor central que se inventó para tener un valor representativo que no se viera tan afectado por los valores extremos como la media aritmética. Para calcular la mediana: 1 Ordenamos los datos de menor a mayor. 2 Si hay un número impar de datos tomamos el valor central. 3 Si hay un número par, tomamos la media de los dos valores centrales. Ejemplos. Dados estos valores: para calcular su mediana los ordenamos (y contamos; hay 15): y vemos que la mediana es 10. La media es aprox

9 Más ejemplos de cálculo de la mediana. Cómo cambia la mediana del ejemplo anterior si añades el valor 200 a esos datos? Y cómo cambia la media? Cuál es la mediana de la variable Mitoses en el fichero BreastCancer2.csv? En casos como este está claro que la única solución es usar el ordenador. Cuál es el salario mediano en la empresa que hemos usado antes como ejemplo? La diferencia entre salario medio y salario mediano parece un indicador de desigualdad de los salarios. Y en España qué pasa? Ver este enlace para una discusión reciente en prensa. Mediana vs media. Y si la mediana no se ve afectada por los valores extremos, por qué no usamos la mediana siempre en lugar de la media? Pues porque la media viene dada por una fórmula, mientras que la mediana viene definida por un algoritmo (una receta o programa). Eso hace que las propiedades matemáticas de la media sean más sencillas (por ejemplo, para calcular derivadas).

10 Cuartiles, percentiles. Medidas de posición. La idea de la mediana (dividir la muestra por la mitad) se generaliza fácilmente. Los cuartiles de una muestra son los valores que dividen a la muestra en cuatro partes iguales. El primer cuartil es el valor que deja por debajo al 25% más pequeño de los valores de la muestra, mientras que el tercer cuartil deja por encima al 25% más grande de la muestra. El segundo cuartil es la mediana que ya conocemos. De la misma manera se definen los percentiles, que son los valores que dejan por debajo un porcentaje dado de los datos (siempre ordenados de menor a mayor). Todo este tipo de valores se denominan genéricamente medidas de posición de la muestra. A menudo incluiremos el mínimo y el maximo de la muestra entre estas medidas. Aunque la intuición es muy sencilla, en la práctica la definición precisa y el cálculo de estos valores es más complicado de lo que parece. Dejaremos que se encargue el ordenador (en R usaremos las funciones median y quantile). Ten en cuenta además que algunos de estos valores sólo empiezan a tener sentido y ser útiles cuando se dispone de muestras relativamente grandes de la población de interés.

11 Ejemplo de cálculo de medidas de posición. Dado el fichero wcgs.csv, en R podemos leer esos datos muy fácilmente y obtener las medidas de posición de la variable bmi con estos comandos: enlace = " wcgs = read.table(enlace, sep=";", dec=",", header=true) bmi = wcgs$bmi summary(bmi) ## Min. 1st Qu. Median Mean 3rd Qu. Max. ## Y para calcular, por ejemplo, el percentil 60, usamos quantile. quantile(bmi, probs = 0.6) ## 60% ## Cómo lo calcularías a mano?

12 Frecuencias acumuladas y relativas acumuladas. Las frecuencias acumuladas están estrechamente relacionadas con las medidas de posición que acabamos de ver. Si tenemos la tabla de frecuencias absolutas de una variable cuantitativa discreta, como esta Valor x 1 x 2 x k Frecuencia f 1 f 2 f k entonces las frecuencias acumuladas se definen así: F 1 = f 1, F 2 = F 1 + f 2, F 3 = F 2 + f 3,..., F k = F k 1 + f k. Es decir, la frecuencia acumulada de x k indica cuántos valores de la muestra son x k. Las frecuencias relativas acumuladas se definen dividiendo las acumuladas por n, el número de datos de la muestra. F 1 = F1 n, F 2 = F2 n,..., F k = F k n. La frecuencia relativa acumulada de x k sirve para calcular qué porcentaje de valores de la muestra son x k.

13 Ejemplo de cálculo: Veremos en clase como calcular con R las tabla de frecuencias absolutas, relativas, acumuladas y relatativas acumuladas de la variable de la variable Cl.thickness en el fichero BreastCancer2.csv Valor Frec.Absoluta Frec.Relativa Frec.Acumulada Frec.Rel.Acumulada Ves la relación entre frecuencias relativas acumuladas y percentiles?

14 Diagrama de caja y bigotes (boxplot). El diagrama de caja y bigotes es una forma de representar gráficamente las medidas de posición. Más a menudo usaremos el nombre inglés, boxplot. La estructura de un boxplot es esta: Y en R se dibujan fácilmente con la función boxplot (veremos que se pueden ajustar varias opciones del gráfico).

15 Comentarios adicionales sobre el boxplot. Un inconveniente del boxplot es que puede ocultar información sobre la distribución de los datos. Por ejemplo, este boxplot no nos hace sospechar que esté pasando nada demasiado raro con la muestra:

16 Pero si añadimos los valores de la muestra (puntos rojos): entonces resulta evidente que los valores de la muestra están divididos en dos grupos. Nuestra muestra tiene una distribución que el boxplot no refleja.

17 Una alternativa al boxplot que ha ganado popularidad recientemente es el violinplot: Como ves, este tipo de gráficos combina un boxplot con un diagrama de densidad de la muestra (que sí contiene información sobre la forma de la distribución). 1

18 Recorrido y Recorrido intercuartílico. El recorrido (range) de una muestra es la diferencia entre máximo y mínimo. El recorrido intercuartílico (IQR) es la diferencia entre el tercer y el primer cuartil (la anchura de la caja en el boxplot, que contiene al 50% central de la población). Ambas cantidades se suelen llamar rangos por una traducción defectuosa del inglés. Moda. Distribuciones unimodales, bimodales, etc. Ya que volvemos a hablar de la forma de la distribución, aprovechemos para definir la moda como el valor más frecuente que aparece en la muestra. Una ventaja de la moda es que se puede usar también con factores (variables cualitativas). Cuando representamos gráficamente la tabla de frecuencias en un diagrama de columna, un histograma, una curva de densidad (o gráficos similares) la moda es el valor que corresponde al punto más alto del diagrama. En general, los máximos locales del diagrama indican valores modales. Una distribución de frecuencias con un único máximo es unimodal. Una distribución con dos es bimodal. Si hay más de dos es mejor decir que es multimodal.

19 Por ejemplo: unimodal bimodal Density

20 Asimetría de una distribución. Otra característica de la forma de una distribución en la que nos vamos a fijar es la simetría. Las siguientes distribuciones son todas unimodales, pero difieren en cuanto a la simetría. Asimetría a dcha. Simétrica. Asimetría a izda

21 Medidas de dispersión: introducción. Una vez que hemos elegido un representante de los datos (un valor central) la dispersión es una manera de medir su representatividad. Por ejemplo, una colección de números es poco dispersa cuando los datos están muy concentrados alrededor de la media. Cómo medimos la dispersión? Mirando si los datos son muy diferentes de la media, claro. Pero si medimos las diferencias con la media: d i = x i x Y hacemos la media de esas diferencias, el resultado siempre es 0: d 1 + d d n n Esto se debe a la propia definición de la media. Las diferencias positivas y negativas se compensan exactamente. Ejemplo: la media de estos datos es 6. = 0 Datos x i Diferencias d i

22 Hay dos soluciones naturales para evitar que esos valores positivos y negativos se compensen: Tomar el valor absoluto de las diferencias antes de hacer la media. Tomar el cuadrado de las diferencias antes de hacer la media. El problema de la primera opción es parecido al que nos hemos encontrado con la mediana. El valor absoluto es una función que da problemas al calcular derivadas. Eso no sucede con el cuadrado y por eso la Estadística Clásica ha elegido la segunda opción. Que también tiene dificultades, como veremos enseguida. Pero primero la definición: La varianza (poblacional). Es la media de los cuadrados de las desviaciones respecto a la media: n (x i x) 2 Var(x) = (x1 x)2 + (x 2 x) (x n x) 2 i=1 =. n n El problema es de dimensiones: si los valores x 1, x 2,..., x k se miden en metros, en qué unidades se mide Var(x)?

23 Ejemplo de cálculo de varianza. En los datos anteriores: Datos x i Diferencias d i Dif. al cuadrado di Así que: Var(x) = = = 7. La desviación típica (poblacional) Para evitar el problema de las dimensiones se define la desviación típica (poblacional), que es nuestra medida más común de la dispersión: En el ejemplo anterior DT (x) = Var(x) = n (x i x) 2 i=1 DT (x) = n.

24 La varianza a partir de tablas de frecuencias. Si el punto de partida es una tabla de frecuencias absolutas como esta: Valor x 1 x 2 x k Frecuencia f 1 f 2 f k entonces empezamos por calcular la media como hemos aprendido a hacerlo. Después aplicamos esta fórmula: k f i (x i x) 2 Var(x) = i=1. k f i Practicaremos esta fórmula con el ordenador, que es una buena forma de aprenderla. i=1

25 Ejemplo de cálculo con R de la varianza desde una tabla de frecuencias. Para irnos acostumbrando al uso de R vamos a ver como desde un conjunto de valores y sus frecuencias es muy fácil calcular la varianza. valores = c(1, 5, 7, 8, 9, 11, 13, 16, 17, 19, 23, 24) frecuencias = c(1, 4, 4, 3, 3, 6, 7, 6, 5, 3, 7, 6) (n = sum(frecuencias)) ## [1] 55 (media = sum(valores * frecuencias) / n) ## [1]

26 (diferencias = valores - media) ## [1] ## [6] ## [11] (difcuadrado = diferencias^2) ## [1] ## [6] ## [11] (varianza = sum(frecuencias * difcuadrado) / n) ## [1]

27 Otra posibilidad es usar rep (de repeat) para reconstruir los valores a partir de la tabla de frecuencias. (expandvalores = rep(valores, frecuencias)) ## [1] ## [19] ## [37] ## [55] 24 (media = mean(expandvalores)) ## [1] (varianza = sum((expandvalores - media)^2) / n) ## [1]

28 Cuasivarianza y cuasidesviación típica (muestrales). La varianza y la desviación típica se calculan usando n en el denominador. Hay dos cantidades estrechamente relacionadas que se calculan usando n 1 en lugar de n. La cuasivarianza muestral es: n (x i x) 2 s 2 (x) = (x1 x)2 + (x 2 x) (x n x) 2 i=1 =. n 1 n 1 Como ves la única diferencia con la varianza poblacional es el denominador. La cuasidesviación típica muestral es simplemente la raíz cuadrada de la cuasivarianza: s(x) = s 2 (x) Es muy importante que cuando uses un programa de ordenador o una calculadora sepas si el resultado es poblacional o muestral. En particular, adelantamos que las funciones var y sd de R calculan la cuasivarianza muestral y la cuasidesviación típica muestral respectivamente (y no hay funciones para las poblacionales). Todavía no podemos entender completamente la diferencia entre muestral y poblacional, pero te podemos adelantar que se debe al deseo de hacer Inferencia: los valores muestrales serán útiles para estimar los poblacionales.