Probabilidad y Estadística - Clase 2

Transcripción

1 Probabilidad y Estadística - Clase 2

2 Quién fue el primero en hacer un promedio? El rey Rituparna, apuntando hacia un árbol, dijo: Yo sé cuantas hojas tiene ese árbol, sin siquiera contarlas. Es uno de los registros más antiguos de estimación. Su truco era simple: consistía en estimar el número de hojas en una pequeña rama promedio, y multiplicarlo por el número estimado de pequeñas ramas en el árbol. La historia termina en que luego de una ardua noche de conteo, el número verdadero de hojas se encontraba muy próximo al número dado por el rey.

3 Estadística Descriptiva Por qué funciona? I La idea es que una rama típica del árbol será representativa y dará una buena estimación. I El método funciona porque lo que se cuenta de más algunas veces, es compensado por lo que se cuenta de menos en otras. Cuántos patos hay en la foto?

4 Estadística Descriptiva Imaginarse una grilla Pero cómo elegir un rectángulo típico? I A ojo, digamos que hay 15 patos en un rectángulo típico. Esto nos da una estimación de 225 patos en total. I Hay una manera sistemática de elegir un rectángulo típico?

5 Hay más de una manera Si nos dicen que el máximo es 34 y el mínimo es 0, podemos tomar Valor típico = Máximo + Mínimo 2 Así, obtendríamos una estimación de 255 patos. Hacemos la cuenta =

6 Más valores típicos? Hay 195 patos. Entonces Valor típico = Suma 15 Y eso que ningún rectángulo tiene 13 patos. También podría ser = 13. Valor típico = el que más se repite. Hay 3 valores que se repiten dos veces: el 5, el 6 y el 11. Ordenamos, de menor a mayor los rectángulos: la mitad hacia la izquierda { }} { la mitad hacia la derecha { }} { Valor típico = aquel que divide en dos partes iguales al total.

7 Con cuál nos quedamos? Depende de la distribución de los datos, y sobre todo, de qué información queremos obtener. Individuos, variables y distribuciones Los individuos son los objetos descritos por un conjunto de datos. Una variable es cualquier característica de un individuo. La distribución de una variable nos dice qué valores toma y con qué frecuencia.

8 Variables categóricas y cuantitativas Una variable categórica indica a qué grupo o categoría pertenece un individuo. Una variable cuantitativa toma valores numéricos, para los que tiene sentido hacer operaciones numéricas. Ejemplo Nombre Edad Sexo Raza Salario Trabajo Perez, Juan 27 Hombre Blanca Técnico Martínez, Ana 43 Mujer Blanca Directivo Wang, Li 22 Hombre Asiatica Cadete......

9 Tenencia de la vivienda en Uruguay ECH2014 Porcentaje Tenencia de la Vivienda ECH2014 A B C D E F G H I A Prop. de la viv. y el terr. y los está pagando. B Prop. de la viv. y el terr. y ya los pagó. C Prop. sólo de la vivienda y la está pagando. D Prop. sólo de la vivienda y ya la pagó. E Inquilino o arrendatario de la vivienda. F Ocupante con relación de dependencia. G Ocupante gratuito. Se lo permite el B.P.S. H Ocupante gratuito. Se lo permite el prop. I Ocupante sin permiso del propietario. A B C D E F G H I 8,6 % 46,3 % 0,5 % 5,4 % 17,2 % 1,5 % 0,7 % 19,2 % 0,8 % Cuál es la tenencia de la vivienda típica en Uruguay?

10 La Moda Si X es una variable categórica que toma los valores {x 1,..., x n }, la moda de X es aquel valor que se repite con mayor frecuencia Moda(X ) = x i más frecuente. La moda para variables cuantitativas Si la variable es cuantitativa, debemos agrupar los datos y tomar la moda de los datos agrupados. En este caso, la moda dependerá de cómo agrupemos los datos.

11 Cuál es el salario típico en Uruguay? Ingresos por Sueldo o Jornal liquido, Uruguay ECH2014 Frecuencia Ingreso (miles de pesos) La moda corresponde al intervalo mil pesos.

12 Medidas de Centro Es un número que representa el centro de una distribución. La moda es un ejemplo de medida de centro. Supongamos que tenemos datos {x 1, x 2,..., x n } de una variable numérica X. Podemos cuantificar cuán central es un número x para X con n d(x) = x x i. Busquemos el valor de x que minimiza la función d. i=1

13 Volviendo a los patos Grafico de d para el ejemplo de los patos d x El mínimo se alcanza en x = 11. No es casualidad!

14 Buscamos el mínimo de d El problema es que d no es derivable. Ordenamos los datos de menor a mayor: x 1 x 2 x n. d es lineal en cada segmento xi, x i+1, y vale d(x) = = i n x xj + xj x j=1 j=i+1 j=1 j=i+1 n i xj xj + (2i n)x = B + Ax, en donde A = 2i n y B = n j=i+1 xj i j=1 xj son constantes.

15 Buscamos el mínimo de d Supongamos primero que n es impar. Entonces A < 0 cuando i n 1 2, A > 0 cuando i n+1 2. Por lo que d alcanza su mínimo en el punto x n+1. 2 Supongamos ahora que n es par. En este caso A < 0 A = 0 cuando i n 2 1, cuando i = n 2, A > 0 cuando i n Luego d alcanza su mínimo en cualquier punto de [ x n/2, x n/2+1].

16 El mínimo de d según la paridad de n Luego d alcanza su mínimo en x n+1, cuando n es impar, 2 cualquier punto de [ x n/2, x n/2+1], cuando n es par.

17 La Mediana Sea X una variable cuantitativa que toma los valores {x 1,..., x n }. La mediana de X es un valor m que deja 50 % de los datos a su izquierda y 50 % a su derecha. Para calcularla aplicamos la siguiente receta: x n+1 cuando n es impar m = 2 x n/2 +x n/2+1 2 cuando n es par en donde {x 1,..., x n} es la muestra ordenada de menor a mayor.

18 La mediana de ingresos en Uruguay Ingresos por Sueldo o Jornal liquido, Uruguay ECH2014 Frecuencia Ingreso (miles de pesos) Densidad Mediana La mediana es 15 mil pesos. Esto es, la mitad recibe un ingreso inferior a 15 mil pesos!

19 Un viejo truco estadístico Fue un poco engorroso calcular el mínimo de la función d. En estadística existe un truco para hacer que una función se vuelva derivable. Consiste en elevar al cuadrado! y lo veremos más de una vez. Sea X una variable numérica con valores {x 1,..., x n }. Consideremos, en lugar de d, la función d 2 (x) = Dónde alcanza d 2 su mínimo? n (x x i ) 2. i=1 x = arg mín d 2 (x) x R

20 Buscamos el mínimo de d 2 Como d 2 es derivable, podemos derivar e igualar a cero: n d 2 (x) = 2 (x x i ) = 0. Despejando, obtenemos un punto crítico en x = 1 ni=1 n x i. Como d 2 es una función cuadrática, alcanza su mínimo en x. La Media o Promedio i=1 Sea X una variable numérica con valores {x 1,..., x n }. La media o promedio de X es x = 1 n x i. n i=1 En palabras, la suma sobre la cantidad total datos.

21 El promedio de ingresos en Uruguay Ingresos por Sueldo o Jornal liquido, Uruguay ECH2014 Frecuencia Ingreso (miles de pesos) Densidad Mediana Media El sueldo promedio es de 18 mil pesos. Los pocos encuestados con ingresos cercanos a $ hacen que la media sea mayor a la mediana.

22 Comparación entre la media y la mediana Histograma de la poblacion de las ciudades de Uruguay Densidad Poblacion en miles de habitantes En el histograma no está Montevideo. La media y la mediana de habitantes de las 62 ciudades más pobladas de Uruguay son x = y M =

23 Comparación entre la media y la mediana Si sacamos a Montevideo, quedan x = y M = La mediana casi no cambió, pero la media es muy diferente. A diferencia de la media, la mediana es robusta. Esto quiere decir que es relativamente insensible a datos atípicos. La media tiene la ventaja de ser más fácil de manipular matemáticamente. Cuando las muestras de datos son grandes, la media tiene una distribución bien conocida. Esto lo veremos más adelante.

24 Otras medidas de centro Existen infinitas medidas de centro diferentes. Por ejemplo, podríamos minimizar la función para cualquier α > 1. d α (x) = n x x i α i=1 Si α =, el estadístico que se obtiene es el Rango Medio = máx i x i + mín i x i 2 En el curso usaremos sólo la moda, la mediana y el promedio..

25 Datos circulares Objetivo: viaje en bicicleta por la costa uruguaya desde Montevideo a la hermosa ciudad del Chuí. Problema: el viento en contra! En qué mes del año nos conviene viajar? Datos de la estación meteorológica del Aeropuerto de Carrasco: Día Dirección del Viento Grados Enero noreste 45 Enero nornoreste 22.5 Enero nornoreste 22.5 Enero norte 360 Enero noroeste 315 Enero sur

26 Vientos de Enero 2014 (Aeropuerto Carrasco) El viento promedio es 59,4, entre noreste y estenoreste. La mediana es 69,2, casi estenoreste.

27 Cómo se hace un promedio en el círculo? Medidas de ángulos se representan en un círculo unitario. Si los datos son ángulos A = {α 1,..., α n }, ponemos p i = (sin(α i ), cos(α i )). En el círculo podemos medir la distancia entre dos puntos: d(p 1, p 2 ) = ángulo en radianes entre p 1 y p 2. Podemos considerar la función Y el promedio es entonces d 2 (p) = n d(p, p i ) 2. i=1 p = arg mín d 2 (p) p S 1

28 Distancia entre puntos del círculo

29

30

31

32 Conviene ir del Chuí a Montevideo!

33 Resumiendo... Medidas de centro La moda es la única medida de centro que podemos usar cuando la variable es categórica. La mediana es menos sensible a datos atípicos. La media tiene ventajas teóricas respecto a la mediana.

34 Medidas de dispersión Miden la variabilidad de una distribución. En general, es un número que indica si los diferentes valores de una variable se alejan de la media. La Varianza Sea X una variable cuyos valores son {x 1,..., x n }. La varianza s 2 de X es s 2 = 1 n (x x) 2, n 1 en donde x es la media de X. A veces se indica la variable X con un subíndice: s 2 X. i=1

35 La desviación típica Sea X una cuyos valores son {x 1,..., x n }. La desviación típica de X es 1 n s = (x x) n 1 2. i=1 Esto es: la raíz cuadrada de la varianza. Por qué n 1 y no n? La suma de los desvíos d i = x i x es n n d i = x i x = 0. i=1 i=1 Solamente n 1 de los d 2 puede variar libremente. i Cuando se usa n en lugar de n 1, se escribe σ en lugar de s.

36 La desviación típica de los ingresos en Uruguay Salario liquido en Uruguay Densidad Salario La desviación típica es s = pesos. El 80 % de los salarios están en el intervalo promedio ± desviación típica

37 Desviacion tipica moderada Desviacion tipica grande Densidad Valor de la variable Desviacion tipica chica Densidad Densidad Valor de la variable Valor de la variable

38 Por qué n 1 y no n? Histograma de una cierta variable X Densidad Valores de la variable Supongamos que disponemos de 30 valores de una variable X. La varianza de X es s 2 = 1,02.

39 Por qué n 1 y no n? Tomamos todas las muestras posibles de tamaño 5 de X. Para cada una de esas muestras, calculamos su varianza s 2. El promedio es 1,03! Si usamos σ 2, el promedio es 0,82. Histograma de varianzas Densidad Varianza de la muestra

40 Los Cuartiles El primer cuartil Q 1 es la mediana de las observaciones situadas a la izquierda de la mediana global. El tercer cuartil Q 3 es la mediana de las observaciones situadas a la derecha de la mediana global. El primer cuartil deja el 25 % de los datos a su izquierda y el 75 % a su derecha. El tercer cuartil deja el 75 % de los datos a su izquierda y el 25 % a su derecha. En el ejemplo de los patos: 25 % { }} { % { }} {

41 Los Cuartiles Salario liquido en Uruguay Densidad Salario El primer cuartil es Q 1 = pesos. El tercer cuartil es Q 3 = pesos.

42 El Rango Intercuartílico. El Rango Intercuartílico es otra medida de dispersión. Sea X una variable cuyos valores son {x 1,..., x n }. Definimos el rango intercuartílico de X como RIC(X ) = Q 3 Q 1. En el ejemplo de los ingresos por salario tenemos RIC(Salarios) = pesos. Al igual que la mediana, el rango intercuartílico es una medida robusta de la dispersión.

43 Resumen numérico de los datos Robusta No Robusta Medida de centro Mediana Media Medida de dispersión Rango Intercuartílico Desviación Típica Los cinco números resumen Un resumen rápido del centro y dispersión de los datos. mín Q 1 M Q 3 máx Usar x y s sólo para distribuciones razonablemente simétricas que no presenten datos atípicos. El resumen de los ingresos en Uruguay: mín Q 1 M Q 3 máx

44 Métodos Gráficos

45 El diagrama de barras Un diagrama de barras representa gráficamente las frecuencias relativas de una variable categórica. Diagrama de barras de las notas del curso de PyE 2015 Frecuencia relativa Nota

46 El histograma El histograma es el análogo al diagrama de barras para variables cuantitativas. Cómo hacer un histograma? Sea X una variable numérica cuyos valores son {x 1,..., x n }. El eje horizontal debe recorrer los valores de mín x i a máx x i. Se divide el intervalo [mín x i, máx x i ] en k subintervalos iguales. Si h es la longitud de cada subintervalo, tenemos [ máx xi mín x ] i k =. h

47 Cómo hacer un histograma? En cada subintervalo I, se grafica una barra cuya altura es altura(i ) = Fr(I ) h (densidad) en donde Fr(I ) = 1 n # {i : x i I } = Cuantos x i caen en I Total de observaciones. De este modo el área total del histograma es 1. En la computadora se puede graficar además una curva de densidad que aproxima el histograma. Como elegir el k?

48 Cómo elegir el k? Histograma Poblacion. El k es demasiado grande Densidad Poblacion en miles de habitantes Histograma Poblacion. El k es demasiado chico Densidad Poblacion en miles de habitantes

49 La regla de Sturges La regla de Sturges propone elegir k = log 2 n + 1. Se basa en la máquina de Galton. La máquina tiene k intervalos, si hay k 1 filas de clavos. Si se tiran muchas pelotitas, i.e. n es grande, la cantidad de pelotitas en el i-ésimo intervalo es proporcional a k 1 i. Supongamos que la constante de proporcionalidad es α. Observar que n = k ( ) k 1 α = α2 k 1. i i=0 Si α = 1 se obtiene la fórmula. Les parece razonable?

50 Algunas reglas útiles para elegir k Las siguientes son algunas reglas útiles para determinar la cantidad k de intervalos que se debe utilizar al hacer un histograma. Sea X una variable cuyos valores son {x 1,..., x n }. Tenemos la regla de Sturges: la regla de Rice: la regla de Freedman-Diaconis: k = log 2 n + 1. k = 2n 1/3. h = 2 RIC(X ) n 1/3. Notar que h es el ancho del intervalo.

51 Simetría y Asimetría de un histograma Densidad Puntajes curso de PyE Puntaje Edad al morir. Australian Bureau of Statistics, Densidad Edad al morir Densidad Ingresos en Uruguay. ECH Salario en miles de pesos

52 Simetría y Asimetría de un histograma Una distribución es simétrica si los lados derecho e izquierdo (de la mediana) del histograma son aproximadamente iguales. Una distribución es asimétrica hacia la derecha si el lado derecho del histograma se extiende mucho más lejos que el lado izquierdo. Una distribución es asimétrica hacia la izquierda si el lado izquierdo del histograma se extiende mucho más lejos que el lado derecho. Coeficiente de Asimetría de una variable Sea X una variable numérica cuyos valores son {x 1,..., x n }. El coeficiente de asimetría de X es γ = 1 n ( ) 3 xi x. n s i=1

53 Ejemplos En los puntajes del curso de PyE 2015 tenemos γ = 0,04. En los ingresos de Uruguay ECH 2014 tenemos γ = 2,02. En las edades al morir del ABS 2012 tenemos γ = 1,64. La asimetría y la media Si la distribución es simétrica, la media y la mediana son casi iguales. Si la distribución es asimétrica hacia la derecha, la media es mayor que la mediana. Si la distribución es asimétrica hacia la izquierda, la media es menor que la mediana.

54 Distribuciones bi-modales Histograma de altura de hombres y mujeres Densidad Altura Si el histograma presenta dos picos, decimos que la distribución es bi-modal. En este caso, ni la media ni la mediana son representativas. Es mejor usar las dos modas como resumen numérico.

55 Transformando los datos X² X Supongamos que queremos medir la superficie de un terreno cuadrado. Hacemos varias mediciones del lado X del cuadrado, y obtenemos {x 1,..., x n } Una buena estimación es la media x. La superficie del terreno es X 2. Cuál es una mejor estimación para la superficie? Promediar primero y elevar al cuadrado después, i.e. x 2. Elevar al cuadrado primero y promediar después, i.e. x 2.

56 Calculemos el error Supongamos que el lado mide µ (desconocido para nosotros). La superficie es entonces µ 2. Cada medición es de la forma x i = µ+ɛ i, con ɛ i el error de la i-ésima medición. Como los errores tienden a compensarse, tenemos ɛ = 0. Método 1: como x = µ + ɛ = µ, tenemos x 2 = µ 2. Método 2: como x 2 i = µ 2 + 2ɛ i + ɛ 2 i tenemos x 2 = µ 2 + ɛ 2. Pero ɛ 2 > 0, así que es mejor el Método 1.

57 Error vs. Error 2 Histograma del error Densidad Error en metros (e) Histograma del error al cuadrado Densidad Error^2 en metros cuadrados (e^2)

58 Histograma acumulado Se divide el intervalo [mín x i, máx x i ] en k subintervalos iguales. Denotemos por I 1,..., I k dichos subintervalos. En cada subintervalo I j, se grafica una barra cuya altura es altura(i j ) = FrAc(I j ) en donde FrAc(I j ) = 1 n # i : x i I 1 I j = Cuantos x i caen en I 1 I j Total de observaciones De este modo, las alturas de las barras crecen desde 0 hasta 1..

59 Histograma acumulado y cuartiles Histograma acumulado PyE 2015 Frecuencia acumulada Puntaje

60 Diagrama de caja (Box Plot) John Tukey ( ) Un Diagrama de caja es un gráfico que resume de forma visual las características principales de la distribución de un conjunto de datos. Está compuesto por un rectángulo (caja) y dos brazos (bigotes): Los límites del rectángulo son los cuartiles Q 1 y Q 3. En el interior del rectángulo se indica la mediana M. Se calculan los límites inferior y superior L i = Q 1 1,5 RIC y L s = Q 3 + 1,5 RIC El brazo inferior y superior terminan en mín x i L i x i y máx x i L s x i

61 Diagrama de caja (Box Plot) Atípico max(x) x Ls Ls = Q3 + RIC 1.5 Q3 (75%) Mediana (50%) Q1 (25%) RIC = Q3 - Q1 (50% de datos) Li = Q1 - RIC 1.5 min(x) x Li

62 Datos atípicos (outliers) Los datos atípicos son aquellos que caen fuera del intervalo [L i, L s ] Poblacion de ciudades en Uruguay Poblacion en miles de habitantes

63 Comparación de ingresos ECH 2014 Montevideo Artigas Salario en miles de pesos

64 Resumiendo... Para resumir las principales características de una distribución: Representar gráficamente los datos. Diagrama de barras, histograma, boxplot. Interpretar. Forma, centro, dispersión. Asimetrías. Observaciones atípicas. Resumen numérico. Moda, Mediana, Media. Cuartiles, desviación típica, rango intercuartílico.