Fundamentos para la inferencia. Estadísca Prof. Tamara Burdisso

Transcripción

1 Fundamentos para la inferencia

2 Nota periodística Perfil 22/3/2015 Scioli y Macri, con ventaja en la pelea por el ballottage

3 Nota periodística Perfil 22/3/2015 Cuando apenas faltan tres meses para la presentación de listas y fórmulas presidenciales, los sondeos de opinión de la consultora González y Valladares que publica en exclusiva PERFIL muestran por primera vez un vuelco en el orden en el que se posicionan los tres principales candidatos. El gobernador bonaerense saltó al primer lugar (31%), el jefe de Gobierno porteño lo secunda (27,6%), y el diputado del Frente Renovador perdió el lugar de privilegio y ahora mira a sus contrincantes desde atrás (25%). En el cuarto lugar logra posicionarse Margarita Stolbizer, la última en lanzarse al ruedo luego de las bajas de Hermes Binner y Julio Cobos. En alianza con el Socialismo y Libres del Sur, la diputada del GEN alcanza 8% de intención de voto. Ficha técnica: Encuesta telefónica /1200 casos. Nivel de error: ±2.89% con nivel de confianza del 95%. Fecha del 17 al 20 de marzo de Consultora González y Valladares.

4 Nota periodística Perfil 22/3/2015 Cómo debe leerse esta información periodística que involucra porcentajes de opinión y márgenes de error estadístico? 31% ± 2.89% : Estamos un 95% seguros que al 22/3/15, entre el 28.11% a 33.89% de los ciudadanos votarían en promedio por el gobernardor Scioli como candidato a presidente. 27.6% ± 2.89% : Estamos un 95% seguros que al 22/3/15, entre el 24.71% a 30.49% de los ciudadanos votarían en promedio por el actual jefe de gobierno porteño como candidato a presidente. 25% ± 2.69% : Estamos un 95% seguros que al 22/3/15, entre el 22.11% a 27.89% de los ciudadanos votarían en promedio por el diputado del Frente Renovador como candidato a presidente.

5 Nota periodística Perfil 22/3/2015 Se tomo una muestra que arrojó el 31%, el 27.6% y el 25% El interés radica en los parámetros poblacionales que son desconocidos Inferencia A través de un estimador puntual ( en la nota periodística el estimador es una proporción) Muestra 1 Muestra 2 Muestra 3 Estadísca Estadísca Cátedra Prof. Prof. Tamara Tamara Burdisso Burdisso

6 Objetivos de los métodos estadísticos Ya vimos que uno de los objetivos de la estadística consiste en aprender de las distribuciones poblacionales a partir de muestras de esa población. Mediante métodos estadísticos se puede hacer inferencia acerca de la distribución poblacional. Tres tipos de métodos estadísticos utilizaremos a lo largo del curso: estimación, test de hipótesis e intervalos de confianza. La estimación consiste en computar el mejor predictor numérico de una característica de una distribución. Mediante la evidencia muestral, se intenta testear cierta hipótesis acerca de la población para ver si es cierta o no. Un intervalo de confianza permite establecer en base a datos muestrales un rango de valores para una característica desconocida de la población.

7 Muestreo aleatorio simple El muestreo aleatorio simple es el más común de los métodos para seleccionar una muestra al azar a partir de una población. Una muestra aleatoria simple se elige mediante un proceso que selecciona n objetos de una población de manera tal que cada uno de los miembros de la población tiene la misma probabilidad de ser seleccionado, la selección de uno de los miembros es independiente de la selección de cualquier otro y toda muestra posible de tamaño n, tiene la misma probabilidad de selección. 7

8 Muestreo aleatorio simple El proceso de selección de la muestra depende de si la población es finita o infinita. Muestreo para poblaciones finitas: Una muestra aleatoria simple de tamaño n, de una población finita de tamaño N, es una muestra seleccionada de manera tal que cada muestra posible de tamaño n tenga la misma probabilidad de ser seleccionada. Muestreo para poblaciones infinitas (o finita pero muy grande): una muestra aleatoria simple de una población infinita es aquella que se selecciona de forma tal que se satisfacen las siguientes condiciones. 1. Cada elemento seleccionado proviene de la misma población. 2. Cada elemento se selecciona en forma independiente. 8

9 Muestreo aleatorio simple Muestreo aleatorio simple con reemplazo y sin reemplazo. Si muestreamos con reemplazo, no hay problemas ya que los n objetos de la muestra son independientes ( no alteramos las frecuencias relativas). Además si la población es muy grande, muestrear con o sin reemplazo, prácticamente no altera las frecuencias relativas. Por lo tanto también tenemos independencia. El problema se origina cuando muestreamos sin reemplazo y la población es pequeña. Hay que introducir correcciones que tengan en cuenta este punto (factor de corrección para muestra finita). 9

10 Muestreo aleatorio simple y vs. as. i.i.d. En una muestrea aleatoria simple, se extraen n objetos de una población y cada objeto tiene la misma probabilidad de salir. Sea X v.a. y X i el i-ésimo objeto extraído aleatoriamente. Como cada objeto tiene igual probabilidad de salir y la distribución de X i es la misma para todo i, las vs. as. X 1,X 2, X n son independientes idénticamente distribuidas (i.i.d.) 10

11 Parámetro, estimador y estimación Parámetro: es una medida numérica descriptiva de una población. Su valor es casi siempre desconocido Estadístico/estimador: un estadístico es cualquier función de una muestra de datos aleatoria proveniente de una población. Estimación: una estimación es el valor numérico del estimador cuando el mismo es evaluado utilizando los datos de una muestra específica. Un estimador es una variable aleatoria, ya que hereda la aleatoriedad de la muestra aleatoria, mientras que una estimación es un número no aleatorio. Ejemplos

12 Parámetro vs. estadístico/estimador Media Parámetro poblacional Estadístico muestral Varianza σ 2 S 2 Desviación estándar σ S Proporción Coeficiente de correlación μ p X pˆ ˆ 12

13 Motivación Vamos a considerar el archivo RUN10 que contiene información sobre la totalidad de los corredores de las 10 millas (~16 km) de Washington de la carrera 2012 Cherry Blossom Run Son corredores para los que se dispone de la edad, género, tiempo en minutos y estado al que representan. Notar que contamos con la población de corredores del año 2012.

14 Motivación Vamos a tratar de estimar dos cualidades de los corredores de esta carrera, usando una muestra 1. Cuanto tiempo le lleva, en promedio, a un corredor completar las 10 millas? 2. Cuál es la edad promedio de los corredores? Estas preguntas podrían ser informativas para organizar futuras carreras. x1, x, x,... x Vamos representar por los tiempos de 100 corredores muestreados y por y1, y2, y3,... y100las edades de los 100 corredores. Queremos estimar las medias poblacionales del tiempo de carrera mediante las medias muestrales.

15 Motivación Muestra de tamaño 100 del archivo RUN10

16 Variación muestral Muestra de tamaño 100 del archivo RUN10 x es una estimación puntual de la media poblacional, i.e. del tiempo medio de todos los corredores que participaron en la carrera del x x x es otra estimación muestral de la media poblacional. Las estimaciones varían de una muestra a otra: variación muestral

17 Otros estimadores Se pueden generar estimaciones muestrales no sólo de la media sino también de otros parámetros poblacionales, como por ejemplo, desvío estándar, la mediana, etc. summary(run10$time) Min. 1st Qu. Median Mean 3rd Qu. Max. NA's Supongan que queremos estimar la diferencia en el tiempo de carrera entre hombres y mujeres. Supongamos xhom bres y x mujeres , cual sería un buen estimador puntual para la diferencia poblacional? Si quisiésemos brindar un estimador puntual del RIC poblacional del tiempo de carrera, como se podría estimar este parámetro en base a la muestra?

18 El tamaño de la muestra Las estimaciones generalmente no son iguales al parámetro poblacional, pero son mejores a medida que aumenta el tamaño de la muestra. Una corrida de medias es una secuencia de medias, donde cada media usa una observación más que la anterior A medida que más observaciones entran en el cálculo de la media, más se aproxima al verdadero promedio poblacional, 94.49

19 Distribución muestral (de muestreo) de los estadísticos Muestra Estadístico Muestra Estadístico POBLACIÓN Muestra Estadístico Muestra Estadístico Distribución de la muestra Distribución muestral del estadístico

20 Distribución de los tiempos de carrera de la población summary(run10$time) Min. 1st Qu. Median Mean 3rd Qu. Max. NA's

21 Distribución de los tiempos de carrera de diferentes muestras de tamaño n=100 (muestra1<-run10[sample(1:nrow(run10),100,replace=false),]) 21

22 Distribución de los tiempos de carrera de 10 diferentes muestras con n=100 22

23 Distribución de los tiempos de carrera de 5 diferentes muestras aleatorias y la distribución poblacional 23

24 Distribución muestral del estadístico X Vimos que el promedio de n-observaciones muestreadas aleatoriamente es una estimación de la media muestral. También vimos que la media muestral de una segunda muestra difiere de la obtenida anteriormente. Así podrían construirse una sucesión de X 1, X 2,..., X n que servirían para construir la distribución de probabilidades. La distribución de X se denomina distribución muestral de X, porque se trata de la distribución muestral asociada a todos los posibles valores que puede tomar. X X La distribución muestral de representa la distribución de las estimaciones puntuales basadas en muestras de tamaño fijo de una cierta población. 24

25 Distribución muestral del estadístico Histograma de 1000 medias muestrales del tiempo promedio de la carrera, donde el tamaño de cada muestra es n=100 25

26 El error estándar de la media Se observa que las medias muestrales tienden a caer alrededor de la media poblacional. El histograma de la distribución de las medias muestrales muestra cierta variabilidad alrededor de la media poblacional. Una medida de la variabilidad de la media muestral, está dada por la desviación estándar de la distribución de las medias muestrales. La desviación estándar de las medias muestrales nos dice cuan lejos una estimación típica está del verdadero valor medio poblacional. Se trata de la descripción del error típico del estimador muestral y por esta razón este desvío estándar recibe el nombre de error estándar. Por lo tanto, la desviación estándar asociada con un estimador se denomina error estándar

27 Cálculo del error estándar Si se les solicita estimar cierto parámetro, utilizarían una muestra pequeña o una muestra grande? Por qué? Que relación cree que habrá entre el error estándar de las estimaciones del parámetro basados en la muestra pequeña y las estimaciones del parámetro basadas en la muestra grande? Por lo tanto, cuanto mayor es el tamaño de la muestra menor es el error estándar. Cálculo del error estándar: dada una muestra de n observaciones independientes de una población con desviación estándar σ, el error estándar de la media muestral es igual a SE n 27

28 Estadísca Estadísca Cátedra Prof. Prof. Tamara Tamara Burdisso Burdisso 28

29 Teorema del Límite Central 29

30 Teorema del Límite Central 30

31 Teorema del Límite Central 31

32 Teorema del Límite Central 32

33 Teorema del Límite Central 33

34 Teorema del Límite Central 34

35 Teorema del Límite Central 35

36 Teorema del Límite Central Modulo 2 - Parte III Estadísca Estadísca Cátedra Prof. Prof. Tamara Tamara Burdisso Burdisso 36

37 Teorema del Límite Central Modulo Unidad 23 - Parte III I Estadísca Estadísca Cátedra Prof. Prof. Tamara Tamara Burdisso Burdisso 37

38 Teorema del Límite Central Modulo 2 - Parte III Estadísca Estadísca Cátedra Prof. Prof. Tamara Tamara Burdisso Burdisso 38

39 Teorema del Límite Central Estadísca Estadísca Cátedra Prof. Prof. Tamara Tamara Burdisso Burdisso 39

40 Aproximación de muestras grandes a las distribuciones muestrales Las distribuciones muestrales juegan un rol central enla inferencia estadística. Ahí radica la importancia de conocer la distribución muestral de X. Existen 2 enfoques para establecer la distribución muestral de : el enfoque exacto y el enfoque aproximado. X Enfoque exacto: establece la distribución de para cualquier valor de n, siempre y cuando X 1, X sean 2..., X n 2 normales i.i.d. con media x y varianza X.Entonces la distribución exacta de X n es normal con media x y varianza 2. n X Sin embargo, si X no tiene distribución normal, la distribución de X depende de la distribución de X y puede ser difícil establecerla. X n 40

41 Aproximación de muestras grandes a las distribuciones muestrales Afortunadamente si el tamaño de muestra es grande, nos basamos en el enfoque aproximado que descansa en el tamaño de muestras grandes. La aproximación de muestras grandes a distribuciones muestrales es a menudo llamada distribución asintótica, debido a que se vuelven exactas en el límite cuando n. Dos son la herramientas claves utilizadas en la aproximación a distribuciones muestrales: La ley de los grandes números El teorema central del límite 41

42 La ley de los grandes números Establece bajo condiciones generales, que si la son i.i.d. con una distribución común, con esperanza X y varianza finita, entonces la probabilidad de que X n se aleje de X en una fracción muy pequeña a medida que n crece, es tan pequeña como uno lo desee. Matemáticamente podemos escribirlo de la siguiente manera: X k P X n X 0 cuando n ó P( X n X ) 1 cuando n 42

43 Teorema del Límite Central Establece que bajo consideraciones generales, la distribución estandarizada de X está bien aproximada por la distribución normal estándar cuando n es lo suficientemente grande. Recordemos que X n tiene distribución normal exacta si cada X 1, X 2,..., X n tiene distribución normal. El TCL dice que cuando n es lo suficientemente grande, la distribución estandarizada de X n es aproximadamente N(0,1 ), aún si X 1, X 2,..., X n no se distribuyen según una normal. 43

44 Teorema del Límite Central TCL: Supongamos que X 1, X 2,..., X n son i.i.d. con E( X k ) x 2 y Var ( X k ) X donde 0 2 X. Entonces cuando n, la distribución X x x n n se aproxima a una distribución normal estándar. Cuán grande es suficientemente grande? Cuán grande debe ser n para que X se distribuya aproximadamente normal? Depende. La calidad de la aproximación normal depende de la distribución implícita de cada una de las X k que conforman a X. Pero por lo general, a partir de n>30 la aproximación es bastante buena más allá de la distribución de. X k 44

45 Condiciones para el buen funcionamiento del TCL i.i.d. : las observaciones muestrales deben ser independientes Muestreo aleatorio/ asignación aleatoria Si la muestra es sin reemplazo, entonces n 10% de la población. Asimetría/tamaño de la muestra: tanto si la distribución es normal como si la distribución es sesgada, el tamaño de la muestra debe ser grande (regla empírica: n>30). Cómo podemos chequear este supuesto? 45

46 TCL: sesgo y tamaño de la muestra 46

47 TCL: sesgo y tamaño de la muestra 47

48 TCL: sesgo y tamaño de la muestra 48

49 TCL: sesgo y tamaño de la muestra 49

50 Ejemplo del TCL Supongan que mi ipod tiene 3000 canciones. El histograma adjunto muestra la distribución de la longitud de las canciones de mi ipod. También sabemos que la longitud promedio de las canciones de mi ipod es de 3.45 minutos con una desviación estándar de 1.63 minutos. Calcular la probabilidad que una canción seleccionada aleatoriamente dure más de 5 minutos longitud del tema en minutos 50

51 Ejemplo del TCL Supongan ahora que debo realizar un viaje en auto que dura 6 horas. Preparo entonces una playlist de 100 canciones. Cuál es la probabilidad de que la playlist dure al menos todo el viaje? 51

52 Distribución muestral para una proporción La media muestral no es el único estadístico que satisface el TCL. Qué ocurre si nos preguntamos por el porcentaje de ciudadanos que votarían por el candidato A? O el porcentaje de fumadores en la Argentina? p # de fumadores en Argentina población total # de éxitos población total Cada individuo es un ensayo de Bernoulli. Luego tenemos un experimento binomial. X i X i p i X población total i 52

53 Distribución muestral de pˆ Muestra Estadístico Muestra Estadístico POBLACIÓN Muestra Estadístico Muestra Estadístico Variable categórica: fuma o no fuma Distribución muestral del estadístico media ( pˆ) p 53

54 Teorema del Límite Central para proporciones Establece que bajo consideraciones generales, la distribución de pˆ está bien aproximada por la distribución normal cuando n es lo suficientemente grande. El n suficientemente grande nos va a permitir utilizar la aproximación de la binomial a la normal El TCL dice que cuando n es lo suficientemente grande, la distribución de pˆ n es aproximadamente 2 N p, p(1 p) n) Se deben cumplir alguna condiciones. Veámoslas. Error estándar de la proporción 54

55 Condiciones para el buen funcionamiento del TCL i.i.d. : las observaciones muestrales deben ser independientes Muestreo aleatorio/ asignación aleatoria Si la muestra es sin reemplazo, entonces n 10% de la población. Asimetría/tamaño de la muestra: np 10 y n(1-p) 10 Qué ocurre si esta última condición no se cumple? El TCL para proporciones aún puede aplicarse pero 55

56 Y si no se satisfacen la condiciones del TCL Si no se cumple que np 10 ó n(1-p) 10 La media de la distribución muestral de las proporciones aún estará alrededor del verdadero parámetro. La variabilidad de la distribución muestral de las proporciones aún puede ser aproximada usando la misma fórmula del error estándar. Sin embargo la forma de la distribución va a depender de si el verdadero parámetro está cercano a cero o cercano a 1 (ver gráfico siguiente). 56

57 Condiciones para el buen funcionamiento del TCL 57

58 Ejemplo del TCL para proporciones La candidata A confía en que ganará la candidatura a su provincia siempre y cuando obtenga al menos el 55% de los votos en el distrito clave de la provincia. También estima que la intención de voto de los electores provinciales para con ella es del 50%.S i se toma una muestra de 100 electores del distrito clave, cuál es la probabilidad de que la candidata A obtenga por lo menos el 55% de los votos? 58