Muestreo, Generación de Valores de Variables Aleatorias y Entropía

Transcripción

1 Muestreo, Generación de Valores de Variables Aleatorias y Entropía Dr. José Elías Rodríguez Muñoz elias@cimat.mx Dept. de Matemáticas, U. de Gto. Tercer Verano de Probabilidad y Estadística en el CIMAT, 19/07/ /21

2 Muestra Una muestra, S, es un subconjunto de la población, U U S 2/21

3 Cómo generar valores de una distribución Bernoulli? ( qué tipo de fenómenos modela una Bernoulli?) Contexto U (N) U 1 (N 1 ) S (n) U 2 (N 2 ) 3/21

4 Cómo generar valores de una distribución Bernoulli? Procedimiento 1. Seleccionar n elementos, con probabilidades iguales y con reemplazo; 2. Para cada uno de los elementos seleccionados, registrar un 1 si pertenece a la población U 1 y 0 en caso contrario. 4/21

5 Cómo generar valores de una distribución Bernoulli? Si la variable aleatoria X modela los valores así obtenidos, cuál es la distribución de X? Bernoulli(q), esto es: P(X=1)=q y P(X=0)=1-q, donde q= N 1 N. ( Cómo estimar el tamaño de la población o el de la subpoblación?, cómo genera estos valores un programa de cómputo?) 5/21

6 Cómo generar valores de una distribución Binomial? ( qué tipo de fenómenos modela una binomial?) Procedimiento Repetir m veces lo siguiente: 1. Seleccionar n elementos, con probabilidades iguales y con reemplazo; 2. Para cada uno de los elementos seleccionados, registrar un 1 si pertenece a la población U 1 y 0 en caso contrario; 3. Sumar los n valores así obtenidos. 6/21

7 Cómo generar valores de una distribución Binomial? Si la variable aleatoria X modela la suma de los valores, entonces: para x=0,1,, n. x qx P X =x = n 1 q n x, 7/21

8 Cómo generar valores de una distribución Binomial Negativa? ( y ahora que modela esta distribución?) Selección de la muestra Repetir lo siguiente tantas veces como sea necesario hasta obtener n elementos de la subpoblación U 1 : 1. Seleccionar un elemento de la población con probabilidades iguales; 2. Registrar un 1 si el elemento seleccionado pertenece a la población U 1 y 0 en caso contrario; 3. Regresar el elemento seleccionado a la población. ( cuál es el tamaño de la muestra para este caso?) 8/21

9 Cómo generar valores de una distribución Binomial Negativa? Si la variable aleatoria X modela el número de selecciones realizadas hasta obtener los n elementos de la subpoblación, entonces: P X =x = x 1 n 1 qn 1 q x n, para x=n,n 1, Si n=1, entonces obtenemos el caso particular de la distribución Geométrica. 9/21

10 Cómo generar valores de una Hipergeométrica? ( que onda con esta?) Hasta ahora las selecciones de los elementos en la muestra se han hecho con reemplazo. Para la distribución en cuestión simplemente las selecciones las haremos sin reemplazo. 1. Seleccionar n elementos, con probabilidades iguales y sin reemplazo; 2. Contar los elementos seleccionados que pertenecen a la subpoblación U 1. 10/21

11 Cómo generar valores de una Hipergeométrica? Si X modela el número de elementos de la subpoblación en la muestra, entonces: P X =x = N 1 x N N 1 n x N n para max 0, n N 1 N x min N 1, n. ( existe la hipergeométrica negativa? para qué se podría utilizar?), 11/21

12 Y podemos seguir así, mostrando como podemos generar valores de otras distribuciones conocidas pero esto comienza a ser tedioso. Así que demos un ligero cambio de curso a esta plática. Hasta ahora hemos establecido la distribución y después la forma de seleccionar la muestra para generar valores de dicha distribución. Ahora, primero demos información de la distribución, después establezcamos dicha distribución y por último proporcionemos una forma de producir valores de esta. 12/21

13 Contexto Se tiene una población U con tres subpoblaciones: U 1, U 2 y U 3, los tamaños de las subpoblaciones son desconocidos. Los elementos están etiquetados con los números 1, 2 y 3 respectivamente. Con anterioridad, alguien seleccionó una muestra, cuyo tamaño desconocemos, con probabilidades iguales y con reemplazo. Esta persona promedió los valores observados y sólo tenemos la información de que dicho promedio fue 2.3. Denotamos por q 1, q 2 y q 3 las fracciones de elementos de la población en las respectivas subpoblaciones. Si sólo utilizamos la información del promedio obtenido con anterioridad, qué valores debemos ( podríamos?) asignar a dichas fracciones? 13/21

14 Entropía En varias áreas del conocimiento existe el concepto de entropía: Entropía termodinámica: medida del desorden presente en un sistema. Teoría de la información: medida de la cantidad de información en un mensaje. Entropía estadística: medida de la cantidad de información de una distribución. 14/21

15 Entropía (en Estadística) Sea q 1, q 2,,q r la distribución de una variable aleatoria discreta. La entropía para esta distribución se define por: r H= j=1 q j ln q j. No es trivial demostrar que H es la medida de información de la distribución en cuestión; Es relativamente fácil demostrar que la distribución que maximiza la entropía es q j = 1 r, para j=1,, r. En este caso H=ln r. ( cómo se interpreta esta medida?) 15/21

16 Retornemos a nuestro problema. Este se puede plantear como maximizar con respecto a {q 1, q 2, q 3 } : Solución: 3 j=1 q j ln q j 1 j=1 3 3 jq j x 2 j=1 q j 1 q 1 = 3 x q 2 2 q 2 = 4 3 x q 3 = x 1 q /21

17 Gráfica de la solución: (Sí pero, cómo seleccionamos una muestra de esta distribución?) 17/21

18 Muestreo de Poblaciones Finitas Pilares del muestreo: Diseños de Muestreo Métodos de Estimación Métodos de Inferencia 18/21

19 Muestreo de Poblaciones Finitas Problema: Se desea seleccionar una muestra de tamaño n, con probabilidades desiguales 1,, N (probabilidades de inclusión de primer orden) y sin reemplazo. Definamos: N D={ s {0,1}N : k=1 s k =n} Ecuación a maximizar: s D N p s ln p s k=1 s D p s k s D 1 s k p s k 19/21

20 Solución: donde T = 1,, N. p ME s = r D exp T s exp T r Además: k = s D exp T s s k exp T r r D 20/21

21 Bibliografía Baclawski, K. (2008). Introduction to probability with R. Chapman & Hall/CRC. Jaynes, E. T. (2003). Probability theory: the logic of science. Cambridge University Press. Tillé, Y. (2006). Sampling Algorithms. Springer. 21/21