Ejercicios sobre probabilidades y entropías

Transcripción

1 Ejercicios sobre probabilidades y entropías CTI: Lección 1, Primer teorema de Shannon (SCT) Ramiro Moreno Chiral Dpt. Matemàtica (UdL) 10 de febrero de 2010 CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

2 Índice CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

3 Índice CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

4 (I) CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

5 (I) Una fuente E emite bits de modo que la probabilidad en cualquier momento de emitir un uno sea 0 3. CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

6 (I) Una fuente E emite bits de modo que la probabilidad en cualquier momento de emitir un uno sea 0 3. Esos bits son transmitidos hasta un receptor R a través de un canal simétrico binario (CSB) con probabilidad de error en un bit igual a 0 2. CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

7 (I) Una fuente E emite bits de modo que la probabilidad en cualquier momento de emitir un uno sea 0 3. Esos bits son transmitidos hasta un receptor R a través de un canal simétrico binario (CSB) con probabilidad de error en un bit igual a 0 2. E BSC R P(X=1)= p 0 P(Y=1) P(Y=0) p p 1 1 p 1 p=0 2 CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

8 (II) CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

9 (II) Determinar P(Y ), i.e., la distribución marginal de la v.a. Y. CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

10 (II) Determinar P(Y ), i.e., la distribución marginal de la v.a. Y. Idem la P(X, Y ), i.e., la distribución conjunta de las v.a. s X e Y. CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

11 (II) Determinar P(Y ), i.e., la distribución marginal de la v.a. Y. Idem la P(X, Y ), i.e., la distribución conjunta de las v.a. s X e Y. Y la de la condidional P(X Y ). CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

12 (II) Determinar P(Y ), i.e., la distribución marginal de la v.a. Y. Idem la P(X, Y ), i.e., la distribución conjunta de las v.a. s X e Y. Y la de la condidional P(X Y ). Luego las entropías de todas las distribuciones de probabilidad y la información mutua. CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

13 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Índice 1 2 Matriz de transición Probabilidad conjunta Probabilidades condicionadas 3 4 CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

14 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Matriz de transición CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

15 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Matriz de transición La matriz de transición de un canal de comunicaciones, T Y X = (p ij ), se define CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

16 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Matriz de transición La matriz de transición de un canal de comunicaciones, T Y X = (p ij ), se define p ij = P(Y = j X = i), CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

17 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Matriz de transición La matriz de transición de un canal de comunicaciones, T Y X = (p ij ), se define p ij = P(Y = j X = i), es decir, T Y X define la probabilidad condicionada a priori. CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

18 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Matriz de transición La matriz de transición de un canal de comunicaciones, T Y X = (p ij ), se define p ij = P(Y = j X = i), es decir, T Y X define la probabilidad condicionada a priori. Se trata de una matriz estocástica: sus filas son distribuciones de probabilidad. CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

19 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Matriz de transición La matriz de transición de un canal de comunicaciones, T Y X = (p ij ), se define p ij = P(Y = j X = i), es decir, T Y X define la probabilidad condicionada a priori. Se trata de una matriz estocástica: sus filas son distribuciones de probabilidad. En nuestro caso, ( ) ( 1 p p 0 T Y X = = 8 0 ) 2 p 1 p CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

20 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Cálculo de P(Y ) CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

21 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Cálculo de P(Y ) Podemos ver P(X) como un vector CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

22 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Cálculo de P(Y ) Podemos ver P(X) como un vector P(X) = (P(X = 0), P(X = 1)) = (0 7, 0 3). CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

23 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Cálculo de P(Y ) Podemos ver P(X) como un vector P(X) = (P(X = 0), P(X = 1)) = (0 7, 0 3). Y una propiedad de las matrices estocásticas es que al multiplicarlas por una distribución de probabilidad se obtiene otra distribución de probabilidad. CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

24 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Cálculo de P(Y ) Podemos ver P(X) como un vector P(X) = (P(X = 0), P(X = 1)) = (0 7, 0 3). Y una propiedad de las matrices estocásticas es que al multiplicarlas por una distribución de probabilidad se obtiene otra distribución de probabilidad. En nuestro caso, P(X) T Y X = (0 7, 0 3) ( ) = (0 62, 0 38) = P(Y ). 8 CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

25 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Efectivamente, hemos calculado P(Y ) CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

26 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Efectivamente, hemos calculado P(Y ) Simbólicamente hemos hecho CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

27 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Efectivamente, hemos calculado P(Y ) Simbólicamente hemos hecho ( ) P(Y = 0 X = 0) P(Y = 1 X = 0) (P(X = 0), P(X = 1)) P(Y = 0 X = 1) P(Y = 1 X = 1) CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

28 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Efectivamente, hemos calculado P(Y ) Simbólicamente hemos hecho ( ) P(Y = 0 X = 0) P(Y = 1 X = 0) (P(X = 0), P(X = 1)) P(Y = 0 X = 1) P(Y = 1 X = 1) = (P(Y = 0 X = 0)P(X = 0) + P(Y = 0 X = 1)P(X = 1), P(Y = 1 X = 0)P(X = 0) + P(Y = 1 X = 1)P(X = 1)) CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

29 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Efectivamente, hemos calculado P(Y ) Simbólicamente hemos hecho ( ) P(Y = 0 X = 0) P(Y = 1 X = 0) (P(X = 0), P(X = 1)) P(Y = 0 X = 1) P(Y = 1 X = 1) = (P(Y = 0 X = 0)P(X = 0) + P(Y = 0 X = 1)P(X = 1), P(Y = 1 X = 0)P(X = 0) + P(Y = 1 X = 1)P(X = 1)) = (P(X = 0, Y = 0) + P(X = 1, Y = 0), P(X = 0, Y = 1) + P(X = 1, Y = 1)) }{{} Regla del producto CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

30 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Efectivamente, hemos calculado P(Y ) Simbólicamente hemos hecho ( ) P(Y = 0 X = 0) P(Y = 1 X = 0) (P(X = 0), P(X = 1)) P(Y = 0 X = 1) P(Y = 1 X = 1) = (P(Y = 0 X = 0)P(X = 0) + P(Y = 0 X = 1)P(X = 1), P(Y = 1 X = 0)P(X = 0) + P(Y = 1 X = 1)P(X = 1)) = (P(X = 0, Y = 0) + P(X = 1, Y = 0), P(X = 0, Y = 1) + P(X = 1, Y = 1)) }{{} Regla del producto = (P(Y = 0), P(Y = 1)). }{{} Regla de la suma CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

31 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Cálculo de la probabilidad conjunta, P(X = i, Y = j) CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

32 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Cálculo de la probabilidad conjunta, P(X = i, Y = j) Bastará multiplicar cada fila de la matriz de transición por la correspondiente P(X = i), CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

33 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Cálculo de la probabilidad conjunta, P(X = i, Y = j) Bastará multiplicar cada fila de la matriz de transición por la correspondiente P(X = i), P(X = 0) P(X = 1) ( ) P(Y = 0 X = 0) P(Y = 1 X = 0), P(Y = 0 X = 1) P(Y = 1 X = 1) CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

34 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Cálculo de la probabilidad conjunta, P(X = i, Y = j) Bastará multiplicar cada fila de la matriz de transición por la correspondiente P(X = i), P(X = 0) P(X = 1) P XY = ( ) P(Y = 0 X = 0) P(Y = 1 X = 0), P(Y = 0 X = 1) P(Y = 1 X = 1) ( ) = 3 ( ) CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

35 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Cálculo de la probabilidad conjunta, P(X = i, Y = j) Bastará multiplicar cada fila de la matriz de transición por la correspondiente P(X = i), P(X = 0) P(X = 1) P XY = ( ) P(Y = 0 X = 0) P(Y = 1 X = 0), P(Y = 0 X = 1) P(Y = 1 X = 1) ( ) = 3 Y, para combrobar, la tabla completa, ( ) CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

36 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Cálculo de la probabilidad conjunta, P(X = i, Y = j) Bastará multiplicar cada fila de la matriz de transición por la correspondiente P(X = i), P(X = 0) P(X = 1) P XY = ( ) P(Y = 0 X = 0) P(Y = 1 X = 0), P(Y = 0 X = 1) P(Y = 1 X = 1) ( ) = 3 Y, para combrobar, la tabla completa, ( ) P XY Y = 0 Y = 1 Marginal de X X = X = Marginal de Y CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

37 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Probabilidades condicionadas CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

38 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Probabilidades condicionadas Hemos visto que la matriz de transición T Y X define las probabilidades a priori, i.e., P(Y = j X = i). CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

39 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Probabilidades condicionadas Hemos visto que la matriz de transición T Y X define las probabilidades a priori, i.e., P(Y = j X = i). Las probabilidades a posteriori, P(X = i Y = j), CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

40 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Probabilidades condicionadas Hemos visto que la matriz de transición T Y X define las probabilidades a priori, i.e., P(Y = j X = i). Las probabilidades a posteriori, P(X = i Y = j), muy importantes en la decodificación de canal, CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

41 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Probabilidades condicionadas Hemos visto que la matriz de transición T Y X define las probabilidades a priori, i.e., P(Y = j X = i). Las probabilidades a posteriori, P(X = i Y = j), muy importantes en la decodificación de canal, las calculamos dividiendo cada columna de la matriz de probabilidad conjunta, P XY, por los valores P(Y = j), CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

42 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Probabilidades condicionadas Hemos visto que la matriz de transición T Y X define las probabilidades a priori, i.e., P(Y = j X = i). Las probabilidades a posteriori, P(X = i Y = j), muy importantes en la decodificación de canal, las calculamos dividiendo cada columna de la matriz de probabilidad conjunta, P XY, por los valores P(Y = j), P(Y = 0) P(Y = 1) ( ) P(X = 0, Y = 0) P(X = 0, Y = 1), P(X = 1, Y = 0) P(X = 1, Y = 1) CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

43 Matriz de transición Probabilidad conjunta Probabilidades condicionadas Probabilidades condicionadas Hemos visto que la matriz de transición T Y X define las probabilidades a priori, i.e., P(Y = j X = i). Las probabilidades a posteriori, P(X = i Y = j), muy importantes en la decodificación de canal, las calculamos dividiendo cada columna de la matriz de probabilidad conjunta, P XY, por los valores P(Y = j), P(Y = 0) P(Y = 1) ( ) P(X = 0, Y = 0) P(X = 0, Y = 1), P(X = 1, Y = 0) P(X = 1, Y = 1) ( 0 P X Y = 56/ /0 ) ( / /0 = 90 0 ) CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

44 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Índice Entropías binarias Entropía conjunta Entropías condicionales Información mutua 4 CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

45 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Entropías H(X) y H(Y ) CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

46 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Entropías H(X) y H(Y ) Como X e Y son v.a. s con espacio de estados binario, {0, 1}, podemos aplicar la fórmula de la entropía binaria, CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

47 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Entropías H(X) y H(Y ) Como X e Y son v.a. s con espacio de estados binario, {0, 1}, podemos aplicar la fórmula de la entropía binaria, h(p) = p log p (1 p) log(1 p). CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

48 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Entropías H(X) y H(Y ) Como X e Y son v.a. s con espacio de estados binario, {0, 1}, podemos aplicar la fórmula de la entropía binaria, Y tendremos, h(p) = p log p (1 p) log(1 p). CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

49 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Entropías H(X) y H(Y ) Como X e Y son v.a. s con espacio de estados binario, {0, 1}, podemos aplicar la fórmula de la entropía binaria, Y tendremos, h(p) = p log p (1 p) log(1 p). H(X) = h(0 3) = 0 88 bits, H(Y ) = h(0 38) = 0 95 bits. CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

50 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Entropías H(X) y H(Y ) Como X e Y son v.a. s con espacio de estados binario, {0, 1}, podemos aplicar la fórmula de la entropía binaria, Y tendremos, h(p) = p log p (1 p) log(1 p). H(X) = h(0 3) = 0 88 bits, H(Y ) = h(0 38) = 0 95 bits. h p 1 Entropía binaria, h p p CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

51 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Entropía H(X, Y ) CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

52 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Entropía H(X, Y ) Ahora el espacio de estados de la variable conjunta (X, Y ) es {(0, 0), (0, 1), (1, 0), (1, 1)}: CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

53 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Entropía H(X, Y ) Ahora el espacio de estados de la variable conjunta (X, Y ) es {(0, 0), (0, 1), (1, 0), (1, 1)}: aplicamos la fórmula general, CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

54 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Entropía H(X, Y ) Ahora el espacio de estados de la variable conjunta (X, Y ) es {(0, 0), (0, 1), (1, 0), (1, 1)}: aplicamos la fórmula general, H(p 1,..., p n ) = n p k log p k. k=1 CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

55 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Entropía H(X, Y ) Ahora el espacio de estados de la variable conjunta (X, Y ) es {(0, 0), (0, 1), (1, 0), (1, 1)}: aplicamos la fórmula general, Y tendremos, H(p 1,..., p n ) = n p k log p k. k=1 CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

56 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Entropía H(X, Y ) Ahora el espacio de estados de la variable conjunta (X, Y ) es {(0, 0), (0, 1), (1, 0), (1, 1)}: aplicamos la fórmula general, Y tendremos, H(p 1,..., p n ) = n p k log p k. k=1 H(X, Y ) = H(0 56, 0 06, 0 14, 0 24) = 1 60 bits. CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

57 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Entropías H(Y X) y H(X Y ) CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

58 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Entropías H(Y X) y H(X Y ) Ahora el espacio de estados de la variable condicionada Y X es {(0, 0), (0, 1), (1, 0), (1, 1)}: CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

59 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Entropías H(Y X) y H(X Y ) Ahora el espacio de estados de la variable condicionada Y X es {(0, 0), (0, 1), (1, 0), (1, 1)}: aplicamos la fórmula de la entropía condicionada, CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

60 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Entropías H(Y X) y H(X Y ) Ahora el espacio de estados de la variable condicionada Y X es {(0, 0), (0, 1), (1, 0), (1, 1)}: aplicamos la fórmula de la entropía condicionada, H(Y X) = n P(X = i, Y = j) log P(Y = j X = i). i,j=1 CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

61 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Entropías H(Y X) y H(X Y ) Ahora el espacio de estados de la variable condicionada Y X es {(0, 0), (0, 1), (1, 0), (1, 1)}: aplicamos la fórmula de la entropía condicionada, H(Y X) = Y tendremos, n P(X = i, Y = j) log P(Y = j X = i). i,j=1 CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

62 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Entropías H(Y X) y H(X Y ) Ahora el espacio de estados de la variable condicionada Y X es {(0, 0), (0, 1), (1, 0), (1, 1)}: aplicamos la fórmula de la entropía condicionada, H(Y X) = Y tendremos, n P(X = i, Y = j) log P(Y = j X = i). i,j=1 H(Y X) = (0 56 log log log log 0 8) = 0 72 bits. CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

63 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Entropías H(Y X) y H(X Y ) Ahora el espacio de estados de la variable condicionada Y X es {(0, 0), (0, 1), (1, 0), (1, 1)}: aplicamos la fórmula de la entropía condicionada, H(Y X) = Y tendremos, n P(X = i, Y = j) log P(Y = j X = i). i,j=1 H(Y X) = (0 56 log log log log 0 8) = 0 72 bits. Similarmente, H(X Y ) = (0 56 log log log log 0 63) = 0 65 bits. CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

64 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Cálculo directo CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

65 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Cálculo directo Aplicamos la fórmula de la información mutua, como distancia entre las distribuciones P(X, Y ) y P(X)P(Y ), CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

66 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Cálculo directo Aplicamos la fórmula de la información mutua, como distancia entre las distribuciones P(X, Y ) y P(X)P(Y ), I(X; Y ) = n P(X = i, Y = j) P(X = i, Y = j) log P(X = i)p(y = j). i,j=1 CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

67 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Cálculo directo Aplicamos la fórmula de la información mutua, como distancia entre las distribuciones P(X, Y ) y P(X)P(Y ), I(X; Y ) = Y tendremos, n P(X = i, Y = j) P(X = i, Y = j) log P(X = i)p(y = j). i,j=1 CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

68 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Cálculo directo Aplicamos la fórmula de la información mutua, como distancia entre las distribuciones P(X, Y ) y P(X)P(Y ), I(X; Y ) = Y tendremos, n P(X = i, Y = j) P(X = i, Y = j) log P(X = i)p(y = j). i,j=1 I(X; Y ) = 0 56 log log log log = 0 24 bits. CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

69 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Relaciones entre entropías e información mutua CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

70 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Relaciones entre entropías e información mutua El siguiente gráfico CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

71 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Relaciones entre entropías e información mutua El siguiente gráfico H(X,Y)=1 60 H(X Y)=0 65 I (X;Y)= =0 23 H(Y X)=0 72 H (X)=0 88 H (Y)=0 95 CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

72 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Relaciones entre entropías e información mutua El siguiente gráfico H(X,Y)=1 60 H(X Y)=0 65 I (X;Y)= =0 23 H(Y X)=0 72 H (X)=0 88 H (Y)=0 95 explica las relaciones fundamentales entre las entropías y la información mutua, CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

73 Entropías binarias Entropía conjunta Entropías condicionales Información mutua Relaciones entre entropías e información mutua El siguiente gráfico H(X,Y)=1 60 H(X Y)=0 65 I (X;Y)= =0 23 H(Y X)=0 72 H (X)=0 88 H (Y)=0 95 explica las relaciones fundamentales entre las entropías y la información mutua, I(X; Y ) = H(X) H(X Y ) = H(Y ) H(Y X), H(X, Y ) = H(X Y ) + I(X; Y ) + H(Y X). CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

74 Canal simétrico binario con borrón, BEC Índice Canal simétrico binario con borrón, BEC CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

75 Canal simétrico binario con borrón, BEC BEC (I) CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

76 Canal simétrico binario con borrón, BEC BEC (I) Una fuente E emite bits de modo que la probabilidad en cualquier momento de emitir un uno sea 0 3. CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

77 Canal simétrico binario con borrón, BEC BEC (I) Una fuente E emite bits de modo que la probabilidad en cualquier momento de emitir un uno sea 0 3. Esos bits son transmitidos hasta un receptor R a través de un canal simétrico binario con borrón o borrado (BEC) con probabilidad de error en un bit igual a 0 15 y de borrón de CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

78 Canal simétrico binario con borrón, BEC BEC (I) Una fuente E emite bits de modo que la probabilidad en cualquier momento de emitir un uno sea 0 3. Esos bits son transmitidos hasta un receptor R a través de un canal simétrico binario con borrón o borrado (BEC) con probabilidad de error en un bit igual a 0 15 y de borrón de E BEC R P(X=1)= p q 0 P(Y=1) P(Y=0) p p q q * 1 1 p q 1 p=0 15 CTI, lección 1 (Problemas) q=0 05 Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

79 Canal simétrico binario con borrón, BEC BEC (II) CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

80 Canal simétrico binario con borrón, BEC BEC (II) Determinad P(Y ), i.e., la distribución marginal de la v.a. Y. CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

81 Canal simétrico binario con borrón, BEC BEC (II) Determinad P(Y ), i.e., la distribución marginal de la v.a. Y. Idem la P(X, Y ), i.e., la distribución conjunta de las v.a. s X e Y. CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

82 Canal simétrico binario con borrón, BEC BEC (II) Determinad P(Y ), i.e., la distribución marginal de la v.a. Y. Idem la P(X, Y ), i.e., la distribución conjunta de las v.a. s X e Y. Y la de la condidional P(X Y ). CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

83 Canal simétrico binario con borrón, BEC BEC (II) Determinad P(Y ), i.e., la distribución marginal de la v.a. Y. Idem la P(X, Y ), i.e., la distribución conjunta de las v.a. s X e Y. Y la de la condidional P(X Y ). Luego las entropías de todas las distribuciones de probabilidad y la información mutua. Explicad las relaciones entre las entropías y la información mutua. CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20

84 Canal simétrico binario con borrón, BEC BEC (II) Determinad P(Y ), i.e., la distribución marginal de la v.a. Y. Idem la P(X, Y ), i.e., la distribución conjunta de las v.a. s X e Y. Y la de la condidional P(X Y ). Luego las entropías de todas las distribuciones de probabilidad y la información mutua. Explicad las relaciones entre las entropías y la información mutua. CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de / 20