Teoría de la Comunicación

Transcripción

1 56 Ejercicio Ejercicio 51 Una variable aleatoria tiene un alfabeto A X = {,,x 3,x 4,x 5,x 6 } con probabilidade p X ( )=0,1, p X ( )=0,2, p X (x 3 )=0,3, p X (x 4 )=0,05, p X (x 5 )=0,15, p X (x 6 )=0,2 Calcule la entropía de la variable aleatoria y compare dicha entropía con la de una variable aleatoria con el mimo alfabeto pero uniformemente ditribuida Ejercicio 52 X e una variable aleatoria binaria con alfabeto A X = {0, 1} yconprobabilidade p X (0) = p y p X (1) = 1 p Y e una variable aleatoria binaria con el mimo alfabeto que depende de X como p Y X (1 0) = p Y X (0 1) = a) Calcule H(X), H(Y ), H(Y X), H(X, Y ), H(X Y )ei(x, Y ) b) Para un valor fijo, qué valor de p maximiza I(X, Y )? c) Para un valor p fijo, qué valor de minimiza I(X, Y )? Ejercicio 53 La entrada de un canal dicreto in memoria tiene un alfabeto de 7 ímbolo A X = {,,,x 3,x 4,x 5,x 6 } con probabilidade p X ( )=0,05, p X ( )=0,1, p X ( )=0,1, p X (x 3 )=0,15, p X (x 4 )=0,05, p X (x 5 )=0,25, p X (x 6 )=0,3 repectivamente El canal dicreto in memoria tiene la iguiente matriz de canal P = a) Calcule la entropía de la entrada del canal, X, ycompárelaconladeunavariablealeatoria con el mimo alfabeto pero ímbolo equiprobable b) Calcule la entropía de la variable aleatoria a la alida del canal, Y,ycompárelaconladeuna variable aleatoria con el mimo alfabeto pero con ímbolo equiprobable c) Calcule la entropía conjunta H(X, Y ), la entropía condicionale, H(X Y ) y H(Y X), y la información mutua I(X, Y ) Ejercicio 54 El canal motrado en la Figura 529 modela el denominado canal binario con borrado (BEC, del inglé binary eraure channel) Repreenta un modelo en el que e decide un ímbolo cuando e tiene cierta certidumbre obre el mimo, pero e marca como dudoo (borrado) cuando no hay uficiente certidumbre Calcule la capacidad del canal y repreéntela como una función del parámetro que determina la probabilidad de borrado Ejercicio 55 Se tiene el canal dicreto in memoria repreentado en la Figura 530 Open Coure Ware (OCW) 330 c Marcelino Lázaro, 2014

2 1 0 P - 0 Pq PPPPPPPPPPPPq 1 E Figura 529: Repreentación del canal BEC del Ejercicio 54 - H HHHH H HHHHHj H1 HHH H : x - H 1 1 Figura 530: Canal para el Ejercicio 55 a) Calcule la capacidad del canal (valor y probabilidade de entrada para la que e alcanza) b) Suponiendo que el ímbolo e tranmite con un probabilidad p,calculelaentropíaconjunta entrada alida, H(X, Y ), y la entropía condicional de la entrada conocida la alida, H(X Y ) en función de lo parámetro y p Dibújelo,enfuncióndep, paraunvalor =0,25 Ejercicio 56 Se tienen lo canale que e muetran en la Figura 531 x Canal A Canal B Figura 531: Canale para el Ejercicio 56 a) Calcule la capacidad del Canal A para =0ypara =1 b) Para el Canal A, i lo ímbolo de entrada on equiprobable, p X (x i )=1/4, i =0,, 3, e conoce que la información mutua entre la entrada y la alida del canal e I(X, Y )=1,069 y que la entropía de la alida del canal e H(Y )=1,272 Calcule el valor del parámetro yla entropía condicional H(X Y ) c) Para el Canal B, e abe que para la probabilidade a priori, p X (x i ), que maximizan la información mutua entre la entrada y alida del canal, I(X, Y ), e tiene una entropía condicional H(Y X) =0,207 bit para =1/4 Calcule la capacidad del canal y la probabilidade de lo ímbolo de entrada para la que e obtiene Open Coure Ware (OCW) 331 c Marcelino Lázaro, 2014

3 1 1 y 3 y Canal A Canal B Figura 532: Canale para el Ejercicio 57 Ejercicio 57 Se tienen lo canale que e muetran en la Figura 532 a) Calcule la capacidad del Canal A (valor y probabilidade de lo ímbolo de entrada para la que e alcanza) b) Para el Canal B, i lo ímbolo de entrada on equiprobable, e abe que la entropía conjunta vale H(X, Y ) = 2,1258 bit/ímbolo Calcule el valor de, H(Y ), I(X, Y ), y H(X Y ) Ejercicio 58 Se tiene el canal que e muetra en la Figura Figura 533: Canale para el Ejercicio 58 a) Calcule la capacidad del canal de la figura y repreéntela como una función de para 2 [0, 1] b) Si e define p = p X ( )yehacep X ( )=0,calculelaexpreionedelaentropíacondicional H(X Y )ydelaconjunta,h(x, Y ), en función de p y, yrepreéntelaenfuncióndep para =1/2 Ejercicio 59 Se tiene el canal que e muetra en la Figura Figura 534: Canale para el Ejercicio 59 a) Calcule la capacidad del canal de la figura y repreéntela como una función de para 2 [0, 1] Open Coure Ware (OCW) 332 c Marcelino Lázaro, 2014

4 b) Si e hace p X ( )=p X ( )=p, calculelaexpreionedelaentropíacondicionalh(x Y )y de la conjunta, H(X, Y ), en función de p y, yrepreéntelaenfuncióndep para =1/2 Ejercicio 510 El canal dicreto in memoria (DMC) que e muetra en la Figura 535 correponde al modelo etadítico de canal de un itema de comunicacione que utiliza la contelación de cuatro ímbolo de la mima figura a) Ecriba la matriz de canal aociada a la repreentación equemática del DMC, compárela con la matriz de canal para dicha contelación, explique qué aproximación e ha coniderado obre un itema de comunicacione con dicha contelación, y obtenga el valor de para ee cao (uponga tranmiión obre un canal gauiano de denidad epectral de potencia de ruido N 0 /2) b) Calcule H(Y X), H(X Y ), H(X, Y )ei(x, Y )paraelcanaldelafigurailoímbolode entrada on equiprobable, y a partir de la expreione analítica obtenga el valor de que hace mínima H(Y X) yh(x Y ), y máxima I(X, Y ) c) Calcule la capacidad de canal para lo valore mínimo y máximo que puede tomar teniendo en cuenta la etructura del DMC en ete cao HHj HHH H HHHH * HHj HHHH H HHH * HHj HHHH a 0 a 1 a 2 a x 3 * H HHH y 3 Figura 535: Canale para el Ejercicio 510 Ejercicio 511 El canal dicreto in memoria (DMC) que e muetra en la Figura 536 correponde al modelo etadítico de canal de un itema de comunicacione que utiliza la contelación de cuatro ímbolo de la mima figura a) Ecriba la matriz de canal aociada a la repreentación equemática del DMC, compárela con la matriz de canal para dicha contelación, explique qué aproximación e ha coniderado obre un itema de comunicacione con dicha contelación, y obtenga el valor de para ee cao (uponga tranmiión obre un canal gauiano de denidad epectral de potencia de ruido N 0 /2) b) Calcule H(Y X), H(X Y ), H(X, Y )e I(X, Y )para el canal de la figura i lo ímbolo de entrada on equiprobable, repreéntela en función de, yobtengaelvalorde que hace máxima H(X, Y ), H(Y X) yh(x Y ), y mínima I(X, Y ) c) Calcule la capacidad del canal de la figura en función de Open Coure Ware (OCW) 333 c Marcelino Lázaro, 2014

5 HHj HHHH H HHH * a 0 a 1 a 2 a x 3 y 3 Figura 536: Canale para el Ejercicio 511 Ejercicio 512 Un canal dicreto in memoria (DMC) con alfabeto de entrada A X = {,,,x 3 } yalfabetodealidaa Y = {,,,y 3 } viene dado por la iguiente matriz de canal a P = b c d a) Determine el valor de la contante a, b, c y d, ycalculeh(y ), H(X, Y ), H(Y X), H(X Y ), e I(X, Y ) para el canal i lo ímbolo de entrada on equiprobable b) Calcule la capacidad del canal de la figura en función de 0 yde 1 Ejercicio 513 Un canal dicreto in memoria (DMC) con alfabeto de entrada A X = {,, } yalfabetodealidaa Y = {,, } viene dado por la iguiente matriz de canal 2 P Y X = a) Calcule H(Y ), H(Y X), H(X Y ), e I(X, Y )paraelcanaliloímbolodeentradaon equiprobable b) Calcule la capacidad del canal de la figura en función de 0 i e ha fijado p X ( )=0 c) Calcule la capacidad del canal de la figura en función de 0 yde 1 eindiqueladitribuciónde entrada para la que e obtiene d) Si 0 = 1 = para qué valor de e alcanza la máxima capacidad Explique por qué e eta capacidad la máxima alcanzable en un canal con 3 ímbolo de entrada Ejercicio 514 Un canal dicreto in memoria (DMC) con alfabeto de entrada A X = {,,,x 3 } yalfabetodealidaa Y = {,,,y 3 } viene dado por la iguiente matriz de canal a b P = c d 7 4 a c b d Open Coure Ware (OCW) 334 c Marcelino Lázaro, 2014

6 a) Determine el valor de la contante a, b, c y d, ypongaunejemplodeitemadigitalde comunicacione (teniendo en cuenta la contelación tranmitida) para el que eta matriz de canal ea una buena aproximación b) Para el cao en el que lo ímbolo y e tranmiten con igual probabilidad, p X ( )= p X ( )=p/2, y lo ímbolo y x 3 tambien tienen la mima probabilidad, ditinta en general de la de lo otro do, calcule H(X), H(Y ), H(X, Y ), H(Y X), y H(X Y ), en función de 0, 1 y p c) Calcule la capacidad del canal en función de 0 yde 1 eindiqueladitribucióndeentrada para la que e obtiene Ejercicio 515 Se definen do itema de comunicacione baado en do canale dicreto in memoria (DMC) El itema A tiene como alfabeto de entrada A X = {, } ycomoalfabeto de alida A Y = {, }Elcomportamientodetodoelitemavienedadoporlaprobabilidad conjunta de lo ímbolo de entrada y de alida P X,Y (x i,y j )dondei, j 2{0, 1} Del mimo modo, el itema B tiene como alfabeto de entrada A Y = {, } ycomoalfabetodealidaa Z = {z 0,z 1 } El comportamiento del itema viene dado por la probabilidad conjunta de lo ímbolo de entrada ydealidap Y,Z (y i,z j )dondei, j 2{0, 1} P X,Y (x i,y j ) P Y,Z (y i,z j ) (1 ) z 0 (1 0 ) 0 0 (1 )(1 ) z Si queremo etudiar la pretacione de cada uno de lo itema de forma independiente con el fin de compararlo: a) Obtenga H(X), H(Y ), H(X, Y ), H(Z) y H(Y Z) b) Para cada uno de lo canale obtenga repectivamente P Y X (y j x i )yp Z Y (z j y i )ydibujeel equema del DMC aociado en cada uno de lo cao Identifique ímbolo de entrada, ímbolo de alida y probabilidade de tranición c) Calcule la información mutua para el itema A Si e decide concatenar lo do canale obtenido (A-B): d) Obtenga el DMC equivalente identificando la probabilidade de tranición en cada cao e) Determine lo valore de y 0 que llevan al canal equivalente a comportare como un canal binario imétrico (BSC) Ejercicio 516 Se tiene el canal dicreto in memoria motrado en la Figura 537 La ditribución de probabilidade de lo ímbolo de entrada e denota como p X (x i ) p i con i 2{0, 1, 2} a) Ecriba la matriz de canal correpondiente a ete canal dicreto equivalente b) Calcule la entropía H(X), H(Y ), H(X, Y ), H(Y X) y H(X Y )y la información mutua I(X, Y )paralaiguienteditribucióndeentrada: Open Coure Ware (OCW) 335 c Marcelino Lázaro, 2014

7 X Y X X X XX X XX XXXX XX : XX X XX X XXXX Figura 537: Repreentación en diagrama de rejilla para el DMC del Ejercicio 516 i) Símbolo de entrada equiprobable: p 0 = p 1 = p 2 = 1 3 ii) Sólo e tranmite el ímbolo : p 0 = p 2 =0,p 1 =1 c) Obtenga la capacidad del canal, indicando la ditribución de entrada para la que e obtiene, en lo iguiente cao i) Para el cao = 1 2 ii) Si e elimina el ímbolo del alfabeto de X (o lo que e lo mimo, para p X ( )=0) NOTA: Eneteapartado, no toma el valor del apartado anterior, e un valor contante arbitrario Open Coure Ware (OCW) 336 c Marcelino Lázaro, 2014

8 Entropia binaria Hb(p) Probabilidad p Figura 538: Función de entropía binaria, H b (p) Open Coure Ware (OCW) 337 c Marcelino Lázaro, 2014