Sistemas de comunicación

Transcripción

1 Sistemas de comunicación Práctico 6 Teoría de la Información Cada ejercicio comienza con un símbolo el cuál indica su dificultad de acuerdo a la siguiente escala: básica, media, avanzada, y difícil. Además puede tener un número, como 3.-4 que indica el número de ejercicio del libro del curso, Communication Systems, 3th. edition. Bruce A. Carlson. Ejercicio Un teclado numérico tiene los números 0,, Se asume que cada tecla es utilizada en forma equiprobable. Calcule con qué cadencia deben ser oprimidas las mismas para generar un flujo de información de 2 bit/s. Ejercicio 2 (5.-2) De un mazo de 52 cartas se elige una al azar. (a) Hallar la información en bits que se tiene cuando se conoce que la carta es: de corazones una figura una figura de corazones (b) Cuánta información se necesita para identificar la carta si, se sabe que es roja. Ejercicio 3 (5.-8) Calcular la tasa de información de una fuente telegráfica que utiliza dos símbolos, el punto y la raya. El punto tiene una duración de 0.2s. La raya tiene el doble de duración pero es la mitad de probable. Ejercicio 4 Para una fuente binaria: (a) Mostrar que la entropía, H, es máxima cuando la probabilidad de enviar un es igual a la probabilidad de enviar un 0. (b) Hallar el valor máximo de la entropía.

2 Ejercicio 5 Se tiene una fuente S con símbolos {s,s 2,...,s 6 }, con probabilidades 0.4, 0.3, 0., 0., 0.06 y 0.04 respectivamente. (a) Hallar la entropía de la fuente. (b) Considerar una codificación binaria con largo de palabra fijo. Indicar el mínimo largo de palabra para que la codificación sea adecuada. (c) Considerar una codificación de Huffman. Calcular el largo medio del código obtenido. Ejercicio 6 Considerar un canal con la propiedad de que x i y y j son estadísticamente independientes para todo i, j. Mostrar que Ejercicio 7 H(X Y) = H(X) y I(X,Y) = 0 Canal Binario Simétrico. Considerar el modelo de un canal binario simétrico, representado en la figura: x -alfa y alfa alfa x2 -alfa y2 donde: P(x ) = p y P(y x 2 ) = P(y 2 x ) = α. (a) Calcular la información mutua en función de p y α (b) Discutir qué valores toma α cuando la potencia del ruido es muy pequeña o muy grande. Ejercicio 8 Obtener analíticamente las características de la figura siguiente, correspondiente a un canal analógico de ancho de banda B, contaminado con ruido blanco gaussiano aditivo, de densidad espectral de potencia G(f) = η/2. 2

3 20 5 S/, db 0 5 = C 0 > C db B/ Ejercicio 9 (5.3-) Un ingeniero dice haber diseñado un sistema de comunicación analógico que permite obtener: (S/N) D = 60dB cuando S /(ηb T ) = 5dB y B T = 0W, donde B T es el ancho de banda del canal usado y W es el ancho de banda de la señal a transmitir. Usted le creería? Por qué? Ejercicio 0 Se pretende transmitir imágenes de televisión digital a partir de una fuente que genera una matriz de elementos de imagen (pixels), donde cada pixel puede tomar 32 valores de intensidad. Suponga que se generan 30 imágenes por segundo.(esta fuente de imágenes digitales es similar a los estándares adoptados para TV digital.) Todos los pixels se consideran independientes, y los niveles de intensidad equiprobables. (a) Hallar la velocidad de transferencia de información (bit/s). (b) Suponer que la imagen de TV se transmitirá por un canal de 4,5MHz de ancho de banda con una relación señal a ruido de 35dB. Hallar la capacidad del canal (bit/s). (4,5MHz es el ancho de banda utilizado para transmitir una imagen de TV analógica.) (c) Discutir cómo pueden ser modificados los parámetros de la parte (a) para permitir la transmisión de TV color sin incrementar el valor requerido de. (Nota: en TV cromática se debe enviar información de luminancia y cromas; la luminacia es una señal que lleva la información de brillo y las cromas son dos señales que llevan la información de color.) 3

4 Ejercicio Solución La tasa de símbolos r se relaciona con la entropía H y con la tasa de información según la expresión: = rh La probabilidad de cada una de las teclas es : P(Tecla) = 0. Por lo que la entropía de la fuente S={0,,2,... 9} es: H(S) = x is Despejando r se tiene: Ejercicio 2 (a) de corazones p(x i )log 2 p(x i ) = 0 log 20 = log 2 0 bits/simb x is r = H = 2 bits/seg log 2 0 bits/simb = 0,6simb/seg, entonces la infor- La probabilidad de una carta de corazones es 3 mación es I(corazones) = log 2 4 = 2 bits. una figura La probabiidad de una figura es 2 3 I(figura) = log 2 3 = 2,54 bits. una figura de corazones 52 = = 4, entonces la información es La probabidad de una figura de corazones es 3 52, entonces la información 52 es I(figuradecorazones) = log 2 3 = 4,54 bits. (b) La información que se tiene al identificar la carta es log 2 (52) bits. De esta informacion sólo se conoce que la carta es roja y como P(roja) = 2, la información que se tiene es I = log 2 2 = bit. Por tanto, la información que resta para conocer la carta es I(carta) I(roja) = log 2 (52) = log 2 (26) bits. Otra forma de resolver el problema es considerando la probabilidad de la carta conociendo que es roja, es decir P(carta/roja) = 26. De esta manera llegamos al mismo resultado I = log 2 P(carta/roja) = log 2(26) bits Ejercicio 3 La cadencia media de símbolos esta dada por: r = 0,2 seg simb.2 seg = ,4simb. 8 3 simb seg 4

5 La entropía es: Por tanto, H = 2 3 log log 23 = 0,983 bits simb = r.h = 3,44 bits seg Ejercicio 4 (a) Sea p la probabilidad de enviar un uno. La probabilidad de enviar un 0 será entonces p, y la entropía queda planteada de la siguiente forma: H(p) = p.log p +( p).log p Para saber cuándo es máxima sólo falta derivar respecto a p: H = log p p2 p 2 log p +( p). p ( p) 2 = log p p En el máximo se debe cumplir H = 0 Tenemos que p p = y entonces: log p p = 0 p = 2 Falta verificar que efectivamente es un máximo (H < 0): H (p) = p p. p ( p) p 2 = ( p)p = 4 (b) H( 2 ) = 2. 2.log2 = log 22 bits simb = bit simb Ejercicio 5 (a) H(S) = P log 2 s + P 2 log 2 s 2 + P 3 log 2 s 3 + P 4 log 2 s 4 + P 5 log 2 P 6 log 2 s 6 = bits/símbolo. s 5 + (b) El mínimo largo de palabra de código para codificar 6 símbolos es 3 bits. (c) Considerando la extensión que se muestra en el cuadro, el largo de código resulta: L = = 2.2 bits/símbolo. Nótese que con este código se llega muy cerca de la entropía de la fuente. Además, aunque la extensión no es única, el largo no depende de la extensión elegida. 5

6 Fuente original Fuente reducida Símbolos Prob. Código S S 2 S 3 S 4 s s s s s * *0. 00 s * Cuadro : Síntesis de un código de Huffman. Ejercicio 6 Aplicando la definición: H(X Y) = X,Y P(x i,y j ).log 2 P(x i y j ) Como x i y y j son independientesse cumple quep(x i,y j ) = P(x i ).P(y j ) y que P(x i y j ) = P(x i ), por lo que: H(X Y) = Y X P(x i )P(y j ).log 2 P(x i ) = Y H(X Y) = X Para la segunda parte, aplicando la definición: I(X,Y) = X,Y Ejercicio 7 (a) I(X,Y) = X,Y I(X,Y) = X,Y P(y j ) X P(x i ).log 2 P(x i ) = H(X) P(x i,y j ).log 2 P(x i y j ) P(x i ) P(x i ).log 2 P(x i ) P(x i ) P(x i )P(y j ).log 2 P(x i ) = P(x i )P(y j ).0 = 0 = 0 X,Y X,Y P(x i,y j ) P(x i,y j ).log 2 P(x i )P(y j ) = P(y j /x i ) P(x i,y j ).log 2 P(y j ) X,Y P(y ) = P(x )P(y /x )+P(x 2 )P(y /x 2 ) = p( α)+( p)α P(y 2 ) = P(x )P(y 2 /x )+P(x 2 )P(y 2 /x 2 ) = pα+( p)( α) I(X,Y) = P(x )P(y /x ).log 2 P(y /x ) P(y )...P(x )P(y 2 /x ).log 2 P(y 2 /x ) P(y 2 ) 6 +P(x 2 )P(y /x 2 ).log 2 P(y /x 2 ) P(y ) +P(x 2 )P(y 2 /x 2 ).log 2 P(y 2 /x 2 ) P(y 2 ) +...

7 Sustituyendo queda: ( α) I(p,α) = p( α).log 2 p( α)+( p)α +( p)α.log α 2 p( α)+( p)α +... α...pα.log 2 pα+( p)( α) +( p)( α).log α 2 pα+( p)( α) (b) Si la potencia del ruido es muy grande, se tiene igual probabilidad de recibir y o y 2 (el ruido hace que lo recibido sea aleatorio e independiente de la entrada). Por lo que en este caso α toma valores cercanos a 2. Si la potencia del ruido es muy pequeña, entonces cuando se envía un símbolo (por ej x ), siempre se recibe el mismo símbolo en la recepción ya sea y o y 2. En este caso α toma un valor cercano a 0 o a. Ejercicio 8 La ley de Hartley-Shannon nos dice que: C = Blog 2 (SN +) donde C es la capacidad del canal, B es el ancho de banda del canal y SN es la relación señal a ruido en la recepción. Si consideramos que la tasa de transferencia de información es igual a la capacidad = C, tenemos que: donde SN = S ηb = S η Despejando S η de : B Llegamos a la expresión graficada: Ejercicio 9 B = log 2(SN +) B = log 2( S η B +) S η = (2 B ) B Si el ancho de banda del mensaje es W y la relación señal a ruido en detección es SN D = 0 6, la tasa de transferencia de información es: = W log 0 (0 6 +) = W.6,00 hartleys/seg Por otro lado, la capacidad del canal esta dada por: C = Blog 0 (SN+) C = 0W log 0 ( ) = W 6,9 hartleys/seg El sistema es factible. Podemos decir que cumple con las limitantes conocidas de las predicciones teóricas. 7

8 Ejercicio 0 (a) La velocidad de transferencia de información es: = 5 bit pixel cuadro = 36 Mbit pixel cuadro seg seg (b) La capacidad de un canal analógico es: C = Blog 2 (SN +) = 4,5 MHz log 2 (0 3,5 +) = 52,32 Mbit seg Por lo que este ancho de banda sería suficiente para enviar TV blanco y negro con 32 niveles por pixel. (c) Los sistemas de compresión de video digitales utilizan la propiedad del ojo de tener una cpacidad de resolución espacial del color mucho más baja que del nivel del brillo. Así, se manda información de color para bloques de pixeles, por ejemplo de 2x2. En nuestro caso, una forma razonable de enviar imágenes color sería enviar 4 bits/pixel en vez de 5 de información de brillo. Así se gana bit por pixel para el color, por lo que si se elige tomar bloques de 2x2, se dispone de 4 bits para mandar la informacion de color. Esto nos daría una gama 6 colores, que es muy poco, por lo que sería más razonable mandar información de color para cada bloque de 3x3, perdiendo mas resolución espacial en el color, pero disponiendo de 2 9 (52) colores diferentes. 8