Un canal de comunicación puede ser definido como el medio a través del cual la señal del mensaje se propaga desde la fuente hasta el destino.

Transcripción

1

2 Un canal de comunicación puede ser definido como el medio a través del cual la señal del mensaje se propaga desde la fuente hasta el destino. Se dice que un canal es ruidoso si la lectura de los datos en la salida del canal no es necesariamente es la misma que la entrada. Para contrarrestar el efecto negativo inducido por el canal, el mensaje fuente es codificado con ciertos esquemas de codificación de canales. El flujo de datos codificados es entonces enviado a través del canal.

3 EL CANAL Un canal (X, P Y X (y j x i ), Y) es dado por: Un alfabeto de entrada X {x 1,, x s } donde s es el número de letras de entrada Un alfabeto de salida Y {y 1,, y t } donde t denota el número de letras de salida Una distribución de probabilidad condicional P Y X (y j x i ), el cual especifica la probabilidad de observar Y = y j a la salida dado que X = x i es enviado, 1 i s, 1 j t.

4 En este modelo, el canal es completamente descrito por la matriz de probabilidades condicionales, el llamado matriz de transición de canales

5 El matriz de transición de canales tiene las siguientes propiedades: 1. Las entradas en la fila i consisten en las probabilidades de observar letras de salida y 1,, y t, dado que el símbolo de entrada i x i es enviado. 2. Las entradas en la columna j consisten en las probabilidades de observar la letra de salida j y j dada, respectivamente, los símbolos de entrada i x i son enviados, i = 1,, s. 3. La suma de las entradas en una fila es siempre 1, o sea t j=1 P Y X y j x i P x x i = 1 Lo cual significa que para cada entrada x i estamos seguros de que obtendremos algo. 4. Si Px(xi) es la probabilidad del símbolo de entrada xi, entonces s t i=1 j=1 P Y X y j x i P x x i = 1 Lo cual significa que cuando algo se introduce en el sistema, entonces algo saldrá.

6 LAS RELACIONES ENTRE LOS CANALES La probabilidad de que el par de entrada-salida (xi, yj) ocurra simultáneamente es dada por P X,Y (x i, y j ) P Y X (y j x i )P x (x i ) El cual relaciona la probabilidad con al distribución de entrada a través de la probabilidad condicional hacia adelante. Podemos escribir alternativamente que P X,Y (x i, y j ) P Y X (x i y j )P Y (y j ) El cual evalúa la probabilidad conjunta basándose en la distribución de salida y la probabilidad condicional hacia atrás.

7 EL CANAL BINARIO SIMÉTRICO Un simple caso especial de un canal es el canal binario, el cual tiene dos símbolos de entrada, 0 y 1, y dos símbolos de salida, 0 y 1 El canal binario es considerado como simétrico si: P Y X (0 0) = P Y X (1 1), P Y X (0 1) = P Y X (1 0)

8 Las probabilidades de los símbolos de entrada son: Px(0) = δ Px(1) = 1 δ Y las probabilidades del sistema binario simétrico (BSC) son: P Y X (0 0) = P Y X (1 1) = 1 ε P Y X (1 0) = P Y X (0 1) = ε El matriz de canales entonces se convierte en Y las relaciones entre los canales se convierten en P Y (0) = (1 ε)δ + ε(1 δ), P Y (1) = εδ + (1 ε)(1 δ)

9 ENTROPÍAS DEL SISTEMA Ambos la entrada y la salida de un canal no son certeros por naturaleza; no sabemos exactamente cuál símbolo de entrada será seleccionada ni cual letra de salida será vista con certeza al final. La entropía unida de X y Y, definida como s t H X, Y P X Y x i, y j log 2 1 i=1 j=1 P X,Y x i, y j Mide la cantidad total de incertidumbre contenida en la entrada y la salida del canal, por lo tanto de todo el sistema de canales.

10 INFORMACIÓN MUTUA La información mutua del sistema, o información mutua promedio, es definida como s t I X; Y P X,Y x i, y j I x i ; y j i=1 j=1 = s t i=1 j=1 P X,Y x i, y j log 2 ( P X,Y x i, y j P X x i P Y y j ) La información mutua del sistema tiene las siguientes propiedades: 1) I(X; Y) 0; 2) I(X; Y) = 0 solamente si X y Y son independientes 3) I(X; Y) = I(Y; X)

11 DEFINICIÓN DE CAPACIDAD DE CANALES Dadas las probabilidades condicionales P Y X (y i x i ), las cuales definen un canal, se quiere saber cuál es la cantidad máxima de información que queremos enviar a través de un canal. La información mutua conecta a los dos fines del canal. Es definida como I(X; Y) = H(X) H(X Y) Donde la entropía H(X) es la incertidumbre de la entrada del canal antes de la recepción de Y, y H(X Y) es la incertidumbre que queda después de la recepción de Y.

12 Para un canal dado, la capacidad de canal, denotado por C, es definido como la máxima posible información mutua del sistema I(X; Y) de entre todas las posibles distribuciones de entrada P X ( ): C max I(X; Y)

13 CANAL UNIFORMEMENTE DISPERSIVO Los sistemas binarios simétricos pertenecen a la clase de canales uniformemente dispersivos. Se dice que un canal es uniformemente dispersivo si el set A x {P Y X y 1 x,, P Y X (y t x)} Es idéntico para cada símbolo de entrada x.

14 Para un canal uniformemente dispersivo general, la entrada uniforme no necesariamente resulta en la salida uniforme, y la capacidad tampoco puede ser alcanzada necesariamente con la salida uniforme. Considere el canal de borrado binario (BEC). En este canal, el alfabeto de entrada es X={0, 1}, mientras que el alfabeto de salida es Y={0, 1,?}. Con la probabilidad γ, el símbolo de borrado? Es producido a la salida, lo cual significa que el bit de entrada se pierda; de otra manera, el bit de entrada es reproducido a la salida sin error. El parámetro γ por lo tanto es llamado probabilidad de borrado.

15 CARACTERIZACIÓN DE LA DISTRIBUCIÓN DE ENTRADAS Condiciones Karush-Kuhn-Tucker Una distribución de entrada P x ( ) logra la capacidad de canal C solamente si I(x; Y) = C para todos los x con P x (x) > 0 I(x; Y) C para todos los x con P x (x) = 0

16 TEOREMA DE CODIFICACIÓN DE CANALES DE SHANNON La capacidad de canal mide la cantidad de información que puede ser llevada a través del canal. El trabajo de Shannon en 1984 estableció el reconocido Teorema de Codificación de Canales: siempre que el periodo de transmisión en las mismas unidades sea el mismo que la capacidad de canales ( o sea, el uso de bits de información por canal) está por debajo de la capacidad de canal, el error puede ser hecho más pequeño que cualquier número dado por algún esquema de codificación correctamente diseñado

17 Un esquema de codificación (M,n) para el canal (X, P Y X (y x), Y) consiste de lo siguiente: 1) Un conjunto de mensajes {1, 2,, M} 2) Una función de codificación ϕ: {1, 2,, M} X n, el cual es una regla que asocia el mensaje m con una secuencia de entradas del canal con longitud n, llamada la palabra clave m y denotada por x n (m). El set de todas las palabras claves es llamado el libro clave (o simplemente el código) 3) Una función de decodificación ᴪ: Y n {1, 2,.., M}, el cual es una regla determinística que le asigna una estimación a cada vector recibido posible.

18 La frecuencia R de un esquema de codificación (M, n) es definido como R log 2M n bits por transmisión La probabilidad de error promedio λ(n) para un esquema de codificación (M,n) es definido como λ (n) 1 M M λ m m=1

19 TEOREMA DE CODIFICACIÓN DE CANALES DE SHANNON Para un canal de información de tiempo discreto, es posible transmitir mensajes con una probabilidad de error arbitrariamente pequeña si la frecuencia de comunicación R está por debajo de la capacidad de canal C. Específicamente, para cada frecuencia R < C, existe una secuencia de (2 nr, n) esquemas de codificación con la probabilidad de error promedio λ (n) 0 como n. Inversamente, cualquier secuencia de esquemas de codificación (2 nr, n) con λ (n) 0 debe de tener R C. Por lo tanto, cada intento de transmitir a una frecuencia más grande que la capacidad de seguro fallará en el sentido que la probabilidad de error promedio es estrictamente mayor que cero.