16.36: Ingeniería de sistemas de comunicación. Clase 5: Codificación de la fuente

Transcripción

1 6.36: Ingenería de sstemas de comuncacón Clase 5: Codfcacón de la fuente Slde

2 Codfcacón de la fuente Alfabeto de fuente {a..a N } Codfcar Alfabeto de canal {c..c N } Símbolos de la fuente Letras del alfabeto, símbolos ASCII, dcconaro de nglés, etc... Voz cuantfcada Símbolos del canal En general uede tener un número arbtraro de símbolos de canal Tícamente {0,} ara un canal bnaro Objetvos de la codfcacón de la fuente Decodabldad unívoca Comresón Codfcar el alfabeto utlzando el menor número osble de símbolos de canal Slde 2

3 Comresón Comresón sn érddas Permte la decodfcacón sn errores Decodabldad unívoca sn ambgüedad Comresón con érddas Tal vez el códgo no sea codfcable unívocamente, ero hay una robabldad enorme de que se codfque correctamente Slde 3

4 Códgos (lbres) refjo Un códgo refjo es un códgo en el cual nnguna alabra se anteone a otra Los códgos refjo son decodfcables unívocamente Los códgos refjo son decodfcables nstantáneamente La sguente desgualdad mortante se alca a códgos refjo y en general a todos los códgos decodfcables unívocamente Desgualdad de Kraft Sea n n la longtud de alabras códgo en un códgo refjo (o en cualquera decodfcable unívocamente). Entonces, = n 2 Slde 4

5 Demostracón de la desgualdad de Kraft Demostracón sólo ara códgos refjo Se uede amlar a todos los códgos decodfcables unívocamente Alcar alabras códgo a un árbol bnaro Las alabras códgo deben ser las hojas del árbol Una alabra códgo de longtud n es una hoja a rofunddad n Sea n n - n => rofunddad del árbol = n En un árbol bnaro de rofunddad n, son osbles hasta 2 n hojas (s todas las hojas están a rofunddad n ) Cada hoja a rofunddad n < n elmna una fraccón /2 n de las hojas a rofunddad n => elmna 2 n -n de las hojas a rofunddad n De ahí que, n n n n = = Slde 5

6 Desgualdad de Kraft - recíroca S un conjunto de números enteros {n..n } satsface la desgualdad de Kraft el códgo refjo a se uede hallar con longtudes de alabras códgo {n..n } De ahí que la desgualdad de Kraft sea condcón sufcente y necesara ara la exstenca de un códgo decodfcable unívocamente La demostracón se realza medante la construccón de un códgo Dado {n..n }, comenzando con n, asgnar nodo al nvel n ara la alabra códgo de longtud n. La desgualdad de Kraft garantza tal asgnacón Ejemlo: n = {2,2,2,3,3}, (verfcar que la desgualdad de Kraft se sostene) n 3 n 2 n n 5 n 4 Slde 6

7 Longtud meda de una alabra códgo La desgualdad de Kraft no nos dce nada sobre la longtud meda de una alabra códgo. El sguente teorema da una cota reducda estrecha Slde 7 Teorema: dada una fuente con alfabeto {a..a }, robabldades {.. }, y entroía H(X), la longtud meda de un códgo bnaro decodfcable unívocamente satsface: H(X) Demostracón: n = = = 2 HX ( ) n= log n = log = = = lognequalty => log( X ) X => = n = 2 n HX ( ) n = 2 0 = = n

8 Longtud meda de una alabra códgo Podemos construr códgos róxmos a H(X)? Teorema: dada una fuente con alfabeto {a..a }, robabldades {.. }, y entroía H(X), es osble construr un códgo refjo (or tanto, unívocamente decodfcable) de longtud meda que satsfaga: n < H(X) + Demostracón (Codgos Shannon - Fano): Sea n n = n log( ) log( ) 2 n 2 = = satsfecha la desgualdad de Kraft uede hallar un códgo refjo con longtudes, n = < log( ) log( ) + n = < log( ) log( ) +, Ahora, n = n < log( ) + = ( ) + HX. = = Así, HX ( ) n< HX ( ) + Slde 8

9 Aroxmándose a H(X) Tenga en cuenta bloques de N letras códgo Exsten K N bloques de letras N osbles (N-tules) Sea Y el nuevo alfabeto fuente de N bloques de letras S cada una de las letras se genera ndeendentemente, H(Y) = H(x..x N ) = N*H(X) Codfque Y utlzando el msmo rocedmento anteror ara obtener, HY ( ) ny< HY ( ) + N* H( X) ny< N* H( X) + HX ( ) n< HX ( ) + / N Donde la últma desgualdad se obtene orque cada letra de Y corresonde a N letras de la fuente orgnal Slde 9 Ahora odemos adatar la longtud del bloque (N) ara que sea arbtraramente grande y se aroxme arbtraramente a H(X)

10 Códgos de Huffman Los códgos de Huffman son códgos refjo esecales que ueden demostrarse ótmos (mnmzar la longtud meda de las alabras códgo) H(X) Códgos Huffman Códgos H(X)+ Shannon/Fano Algortmo de Huffman: ) Dsone las letras fuente en orden decrecente de robabldad ( 2.. ) 2) Asgna 0 al últmo dígto de X y al últmo dígto de X - 3) Combna y - ara formar un nuevo conjunto de robabldades {, 2,.., -2,( - + )} 4) Es correcto s sólo le queda una letra, s no, vuelva de nuevo al aso Slde 0

11 Ejemlo de códgo Huffman A = {a,a 2,a 3, a 4, a 5 } y = {0.3, 0.25,0.25, 0., 0.} a 0,3 a 2 0,25 a 3 0,25 a 4 0, a 5 0, 0 + 0,3 0,25 0,25 0,2 0 + n 0,3 0,25 0, ,55 0, = = 22. bts / símbolo,0 Slde Letra Palabra códgo a a 2 0 a 3 0 a 4 00 a HX ( ) = log( ) = Códgos Shannon-Fano n = log( ) n = n = n = 2, n = n = n = 24. bts / símbo l o < H ( X ) +

12 Codfcacón fuente Lemel-Zv Las estadístcas de fuente a menudo no son conocdas La mayoría de las fuentes no son ndeendentes Las letras del alfabeto tenen un alto grado de correlacón P.ej., desués de la I va la E, desués de la G va la H, etc. Se ueden codfcar bloques de letras, sn embargo, se requerría un códgo muy largo y comlejo Algortmo Lemel-Zv Códgo unversal - funcona sn conocmento de estadístcas de fuente Analza sntáctcamente el archvo de entrada en frases unívocas Codfca frases emleando alabras códgo de longtud fja Codfcacón de longtud varable a fja Slde 2

13 Algortmo de Lemel-Zv Analzar el archvo de entrada en frases que aún no han aarecdo Entrar frases en un dcconaro Numerar su ubcacón Observe que cada frase nueva debe ser una frase veja seguda or un 0 o un Puede codfcar la nueva frase utlzando la ubcacón del dcconaro de la frase anteror seguda or el 0 o el Slde 3

14 Entrada: Ejemlo de Lemel-Zv Frases analzadas: 0, 0, 0, 0, 00, 00,, 0 Dcconaro Loc Re. bnara Frase Pal. códgo Comentaro null loc loc loc loc loc loc loc loc-4 + Secuenca envada: Slde 4

15 Notas acerca de Lemel-Zv El decodfcador sólo uede decodfcar unívocamente la secuenca envada El algortmo no es efcente ara secuencas cortas (datos de entrada) El rendmento del códgo se aroxma a la entroía de fuente ara secuencas largas El tamaño del dcconaro debe elegrse con antelacón ara que se ueda establecer la longtud de la alabra códgo Lemel-Zv se usa frecuentemente ara codfcar archvos de texto/bnaros Comrmr/descomrmr bajo unx Msmo software de comresón ara PC y MAC Slde 5